大连数据湖示范湖在数据湖产业园如火如荼的同时,率先落地旅顺口区,为市场提供服务。在数字产业化领域,大连亚明汽车零部件有限公司是大连数据湖与旅顺口区汽车零部件龙头企业联合打造的数字产业互联网平台,基于数据湖的高性能计算能力和大量存储能力,整合联通5G、AI、数字孪生等先进技术实现了制造过程的数字化、智能化。该项目入选2020年国家制造业与互联网一体化发展试点,2020年汽车制造业“5G” 第一批典型的工业互联网解决方案清单。已在包括4家上市公司在内的13家企业推广应用,形成行业示范和技术引领。
数据采集和存储:采集、清理、预处理和存储各种数据源中的数据,形成数据湖、数据仓库等数据存储架构,为后续的数据分析和挖掘提供数据基础。 数据分析与挖掘:通过数据挖掘、机器学习等技术,对数据进行分析、建模、预测和优化,为数据驱动的业务决策提供支持。 数据应用和服务:通过数据开放,API 开放等技术,整合数据和应用,提供数据服务、数据产品等增值服务,促进数字经济发展。
您可以看到数据集成在数据生命周期的前面。它负责将来自不同数据源的多个数据聚合存储在数据存储中(如数据仓库/数据湖),并为用户提供单一统一的视图。它可以考虑数据的增长和所有不同的格式,并合并所有类型的数据,以促进后续的数据分析和挖掘。
最后,基于数据湖数据仓库技术的数据收集和数据共享。今天的华为,我们的大部分业务数据和财务数据都进入了家庭。这样做的好处是,业务和财务可以实时共享相同的数据源,基于相同的数据源,基于自己的管理需求和管理,专注于扩展应用程序的开发和迭代。
在此背景下,基于本地分布式技术,巨山数据库发展了独特的多模数据湖,支持结构化和非结构化数据的大量存储、高并发访问、分布式集群跨多中心部署,解决了农村信用多法人机构本地数据中心建设和多中心统一数据管理的问题。基于多模数据湖,巨山深入分析了客户内容管理平台的业务需求,为结构化数据与非结构化数据集成处理提供了成功的解决方案,并在全数据场景下进一步积极探索着陆方案。
全域体现在完整性上,是解决数据完整的问题。所有类型的数据都可以在企业内收集,包括业务数据、行为数据、图片、音视频、文件等。过去,我们只收集业务数据和少数行为数据,即数据库中的数据,但图片、音频和视频等数据无法收集,导致一些基于图片分析的场景无法满足,如图片搜索图片。因此,我们与滴普科技合作,实施了数据湖技术,实现了图片等数据的统一收集。