当前位置: 首页 > 新闻资讯  > 数据中台

华为数据元素流通解决方案参考架构

因为我们用它Iceberg,并使用相同的MetaStore进行元数据管理,因此所有集群都可以直接查看这些下沉的数据,实现相关分析。此外,压缩算法也有一定的作用。不同的数据可以使用不同的压缩算法,其压缩比也会有所不同。

在查询数据时也会面临一些问题。在我们的游戏场景中,业务通常是隔离的,所以我们为每个业务建立了一个集群。由于这些数据存在于不同的数据中,数据分析中需要共同处理。 StarRocks 在集群中,无法进行相关查询。为了解决这个问题,我们通过数据湖将这些数据联系起来,实现下沉后的分析。因为我们用它 Iceberg,并使用相同的 MetaStore 进行元数据管理,因此所有集群都可以直接查看这些下沉的数据,实现相关分析。

在实践中,我们发现读取湖附近的数据 90% 花更多的时间甚至更多 IO 操作上,即从湖中读取数据的过程。因此,优化数据湖的方案主要集中在减少数据读取。当数据文件直接从湖中读取时,根据用户 where 对数据进行排序和重组的条件,也会调整文件的大小。此外,压缩算法也有一定的作用。不同的数据可以使用不同的压缩算法,其压缩比也会有所不同。当然,这些参数需要结合数据格式进行验证,才能得到合理的结果。

易华录()1月4日在投资者互动平台上表示,公司目前在24个城市数据湖中部署和规划了近2万个机架,为未来计算能力资源的改善提供了可靠的保障,并将为国家计算能力的整合提供支持。同时,数据湖可以提供视频分析和推理计算服务,并促进人工智能计算中心的实施,致力于提供人工智能计算服务。

为了加快数据价值的释放,华为还提出了构建可信、可控、可证基础设施的数据元素参考架构。具体来说,华为数据元素流通解决方案参考架构,构建“1234N”平台系统,包括数据湖、数据仓库、关系数据库、对象存储、华为云基础设施,实现全栈独立可控、软硬协调;专业服务系统和安全系统,为客户提供咨询规划服务,确保整个数据生命周期的安全;三个数据价值链,即高质量的数据供应、可信的数据流通和数据场景应用,使数据供应、流动、使用良好;资产登记系统、授权管理系统、运营管理系统、合规监督系统四个业务管理系统,实现高效、合规、可追溯的业务运营,支持数千个行业的数据场景应用。

企业过去主要使用两种类型的数据管理平台。数据仓库高度可靠,非常适合处理结构化记录,数据湖可以经济有效地保存大量的非结构化信息。在戴尔的新平台中,数据湖平台将这两种技术的功能集成到一个产品中。

数据中台建设

本站部分内容及素材来源于互联网,如有侵权,联系必删!

相关资讯

    暂无相关的数据...