当前位置: 首页 > 新闻资讯  > 数据中台

建立湖仓库集成数据架构,全面整合集团和子公司内外数据

此外,了解如何构建文件夹结构,以增强查询引擎对数据的理解也很重要。数据源:向数据仓库提供原始数据的数据库、文件和API。数据集成和ETL工具:负责从各种来源提取、转换数据并加载到数据仓库的工具。数据存储:用于存储和管理数据仓库中数据的技术,如关系数据库或数据湖。

为防止数据沼泽的发生,必须在数据湖中建立简单、自描述的文件夹结构。应实施适当的层次结构,以确保文件夹是可读的、易于理解的、不言而喻的。在启动数据湖开发过程之前,定义命名协议是非常重要的。这些措施将促进数据湖的适当利用,并有助于访问管理。此外,了解如何构建文件夹结构,以增强查询引擎对数据的理解也很重要。推荐的方法是组织青铜层和银层中呈现的数据。

数据源:向数据仓库提供原始数据的数据库、文件和 API。 数据集成和 ETL 工具:负责从各种来源提取、转换数据并加载到数据仓库的工具。 数据存储:用于存储和管理数据仓库中数据的技术,如关系数据库或数据湖。 元数据:描述数据仓库中存储的数据的结构、格式和内容。 数据访问和分析工具:数据仓库中存储数据的应用程序和工具,用于查询、分析和可视化。

Data Lakehouse 不仅像传统的数据仓库一样支持架构 ACID 该事务还提供了数据湖中存储的成本效益和可扩展性。该系统结构支持直接访问数据湖的所有层,包括对有效数据治理的架构支持。此外,数据湖仓还引入了索引、数据缓存、时间旅行等功能,以增强性能和功能。它继续支持以文件格式存储数据的结构化和非结构化数据类型。

数据中台设计

在考虑黄金层时,建立面向该领域的结构是有益的。该方法不仅促进了访问管理,而且提高了数据湖的利用率。用户可以通过在特定领域的类别(如客户、产品或销售)中组织数据,轻松导航和使用相关数据来满足其特定的业务需求。

统一数据平台项目采用华为大数据集群MRS和分布式数据库GausDB(DWS)产品,借鉴行业经典数据模型建设理念,实现数据收集、集成和处理,完成统一数据湖和双主题域数字仓库模型建设;建立湖仓库集成数据架构,全面整合集团和子公司内外数据,实现全球数据统一管理和集中开发,统一整合分级共享;借助金融数字基础“源启动”实现多项应用服务,沉淀一般数据资产和专业数据资产,促进集团和子公司数据的高质量发展,快速释放数据要素的价值。

本站部分内容及素材来源于互联网,如有侵权,联系必删!

相关资讯

    暂无相关的数据...