当前位置: 首页 > 新闻资讯  > 数据中台

数据基础由数据湖和数据主题连接组成

第二个是数据模型的后置。因此,ETL需要根据数据模型构建,使数据在流通过程中成为满足需求的形式。然而,随着数据驱动的产品/服务/营销数据应用越来越多,传统的主题域模型不再能够提供足够的灵活性。因此,越来越多的企业不再加强ETL的建模,而是转向数据湖/大数据平台的建设,首先收集数据,将Transformation/业务建模的工作放在后面,形成ELT,以更灵活地应对快速迭代的数据应用需求。

数据基础是为了解决这个问题。数据基础由数据湖和数据主题连接组成,汇集公司内外数据,重新组织和连接数据,为业务可视化、分析和决策提供数据服务。下图是数据基础的整体架构。

根据偶数技术的调查,由于数据湖始终不能满足用户在性能、事务等方面的要求,许多制造商灵活的做法是让所有数据进入湖,方便自由灵活的数据分析和探索,在分析逐渐成熟时,将其转移到数据仓库,形成数据湖和数据仓库互补的方式。

在基础设施层面,通过在亚马逊云技术上构建智能湖仓,将数据以标准开放数据格式汇总存储在Amazon中 在S3数据湖中,打破了企业数据岛的束缚。同时,通过有效整合数据湖、数据仓库和专门建设的各种存储服务,可以轻松实现数据出湖、入湖、环湖移动,借助机器学习快速灵活地做出决策。

数据湖需要有足够的存储能力来存储公司的所有数据。 数据湖可以存储各种类型的数据,包括结构化和半结构化(XML、Json等。)和非结构化数据(图片、视频、音频)。 数据湖中的数据是原始业务数据的完整副本,保持了其在业务系统中的原始外观。

第二个是数据模型的后置 。在满足相对确定的数据仓库支持的BI/报表类需求时,这是由强大的主题域模型驱动的,即客户对未来数据需求的满足有着深刻而具体的理解。因此,ETL需要根据数据模型构建,使数据在流通过程中成为满足需求的形式。然而,随着数据驱动的产品/服务/营销数据应用越来越多,传统的主题域模型不再能够提供足够的灵活性。因此,越来越多的企业不再加强ETL的建模,而是转向数据湖/大数据平台的建设,首先收集数据,将Transformation/业务建模的工作放在后面,形成ELT,以更灵活地应对快速迭代的数据应用需求。

本站部分内容及素材来源于互联网,如有侵权,联系必删!

相关资讯

    暂无相关的数据...