当前位置: 首页 > 新闻资讯  > 数据中台

油田边缘计算设备的时间序列数据需要实时上传到湖泊中

在大数据领域,尤其是在PB在海量数据处理中,核心任务是保证数据传输的高效率和稳定性。从源端到目标端,DCT构建一个可以灵活适应不同数据源的可组合数据链路。通过Alluxio实现虚拟数据源的连接,实现多元异构数据查询,实现数据缓存计算,形成数据可用空间,更好地支持华能业务加快未来向AI和BI转型。

与原始架构相比,新架构简化统一了数据同步过程,通过引入实时数据湖,提高了数据处理的实时性和全面性,为更快、更有效的数据分析提供了支持。

当所有油田数据进入湖泊时,油田边缘计算设备的时间序列数据需要实时上传到湖泊中。原离线数字仓库不支持数据的快速去重能力,导致时间序列进入湖泊的性能不能满足要求。

在大数据领域,尤其是在 PB 在海量数据处理中,核心任务是保证数据传输的高效率和稳定性。DCT 在PB级数据量下,产品定位是高效稳定的数据传输高速公路。从源端到目标端,DCT 构建一个可以灵活适应不同数据源的可组合数据链路。在这个过程中,涉及 13 主流数据源类型包括关系数据库和大规模并行处理系统(MPP)以及数据湖和数据仓库

能源公司是一家以油气业务、工程技术服务、石油工程建设、石油设备制造为主要业务的综合性国际能源公司。它是中国主要的油气制造商和供应商之一。勘探开发平台是国内油气行业首个依托数据湖和数据湖的智能云平台 PaaS 技术实现勘探开发生产管理、协调研究、管理和决策的综合运行,支持数字化、自动化、可视化、智能化的勘探开发业务转型和发展。

数据中台设计

我们希望继续加强与Alluxio的合作。现在我们已经和Alluxio建立了所谓的虚拟数据湖。下一步,我们希望在传统数据库中与Alluxio建立一个虚拟数据仓库,结合华能数据系统的发展,建立一套真正覆盖我们数据湖和数据库中所有数据的虚拟数据基础,让华能数据真正实现所谓的逻辑统一。通过Alluxio实现虚拟数据源的连接,实现多元异构数据查询,实现数据缓存计算,形成数据可用空间,更好地支持华能业务加快未来向AI和BI转型。

本站部分内容及素材来源于互联网,如有侵权,联系必删!

相关资讯

    暂无相关的数据...