平台层主要完成入湖数据存储管理、授权管理、元数据管理、任务管理等功能。根据应用程序对数据的需求,数据湖设计了四种入口模型,包括当天全数据存储、当天增量数据存储、上一天全数据和当天更新的增量数据合并存储和拉链表存储。基于Ranger实现平台授权管理,使不同系统能够通过数据湖共享数据。目前,该平台已实现了G行近200个系统1万多张表的原始数据采集,并为约100个下游应用程序提供数据授权和调用。元数据管理模块可以轻松实现数据入湖、数据存储模式和数据离线管理。任务管理模块实现了状态查询、延迟查询、任务重新调整、时间统计等功能。
11月16日,2023年数字经济峰会在郑州龙子湖中原学术交流中心举行。作为河南省数据要素价值市场布局的核心平台,河南省公共数据运营服务平台正式发布。作为全省公共数据运营的统一服务中心,提供数据治理、一级开发、供需对接、社会化应用、安全保障等服务能力。,采用全面建设模式,向上对接全省政务一体化数据平台,实现公共数据的有效收集,为政府部门提供持续优质的数据治理服务,满足政府治理能力和治理水平现代化的要求。为二级数据提供商提供产品开发和产品供应能力,满足释放公共数据价值、培育数据要素产业生态的总体发展要求。(来源:大河财立方)
目前,G行数据湖主要是T-1日的离线数据。随着数字化转型的不断深化和业务场景的不断丰富,对数据分析的及时性要求越来越高。因此,G银行建立了数据湖平台的实时数据湖子系统,完成了实时数据的统一访问、管理和服务,实现了T-1离线数据的比较和修正,确保了数据的一致性。湖子系统的实时数据设计架构如图3所示。
采集层实现了G行原始数据的统一采集和管理。目前,原始数据主要以数据文件的形式推入湖中。在基本验证文件格式、文件大小和数据内容后,将数据存储到HDFS或Hive中。对于具有网络条件的源系统,数据通过HDFS直接推送,数据验证、压缩等处理完成。通过Kafka收集和传输部分准实时数据,Flink消费后存储在湖中。为了更好地实现数据计算共享,下游数据仓库和应用处理后的数据也将返回数据湖进行统一收集和共享。
钛媒体注意到,亚马逊云技术还在交流会议上展示了一个相对丰富的制造解决方案地图,包括供应链管理、智能产品和服务、智能制造、工业数据湖、工程和设计、可持续性和生成人工智能。这些解决方案不仅来自于多年来数字授权客户的经验,还来自于与合作伙伴在海外和跨境支持方面的密切合作。
【赣州保利堂悦位置】赣南大道与潇雨东路交汇处与赣南师范大学附属小学、全民健身中心隔开。周边配套设施:全民健身中心(建设中)、启迪科技城(建设中)、 人才小镇(建设中)、赣南数据湖(待建)、赣南师范大学附属小学、赣南师范大学、赣州师范大学、赣南师范大学附属中学(建设)、赣州中学荣江校区(建设中)。
11月17日,2023年河南数字经济峰会数字政府发展论坛在河南省郑州市中原龙子湖学术交流中心举行。论坛以“整合云网墙、数字智能新政务”为主题,深入探讨数字政府的新发展趋势,交流和分享建设经验和成功案例,促进数字政府的高质量建设。河南省政府副秘书长潘开名出席论坛并发表讲话。省行政审批政府信息管理局、省政府大数据中心、豫信电力集团全体领导小组成员出席了会议。