117.阅读数据湖规则表中的数据处理规则。数据湖规则表是数据湖规则表中预设的规则表。数据湖规则表用于定义数据的计算规则，数据处理规则是目标设备的数据处理规则；
67.其中，数据湖可以理解为一种自然或原始格式的系统或存储，通常是对象块或文件；数据湖通常是企业中全数据的单一存储，包括原始系统生成的原始数据复制和各种任务的转换数据
，支持上游模型系统数据实时同步到数据湖，将变更信息实时同步到数据湖元数据存储，解决设备模型数据和设备报告物联网数据实时更新到数据湖；基于分布式计算引擎的数据湖查询服务，可以满足海量数据下低延迟的查询响应，直接提供数据服务，解决传统数据湖延迟高
此外，中间数据存储在本地磁盘中，这需要计算节点中大容量的本地磁盘。目前的数据湖架构或云本地架构一般采用存算分离。存算分离的优点是根据不同的功能优化节点（机器）配置，更好地适应不同的计算负载和存储需求，提高资源利用率。若在计算过程中需要大容量磁盘存储中间数据，则难以计算分离。第二，很难及时缩容，比如 Spark 在运行过程中，计算引擎可以动态扩展运行资源，Executor 处于 idle 它可以在一段时间内释放，但如果本地磁盘存储下游所需的中间数据，则无法释放节点，特别是 Spark on K8s 的场景。
根据湖数据处理方法的步骤，本技术实施例提供的任何基于数据湖的数据处理方法都可以实现有益效果。详见上述实施例，此处不再重复
227.在一些实施例中，还提出了上述任何基于数据湖的数据处理方法中的步骤，包括计算机程序或指令，当计算机程序或指令被处理器执行时
这就是它的发展过程：使用统一的数据帮助员工获得完整的业务洞察力记录，例如客户与产品和团队之间的互动。通过调用多个系统和数据湖服务，您可以轻松协调这些数据源，以便员工可以从仪表板上查询。当您将所有数据映射到共享数据模型时，您的团队可以轻松管理数据，消除重复记录或相互冲突的规则。
181.提供查询可以通过简单的聚合标签直接创建相应的聚合数据湖引擎表，设备表数据实时写入，下游聚合表根据相应的聚合逻辑自动聚合数据，直接生成相应的结果表，简化数据处理链接，加快标签输出速度
230.为此，本技术实施例提供了一种计算机可读存储介质，其中存储了多个计算机执行指令，可以由处理器加载，以执行本技术实施例提供的任何基于数据湖的数据处理方法的步骤
78.其中，初始时序数据湖表是未存储数据的模型数据湖设备时序数据表，支持额外数据的高效顺序写入；初始模型数据湖表是未存储数据的模型数据湖表。一方面，该表模型支持根据主键实时更新，另一方面，它可以根据上游表结构的变化实时更新自己的表结构
模型数据与存储在目标状态后端的历史模型数据进行比较，根据比较结果更新历史时间数据和历史模型数据，根据更新结果将时间数据和模型数据存储在目标数据库中；基于此，可以降低下游目标数据库的更新频率，大大提高系统性能，提供基于数据湖存储技术的应用侧查询设备的最新状态和指标信息，实现湖湖数据统一实时接入数据