本实施例提供的方法为大数据提供了数据统一管理开发的标准化解决方案,统一的数据接口提供了标准化的大数据集群适配器,实现了数据平台软件系统和大数据集群的完全解耦,简化了标准化数据接口定义中大数据集群的差异化适配工作量,使用数据请求智能路由方案访问数据,它完全屏蔽了软件开发对底层大数据物理存储的集群差异化。在代码层面访问多个集群就像访问一个集群一样简单。在大规模的多集群部署场景中,只需要一套数据平台软件系统,大大提高了硬件资源的利用率
本实施例提供的系统提供了数据统一管理开发的标准化解决方案,统一的数据接口提供了标准化的大数据集群适配器,实现了数据平台软件系统和大数据集群的完全解耦,简化了标准化数据接口定义中的大数据集群差异化适配工作量,使用数据请求智能路由方案访问数据,它完全屏蔽了软件开发对底层大数据物理存储的集群差异化。在代码层面访问多个集群就像访问一个集群一样简单。在大规模的多集群部署场景中,只需要一套数据平台软件系统,大大提高了硬件资源的利用率
构建集成人工智能能力的大数据平台。PaaS底座实现多模态海量数据的统一存储/计算,支持数据存算分离、多中心协作跨源跨域调度、人工智能培训推广一体化、本地化适应,提供综合部署运营服务。数据平台具有低代码集成研发、大模型辅助操作、大模型增强分析、原生安全等特点。内部促进企业数字化转型,有效支持不同行业的生产项目,帮助企业建设大数据人工智能基本能力,提高数据资产价值。
大数据集群用于接收目标适配器通过大数据集群接口调用的指示,在运行队列中执行相应的任务,将接口调用的执行结果返回到目标适配器,并通过目标适配器返回到数据中心软件系统,完成用户前端的任务请求
在中间,当数据中心软件系统要求大数据集群时,首先调用大数据集群适配器的标准化接口。由于标准化接口没有差异,调用过程不需要代码明确指定目标服务名称,运行环境将初始化为大数据集群适配器的标准化数据要求,用于智能路由识别和完成准确路由
此外,数据中心软件系统根据实时接收至少两个服务列表确定大数据集群适配器服务列表的服务名称和地址列表的变化
大数据集群需要一对一部署多个数据平台软件系统,多个数据平台软件系统相互独立,会造成以下缺点:多套数据平台软件系统跟随大数据集群的数量,需要更多的机器资源来处理新部署的大数据集群,部署机器资源不能有效利用,多套数据平台软件系统相互独立,用户权限系统和数据资源管理分离,对数据治理和使用不够友好