技术摘要：
本发明实施例提供一种分布式数据开发引擎系统，该系统包括：数据开发服务群，用于开发数据任务；基础服务群，用于存储所述数据任务的数据信息；作业服务群，用于监控所述数据任务的执行。本发明实施例提供的一种分布式数据开发引擎系统，通过数据开发服务群、基础服务  全部
背景技术：
随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据作为国家 战略，在推动我国经济转型升级过程中发挥着关键作用，其已经渗透到当今每一个行业和 业务职能领域，成为重要的生产因素，逐渐成为现代社会发展的资源，各行各业都开始重视 数据的价值。 在传统企业级数据任务开发过程中，因数据逻辑本身的复杂度原因，会面临四大 困难： 1)系统独立数据隔离 在传统烟囱式的应用开发架构下，形成了诸多的数据孤岛，数据共享不畅。当应用 需求在不断变换，多个服务模块都可能会面临接口的调整甚至重构，导致应用迭代效率低 下。 2)敏捷能力差 面对快速迭代的业务需求，业务人员对数据分析及展现提出了更高的敏捷化的要 求。IT技术人员与业务人员之间针对需求变更和迭代的沟通时间太长。 3)核心系统压力大 随着移动互联网的兴起，越来越多的系统面临高并发、低延迟、高吞吐的压力，导 致大量业务系统需要频繁扩容，维护团队疲于奔命 4)数据访问能力低 全量历史数据提供直接在线服务时因数据量过大，数据展现时因为加载时间过长 引起使用者不满。
技术实现要素：
针对现有技术存在的问题，本发明实施例提供一种分布式数据开发引擎系统。 本发明提供一种分布式数据开发引擎系统，包括： 数据开发服务群，用于开发数据任务； 基础服务群，用于存储所述数据任务的数据信息； 作业服务群，用于监控所述数据任务的执行。 进一步地，所述数据开发服务群包括引擎管理服务单元、数据管理服务单元和数 据开发服务单元，其中： 引擎管理服务单元，用于创建执行所述数据任务的数据引擎。 数据管理服务单元，用于创建对应于所述数据引擎的数据源，以及配置对应于所 述数据源的数据接口。 数据开发服务单元，用于根据所述数据引擎和所述数据源开发数据任务。 3 CN 111596950 A 说　明　书 2/4 页 进一步地，所述基础服务群包括元数据服务单元、标签服务单元和数据质量服务 单元，其中： 元数据服务单元，用于存储及管理对应于数据源的底层数据； 标签服务单元，用于创建及存储对应于数据源的标签； 数据质量服务单元，用于创建及存储对数据源进行分析判定的数据质量规则。 进一步地，所述作业服务群包括监控服务单元、发布服务单元和操作服务单元，其 中： 监控服务单元，用于配置对应于数据任务的监控配置信息和预警配置信息； 发布服务单元，用于发布开发后的数据任务； 操作服务单元，用于支持数据任务开发过程中的权限管理与控制。 进一步地，所述作业服务群还包括运维服务单元，用于对所述数据任务进行监控 及操作。 本发明实施例提供的一种分布式数据开发引擎系统，通过数据开发服务群、基础 服务群和作业服务群之间的服务关联，将数据任务开发过程抽象为多个核心服务，服务间 相互协同，达到数据平台化统一治理，解决传统数据开发规范无法统一、流程无法统一，调 度无法统一，上线发布无法统一管控的问题。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1是本发明实施例提供的分布式数据开发引擎系统的结构图； 图2是本发明实施例提供的各服务群的结构组成图； 图3是本发明实施例提供的各服务单元间协作工作流程图； 图4是本发明实施例提供各服务单元间协作工作时序图。