logo好方法网

一种数据驱动的大数据分析方法、系统、装置、存储介质及终端


技术摘要:
本发明公开了一种数据驱动的大数据分析方法、系统、装置、存储介质及终端,所述方法包括:获取大数据分析任务;将所述大数据分析任务进行拆解,生成分析子任务集合;基于所述子任务集合中各子任务加载预设微服务模型进行处理,生成任务分析结果;将所述任务分析结果输  全部
背景技术:
新一代信息技术如移动互联网、物联网、社交网络、电子商务等孕育了新的应用形 态,这些应用正在源源不断地产生大数据。通过对不同来源数据的管理、处理、分析与优化, 并将结果反馈到上述应用中,将创造出巨大的经济和社会价值,形成催生社会变革的能量。 目前,数据分析方法主要是以需求驱动的,对于给定的一个具体分析任务,首先通 过需求分析明确定义数据输入、业务计算逻辑和可视化方法后,再进行任务的开发(自顶向 下)。在大数据的背景下,数据分析更多是以数据驱动的,在既有数据基础上,通过数据的不 断打通、融合、泛化,进一步驱动业务的打通、融合、泛化,逐步释放出数据的巨大价值(自底 向上)。 大数据分析任务的典型特征是数据、业务都在不断地迭代演化,甚至反向驱动需 求都在不断地随之演化。因此,在大数据背景下,我们很难感知数据的全貌特征,进而定义 出明确的分析需求,使得大数据分析任务具有很强的不确定性。如果依旧采用传统的需求 驱动方法,会导致任务的泛化能力低,不够灵活,降低任务分析效率,亟需一种以数据驱动 为特征的全新的数据分析方法。
技术实现要素:
本申请实施例提供了一种数据驱动的大数据分析方法、系统、装置、存储介质及终 端。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部 分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一 目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。 第一方面,本申请实施例提供了一种数据驱动的大数据任务分析方法,所述方法 包括: 获取大数据分析任务; 将所述大数据分析任务进行拆解,生成分析子任务集合; 基于所述子任务集合中各子任务加载预设微服务模型进行处理,生成任务分析结 果; 将所述任务分析结果输入预先定义的任务模板中进行填充,生成分析报告和/或 动静态网页。 可选的,所述将所述可视化成果物输入预先定义的任务模板中进行填充,生成分 析报告之后,还包括: 当接收到针对客户端输入的下载指令时,获取保存路径; 4 CN 111581932 A 说 明 书 2/10 页 基于所述保存路径将所述分析报告保存至客户端。 可选的,所述将所述可视化成果物输入预先定义的任务模板中进行填充,生成动 静态网页之后,还包括: 输入网页URL地址,浏览分析的内容。 可选的,所述将所述大数据分析任务进行拆解,生成分析子任务集合之后,还包 括: 基于所述子任务集合中各子任务定义模板,生成任务模板,所述任务模板包括分 析研判报告模板和网页模板; 将所述任务模板确定为预先定义的任务模板。 可选的,所述基于所述子任务集合中各子任务加载预设微服务模型进行处理,生 成任务分析结果,包括: 获取所述子任务集合中各子任务对应的数据实体; 将所述数据实体输入加载的预设微服务模型中进行处理,生成任务分析结果。 可选的,所述任务分析结果的类型包括数值类型、数据列表类型、统计图表类型、 文字类型、截图类型、图片类型以及视频类型。 可选的,所述任务分析结果的载体至少包括报告和网页。 第二方面,本申请实施例提供了一种数据驱动的大数据分析系统,所述系统包括: 数据层模块,用于将大数据分析子任务集合中各子任务的数据需求抽象为单个独 立的数据实体,作为业务层模块的输入; 业务层模块,用于将大数据分析子任务集合中各子任务的统计和计算逻辑抽象为 单个独立的业务逻辑实体,作为可视化层模块的输入; 可视化层模块,用于将大数据分析子任务集合中各子任务的可视化需求抽象为单 个独立的可视化方法实体,作为上层子任务模块的表达方式; 子任务层模块,用于定义至少一个数据实体,以所述数据实体为输入定义至少一 个业务功能实体,以所述业务功能实体的统计结果为输入定义至少一种可视化方法,并选 取其中的可视化结果作为子任务的结果输出; 任务层,用于将大数据分析任务抽象为一个任务实体,所述任务实体由多个子任 务构成,即每个大数据分析任务均有多个可视化结果构成。 第三方面,本申请实施例提供了一种数据驱动的大数据分析装置,所述装置包括: 任务获取模块,用于获取大数据分析任务; 集合生成模块,用于将所述大数据分析任务进行拆解,生成分析子任务集合; 结果生成模块,用于基于所述子任务集合中各子任务加载预设微服务模型进行处 理,生成任务分析结果; 成果物生成模块,用于将所述任务分析结果输入预先定义的任务模板中进行填 充,生成分析报告和/或动静态网页。 第四方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有 多条指令,所述指令适于由处理器加载并执行上述的方法步骤。 第五方面,本申请实施例提供一种终端,可包括:处理器和存储器;其中,所述存储 器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。 5 CN 111581932 A 说 明 书 3/10 页 本申请实施例提供的技术方案可以包括以下有益效果: 在本申请实施例中,用户终端首先获取大数据分析任务,再将所述大数据分析任 务进行拆解,生成分析子任务集合,然后基于所述子任务集合中各子任务加载预设微服务 模型进行处理,生成任务分析结果,最后将所述任务分析结果输入预先定义的任务模板中 进行填充,生成分析报告和/或动静态网页。本申请针对大数据分析任务需求不确定性强的 典型特征,以数据驱动为基础,对传统数据分析流程进行抽象和分层解耦,不断提升数据、 业务和可视化的泛化能力,以实现大数据分析架构的高复用性和高可扩展性,从而提高任 务分析效率和灵活性。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不 能限制本发明。 附图说明 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施 例,并与说明书一起用于解释本发明的原理。 图1是本申请实施例提供的一种数据驱动的大数据分析方法的流程示意图; 图2是本申请实施例提供的基于大数据的一种任务分析过程的过程示意图; 图3是本申请实施例提供的基于大数据的另一种任务分析过程的过程示意图; 图4是本申请实施例提供的基于大数据的一种任务分析场景的场景示意图; 图5是本申请实施例提供的另一种数据驱动的大数据分析方法的流程示意图; 图6是本申请实施例提供的一种数据驱动的大数据分析装置的装置示意图; 图7是本申请实施例提供的一种终端的结构示意图。
下载此资料需消耗2积分,
分享到:
收藏