logo好方法网

数据处理方法、装置、计算机设备及存储介质


技术摘要:
本申请适用于大数据技术领域,提供了一种数据处理方法、装置、计算机设备及存储介质,其中,一种数据处理方法,通过获取待处理数据以及第一脚本文件,第一脚本文件用于描述第一数据处理工具对待处理数据进行数据处理的逻辑过程;根据预设的正则表达式的查找条件,查找  全部
背景技术:
随着大数据技术的发展,各种业务场景下的待处理数据越来越多,业务场景也越 来越复杂,因而对计算引擎的性能要求越来越高。目前,传统的数据处理工具采用Java将所 有数据处理功能封装到JAR(Java  Archive)包,而随着大数据发展,JAR包中的部分数据处 理功能不再适用当前数据处理环境,但由于JAR包内的功能与功能之间的耦合度较高,使得 数据处理工具的复杂性很高且可维护性非常差,导致难以去除JAR包内的无用功能,从而导 致数据处理工具的数据处理性能降低。
技术实现要素:
有鉴于此,本申请实施例提供了一种数据处理方法、装置、计算机设备及计算机可 读存储介质,以解决现有技术中数据处理工具存在数据处理性能低的问题。 本申请实施例的第一方面提供了一种数据处理方法,包括: 获取待处理数据以及第一脚本文件,第一脚本文件用于描述第一数据处理工具对 待处理数据进行数据处理的逻辑过程; 根据预设的正则表达式的查找条件,查找第一脚本文件中符合正则表达式的第一 目标字段; 根据预设的正则表达式的替换条件,将第一目标字段替换为第二目标字段,得到 第二脚本文件,第二脚本文件用于描述第二数据处理工具对待处理数据进行数据处理的逻 辑过程; 调用第二数据处理工具执行第二脚本文件,对待处理数据进行数据处理,得到数 据处理结果。 本申请实施例的第二方面提供了一种数据处理装置,包括: 获取模块,用于获取待处理数据以及第一脚本文件,第一脚本文件用于描述第一 数据处理工具对待处理数据进行数据处理的逻辑过程; 查找模块,用于根据预设的正则表达式的查找条件,查找第一脚本文件中符合正 则表达式的第一目标字段; 替换模块,用于根据预设的正则表达式的替换条件,将第一目标字段替换为第二 目标字段,得到第二脚本文件,第二脚本文件用于描述第二数据处理工具对待处理数据进 行数据处理的逻辑过程; 执行模块,用于调用第二数据处理工具执行第二脚本文件,对待处理数据进行数 据处理,得到数据处理结果。 本申请实施例的第三方面提供了一种计算机设备,包括存储器、处理器以及存储 4 CN 111611056 A 说 明 书 2/9 页 在所述存储器中并可在计算机设备上运行的计算机程序,所述处理器执行所述计算机程序 时实现第一方案提供的数据处理方法的各步骤。 本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储 介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方案提供的数据处理方 法的各步骤。 本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端 设备上运行时,使得终端设备实现第一方案提供的数据处理方法的各步骤。 实施本申请实施例提供的一种数据处理方法、装置、计算机设备及计算机可读存 储介质具有以下有益效果: 通过获取待处理数据以及第一脚本文件,从而取出原计算引擎中适用于对待处理 数据进行数据处理的处理逻辑;根据预设的正则表达式的查找条件,查找第一脚本文件中 符合正则表达式的第一目标字段,根据预设的正则表达式的替换条件,将第一目标字段替 换为第二目标字段,得到第二脚本文件,以将原引擎的处理逻辑转换为新引擎的处理逻辑, 从而可以抽取出有用的处理逻辑,进而避免因无用的处理逻辑影响数据处理效率;以及新 引擎可以是oracle引擎,被抽出的处理逻辑之间不再存在高耦合;最后调用第二数据处理 工具执行第二脚本文件,对待处理数据进行数据处理,得到数据处理结果,从而实现由新引 擎处理待处理数据,提高数据处理效率。 附图说明 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些 实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些 附图获得其他的附图。 图1是本申请实施例提供的一种数据处理方法的实现流程图; 图2是本申请另一实施例提供的一种数据处理方法的实现流程图; 图3是本申请再一实施例提供的一种数据处理方法的实现流程图; 图4是本申请实施例提供的一种数据处理装置的结构框图; 图5是本申请实施例提供的一种计算机设备的结构框图。
下载此资料需消耗2积分,
分享到:
收藏