logo好方法网

异构数据的处理方法、装置以及计算机设备


技术摘要:
本申请提供了一种异构数据的处理方法、装置以及计算机设备,涉及数据处理技术领域,缓解了对异构数据进行处理的工作难度较大的技术问题。该方法包括:基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;按照所述异构数据的实体内容属性生成若干  全部
背景技术:
在数据处理的过程中,经常需要对大批量的多种不同数据结构的数据进行处理。 例如,在金融保险或银行行业,需要对接来自多种不同资金渠道的数据,对于不同的资金渠 道,导致数据提供方式各不相同,数据格式结构也都各异,导致需要处理大量的异构数据。 目前的异构数据批处理方法,一般需要根据异构批量数据的数据格式提供方式, 开发对应不同的批量处理程序,才能进行数据的统一更新或入库操作。但是,由于数据业务 量较大,处理逻辑复杂,导致开发工作量较大,导致异构数据处理的工作难度较大。
技术实现要素:
本发明的目的在于提供一种异构数据的处理方法、装置以及计算机设备,以缓解 对异构数据进行处理的工作难度较大的技术问题。 第一方面,本申请实施例提供了一种异构数据的处理方法,所述异构数据的数据 结构不相同;所述方法包括: 基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类; 按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与 所述数据加载映射类之间的计算关系; 利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。 在一个可能的实现中,基于所述数据结构建立所述异构数据在数据加载过程中使 用的数据加载映射类的步骤,包括: 基于所述数据结构中的数据格式选择数据加载器插件; 通过所述数据加载器插件建立所述异构数据在数据加载过程中使用的数据加载 映射类。 在一个可能的实现中,按照所述异构数据的实体内容属性生成若干个实体类的步 骤,包括: 根据所述异构数据的上游数据接口生成若干个实体类,所述实体类与上游数据接 口的实体内容属性相对应; 其中,同构数据的所述实体类根据数据表的结构生成,所述数据表中包含与所有 业务相关的字段,所述异构数据的数据转换过程是根据所述数据表的结构执行。 在一个可能的实现中,所述计算关系通过计算表达式或所述实体类的属性名称进 行自动复制操作。 在一个可能的实现中,利用所述计算关系将所述异构数据转化为数据结构相同的 同构数据的步骤,包括: 4 CN 111611441 A 说 明 书 2/11 页 计算所述数据加载映射类的属性值; 利用所述计算关系将所述属性值赋值到所述实体类中,以将所述异构数据转化为 数据结构相同的同构数据。 在一个可能的实现中,所述异构数据的数据源不相同;所述方法还包括: 根据所述数据源选择数据下载器插件; 利用所述数据下载器插件对所述异构数据进行下载。 在一个可能的实现中,所述异构数据的数据读取方式不相同;利用所述数据下载 器插件对所述异构数据进行下载的步骤之后,还包括: 基于所述数据读取方式,确定所述异构数据的读取解析方式; 按照所述读取解析方式利用所述数据加载器插件,对所述数据下载器插件下载的 所述异构数据进行解析和读取。 第二方面,提供了一种异构数据的处理装置,所述异构数据的数据结构不相同;所 述装置包括: 建立模块,用于基于所述数据结构建立所述异构数据在数据加载过程中使用的数 据加载映射类; 确定模块,用于按照所述异构数据的实体内容属性生成若干个实体类,并确定每 个所述实体类与所述数据加载映射类之间的计算关系; 转化模块,用于利用所述计算关系将所述异构数据转化为数据结构相同的同构数 据。 第三方面,本申请实施例又提供了一种计算机设备,包括存储器、处理器,所述存 储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实 现上述的第一方面所述方法。 第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存 储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计 算机可运行指令促使所述处理器运行上述的第一方面所述方法。 本申请实施例带来了以下有益效果: 本申请实施例提供的一种异构数据的处理方法、装置以及计算机设备,能够基于 数据结构建立异构数据在数据加载过程中使用的数据加载映射类,按照异构数据的实体内 容属性生成若干个实体类,并确定每个实体类与数据加载映射类之间的计算关系,然后,利 用计算关系将异构数据转化为数据结构相同的同构数据,本方案中,通过每个实体类与数 据加载映射类之间的计算关系将异构数据转化为数据结构相同的同构数据,将业务与功能 完全分离,降低业务耦合,增加了模块的复用性,免除了重复开发工作,能够灵活支持多源 异构批量数据的处理,同时也提供了一种简单快捷的接入方式,降低了对异构数据进行数 据处理的工作难度。 为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合 所附附图,作详细说明如下。 附图说明 为了更清楚地说明本申请
下载此资料需消耗2积分,
分享到:
收藏