logo好方法网

Azkaban项目的文件生成方法、装置及终端设备


技术摘要:
本申请适用于大数据技术领域,提供了Azkaban项目的文件生成方法、装置及终端设备,包括:获取目标项目的数据库操作文件;获取每个所述数据库操作文件对应的查询数据表信息及存入数据表信息;根据所述查询数据表信息及所述存入数据表信息,确定每个所述数据库操作文件之  全部
背景技术:
Azkaban是Linkedln开源的一个非常受欢迎的任务调度系统,将一个项目对应的 脚本文件上传至Azkaban平台运行,便可实现对该项目的任务调度。 在现有技术中,通常需要手工为项目中的每个操作文件写出对应的任务脚本文 件,这种方式操作繁琐且花费时间长,而且极可能忽略掉了其中某个文件的依赖配置,导致 最终项目运行错误。
技术实现要素:
有鉴于此,本申请实施例提供了Azkaban项目的文件生成方法、装置及终端设备, 以解决现有技术中如何自动生成Azkaban项目的文件的问题。 本申请实施例的第一方面提供了一种Azkaban项目的文件生成方法,包括: 获取目标项目的数据库操作文件; 获取每个所述数据库操作文件对应的查询数据表信息及存入数据表信息; 根据所述查询数据表信息及所述存入数据表信息,确定每个所述数据库操作文件 之间的依赖关系; 根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban文件。 可选地,所述获取每个所述数据库操作文件对应的查询数据表信息及存入数据表 信息,包括: 根据每个所述数据库操作文件中的查表操作关键字,获取对应的查询数据表信 息; 根据每个所述数据库操作文件中的建表操作关键字和插入操作关键字,获取对应 的存入数据表信息。 可选地,第一数据库操作文件和第二数据库操作文件分别为不同的数据库操作文 件,对应地,所述根据所述查询数据表信息及所述存入数据表信息,确定每个所述数据库操 作文件之间的依赖关系,包括: 若所述第一数据库操作文件对应的查询数据表信息与所述第二数据库操作文件 对应的存入数据表信息中存在相同的数据表信息,则确定所述第一数据库操作文件依赖于 所述第二数据库操作文件。 可选地,在所述根据所述查询数据表信息及所述存入数据表信息,确定每个所述 数据库操作文件之间的依赖关系之后,还包括: 根据所述存入数据表信息,确定每个所述数据库操作文件之间的依赖关系。 可选地,第三数据库操作文件和第四数据库操作文件分别为不同的数据库操作文 4 CN 111581207 A 说 明 书 2/11 页 件所述根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban文件,包括: 根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban文件;其中,若 第三数据库操作文件依赖于第四数据库操作文件,则所述第三数据库操作文件对应的 Azkaban文件包括添加的依赖配置信息,所述依赖配置信息包含所述第四数据库操作文件 对应的Azkaban文件的文件名信息。 可选地,第三数据库操作文件和第四数据库操作文件分别为不同的数据库操作文 件所述根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban文件,包括: 根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban文件;其中,若 第三数据库操作文件依赖于第四数据库操作文件,则所述第三数据库操作文件对应的 Azkaban文件包括添加的依赖配置信息,所述依赖配置信息包含所述第四数据库操作文件 对应的Azkaban文件的文件名信息。 可选地,在所述根据所述依赖关系,生成每个所述数据库操作文件对应的Azkaban 文件之后,还包括: 将目标项目的数据库操作文件和对应的所述Azkaban文件进行打包压缩,生成目 标项目对应的目标文件。 本申请实施例的第二方面提供了一种Azkaban项目的文件生成装置,包括: 第一获取单元,用于获取目标项目的数据库操作文件; 第二获取单元,用于获取每个所述数据库操作文件对应的查询数据表信息及存入 数据表信息; 依赖关系确定单元,用于根据所述查询数据表信息及所述存入数据表信息,确定 每个所述数据库操作文件之间的依赖关系; Azkaban文件生成单元,用于根据所述依赖关系,生成每个所述数据库操作文件对 应的Azkaban文件。 本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序,当所述处理器执行所述计算机程序 时,使得终端设备实现如所述Azkaban项目的文件生成方法的步骤。 本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储 介质存储有计算机程序,当所述计算机程序被处理器执行时,使得终端设备实现如所述 Azkaban项目的文件生成方法的步骤。 本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端 设备上运行时,使得终端设备执行上述第一方面中任一项所述的Azkaban项目的文件生成 方法。 本申请实施例与现有技术相比存在的有益效果是:本申请实施例中,由于能够自 动获取目标项目中每个数据库操作文件中对应的查询数据表信息及存入数据表信息,并根 据这两个信息自动确定数据库操作文件之间的依赖关系,最终生成每个数据库操作文件对 应的Azkaban文件,因此能够准确地配置数据库操作文件之间的依赖关系,准确生成目标项 目的Azkaban文件,实现Azkaban项目的文件的自动生成,节约人工成本及时间成本,提高 Azkaban项目文件生成的效率及准确性。 5 CN 111581207 A 说 明 书 3/11 页 附图说明 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些 实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附 图获得其他的附图。 图1是本申请实施例提供的第一种Azkaban项目的文件生成方法的实现流程示意 图; 图2是本申请实施例提供的第二种Azkaban项目的文件生成方法的实现流程示意 图; 图3是本申请实施例提供的Azkaban项目的文件生成装置的示意图; 图4是本申请实施例提供的终端设备的示意图。
分享到:
收藏