logo好方法网

基于深度图压缩算法的并行查询表现预测系统及方法


技术摘要:
本发明公开了一种基于深度图压缩算法的并行查询表现预测系统及创建和使用方法,该系统包括:查询预处理模块,用于对并行查询信息进行提取,并更新负载图的节点和边特征,以及对负载图进行合并;在线预测模块,用于利用模型计算出负载图上并行查询的执行特征;离线训练  全部
背景技术:
在数据库系统中,预测查询任务的执行表现对于满足服务等级协议(Service- Level  Agreement,SLA)有非常重要的意义,如可以应用到负载调度、参数调优、进程监控等 多种优化任务中。 然而,现有的预测方法主要面向串行查询,不能高效的预测并行执行的查询任务 表现。一个主要原因就是他们没有考虑并行执行的查询任务之间复杂的关联关系,如数据 共享、读写冲突等。这些关联关系会显著的影响查询任务实际的执行表现。尽管有一些支持 并行查询预测的传统方法,他们主要面临两个问题。首先,传统方法主要通过统计查询任务 执行过程中的逻辑指标(如页访问延迟等)来估计执行时间,不仅浪费较长的时间用于监控 统计指标,而且忽略了资源/数据竞争(如读写冲突导致的访问锁机制)造成的执行时间差 异。其次,一些方法基于数据库提供的查询计划进行表现预测,没有对目标任务和并行任务 之间的潜在执行关系进行编码,导致在负载变化时预测精度变差。 因此,在预测并行执行的查询表现过程中,主要面临两个方面的挑战: (1)如何对并行执行的查询任务进行建模。直观来说,为了预测执行时间等表现特 征,需要对查询任务的执行过程中可能影响最终表现的因素进行建模,如物理层面的执行 逻辑,物理算子的特性等。然而,现有方法,一方面不能有效的评估执行过程中并行任务可 能造成的影响,如共享数据可能加速执行,抢占内存导致执行变慢等;另一方面,他们主要 依赖执行计划、逻辑执行指标(如页访问延迟)等特征进行建模,难以对当前查询任务的执 行进度进行有效的预测追踪。因此,对于提交到数据库的查询任务,一方面,要根据算子执 行中可能存在的关联关系建立图模型;另一方面,需要根据执行进度更新图模型,更好的反 映当前的执行进度。 (2)如何预测并行执行的查询任务的表现。前一个问题中,需要把并行查询的执行 特征建模成图模型。然而,现有预测方法很难应用在图模型上。一方面,现有方法基于线性 回归等算法,预测过程中将查询本身的特性和查询间的关系用相同的方式进行处理,没能 区别算子特性和关联关系对执行表现的影响;另一方面,图模型中包含大量的结构特征,将 图模型线性的分割成线性的特征序列会造成较大的信息丢失,导致预测结果不准确。因此, 需要利用更加高效的图压缩算法,首先能够根据原始图模型捕获每个节点邻居子图的结构 特征,其次将图的结构特征进行有效的压缩,映射到和表现特征强关联的抽象特征空间中。
技术实现要素:
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。 为此,本发明的一个目的在于提出一种基于深度图压缩算法的并行查询表现预测 4 CN 111581454 A 说 明 书 2/9 页 系统,该系统可以较准确地预测数据库中并行查询的执行表现。 本发明的另一个目的在于提出一种基于深度图压缩算法的并行查询表现预测系 统的创建方法。 本发明的再一个目的在于提出一种基于深度图压缩算法的并行查询表现预测系 统的使用方法。 为达到上述目的,本发明一方面实施例提出了一种基于深度图压缩算法的并行查 询表现预测系统,包括:查询预处理模块、在线预测模块和离线训练模块; 所述查询预处理模块,用于对并行查询信息进行提取,并更新负载图的节点和边 特征,以及对负载图进行合并; 所述在线预测模块,用于利用模型计算出负载图上并行查询的执行特征; 所述离线训练模块,用于利用历史数据训练深度图压缩模型和深度学习模型以学 习模型的参数。 为达到上述目的,本发明另一方面实施例提出了一种基于深度图压缩算法的并行 查询表现预测系统的创建方法,包括以下步骤: S101,定义查询表现、物理算子的执行指标,物理算子间的执行关系; S102,基于给定的数据库系统实现查询预处理模块中的查询编码模块,图更新模 块和图合并模块; S103,建立深度图压缩模型,用于提取每个算子节点的自身特征和邻接子图结构 信息,表示为节点的结构信息; S104,建立深度学习模型,用于预测并行查询的执行时间表现特征; S105,收集历史数据训练所述深度图压缩模型和所述深度学习模型; S106,将训练后的所述深度图压缩模型和所述深度学习模型部署到系统中,通过 所述系统并行查询表现预测。 为达到上述目的,本发明再一方面实施例提出了一种基于深度图压缩算法的并行 查询表现预测系统的使用方法,包括以下步骤: S201,获取多个并行查询语句组成的工作负载,利用查询编码模块抽取工作负载 特征并更新到负载图模型中; S202,利用部署的图更新模块删除已经完成的节点,更新正在执行的节点; S203,利用部署的图合并模块将存在时间重叠且没有边关系的节点合并,得到合 并后的负载图; S204,利用部署的深度图压缩模型提取每个节点的算子特性和邻接子图特征,表 示为节点的结构信息; S205,利用部署的深度学习模型从历史数据中学习节点的结构信息到执行表现特 征的映射函数; S206,将预测结果展示给用户,并存储到数据库中。 本发明的有益效果为: 根据算子执行中可能存在的关联关系建立图模型,根据执行进度更新图模型,更 好的反映当前的执行进度; 利用更加高效的图压缩算法,能够根据原始图模型捕获每个节点邻居子图的结构 5 CN 111581454 A 说 明 书 3/9 页 特征,将图的结构特征进行有效的压缩,映射到和表现特征强关联的抽象特征空间中。 本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变 得明显,或通过本发明的实践了解到。 附图说明 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解,其中: 图1为根据本发明一个实施例的基于深度图压缩算法的并行查询表现预测系统结 构示意图; 图2为根据本发明一个实施例的基于深度图压缩算法的并行查询表现预测系统的 整体框架示意图; 图3为根据本发明一个实施例的负载图构建的实例图; 图4为根据本发明一个实施例的负载图的更新及合并算法的示意图; 图5为根据本发明一个实施例的深度图压缩模型的相关框架图; 图6为根据本发明一个实施例的基于深度图压缩算法的并行查询表现预测系统的 创建方法流程图; 图7为根据本发明一个实施例的基于深度图压缩算法的并行查询表现预测系统的 使用方法流程图。
下载此资料需消耗2积分,
分享到:
收藏