logo好方法网

一种信息处理方法、系统、电子设备及存储介质


技术摘要:
本发明提供一种信息处理方法、系统、电子设备及存储介质,该方法包括:获取当前进程组的待处理信息;若存在关键字序列为非有序关键字序列的进程,则将该进程的关键字序列处理为有序关键字序列;当需要进行负载调整处理时,对当前进程组进行进程间负载调整处理,以使各  全部
背景技术:
在数据库和互联网等技术领域,通常需要从一组信息中找出所需的信息。为了能 快速查找出所需的信息,一种有效的办法就是建立信息的包含关键字(可以是任意位数的 整数或浮点数,也可以是任意长度的字符串等)的数据结构,并将一组信息根据关键字的某 种顺序组织起来。排序就是一种能有效组织信息的方法,它能将一组信息调整为关键字有 序的一组信息;而后,可基于关键字快速查找到所需信息。 在过去,由于数据库和互联网等领域要处理的信息较少,通常只需用一个处理器 核就能完成一组信息从关键字无序到有序的调整。随着信息量的增加,需要利用在同一计 算节点内多个处理器核的并行计算来加速调整。当前,要处理的信息量已达到了海量,如T 级甚至P级,一个计算节点无论是计算能力还是存储能力都无法满足需求,需要高效利用多 个计算节点间的并行计算,才能及时完成调整。 要在多个计算节点间完成海量信息从关键字无序到有序的调整,复杂度比较高, 也效率低下,因此,亟需一种能够在多个计算节点间完成海量信息顺序调整的信息处理方 案,以提高处理效率。
技术实现要素:
针对上述技术问题,本发明提供一种信息处理方法、系统、电子设备及存储介质, 能够在多个计算节点间完成海量信息顺序调整的信息处理,从而提高处理效率。 第一方面,本发明提供一种信息处理方法,包括: 获取当前进程组的待处理信息,其中,所述当前进程组包括至少两个不同进程,所述待 处理信息的每个信息包含一个用于标记或搜索查询该信息的关键字,所述待处理信息的所 有关键字已分散存储在当前进程组的各个进程中,在各个进程组形成关键字序列; 若存在关键字序列为非有序关键字序列的进程,则将该进程的关键字序列处理为有序 关键字序列; 当需要进行负载调整处理时,对当前进程组进行进程间负载调整处理,以使各进程间 的负载均衡; 计算当前进程组的公共分界值; 根据所述公共分界值,在当前进程组的每两个进程间进行关键字归并排序处理; 将所述关键字归并排序处理的结果分散存储在当前进程组的各个进程中,各进程分散 存储有序关键字序列,且第i进程上的任意关键字都小于第i 1进程上的任意关键字。 更进一步地,所述方法还包括: 根据所述公共分界值,得到第一子进程组和第二子进程组,其中,第一子进程组中的所 5 CN 111597054 A 说 明 书 2/13 页 有关键字小于所述公共分界值,第二子进程组中的所有关键字大于所述公共分界值。 更进一步地,所述方法还包括: 当所述第一子进程组或第二子进程组包括至少两个进程时,执行所述获取当前进程组 的待处理信息,以对该子进程组进行信息处理。 更进一步地,所述当需要进行负载调整处理时,对当前进程组进行进程间负载调 整处理,以使各进程间的负载均衡,包括: 获取当前进程组所有进程的负载信息,并汇集于当前进程组的主进程; 在所述主进程中对当前进程组的所有进程的负载进行排序处理,得到当前进程组的负 载有序数组,并将所述负载有序数组发送给当前进程组的所有进程; 根据所述当前进程组的负载信息,判断是否需要进行负载调整处理; 当需要进行负载调整处理时,根据所述负载有序数组将当前进程组的所有进程划分成 若干进程对,在各进程对的两个进程之间进行负载调整处理,其中,负载第i大的进程与负 载第N-i大的进程组成一个进程对,i
下载此资料需消耗2积分,
分享到:
收藏