logo好方法网

一种数据分配方法、装置、电子设备及存储介质


技术摘要:
本申请提供了一种数据分配方法、装置、电子设备及存储介质,其中,该数据分配方法应用于目标服务节点,具体包括:基于多个第一服务节点的地址信息,从多个第一服务节点中选取处于正常工作状态的第二服务节点;其中,第二服务节点中包括目标服务节点;根据第二服务节点  全部
背景技术:
在进入大数据时代后,数据的量级逐年升高,在对大量数据进行处理时,为了保障 数据处理的及时性,以及数据处理系统工作的稳定性,通常使用多个数据处理系统同时对 大量数据进行处理。 现阶段,通过数据分配平台从数据源端获取待处理数据,并将待处理数据分配给 多个数据处理系统,但是,当数据处理系统处于异常工作状态时,无法对待处理数据进行处 理,进而导致数据处理及时性较差,效率低。
技术实现要素:
有鉴于此,本申请实施例的目的在于提供一种数据分配方法、装置、电子设备及存 储介质,每个处于正常工作状态的目标服务节点,根据该目标服务节点的第一序列号,从多 条待处理数据中选取所要处理的目标待处理数据,提高了数据处理的及时性,提高了数据 处理的效率。 第一方面,本申请实施例提供了一种数据分配方法,应用于目标服务节点,所述方 法包括: 基于多个第一服务节点的地址信息,从多个第一服务节点中选取处于正常工作状 态的第二服务节点;其中,所述第二服务节点中包括所述目标服务节点; 根据所述第二服务节点的地址信息和所述目标服务节点的地址信息,确定所述目 标服务节点的第一序列号; 基于所述目标服务节点的第一序列号,从多条待处理数据中选取所述目标服务节 点对应的目标待处理数据; 将所述目标待处理数据分配给所述目标服务节点。 在一种可能的实施方式中,所述基于多个第一服务节点的地址信息,从多个第一 服务节点中选取处于正常工作状态的第二服务节点,包括: 向每个所述第一服务节点的地址信息发送访问请求;其中,所述访问请求用于请 求每个所述第一服务节点的反馈信息; 根据每个所述第一服务节点对应的反馈信息,从所述多个第一服务节点中选取所 述第二服务节点。 在一种可能的实施方式中,所述根据所述第二服务节点的地址信息和所述目标服 务节点的地址信息,确定所述目标服务节点的第一序列号,包括: 根据每个所述第二服务节点的地址信息的排列顺序,为每个所述第二服务节点的 地址信息分配第一序列号; 4 CN 111556138 A 说 明 书 2/10 页 根据所述目标服务节点的地址信息,从每个所述第二服务节点的地址信息对应的 第一序列号中选取所述目标服务节点的第一序列号。 在一种可能的实施方式中,所述基于所述目标服务节点的第一序列号,从多条待 处理数据中选取所述目标服务节点对应的目标待处理数据,包括: 根据每条所述待处理数据的存储地址的排列顺序,为每条所述待处理数据分配第 二序列号; 根据所述待处理数据对应的第二序列号和所述第二服务节点的个数,从所述多条 待处理数据中选取所述目标服务节点对应的目标待处理数据。 在一种可能的实施方式中,所述将所述目标待处理数据分配给所述目标服务节 点,包括: 若所述目标待处理数据的条数小于等于预设阈值,则将所述目标待处理数据分配 给所述目标服务节点; 若所述目标待处理数据的条数大于所述预设阈值,则将所述目标待处理数据逐次 分配给所述目标服务节点;其中,每次为所述目标服务节点分配的目标待处理数据的条数 小于等于所述预设阈值。 在一种可能的实施方式中,所述将所述目标待处理数据分配给所述目标服务节 点,包括: 为每条所述目标待处理数据分配第一标识,并将携带有所述第一标识的所述目标 待处理数据分配给所述目标服务节点; 在所述将所述目标待处理数据分配给所述目标服务节点之后,所述方法还包括: 当所述目标服务节点对所述目标待处理数据处理完成后,将所述目标待处理数据 携带的所述第一标识替换为第二标识; 若所述目标待处理数据携带所述第一标识的时间长度大于预设时间长度,则将该 目标待处理数据确定为所述待处理数据;以便重新将该目标待处理数据进行分配。 在一种可能的实施方式中,获取所述第一服务节点的地址信息,包括: 向地址服务器发送地址请求,所述地址请求用于请求所述第一服务节点的地址信 息; 接收所述地址服务器返回的所述第一服务节点的地址信息。 第二方面,本申请实施例提供了一种数据分配装置,驻留于目标服务节点,所述装 置包括: 第一选取模块,用于基于多个第一服务节点的地址信息,从多个第一服务节点中 选取处于正常工作状态的第二服务节点;其中,所述第二服务节点中包括所述目标服务节 点; 第一确定模块,用于根据所述第二服务节点的地址信息和所述目标服务节点的地 址信息,确定所述目标服务节点的第一序列号; 第二选取模块,用于基于所述目标服务节点的第一序列号,从多条待处理数据中 选取所述目标服务节点对应的目标待处理数据; 分配模块,用于将所述目标待处理数据分配给所述目标服务节点。 第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储器和总线,所述 5 CN 111556138 A 说 明 书 3/10 页 存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述 存储器之间通过总线通信,所述处理器执行所述机器可读指令,以执行第一方面任一项所 述的数据分配方法的步骤。 第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介 质上存储有计算机程序,该计算机程序被处理器运行时执行第一方面任一项所述的数据分 配方法的步骤。 本申请实施例提供的数据分配方法、装置、电子设备及存储介质,每个处于正常工 作状态的目标服务节点,根据第一服务节点的地址信息,从第一服务节点中选取处于正常 工作状态的第二服务节点,并根据第二服务节点的地址信息和目标服务节点的地址信息, 确定目标服务节点的第一序列号,根据目标服务节点的第一序列号,从多条待处理数据中 选取目标服务节点所要处理的目标待处理数据,将目标待处理数据分配给目标服务节点进 行处理,提高了数据处理的及时性,提高了数据处理的效率。 进一步,本申请实施例提供的数据分配方法,还可以在目标服务节点对目标待处 理数据处理的过程中,对目标待处理数据进行监控,如果目标待处理数据携带第一标识的 时间长度大于预设时间长度,则重新对该目标待处理数据进行分配,进一步提高数据处理 的及时性和效率。 为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合 所附附图,作详细说明如下。 附图说明 为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附 图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对 范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这 些附图获得其他相关的附图。 图1示出了本申请实施例提供的一种数据分配方法的流程图; 图2示出了本申请实施例提供的数据分配方法中,选取第二服务节点的方法的流 程图; 图3示出了本申请实施例提供的数据分配方法中,确定目标服务节点的第一序列 号的方法的流程图; 图4示出了本申请实施例提供的数据分配方法中,选取目标待处理数据的方法的 流程图; 图5示出了本申请实施例提供的数据分配方法中,获取第一服务节点的地址信息 的方法的流程图; 图6示出了本申请实施例提供的一种数据分配装置的示意图; 图7示出了本申请实施例提供的一种电子设备的示意图。
下载此资料需消耗2积分,
分享到:
收藏