logo好方法网

一种基于RDC不定长分块策略的数据同步方法及装置


技术摘要:
本发明公开了一种基于RDC不定长分块策略的数据同步系统及方法,所述方法包括如下步骤:步骤S1,由源端将需要同步的块设备/文件信息发送至备端;步骤S2,获取备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校验和;步骤S3,源端读取所述块设备/文件的各数据  全部
背景技术:
数据备份是容灾的基础。数据备份的过程就是将生产机的数据同步到目标机。 在数据同步过程中,目前普遍采用的方法是将需要备份的文件或块设备(例如磁 盘)分成等长的数据块,对每个数据块进行校验和同步。这种等长的数据块方法有效地提高 了数据同步效率,同时缓解了内存压力。但同时,该方法也有不小的弊端,其中较为明显的 一个弊端就是:当生产机增量数据不多或增量数据块比较集中时,该方法会对不变的数据 块多次等长发送,导致同步效率较低。
技术实现要素:
为克服上述现有技术存在的不足,本发明之目的在于提供一种基于RDC不定长分 块策略的数据同步方法及装置,以实现不定长地发送增量数据块和不变数据块,从而提高 数据同步效率。 为达上述目的,本发明提供一种基于RDC不定长分块策略的数据同步系统,包括: 源端,将需要同步的块设备/文件信息发送至备端,获取所述备端发送的该块设 备/文件对应的备份块设备/文件的各数据块的校验和,读取源端所述块设备/文件的各数 据块并计算校验和,将计算获得的校验和与获得的备份块设备/文件对应数据块的校验和 对比,根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据块,并对 连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步; 备端,用于获取所述源端发送的需要同步的块设备/文件信息,根据需要同步的块 设备/文件信息获取备端本机的所述备份块设备/文件,读取并计算所述备份块设备/文件 各数据块的校验和,并发送至所述源端,于接收到所述源端的同步数据后,对连续性不变数 据块以及连续性增量数据块采用对应策略进行同步处理。 优选地,所述源端包括: 发送单元,用于将需要同步的块设备或文件信息发送至所述备端; 备端校验和接收单元,用于接收所述备端发送的对应备份块设备/文件的各数据 块的校验和; 源端校验和计算比对单元,用于读取所述块设备/文件的各数据块,计算各数据块 的校验和,与接收的备份块设备/文件的对应数据块的校验和进行比对; 统计单元,用于根据所述源端校验和计算比对单元的计算比对结果累计校验和相 同的和校验和不同的连续性数据块; 同步单元,用于根据统计结果,分别发送校验和相同的连续多个数据块偏移量和 大小,以及校验和不同的连续多个数据块偏移量和增量数据至所述备端。 4 CN 111581031 A 说 明 书 2/7 页 优选地,所述备端校验和接收单元于接收到所述备端发送的对应备份块设备/文 件的各数据块的校验和后,将其加载至一校验和线性表中。 优选地,所述统计单元分别累计统计连续性的校验和相同的数据块直到校验结果 不同,以及累计统计连续性的校验和不同的数据块,直到校验结果相同。 优选地,所述统计单元将各累计值与预设的最大发送数据块阈值进行比对,当其 中之一或全部累计值到达所述最大发送数据块阈值时,启动所述同步单元。 优选地,所述备端进一步包括: 接收单元,用于接收所述源端发送的需要同步的块设备/文件信息,并于本机获取 对应的备份块设备/文件; 备端校验和计算单元,用于读取该备份块设备/文件的各数据块,计算其校验和, 并发送至所述源端; 同步处理单元,根据接收到源端同步单元发送的校验和相同的连续多个数据块偏 移量和大小于备端本机获取对应的备份块设备/文件的相应数据,并与接收到的源端同步 单元发送的校验和不同的连续多个数据块偏移量和增量数据合并形成新的备份块设备/文 件。 优选地,所述同步处理单元于所述备端创建一用于备份该块设备/文件的临时文 件,对接收到的源端同步单元发送的校验和相同的连续多个数据块偏移量和大小,根据该 偏移量和大小读取备端本机中对应的备份块设备/文件的相应数据写入所述临时文件中, 对接收到的源端同步单元发送的校验和不同的连续多个数据块偏移量和增量数据,根据偏 移量和大小,将增量数据写入该临时文件中,并于备份完成后,将所述临时文件设置为所述 新的备份块设备/文件,同时删除备端原备份块设备/文件。 为达到上述目的,本发明还提供一种基于RDC不定长分块策略的数据同步方法,包 括如下步骤: 步骤S1,由源端将需要同步的块设备/文件信息发送至备端; 步骤S2,获取备端发送的该块设备/文件对应的备份块设备/文件的各数据块的校 验和; 步骤S3,源端读取所述块设备/文件的各数据块,并计算校验和,将计算获得的校 验和与获得的备份块设备/文件对应数据块的校验和对比; 步骤S4,根据步骤S3的对比结果基于不定长策略确定连续性不变数据块以及连续 性增量数据块,并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同 步。 优选地,于步骤S4中,分别累计统计连续性的校验和相同的数据块,以及连续性的 校验和不同的数据块,分别发送校验和相同的连续多个数据块偏移量和大小,以及校验和 不同的连续多个数据块偏移量和增量数据至备端。 优选地,于步骤S4后,还包括如下步骤: 步骤S5,于备端创建一用于备份该块设备/文件的临时文件对接收到源端发送的 校验和相同的连续多个数据块偏移量和大小,根据该偏移量和大小读取备端本机中对应的 备份块设备/文件的相应数据写入临时文件中,对接收到源端发送的校验和不同的连续多 个数据块偏移量和增量数据,则根据偏移量和大小,将增量数据写入该临时文件中,并于备 5 CN 111581031 A 说 明 书 3/7 页 份完成后,将所述临时文件设置为所述新的备份块设备/文件,同时删除备端原备份块设 备/文件。 与现有技术相比,本发明一种基于RDC不定长分块策略的数据同步系统及方法通 过在源端获取备端发送的备份块设备/文件的各数据块的校验和,然后读取源端块设备/文 件的各数据块并计算校验和,将计算获得的校验和与获得的备份块设备/文件对应数据块 的校验和对比,根据对比结果基于不定长策略确定连续性不变数据块以及连续性增量数据 块,并对连续性不变数据块以及连续性增量数据块采用不同策略分别进行同步,实现了不 定长地发送增量数据块和不变数据块的目的,从而提高了数据同步的效率。 附图说明 图1为本发明一种基于RDC不定长分块策略的数据同步系统的系统架构图; 图2为本发明一种基于RDC不定长分块策略的数据同步方法的步骤流程图; 图3为本发明实施例中基于RDC不定长分块策略的数据同步流程图; 图4为本发明实施例中不定长策略的流程图。
下载此资料需消耗2积分,
分享到:
收藏