logo好方法网

基于元数据和影子文件的系统信息备份与重构方法


技术摘要:
本发明公开了一种基于元数据和影子文件的系统信息备份与重构方法,包括:备份待备份数据块,并记录其元数据,在检测到元数据在修改时,生成该元数据的第一备份文件,第一备份文件与元数据同步,以及在元数据修改有效时,将第一备份文件更新为一级影子文件;一级影子文  全部
背景技术:
随着云计算和“互联网 ”应用的普及,分布式存储系统在电网系统中得到广泛的 应用,用户访问不良特征和系统软硬件的错误导致站点的失效非常之多。为了提高分布式 存储系统的可靠性,系统通常引入数据冗余机制和数据还原重构策略,当系统发生站点失 效时,为保证持续的可靠性,系统需要将失效站点上的数据重新修复到新的站点上。 在使用和设计分布式存储系统时,非常重要的一个环节是数据寻址,即定位数据 副本存放在哪个站点(甚至哪块磁盘);目前有几种常用的解决方案有中心节点管理元数据 和分布式管理元数据。其不足在于:若在操作元数据时,若非正常退出,由可能造成元数据 丢失,若元数据丢失,则造成分布式存储系统异常;故该现有的分布式存储系统存在容错能 力差的问题。
技术实现要素:
本发明的目的在于解决现有分布式存储系统数据容错能力差的问题,提供一种基 于元数据和影子文件的系统信息备份与重构方法,提高系统容错能力。 为了实现所述目的,本公开的第一方面,基于元数据和影子文件的系统信息备份 方法,应用于分布式存储系统,包括: 获取待备份数据块; 将待备份数据块的至少两个副本备份到所述分布式存储系统的不同站点,并记录 其元数据; 检测到元数据在修改时,生成该元数据的第一备份文件,并使第一备份文件与所 述元数据同步,以及在元数据修改有效时,将所述第一备份文件更新为一级影子文件,所述 一级影子文件在元数据由于非正常退出而丢失数据时,恢复丢失的元数据。 可选的,所述方法还包括: 在元数据修改前,生成该元数据的第二备份文件,以记录修改前的元数据;在元数 据修改有效时,其第一备份文件更新为一级影子文件后,将所述第二备份文件更新为二级 影子文件; 在接收到用于指示将元数据恢复到上一状态的信号时,根据所述二级影子文件恢 复相应元数据到上一状态。 可选的,所述获取待备份数据块包括: 获取待备份数据; 将所述待备份数据分割为若干待备份数据块,以使所述待备份数据块的容量不大 于第一预设值。 4 CN 111581013 A 说 明 书 2/7 页 可选的,所述第一预设值为64M。 可选的,将待备份数据块的至少两个副本备份到所述分布式存储系统的不同站 点,包括: 将待备份数据块的一个副本存储在所述分布式存储系统的第一站点内; 将待备份数据块的二个副本存储在与所述第一站点拓扑距离最短的两个站点内; 将待备份数据块的一份副本存储在中心站点。 可选的,所述方法还包括: 在副本操作完成且在第一预设时长内未进行读写操作时,对所述副本进行更新, 并更新该副本的元数据。 可选的,所述元数据记录有用户信息、文件元数据和/或存储资源信息。 可选的,所述元数据记录有副本的归属关系、副本备份前的保存路径、副本备份后 的存储位置和/或备份方式。 本公开的第二方面,基于元数据和影子文件的系统信息重构方法,应用于分布式 存储系统,所述方法包括: 执行本公开的第一方面中任一所述方法的步骤; 获取待还原数据的元数据; 基于所述元数据,将存放在不同站点位置的数据取回并还原。 可选的,所述方法还包括: 在数据库执行过程中,对参与站点的执行结果进行检测,如果在第二预设时长内 没有收到执行结果,则判断对应站点为故障站点; 根据元数据,获取故障站点内数据的其他备份,并增加一份备份,将增加的一份备 份放入其他邻近站点,同时更新元数据。 通过实施本公开的技术方案可以取得以下有益技术效果:本公开的技术方案,可 以在元数据由于非正常退出而丢失数据时,恢复丢失的元数据,使得系统元数据由于非正 常退出而丢失数据时,依旧可以正常运行,进而提高系统的容错能力。 附图说明 图1为本公开的基于元数据和影子文件的系统信息备份方法的一种流程图 图2为本公开的一种分布式存储系统架构图; 图3为本公开的一种数据备份框架图。
下载此资料需消耗2积分,
分享到:
收藏