logo好方法网

一种区块链云存储用户数据去重解决方法


技术摘要:
一种区块链云存储用户数据去重解决方法,共分为五个步骤,步骤A:客户端经PC机内应用构建单元构建区块链客户端运行环境及下载运行框架;步骤B:客户经客户端内应用分片切割单元对要上传的文件进行切割分片;步骤C:客户经客户端内应用数据处理单元对切割分片后的数据进  全部
背景技术:
云存储是指通过集群应用、网格技术或分布式文件系统,将网络中大量不同类型 的存储设备通过虚拟化软件集合起来协同工作,共同对外提供数据存储和业务访问功能, 是对虚拟化存储资源的管理和使用。 目前,提供集中式云存储和云计算的厂商如百度云盘、腾讯微云、阿里云等,使用 的依然是传统的中心化服务模式,这种中心化的云存储服务易于实现和推广,但其也有较 为明显的弊端,其中心化平台的搭建需要耗费大量的人力物力,运行成本较高,且随着网络 中云存储需求的增加,中心化平台需要不断地扩建强化才能满足数据交换及共享的速率要 求。而且更为重要是,基于传统的中心化服务模式,实际应用中,用户数据去重效率低下,同 时也不支持用户文件数据历史版本的回溯和追踪,因而存在一定局限性。
技术实现要素:
为了克服现有云存储中,因为采用中心化服务模式,存在中心化平台的搭建需要 耗费大量的人力物力,运行成本较高,用户数据去重效率低下,不支持用户文件数据历史版 本的回溯和追踪的弊端,本发明提供了基于区块链技术具有天然的去中心化特征作为基 础,一共采用五个步骤,通过共识算法实现了各网络节点间的互通互信,采用数据分片和数 据Hash化(散列函数算法)能高效的解决用户数据历史版本的回溯追踪,并极大提升了用户 数据去重效率的一种区块链云存储用户数据去重解决方法。 本发明解决其技术问题所采用的技术方案是: 一种区块链云存储用户数据去重解决方法,其特征在于共分为五个步骤,步骤A: 客户端经PC机内应用构建单元构建区块链客户端运行环境及下载运行框架;步骤B:客户经 客户端内应用分片切割单元对要上传的文件进行切割分片,具体应用中,客户端的分片切 割单元调用Split(函数)方法,根据区块链提供的分割标准切分文件;步骤C:客户经客户端 内应用数据处理单元对切割分片后的数据进行Hash(散列函数)化处理,并经区块链上传提 交;步骤D:云端区块链存储节点对客户端提交的Hash(散列函数)列表进行校验,根据Hash 值过滤已经保存过的文件分片信息;步骤E:客户端的数据处理单元为文件分片Hash值,生 成Merkle树根,采用Merkle树校验法以校验客户端在区块链中存储数据是否完整可用。 所述步骤A中,客户端和区块链网络直接交互,使整个云存储系统达成去中心化分 布式自治;其中,客户端在区块链中存储Hash值和数据正文两部分,Hash值存贮在区块链中 的共识节点,数据正文存储在区块链中存储节点。 所述步骤B中,客户端对存储的数据进行切割分片,分片的大小和数量是根据用户 数据大小和区块链网络动态调整。 所述步骤C中,是把任意长度的输入(又叫做预映射pre-image)通过散列算法变换 3 CN 111586109 A 说 明 书 2/4 页 成固定长度的输出,固定长度的输出输出就是散列值。 所述步骤D中,客户端提交文件分片的Hash列表到区块链网络中的共识节点,共识 节点广播数据;负责区块链中存储的存储节点收到广播数据后,并和本地已经存储的数据 进行比较,如果有相同的数据,存储节点则通知共识节点,共识节点收到数据通知客户端, 客户端数据处理单元把区块链中已经存在的分片数据处理过滤掉,客户端不用重新上传; 共识节点通过比较每个分片文件Hash值,相同Hash值的文件分片将不会重复保存,这样极 大缩减存储文件的空间,文件越是相似,去重率越高,并实现用户数据历史版本的回溯追 踪。 所述步骤E中,Merkle树能直接下载并立即验证Merkle树的一个分支,实际应用 中,能将文件切分成小的数据块,如果有一块数据损坏,仅仅重新下载此数据块就能满足需 要,如果文件非常大,Merkle树可以一次下载一个分支,然后立即验证这个分支,如果分支 验证通过,客户端就能下载数据了。 本发明有益效果是:本发明基于区块链技术具有天然的去中心化特征作为基础, 在客户端相应应用单元等共同作用下,一共采用五个步骤,通过共识算法实现了各网络节 点间的互通互信,并采用数据分片和数据Hash化(散列函数算法),能高效的解决用户数据 历史版本的回溯追踪,并极大提升用户数据去重效率。基于上述,本发明具有好的应用前 景。 附图说明 以下结合附图和实施例将本发明做进一步说明。 图1为本发明区块链技术中文件结构定义示意图。 图2为本发明区块链技术中Merkle树根生成示意图。 图3为本发明区块链技术中Merkle树节点示意图。 图4为本发明用户文件上传过程示意图。 图5是本发明工作流程框图示意。
分享到:
收藏