技术摘要：
本发明公开一种基于段单元的分布式存储系统的负载均衡方法，属信息安全领域，用于分布式存储系统中卷的创建、数据迁移和数据恢复，创建时，包括：构建主、从段单元及主、从段单元的组合均衡分布的段列表；均衡分布为：同属于一个段的段单元分布在不同节点上，每个节点  全部
背景技术：
在现实的生产环境中，传统网络存储已无法满足大规模存储应用的需要，分布式 存储系统应用而生。分布式存储系统利用多台存储服务器（节点）分担存储负载，以提高系 统的可靠性、可用性、存储性能和扩展性等。 数据存储的负载均衡是将数据平均分布到不同服务器上的不同存储介质（如磁 盘）上，让系统内的所有存储介质上的用户数据量基本相同。数据存储的负载均衡在分布式 存储系统中是无法避免的，正是由于数据负载均衡，才使得每台服务器和每个存储介质的 均衡地提供等量的IO。 现有的分布式存储系统的数据均衡算法只考虑如何均匀分布数据，但是在分布式 存储集群中，一份数据存在多个副本。尽管每个副本的数据是一致的，但是不同副本数据读 写过程中承担的任务不同，通常分为主副本（Primary，简称P）和从副本(Secondary，简称 S)，主副本相对从副本承担更多的IO负载。因此，尽管数据被均匀分布了，但是在分布式系 统中，负载并没有均衡。 如申请公布日为2017年2月22日，申请公布号为CN  106445411  A，专利名称为一种 数据读取方法、装置及分布式存储系统的中国专利公开了一种技术方案，包括以下步骤：主 副本所在服务器接收用户的数据读取请求；根据所有副本所在服务器的负载信息，选取负 载最小的副本所在服务器；若主副本所在服务器不是负载最小的服务器，则将数据读取请 求发送至负载最小的备副本所在服务器，以使其进行数据读取操作；接收负载最小的备副 本所在服务器读取的数据，向用户展示。该技术方案，通过选取负载最小的副本所在服务器 进行数据的读取操作，而非全部由主副本所在服务器进行数据读取操作，可以实现多个副 本所在服务器的负载均衡。 申请公布日为  2014年4月2日，申请公布号为  CN103701916A，专利名称为分布式 存储系统的动态负载均衡方法的中国专利公开了另一种技术方案，包括以下步骤：步骤1  ： 统计如下信息：统计各存储节点上对每一个客户端连接的数据存取访问，统计s个数据单位 中的每一个数据单位通过不同存储节点的访问次数，统计每个节点的空间使用率；步骤2： 根据步骤1中的上述统计数据，预先制定带宽阈值，远程访问阈值和容量阈值，所有的阈值 均为百分比，判断分布式存储系统的各节点是否出现网络负载不均衡，跨节点访问次数过 多导致的高延迟和容量极度不均衡，并根据判断结果选择迁移数据或者通过路由重定向客 户端接入访问点。 不同于上述两种技术方案，本发明提供了另一种解决负载均衡的技术方案。 4 CN 111596868 A 说　明　书 2/12 页
技术实现要素：
1.  要解决的问题 针对现有技术中分布式系统中负载不均衡的问题，本发明提供一种基于段单元的分布 式存储系统的负载均衡方法和系统。 2. 技术方案 为了解决上述问题，本发明所采用的技术方案如下：一种基于段单元的分布式存储系 统的负载均衡方法，用于分布式存储系统中卷的创建、数据迁移和数据恢复， 卷的创建包括： a1、构建主段单元、从段单元及主段单元和从段单元的组合均衡分布的段列表；所述均 衡分布具体是指：（1）同属于一个段的段单元需分布在不同的节点上，且每个节点属于不同 的组；（2）同一个段的主段单元和从段单元分别创建在不同的节点上，使主段单元、从段单 元及主段单元和从段单元的组合均匀分布在节点上； a2、从步骤a1的段列表中选取一个段，并在目的节点上创建主段单元和从段单元； a3、若不能在目的节点上创建主段单元和从段单元，则随机创建一个段，该段的主段单 元、从段单元应均衡分布； 当进行数据迁移时，需要进行数据迁移的卷按照卷的创建要求进行创建，数据迁移包 括： b1、如果在某一个节点上的主段单元的实际分布值和期望分布值之间的差额百分比超 过阈值X时，则主段单元从该节点迁移到另一个主段单元分布未达到期望分布值的节点，其 中，5%≤X≤30%； b2、如果在某一个节点上的主段单元和从段单元的组合的实际分布值和期望分布值之 间的差额百分比超过阈值X时，则将从段单元从该节点迁移到主段单元和从段单元的组合 的分布未达到期望分布值的目的节点上，其中，5%≤X≤30%； 当进行数据恢复时，需要进行数据恢复的卷按照卷的创建要求进行创建，数据恢复包 括： c1、在一个段的从段单元中选择一个作为主段单元； c2、如果所有的段中都有主段单元，且该段中从段单元的数量少于2个时，则重新选择 一个节点，在该节点上创建该段的从段单元。 本技术方案保证了同属于一个段的段单元不会分布在同一个节点，而且每个节点 属于不同的组，保证了数据的可靠性，同时在节点上创建主段单元和从段单元时使主段单 元、从段单元及主段单元和从段单元的组合均匀分布，从而保证了IO负载均衡。当出现节点 上段单元分布不均衡的情况时，能够进行数据迁移，因出现宕机等情况时能够进行数据恢 复，从而保证系统始终处于IO负载均衡的状态。 进一步地，当进行卷的创建时，如果一个段已经创建了一个主段单元和两个从段 单元，还存在其他的节点，该节点与已经创建的一个主段单元和两个从段单元所在的节点 均不属于同一组，则给每个从段单元分配不超过2个冗余的从段单元，所述冗余的从段单元 分别分布在不同的节点上。由于一个组只能存在一个段单元，如果除了已经创建了段单元 的节点之外，还有多余的节点，且该多余的节点与已经创建了段单元的节点分别属于不同 的组，即现有的组比较充足，则可以为从段单元分配冗余的从段单元，从而防止节点因宕机 5 CN 111596868 A 说　明　书 3/12 页 而产生不必要的开销。 进一步地，当进行数据迁移时，所述b1包括以下步骤： b11、根据节点权重计算所有节点上主段单元的期望分布值； b12、获取当前所有节点上主段单元的实际分布值，计算所有节点上主段单元的分布 率，主段单元的分布率=（主段单元的实际分布值-主段单元的期望分布值）/主段单元的期 望分布值； b13、将主段单元的分布率为正数的节点作为数据迁移的源节点，主段单元的分布率为 负数的节点作为数据迁移的目的节点； b14、遍历卷上的每一个段，查找源节点上分布主段单元、目的节点上分布从段单元的 段，将主段单元从源节点迁移到目的节点。本技术方案中，当节点上的主段单元分布不均衡 时，将主段单元的分布率为正数的节点作为数据迁移的源节点，将主段单元的分布率为负 数的节点作为数据迁移的目的节点，将主段单元从源节点迁移到目的节点，从而实现主段 单元分布的均衡，实现IO负载的均衡。 进一步地，当进行数据迁移时，所述b2包括以下步骤： b21、根据节点权重计算每个节点上主段单元和从段单元的组合的期望分布值，同时计 算每个节点总的从段单元的期望分布值，其中，主段单元和从段单元的组合的期望分布值 为某个节点上分布了主段单元的段，这些段在其他节点上期望分布的从段单元的数量； b22、获取每个节点上主段单元和从段单元的组合的实际分布值，获取每个节点总的从 段单元的实际分布值，计算所有节点上主段单元和从段单元的组合的分布率，主段单元和 从段单元的组合的分布率=（主段单元和从段单元的组合的实际分布值-主段单元和从段单 元的组合的期望分布值）/主段单元和从段单元的组合的期望分布值，其中，主段单元和从 段单元的组合的实际分布值为某个节点上分布了主段单元的段，这些段在其他节点上实际 分布的从段单元的数量； b23、将主段单元和从段单元的组合的分布率为正数的节点作为数据迁移的源节点，将 主段单元和从段单元的组合的分布率为负数的节点作为数据迁移的目的节点；如果某两个 节点上的主段单元和从段单元的组合的分布率相同，再按照从段单元的实际分布值迁移， 将节点上总的从段单元的实际分布值大的节点作为数据迁移的源节点，节点上总的从段单 元的实际分布值小的节点作为数据迁移的目的节点； b24、遍历卷上的每一个段，查找从段单元分布在源节点上，目的节点上未分布段单元 的段，将从段单元从源节点迁移到目的节点。 本技术方案中，当节点上的主段单元和从段单元的组合分布不均衡时，将主段单 元和从段单元的组合的分布率为正数的节点作为数据迁移的源节点，将主段单元和从段单 元的组合的分布率为负数的节点作为数据迁移的目的节点，将从段单元从源节点迁移到目 的节点，从而实现主段单元和从段单元的组合分布的均衡，实现IO负载的均衡。 本发明还提供一种基于段单元的分布式存储系统，该系统执行上述的基于段单元 的分布式存储系统的负载均衡方法。 3.  有益效果 相比于现有技术，本发明的有益效果为： （1）本发明在进行数据均匀分布的同时，进一步让主段单元、从段单元及主段单元和从 6 CN 111596868 A 说　明　书 4/12 页 段单元的组合在所有节点上均匀分布，可以更快地达到均衡状态，可以使得IO负载更均衡； （2）本发明在系统的运行过程中，还可以进一步调整主段单元、主段单元和从段单元的 组合在节点上的均匀分布，进一步实现IO负载均衡； （3）当出现节点宕机时，本发明能够进行数据恢复，从而更进一步地确保IO负载的均 衡。 附图说明 图1为本发明在不考虑PS组合均衡分布原则时的PSS卷P和S的分布情况示意图； 图2为本发明在不考虑PS组合均衡分布原则时节点1宕机节点迁移前的示意图； 图3为本发明在不考虑PS组合均衡分布原则时节点1宕机节点迁移后的示意图； 图4为本发明在考虑PS组合均衡分布原则时的PSS卷P和S的分布情况示意图； 图5为本发明在考虑PS组合均衡分布原则时节点1宕机节点迁移前的示意图； 图6为本发明在考虑PS组合均衡分布原则时节点1宕机节点迁移后的示意图； 图7为本发明的卷分配方案流程图； 图8为本发明构建PS组合分布列表模型流程图； 图9为本发明构建PS组合分布列表模型时进行P分布的流程图； 图10为本发明构建PS组合分布列表模型时进行S分布的流程图； 图11为本发明中P进行数据迁移的流程图； 图12为本发明中PS组合进行数据迁移的流程图。