logo好方法网

基于分布式集群系统的资源管理方法及装置


技术摘要:
本发明公开了一种基于分布式集群系统的资源管理方法及装置,该方法包括:对集群内的各服务器,计算所述服务器当前时刻的真实负载值;根据所述服务器当前时刻的真实负载值及记录的历史负载信息预测所述服务器下一时刻的预测负载值;根据所述服务器下一时刻的预测负载值  全部
背景技术:
Hadoop是一种分布式系统架构,其实现了一个HDFS(Hadoop  Distributed  File  System,分布式文件系统),HDFS被设计成适合运行在通用硬件上的分布式文件系统,能提 供高吞吐量的数据访问,非常适合大规模数据集上的应用。一般的Hadoop集群是由多种机 型的服务器异构组成,CPU、内存等资源在各个机型中的配置通常会有差异。 YARN是Hadoop的资源管理调度平台,其采用基于公平的资源调度方式,基于业务 方提交的资源申请以及Hadoop平台本身的固定资源进行资源调度。由于业务方在多数情况 下不了解自身业务的资源占用情况,大都采用默认的资源值,因此在实际运行时真实消耗 的服务器的资源可能会超过申请的资源,而YARN平台本身也无法感知到具体的业务运行所 需的真实负载信息。这种资源调度方式不仅会导致集群内服务器负载不均衡的问题,而且 会出现某个服务器由于负载过高而宕机的现象,对集群运行的业务造成大的影响。因此如 何避免这些影响,是业界需要解决的一个重要课题。
技术实现要素:
本发明实施例提供一种基于分布式集群系统的资源管理方法及装置,可以均衡集 群内各服务器的负载,避免服务器负载过高出现宕机的情况。 为此,本发明提供如下技术方案: 一种基于分布式集群系统的资源管理方法,所述方法包括: 对集群内的各服务器,计算所述服务器当前时刻的真实负载值; 根据所述服务器当前时刻的真实负载值及记录的历史负载信息预测所述服务器 下一时刻的预测负载值; 根据所述服务器下一时刻的预测负载值确定所述服务器的负载状态; 根据所述集群内各服务器的负载状态进行任务分配。 可选地,所述计算所述服务器当前时刻的真实负载值包括: 获取所述服务器当前时刻的负载信息;根据所述服务器当前时刻的负载信息计算 所述服务器当前时刻的真实负载值。 可选地,按以下公式计算真实负载值: 真实负载值=x*cpu y*(load*weight/cores); 其中,cpu为当前时刻的CPU利用率;load为当前时刻的系统负载;cores为内核数; weight、x、y为权重参数,且x y=1,1
分享到:
收藏