技术摘要：
本发明公开了一种超级计算机I/O转发结点轮询映射方法，包括如下步骤：计算超级计算机中I/O转发结点的数量，记为n；对n个I/O转发结点分别进行编号为ION0,ION1,…,IONn‑1；计算超级计算机中计算结点的数量，记为m；计算结点的编号分别为CN0,CN1,…,CNm‑1；采用轮询映射  全部
背景技术：
现代超级计算机普遍采用了包含I/O转发层的存储体系结构，计算结点将数据读 写的I/O请求发送给I/O转发结点，由I/O转发结点替它们从存储系统中访问数据。目前计算 结点与I/O转发结点的映射方法是，系统中所有计算结点被划分成与I/O转发结点数量相同 的分区，相邻(如同一机柜内)的计算结点处于同一个分区，每个I/O转发结点负责服务一个 分区内的计算结点。该映射方法易于管理维护，但是在实际生产应用环境中却面临着严重 的负载不均衡问题。 在超级计算机上，由于作业调度系统优先为大规模并行作业分配相邻的计算结点 运行，所以导致它们运行的结点在超级计算机上分布得较为集中。而作业的I/O行为具有突 发性，即在作业的运行过程中，仅在少部分时间会产生I/O流量高峰，所以系统中任一时刻 仅有少数作业在产生大量的I/O流量。以上两个原因综合导致系统中任一时刻的I/O流量绝 大部分仅来自于少数相邻的计算结点。因此在传统映射方法下，系统的I/O流量仅会被极少 数I/O转发结点处理，造成负载不均衡，形成性能瓶颈，影响超级计算机的整体运行效率。 针对传统映射方法的缺点，本发明的目的是通过改变计算结点与I/O转发结点间 的映射方法，调动更多的I/O转发结点分摊系统的I/O压力，均衡I/O转发结点间的负载，提 升系统的I/O性能。 超级计算机提供强大的并行计算能力，高性能计算作业可利用超级计算机数量庞 大的计算结点，协同完成复杂的科学计算问题。现代超级计算机的主要构成为：(1)计算结 点：提供并行计算能力，数量一般为上万个；(2)存储结点：提供海量数据的存储与访问能 力，数量一般为上百个；(3)I/O转发结点：将来自于计算结点的I/O请求转发给存储结点，替 计算结点从存储结点中访问数据，数量一般为数百个；(4)高速互连网络：连接计算结点、存 储结点、I/O转发结点等。用户提交作业至超级计算机后，作业在计算结点上进行计算，运行 过程中作业按需读取输入数据，或写出输出数据，读写数据又称为I/O(Input&Output)。I/O 转发结点是连接计算结点与存储结点的桥梁，作业在计算结点上读取数据或写出数据的I/ O请求，都必须由相对应的I/O转发结点处理，由其在存储结点上访问数据。当前国内外所有 具有I/O转发架构的超级计算机，均采用了一种计算结点与I/O转发结点间的分区映射方 法。即，系统中所有计算结点被划分成与I/O转发结点数量相同的分区，相邻(如同一机柜 内)的计算结点处于同一个分区，每个I/O转发结点负责服务一个分区内计算结点的I/O请 求。 作业的I/O行为均具有突发特性，即，在作业的运行过程中，仅在少数时间段会有 大量的I/O流量高峰出现。例如，作业开始运行时读取数据、运行过程中写出检查点数据、运 行结束前写出结果数据时，均展现出了I/O突发性。超级计算机上虽然同时运行着很多不同 3 CN 111597038 A 说　明　书 2/4 页 的作业，由于以上原因，在任一时刻，仅有极少数作业在进行着大量的I/O活动。超级计算机 中的作业调度系统负责按照优先级从队列中选择一个排队作业，并为其分配合适的计算结 点供其运行。作业调度系统优先为作业分配相邻的计算结点，以减小计算结点间在高速互 连网络上的通信开销，提升作业运行效率。因此，在实际生产环境下，超级计算机上的计算 结点资源被众多的作业分割成了一个个逻辑上的结点池，结点池中的计算结点大多彼此相 邻。由于作业I/O行为具有突发性，在任一时刻，系统中仅有极少数结点池在进行着大量的 I/O活动。在传统的分区映射方法下，每个I/O转发结点服务一部分相邻的计算结点，因此在 任一时刻，系统中仅有极少数的I/O结点在处理极少数结点池发出的大量I/O请求，而其它 I/O转发结点却处于空闲状态，造成了I/O转发结点间的负载不均衡。由于I/O转发结点是作 业访问数据的桥梁，负载不均会急剧降低系统整体的I/O转发能力，造成的严重I/O性能瓶 颈，影响超级计算机的整体运行效率，此问题亟待解决。 目前尚无解决超级计算机I/O转发结点负载均衡问题的专利。与本发明最接近的 文献是文献[1]和文献[2]。文献[1]提出了一个新的结点分配策略来解决I/O转发结点负载 不均的问题。首先，监控所有作业的运行时性能数据；然后，根据作业的历史监控数据分析 判断该作业否是会产生大量的I/O流量、是否会产生大量的通信流量、其运行的所有结点I/ O流量分布是否均匀；最后，根据分析结果，将符合条件的新作业的计算结点分布得更散，使 其能利用更多的I/O转发结点来处理数据请求。文献[2]提出的方法与文献[1]类似，区别之 处在于，对于符合条件的新作业，不改变作业运行结点的位置，而是在作业运行之前动态地 改变计算结点与I/O转发结点的映射，将更多的I/O转发结点映射至作业运行的计算结点， 使少部分I/O流量大的作业能够利用更多I/O转发结点来处理数据请求。
技术实现要素：
为了克服上述传统的分区映射方法的缺点，本发明的目的在于提出一种超级计算 机上计算结点与I/O转发结点间的轮询映射方法，解决I/O转发结点间的负载不均衡问题。 本发明提出的轮询映射方法，具体技术方案如图1所示： 计算超级计算机中I/O转发结点的数量，记为n；对n个I/O转发结点分别进行编号 为ION0,ION1,...,IONn-1； 计算超级计算机中计算结点的数量，记为m；计算结点的编号分别为CN0,CN1,..., CNm-1； 采用轮询映射计算方法将计算结点CNi，映射至I/O转发结点IONi％n； 在每个计算结点上，修改I/O转发结点配置。对于计算结点CNi，将I/O转发结点配 置从传统分区映射方法的 修改为轮询映射方法的IONi％n；其中， 为计 算结点编号i除以计算结点数量m与I/O转发结点数量n的比值，所得的结果再向下取整；i％ n为计算结点编号i除以I/O转发结点数量n所得的余数；所有从计算结点CNi发出的I/O请 求，都由I/O转发结点IONi％n处理； 修改完所有计算结点上的I/O转发结点配置后，重启计算结点上的I/O转发服务， 使配置生效。 所述I/O转发结点可以单独服务计算结点或分组服务计算结点。 有益效果 4 CN 111597038 A 说　明　书 3/4 页 1、当前技术通过动态改变作业所分配的计算结点位置，或动态改变作业所分配计 算结点与I/O转发结点的映射，来解决I/O转发结点负载不均衡问题。本发明通过静态地改 变计算结点与I/O转发结点间的映射方法，一劳永逸地调动了更多I/O转发结点参与系统中 的I/O转发，方法简单有效。 2、本发明无需监控作业的历史运行行为，无需分析作业的运行特性，无需作业的 先验知识，可直接部署于超级计算机上，自动提升所有可被优化的作业的运行效率。 3、本发明中，计算结点与I/O转发结点的轮询映射方法，可以替换为相似的非连续 映射方法，如其它使I/O转发结点所服务的计算结点彼此不相邻的映射方法。 附图说明 图1是本发明流程图； 图2是现有技术的结构示意图； 图3是本发明结构示意图； 图4是本发明与现有技术对比效果图。 具体实施方法 下面结合附图对本发明作出详细说明: 本发明提出的轮询映射方法，具体技术方案如图1所示： 第一步骤，计算超级计算机中I/O转发结点的数量，记为n。I/O转发结点的编号分 别为ION0,ION1,...,IONn-1。注意，一个I/O转发结点可以单独服务计算结点，也可以多个I/O 转发结点分组服务计算结点。若分组，则多个I/O转发结点轮询服务计算结点的I/O请求，但 该组I/O转发结点在逻辑上可认为是一个I/O转发结点，在计算I/O转发结点数量时只计一 次。 第二步骤，计算超级计算机中计算结点的数量，记为m。计算结点的编号分别为 CN0,CN1,...,CNm-1。 第三步骤，在传统分区映射方法下，计算结点CN i已经映射至I/O转发结点 其中 为计算结点编号i除以计算结点数量m与I/O转发结点数量n的比 值，所得的结果再向下取整。如图2中的示例所示，根据分区映射方法，计算结点0映射至I/O 转发结点 计算结点1映射至I/O转发结点 以此类推，计算结点 5映射至I/O转发结点 本发明提出的轮询映射方法下，对于计算结点CNi，将 其映射至I/O转发结点IONi％n，其中i％n为计算结点编号i除以I/O转发结点数量n所得的余 数。如图3中的示例所示，根据本发明提出的轮询映射方法，计算结点0映射至I/O转发结点 0％2＝0，计算结点1映射至I/O转发结点1％2＝1，以此类推，计算结点5映射至I/O转发结点 5％2＝1。传统分区映射方法与轮询映射方法的对比如图4所示。在传统分区映射方法下，相 邻的计算结点映射至相同的I/O转发结点，在本发明提出的轮询映射方法下，相邻的计算结 点映射至不同的I/O转发结点。由于作业I/O行为具有突发性，在任一时刻，超级计算机中只 有一小部分相邻的计算结点会产生大量的I/O请求，在传统分区映射方法下，该大量I/O请 求只被一小部分I/O转发结点转发，在轮询映射方法下，该大量I/O请求可被更多的I/O转发 结点转发，因此本发明可有效均衡I/O转发结点上的负载。 5 CN 111597038 A 说　明　书 4/4 页 第四步骤，实施本发明提出的轮询映射方法时，技术人员需在每个计算结点上，修 改它们的I/O转发结点配置。对于计算结点CNi，将I/O转发结点配置从传统分区映射方法的 修改为本发明提出的轮询映射方法的IONi％n。所有从计算结点CNi发出的I/O请 求，都由I/O转发结点IONi％n处理。 第五步骤，技术人员修改完所有计算结点上的I/O转发结点配置后，重启计算结点 上的I/O转发服务，使配置生效。 6 CN 111597038 A 说　明　书　附　图 1/2 页 图1 图2 图3 7 CN 111597038 A 说　明　书　附　图 2/2 页 图4 8