技术摘要：
本发明公开了一种新型列车运行速度曲线智能优化方法，包括如下步骤：步骤一，搭建列车运行强化学习环境；步骤二，建立奖励机制；步骤三，列车运行历史信息数据库更新处理；步骤四，智能体和列车运行强化学习环境交互。本发明针对列车运行速度曲线进行多目标优化，优化  全部
背景技术：
由于铁路系统具有线路环境变化较为剧烈、外部影响因素较为繁杂、跨线长交路 运行较多、基础设施及列车特性较为复杂多样等特点，所以列车运行过程是一个受线路条 件、限速等诸多因素制约的非线性问题。由于不同的运行速度曲线对列车能耗、安全、准点 等方面的影响较大，而现有的列车运行速度曲线优化算法难以满足在复杂的线路条件下快 速恢复行车和保证高效运营的要求，无法满足复杂环境下列车运行优化控制在实时性等方 面的要求。在现有的列车运行控制系统中，当突发事件发生需要调整列车运行时间时，ATO 系统(列车自动驾驶系统)无法自动调整速度曲线保证列车准时到达，而是需要转换成人工 驾驶模式。近几年随着计算机计算能力、人工智能等的发展，寻求高效的智能优化方法已成 为研究热点。因此如何结合新型智能方法对列车的速度曲线进行快速实时优化，提高列车 的准点、舒适、节能等运行指标依然是值得进一步思考与研究的问题。 列车速度曲线优化问题是一个多阶段决策问题，而强化学习无模型方法在多阶段 决策问题中显示出近似最优解搜索的优越性和快速性，且强化学习分析数据具有自我在线 学习、洞察环境反馈信息的特点，可以在复杂的、不确定的环境中学习如何实现设定的目 标。因此，结合强化学习方法对速度曲线优化具有重要的理论实践意义。
技术实现要素：
本发明提供了一种新型列车运行速度曲线智能优化方法，以提高列车的准点、舒 适度、节能这三个性能指标。 本发明的技术方案是： 一种新型列车运行速度曲线智能优化方法，包括如下步骤： 步骤一，搭建列车运行强化学习环境； 步骤二，建立奖励机制； 步骤三，列车运行历史信息数据库更新处理； 步骤四，智能体和列车运行强化学习环境交互。 优选地，步骤一中搭建列车运行强化学习环境，是根据线路静态数据和列车静态 数据以及列车运行动态数据进行的；其中，线路静态数据包括线路坡度、区间限速值，列车 静态数据包括列车单位距离下最大运行时间、单位距离下最大能耗以及列车运行最大冲击 率，列车运行动态数据包括列车当前运行位置、速度、加速度以及列车运行时间。 优选地，步骤二中建立奖励机制，具体为：通过奖励函数，使得车载控制器确定在 每一个状态下采取不同的工况动作对应的奖励值；奖励函数设置为列车运行时间、能耗以 及加速度的相关函数，奖励值由步骤一的列车运行强化学习环境提供。 3 CN 111598311 A 说　明　书 2/5 页 优选地，步骤三中列车运行历史信息数据库更新处理，具体包含以下步骤：收集真 实铁路场景中的列车运行数据信息，数据信息包括列车运行的位置、速度、加速度值、时间、 线路坡度、线路限速值，形成列车运行状态数据集；针对列车运行状态数据集，通过曼哈顿 距离找出相似性最大的状态数据集；结合列车运行状态数据集和相对应的动作，形成列车 状态-动作数据集，即为列车运行轨迹；多条列车运行轨迹构成了列车运行历史信息数据 库；根据步骤二中的奖励机制对列车运行历史信息数据库中的数据进行处理，即对每一条 运行轨迹中的每一个状态-动作对进行奖励的计算，得到更新后的列车运行历史信息数据 库，用于神经网络参数的训练。 优选地，步骤四智能体和列车运行强化学习环境交互，具体为：列车运行强化学习 环境产生新的状态、奖励值以及状态值函数反馈给智能体；真实的列车运行历史数据处理 后得到的数据存放在经验回放数据区；智能体通过动作值函数不断地进行策略评估和策略 改进，选择最大动作值函数，并将该最大动作值函数对应的动作反馈给列车运行强化学习 环境，通过闭环结构来不断地更新列车工况值，最终选择最优的工况动作，生成最优的列车 速度曲线。 优选地，步骤四中智能体等同于步骤二中列车车载控制器。 本发明的有益效果在于： 第一，采用强化学习方法，利用列车历史运行数据进行神经网络参数的训练，一方 面使得速度曲线的优化不依赖于具体的列车模型，避免了复杂多变的列车运行环境对于求 解造成的不利影响；另一方面，从真实的历史数据中学习，计算奖励函数，改进学习模型，提 高速度曲线近似最优解的求解速度和质量。 第二，本发明针对列车运行速度曲线进行多目标优化，优化目标包括列车准时性、 能耗以及舒适度，保证列车在尽可能准点的情况下实现一定的节能，并能提高旅客乘坐舒 适度。 附图说明 图1为本发明实施例提供的一种新型列车运行速度曲线智能优化方法的最短运行 时间曲线图； 图2为本发明实施例提供的一种新型列车运行速度曲线智能优化方法的智能体- 环境交互示意图； 图3为本发明实施例提供的一种新型列车运行速度曲线智能优化方法的结构图。