技术摘要：
本发明提供了一种基于工作阶段识别的挖掘机手操作熟练度评价方法，包括：采集工作过程中挖掘机铲斗视频；根据挖掘机铲斗视频，截取挖掘机铲斗图片；提取铲斗的特征点并进行特征点匹配；根据挖掘机铲斗特征点坐标，判断挖掘机当前图片所处的工作阶段；识别各阶段起始及  全部
背景技术：
挖掘机作为一种典型的工程机械，凭借其功率大、施工效率高等优势在国民经济 建设的许多行业被广泛应用。挖掘机手操作熟练度直接决定挖机作业安全性、工作效率、挖 机能耗、挖机损耗等一系列问题，因此对挖掘机手操作熟练度评估至关重要。挖掘机手熟练 度评定主要考虑挖掘效率、挖机损耗两方面的因素，挖掘效率可由挖掘速度及单次挖掘量 衡量，挖掘速度与挖机损耗又相互制约。因此，可用挖掘机各工作阶段时间与标准时间的接 近程度来反映这两个因素的影响，即挖掘机手操作熟练度的评定须考虑各工作阶段的时间 以及单次挖掘量。 识别挖掘机所处的工作阶段是工作循环各阶段计时的基础。目前主要有三类方 法：一是采集主泵压力信号，以主泵压力作为识别依据；二是通过角接触器采集各关节角度 信息，通过各臂之间角度关系识别挖机阶段；三是以回转作为分隔，推测出挖掘机工作阶 段。由于主泵压力波动大、识别度低，安装角接触器易受环境影响、可靠性低，以回转作为依 据易受机手误操作影响，以上方法用于识别挖掘机工作阶段并不理想。通过铲斗的位置及 姿态变化可以推测出挖掘机所处的工作阶段，通过视频录像的方法可以完全避免环境因素 的影响，因此通过采集挖掘机工作过程中铲斗动作视频可以作为挖掘机工作阶段识别的依 据。 目前，挖掘机单次挖掘量的测量方法单一，主要以测量渣土重量为主，如卡特320 电子称重。挖掘机挖掘效果的判断是以铲斗渣土容量为依据的，由于不同地质条件，渣土密 度不同，因此渣土质量不能有效、准确的反映铲斗中渣土容量。而通过采集铲斗渣土容量图 片，与标准数据库中照片相匹配，可以有效反映铲斗渣土容量。
技术实现要素：
本发明的目的是为了克服现有技术的不足，提供一种挖掘机手操作熟练度评价方 案，通过采集挖掘机工作过程中铲斗动作视频识别挖掘机的工作阶段，并通过采集铲斗渣 土容量图片，与标准数据库中的图片相匹配来反映铲斗渣土容量，完成挖掘机手熟练度的 评价。 为了达到上述目的，本发明提供了一种基于工作阶段识别的挖掘机手操作熟练度 评价方法，包括如下步骤： 步骤一、采集工作过程中挖掘机铲斗视频； 步骤二、根据挖掘机铲斗视频，截取挖掘机铲斗图片； 步骤三、提取铲斗的特征点并进行特征点匹配； 步骤四、根据挖掘机铲斗特征点坐标，判断挖掘机当前图片所处的工作阶段； 5 CN 111582135 A 说　明　书 2/7 页 步骤五、识别各阶段起始及结束标志，对各工作阶段计时； 步骤六、根据挖掘机工作阶段识别结果，截取对应工作阶段的铲斗图片，评定铲斗 满载率； 步骤七：根据各工作阶段计时及铲斗满载率，对挖掘机手的熟练度进行综合评价。 其中，步骤三包括： 使用深度学习模型对图片中的铲斗进行识别并框选；使用SIFT算法提取铲斗的特 征点并进行特征点匹配；输出当前图片特征点坐标(xi，yi)以及下一张图片与之匹配的特征 点的位置坐标(x′i，y′i)；将下一张图片作为当前图片，继续后续特征点提取； (xi，yi)表示当前图片第i个特征点坐标，(x′i，y′i)表示下一张图片中与(xi，yi)对 应的特征点坐标。 其中，步骤四包括： 根据当前图片以及上一张图片输出的特征点坐标，计算当前图片各特征点的速度 (ui，vi)，以此判断挖掘机当前时刻所处的工作阶段，各特征点的速度(ui，vi)： (ui，vi)表示特征点(x′i，y′i)在(x，y)方向的速度，T为截取图片的间隔时间。 其中，所述工作阶段包括挖掘阶段、提升回转阶段、卸荷阶段和空斗返回阶段。 其中，判断挖掘机当前时刻所处的工作阶段采用IF-THEN的形式判别，IF部分为使 用该条件的前提，THEN部分为满足前提后的工作阶段判别结果；根据特征点速度的计算结 果，与条件IF一一匹配，如满足IF条件，则执行THEN部分；如果不满足IF部分，则维持原输 出，具体如下： 条件一：IF存在|ui-uj|＞δ0，AND所有ui＞0，THEN当前输出为挖掘阶段； 条件二：IF存在|ui-uj|＞δ0，AND所有ui＜0，THEN当前输出为卸荷阶段； 条件三：IF所有|ui-uj|＜δ0，AND上一个输出为挖掘阶段，THEN当前输出为提升回 转阶段； 条件四：IF存在|ui-uj|＜δ0，AND上一个输出为卸荷阶段，THEN当前输出为空斗返 回阶段； 条件五：IF存在|ui-uj|＜δ0，AND上一个输出为提升回转阶段，THEN当前输出为提 升回转阶段； 条件六：IF存在|ui-uj|＜δ0，AND上一个输出为空斗返回阶段，THEN当前输出为空 斗返回阶段； δ0为铲斗平移时特征点x方向速度差的阈值，|ui-uj|为任意两特征点x方向的速度 差。 其中，步骤五中各工作阶段开始及结束标志根据工作阶段判别结果进行识别确 认，如果当前图片判别结果与上一张图片判别结果相同，则不输出标志，如果当前图片与上 一张图片判别结果不同，则输出上一张图片所处工作阶段的结束标志及当前图片所处工作 阶段的开始标志，对上一阶段停止计时，并对当前阶段开始计时。 其中，步骤六中根据挖掘机工作阶段识别结果，在提升回转阶段的前期选取N张挖 掘机铲斗图片，输入至用于评定铲斗满载率的深度学习模型，输出铲斗满载率等级Vi；所述 6 CN 111582135 A 说　明　书 3/7 页 用于评定铲斗满载率的深度学习模型将铲斗满载率分为多个等级，通过图像识别将挖掘机 铲斗图片分类至不同的铲斗满载率等级。 其中，步骤七中通过计时阶段对各工作阶段的计时结果、以及步骤六输出的铲斗 满载率等级，对各环节进行评估，进而依据各环节的比重对挖掘机手熟练度进行综合评估。 其中，评估方式为，首先对各环节进行评分，而后将分段评分按照在挖掘机作业中 重要性比重叠加，得到挖掘机手熟练度评分，具体包括如下过程： 以T1、T2、T3、T4分别作为挖掘阶段、提升回转阶段、卸荷阶段、空斗返回阶段的最优 时间； 熟练度评分时，采集十个循环过程对挖掘机手评分，评价分数采用百分制，工作阶 段评分具体如下： k取值为1、2、3、4，分别代表：1：挖掘阶段，2：提升回转阶段，3：卸荷阶段，4：空斗返 回阶段；Ak为k阶段的最终评分，Tk为k阶段的最优时间，Tkc为k阶段第c次计时的时长；若A1、 A2、A3、A4中有小于零的项，结果按0计； 铲斗满载率评分通过如下方式进行： V表示铲斗满载率最终评分，Vn即挖掘机提升回转阶段的第n张铲斗图片的铲斗满 载率等级，M表示整个满载率评分需要剔除图片的个数； 将分段评分按照在挖掘机作业中重要性比重叠加，得到挖掘机手熟练度评分： A表示挖掘机手熟练度评分，α、β、γ、η、ω依次表示挖掘阶段、提升回转阶段、卸荷 阶段、空斗返回阶段、铲斗满载率在挖掘机手熟练度评分中所占比重。 本发明还提供了一种基于工作阶段识别的挖掘机手操作熟练度评价装置，包括图 像采集单元、图片获取单元、特征点提取单元、状态识别单元、计时单元、铲斗满载率评定单 元和评价单元； 所述图像采集单元实时采集工作过程中挖掘机铲斗视频； 所述图片获取单元根据采集的挖掘机铲斗视频，截取挖掘机铲斗图片； 所述特征点提取单元对挖掘机铲斗图片进行处理，提取铲斗的特征点并进行特征 点匹配； 所述状态识别单元根据挖掘机铲斗的特征点坐标，判断挖掘机当前图片所处的工 作阶段； 所述计时单元根据挖掘机工作阶段识别结果，对各工作阶段计时； 所述铲斗满载率评定单元根据挖掘机工作阶段识别结果，截取挖掘机铲斗图片， 评定铲斗满载率； 所述评价单元根据各工作阶段计时及铲斗满载率，对挖掘机手熟练度进行综合评 7 CN 111582135 A 说　明　书 4/7 页 价。 本发明的上述方案有如下的有益效果： 本发明通过外接的图像采集单元采集挖掘机铲斗作业信息，依靠计算机深度学习 模型中的图像识别和分类技术进行挖掘机的工作阶段识别和铲斗满载率评估，从而对挖掘 机手操作的熟练度进行评价，充分考虑了挖掘机各工作阶段耗时及渣土容量两方面影响影 响，其评价结果客观可靠； 相比与依靠主泵压力信号区分工作阶段的方式，本发明是完全分离的一套系统， 不用受挖掘机自身系统压力波动影响，因此不影响挖掘机现有功能；与在各臂之间安装角 接触器相比，本发明可以有效避免挖掘机作业中的磕碰、震动造成的角接触器损坏；由于本 发明采用的是计算机图像识别和分类方式评估，因此还可以有效避免不同地质条件渣土密 度不同带来的误差。 附图说明 图1为本发明的方法步骤流程图； 图2为本发明的装置结构示意简图。 【附图标记说明】 1-图像采集单元；2-图片获取单元；3-特征点提取单元；4-状态识别单元；5-计时 单元；6-铲斗满载率评定单元；7-评分获取单元。