技术摘要：
本发明提供一种基于人机协同的发动机智能维护方法，步骤包括：采集发动机的数据信息，对发动机的所有零部件进行建模，确定零部件的尺寸相关性及从属关系，建立发动机的U3D模型，并将模型存入数据库；采用Vuforia技术进行物体识别，建立模型的对象数据库，实现发动机图  全部
背景技术：
随着工业互联网的快速发展，工业生产方式朝着数字化、自动化、智能化的方向发 展。在工业领域里，工业生产对设备及产品的管理、运行、维护、检修人员提出了更高的要 求，传统的运维方法已经满足不了生产和成本的要求。面临更严苛的可靠性和预测性维修 要求，以及更多、更综合的故障触发因素，工业企业急需一种节约成本、处理快速、节省时 间、社会化、信息化的运维模式(藏义明,杨明波.工业互联网条件下智能维修的预测性维护 策略[J].设备管理与维修.2017,19:62－63)。 以汽车制造业为例，在汽车发动机维护领域，需要大量的汽修、汽配等专业的相关 人才，熟练掌握发动机维护技术。由于就业市场对新式发动机装配以及拆卸理论研究较少， 无法保持对汽车发动机设备技术的跟进，专业人员对于知识的学习掌握需要花费较多的时 间，而非专业用户在等待维护的过程中也产生较高的时间成本。此外，由于操作者各种错误 操作、设备本身损耗费用等将造成较高的费用成本问题，也加大了维护的难度及对操作的 准确度要求。在快节奏的市场需求环境下，针对维修时间较长，维修费用较高的问题，需要 人机协同的方式进行辅助维护，以提高发动机维护的效率。 人机协同强调机器能够自主配合人的工作，自主适应环境变化。人机协同的方式 将极度细化的工人流水线工作，从简单粗暴的机器换人，拉回到“以人为本”的组织模式，让 机器和人分别从事自己更擅长的事，机器承担更多重复、枯燥和危险的工作，人类承担更多 创造性的工作(李晓华,吴朋阳.“人工智能 制造”的本质是“人机协同”[N] .经济日报 .2018-09-28(015))。实现人机智能系统高效、自然的交互研发及应用是研究人机智能协同 工作的目标。为此，使用人机智能协同的控制方法与智能交互技术，研发面向人机智能协同 的服务，可以有效解决工业制造领域的种种问题。
技术实现要素：
本发明的目的在于实现一种基于人机协同的发动机智能维护方法。本方法实现了 真正的人机协同，有效解决了发动机维护过程中信息搜寻困难，知识理解不直观，复杂操作 易失误等问题，缩短了用户获取所需信息的时间，提高了维护效率，并大幅度降低了人在作 业过程中的负荷。 为实现上述目的，本发明采用如下技术方案： 一种基于人机协同的发动机智能维护方法，步骤包括： 采集发动机的数据信息，对发动机的所有零部件进行建模，确定零部件的尺寸相 关性及从属关系，建立发动机的U3D模型，并将模型存入数据库； 采用Vuforia技术进行物体识别，建立模型的对象数据库，实现发动机图像与模型 的信息匹配； 4 CN 111597674 A 说　明　书 2/12 页 在增强现实应用中，根据用户的输入信息进行查询，或通过ARCamera摄像头的物 体识别功能进行判断，分析用户的需求； 当用户进入维修场景后，根据用户的需要获取操作对象的父节点及子节点，按照 对象间的逻辑关系进行方案推荐，以引导用户进行正确操作，实现发动机的智能维护。 进一步地，发动机的数据信息包括类别、型号、外观，尺寸、材质、颜色。 进一步地，建模方法为：使用SolidWorks对发动机的零部件进行三维建模，使模型 与实物拟合；使用3Dmax对生成的模型进行光源、材质属性的调整，确定零部件之间的相对 位置及连接关系；将最终生成的模型文件导入Unity，并与发动机的数据信息进行整合。 进一步地，存入数据库的数据还包括： 菜单选项，包括型号选项、工具选项、需要解决的问题、需要的帮助指导； 模型展示，包括汽车模型、发动机模型、零部件模型； 文字说明，包括信息标注、方案说明； 动画，包括拆解动画、组装动画； AR指令，包括标识待操作对象、位置指示、步骤引导的信息类型。 进一步地，采用Vuforia技术对发动机实物进行物体识别时，每一发动机需要采集 多角度的实物图片，图片中图像要求具备整体轮廓及细节的清晰度；导入SDK，并与相应的 模型进行匹配；使用ARCamera摄像头进行取景，以及追踪识别图像对象，通过ImageTarget 进行图像识别，将拍摄的图像与对象数据库中图片进行匹配，若匹配到结果，则向用户提供 该图片对应的模型信息；若没有匹配到结果，则继续追踪拍摄并识别，直到匹配到对象数据 库中存在的结果；否则，则可能系统中没有存储该种发动机的信息。 进一步地，Vuforia技术包括Vuforia识别算法，该算法通过检测自然特征点的匹 配来完成识别，将Target  Manager中的Image检测出的特征点保存在数据库中，再实时检测 出真实图像中的特征点并与数据库中模板图片的特征点数据进行匹配。 进一步地，Vuforia技术包括Vuforia追踪算法，该算法是基于模型的追踪算法 (model-Based  tracking)，包括模型、视觉信息处理、跟踪三个主要任务，在已建立的模型 及视觉信息处理的基础上，以被跟踪物体的先验信息作为初始值，利用获取的模型信息与 输入的数据进行匹配，确定其在空间的姿态，实现对目标的跟踪。 进一步地，ARCamera摄像头在实时取景时，采用线性插值方法解决物体遮挡和摄 像头跟踪的问题，即不改变摄像机和目标物体的距离，在该物体的正上方和正后方四分之 一圆的范围内进行插值，当有遮挡物时，摄像头会从事先预设的点里面找到可以看到目标 物体的点，然后继续跟随该目标，找到摄像头的最佳位置。 进一步地，若用户未按照引导进行了额外操作，则对用户正在操作的对象进行判 断，对新对象的子对象进行标识，使用户在新的情况下实时获取正确的步骤指导；若用户未 进行正确操作，则该步操作不能完成。 进一步地，采用递归查询的算法获取操作对象的父节点及子节点，对于父节点的 获取，使用transform.root的方法获取到对象的最上父节点；对于子节点的获取，从当前对 象的子对象中查找，返回一个用tag做标识的活动的物体的链表，如果没有找到则为空；以 该对象作为父对象进行递归遍历，如果有子对象的tag和给定tag相符合，则把该子对象存 到链表数组中；如果子对象还有子对象，则再对子对象的子对象进行递归遍历。 5 CN 111597674 A 说　明　书 3/12 页 进一步地，在增强现实应用中，用户采用基于凝视和手势的交互方法，针对用户凝 视的对象，根据用户手势实现对模型的拖拽与缩放，以及选择菜单选项及工具，以便观看任 一视角及部件细节，并对模型进行拆解与调整，辅助用户获取知识，分析数据；手势包括点 击手势、长按手势、操作手势、导航手势。 一种采用上述方法的基于人机协同的发动机智能维护系统，包括： 数据层模块，包括用户指令数据库、模型信息数据库、维修信息数据库，分别用于 存放用户指令、发动机的模型数据以及维修信息； 服务层模块，包括信息集采系统、方案推荐系统和教学指导系统，分别用于向用户 提供信息采集、方案推荐、教学指导的服务； 应用层模块，用于实现采集用户输入的指令信息，用户对本系统的操作反馈，向用 户推荐合理的方案及步骤引导，以及向用户演示系统预设的教学指导； 用户层模块，为用户与本系统的人机交互界面，基于Hololens的增强现实应用。 本发明的主要内容包括： 1、发动机参数到U3D模型的可视方法 利用SolidWorks和3Dmax等建模软件建立出能够代替现实中实物的模型，这些模 型作为增强现实场景中的物体与现实场景中的实物相对应，模型包括物理属性、几何特征 参数及一些其他相关信息等。根据发动机产品及零部件数据的特点，本发明采用了从二维 到三维，依据从属相关性从零到整，最终生成U3D模型的可视技术，分步建模并进行累计叠 加，并根据零部件之间的相对位置关系，对零部件的自由度进行限制，确保在各零部件所存 在相对约束条件下，将零部件组成产品整体，实现了与真实发动机的高度拟合性。 2、Vuforia物体识别技术 本发明使用Vuforia扩增实境软件开发工具包(Vuforia  Augmented  Reality  SDK)，利用计算机视觉技术实时识别和捕捉平面图像或简单的三维物体，然后通过照相机 取景器放置虚拟物体并调整物体在镜头前实体背景上的位置。使用Vuforia技术结合 Hololens增强现实头显的ARCamera对发动机实物进行物体识别。采用Vuforia识别算法与 追踪算法，帮助用户对摄像头实时追踪取景并匹配识别。用户使用Hololens摄像头进行取 景，并实时追踪识别图像对象，将拍摄的图像与对象数据库中图片进行匹配，并向用户提供 该对应的模型信息。该技术允许了用户在对发动机信息一无所知的情况下，辅助用户对其 信息进行搜索，并根据机器的理解，向用户提供合理的推测结果，减少了用户从大量信息中 筛选所需信息的时间。 3、方案推荐算法 针对指导用户进行拆解的过程，采用方案推荐算法，递归查询操作对象的向上及 向下的节点对象，并使用链表进行存储，结合用户指令进行调用。根据用户的处理对象，所 进行的操作，当前操作的结果，该对象的子对象等条件，计算出用户下一步应完成的操作， 确定下一步操作的对象，并向用户提供维修指导信息与提示。若用户在指导模式中未按照 引导进行了额外操作，则系统将对其正在操作的部件进行判断，并对新的子对象进行tag标 识，使用户在新的情况下实时获取正确的步骤指导；若用户按照提示完成正确的操作，将标 注该部件为已拆解成功，并引导用户进行接下来的操作步骤。从而实现及时的用户信息处 理及操作指导的实时推荐。 6 CN 111597674 A 说　明　书 4/12 页 4、基于增强现实场景下手势交互的方法 增强现实场景下，在人与机之间建立信息通道并进行双向通信，用户通过选择、手 势等方法向系统输入指令，系统根据用户需求，使用户轻松获取信息并自由地对信息进行 处理。本系统设置了多种手势操作。在交互过程中，用户只需佩戴AR眼镜，不需使用电脑搜 索需要的信息，或查阅说明书，查找工具箱等，实现了真正的解放双手。增强现实场景也为 用户提供了沉浸式的体验，使发动机模型及信息对用户更加直观，易于理解。该技术实现了 低负荷、自然高效的交互。 5、人机协同的智能辅助维护方法 发动机维修行业是一个高度复杂的产业，一件产品常常由较多零部件构成；生产 同一个产品，不同企业具有不同的生产工艺及零部件投入。由于生产工艺不同、设备接口不 同等，对发动机产品的维护者的技术要求及信息储备也较高，需要机器的帮助，来解决维护 过程中的各种复杂问题。人机协同的方法真正实现了辅助过程的智能化，而非自动化。自动 化追求的是机器自动生产，本质是机器替代人，强调大规模的机器生产；而智能化追求的是 机器的柔性生产，强调机器能够自主配合人的工作，自主适应环境变化。人机协同的工作方 式不是简单粗暴的机器换人，而是新型的“以人为本”的组织模式，让机器和人分别从事自 己更擅长的事，机器承担更多重复、枯燥和危险的工作，人类承担更多创造性的工作。通过 人机协同的方法提供智能服务，实时监测产品状态并响应用户需求，提供故障预测、指导维 修、一体化解决方案等服务，实现符合用户真正需求的辅助的目的。 与现有技术相比，本发明具有的优点和积极效果如下： 1、本发明提供了一种面向发动机的人机协同智能维护系统，通过将发动机的信息 进行可视化处理，以3D模型的方式呈现，支持用户从多角度及细节查看，降低了信息的复杂 度，减轻用户的认知负担，使信息对用户更加直观，便于用户理解知识； 2、本发明通过推荐算法，实现了智能的方案推荐，根据用户的认知心理，帮助用户 快速获得所需的信息。人机协同的工作方式，使人可以从事人所擅长的思考的工作，机器智 能地“理解”人的意思，根据人的思考及需要进行辅助，智能地为用户提供指导，帮助用户进 行信息组织及决策，减轻了用户的记忆负担，节省了人力和时间成本； 3、本发明将增强现实技术应用于辅助维护系统中，用户可通过手势选择、物体识 别等多种方式获取信息，并与模型进行自然的交互，机器与人自然高效地配合合作，实现了 真正的人机协同。比起传统的辅助维修方法，用户负荷更小，工作效率更高。 附图说明 图1是一种基于人机协同的发动机智能维护系统层级框架图； 图2是一种基于人机协同的发动机智能维护方法的思维导图； 图3是数据可视化及建立U3D模型过程图； 图4是物体识别与追踪算法图； 图5是插值法示意图； 图6是模型及交互界面的可视化布局图； 图7是Vuforia物体识别效果图； 图8是产品故事地图； 7 CN 111597674 A 说　明　书 5/12 页 图9是发动机拆解时的方案推荐效果图，包含使用工具提示、待操作部件提示、待 拆除部件提示等； 图10是发动机组装的方案推荐效果图，包含使用工具提示、安装位置指示等； 图11是系统教学模式效果图，包含模型拆解动画、文字信息说明等。