技术摘要：
本申请公开了一种用户界面的控件状态识别、控制方法、装置、设备及介质，该方法包括：接收待识别的用户界面图像，用户界面图像包括多个操作区域，每个操作区域与用户界面的一个控件相对应；基于用户界面图像中的多个特征点查找样本图像库，得到至少一张样本图像；基于  全部
背景技术：
随着互联网技术的快速发展，越来越多的终端交互需要通过设计用户界面(User  Interface，简称UI)进行实现，如网页设计、移动端UI设计、游戏界面设计等，其中，游戏界 面可以包括游戏的登陆界面、个人装备属性界面等不同界面，从而实现对不同软件的人机 交互和操作逻辑。 目前，相关技术将获取到的实时图像与样本库中的所有样本图进行匹配，每个样 本图与对应的配置动作相关联，如果实时图像与样本图像匹配成功则执行匹配成功的样本 图对应的配置动作；或者通过第三方工具抓取控件信息，通过控件信息确定用户界面当前 的状态信息，然后根据状态信息来控制用户界面执行相应的动作。 相关技术通过图像匹配控制用户界面执行配置动作，仅适合简单的界面控制，对 于复杂的用户界面则无法执行复杂的逻辑控制操作。另外，有些场景在控制过程中并没有 将第三方工具打包在游戏中，导致无法准确的获取到控件状态信息并对控件执行相应的控 制，使得用户界面图像识别效率低。
技术实现要素：
鉴于现有技术中的上述缺陷或不足，期望提供一种用户界面的控件状态识别、控 制方法、装置、设备及介质，能够精准地确定出与待识别的用户界面图像对应的用户界面状 态标识，提高了用户界面图像的识别效率。 第一方面，本申请实施例提供了一种用户界面的控件状态识别方法，该方法包括： 接收待识别的用户界面图像，该用户界面图像包括多个操作区域，每个操作区域 与用户界面的一个控件相对应； 基于用户界面图像中的多个特征点查找样本图像库，得到至少一张样本图像； 基于样本图像中所包含的操作区域，确定用户界面图像对应的用户界面状态标 识，该用户界面状态标识用于表示用户界面图像所对应的控件状态。 第二方面，本申请提供了一种用户界面控制方法，该方法包括： 接收待识别的用户界面图像，该用户界面图像包括多个操作区域，每个操作区域 与用户界面的每个控件相对应； 基于第一方面的方法确定待识别的用户界面图像对应的用户界面状态标识； 调用与用户界面状态标识对应的控制脚本，对用户界面的多个控件执行有序地控 制。 第三方面，本申请提供了一种用户界面的控件状态识别装置，该装置包括： 接收模块，用于接收待识别的用户界面图像，该用户界面图像包括多个操作区域， 5 CN 111598128 A 说　明　书 2/14 页 每个所述操作区域与用户界面的一个控件相对应； 查找模块，用于基于所述用户界面图像中的多个特征点查找样本图像库，得到至 少一张样本图像； 确定模块，用于基于所述样本图像的所包含的操作区域，确定所述用户界面图像 对应的用户界面状态标识，所述用户界面状态标识用于表示所述用户界面图像所对应的控 件状态。 第四方面，本申请提供了一种用户界面控制装置，该装置包括： 接收模块，用于接收待识别的用户界面图像，该用户界面图像包括多个操作区域， 每个操作区域与用户界面的每个控件相对应； 确定模块，用于基于第一方面的方法确定待识别的用户界面图像对应的用户界面 状态标识； 调用模块，用于调用与所述用户界面状态标识对应的控制脚本，对所述用户界面 的多个控件执行有序地控制。 第五方面，本申请实施例提供一种设备，包括存储器、处理器以及存储在存储器上 并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述第一方面的方法或 第二方面的方法。 第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序， 该计算机程序用于实现如上第一方面的方法或第二方面的方法。 本申请实施例提供的用户界面的控件状态识别方法、装置、设备及介质，通过接收 待识别的用户界面图像，该用户界面图像包括多个操作区域，每个操作区域与用户界面的 一个控件相对应，并基于用户界面图像中的多个特征点查找样本图像库，得到至少一张样 本图像，基于样本图像中所包含的操作区域，确定用户界面图像对应的用户界面状态标识， 该用户界面状态标识用于表示用户界面图像对应的控件状态。与相关技术相比，本申请基 于待识别的用户界面图像与样本图像库中的样本图像进行操作区域匹配，可以准确地确定 用户界面状态标识，无需预先在安装包中放入第三方插件，再通过调用第三方插件来确定 用户界面状态标识，其减少了第三方插件识别用户界面状态标识的操作环节，有效地提高 了用户界面状态的识别效率。 附图说明 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它 特征、目的和优点将会变得更明显： 图1为本申请实施例提供的用户界面的控件状态识别或用户界面控制的实施环境 架构图； 图2为本申请实施例提供的用户界面的控件状态识别方法的流程示意图； 图3为本申请实施例提供的用户界面的结构示意图； 图4为本申请实施例提供的对待识别的用户界面进行识别方法的流程示意图； 图5为本申请实施例提供的待识别的用户界面图像与样本图像进行特征点比对过 程的结构示意图； 图6为本申请另一实施例提供的用户界面图像的控件状态识别方法的流程示意 6 CN 111598128 A 说　明　书 3/14 页 图； 图7为本申请实施例提供的对待识别的用户界面图像的操作区域进行匹配的结构 示意图； 图8为本申请实施例提供的用户界面控制方法的流程示意图； 图9为本申请实施例提供的执行控制脚本时用户界面的结构示意图； 图10为本申请实施例提供的执行控制脚本时用户界面的结构示意图； 图11为本申请实施例提供的将模板图像与待识别的用户界面图像进行匹配的结 构示意图； 图12为本申请实施例提供的用户界面的控件状态识别装置的结构示意图； 图13为本申请另一实施例提供的用户界面的控件状态识别装置的结构示意图； 图14为本申请又一实施例提供的用户界面的控件状态识别装置的结构示意图； 图15为本申请又一实施例提供的用户界面控制装置的结构示意图； 图16为本申请实施例示出的一种计算机设备的结构示意图。