技术摘要:
本发明公开了一种对移动设备的游戏用户界面进行纠偏的方法、装置、存储介质和系统,该方法包括:选择步骤,确定目标元素,从在移动设备的游戏用户界面上截取的一个或多个屏幕截图中选择包含目标元素的屏幕截图;获取步骤,从屏幕截图获取目标元素在屏幕截图中的识别坐 全部
背景技术:
现如今,移动设备(例如手机)的屏幕的屏占比越来越高,全面屏(或刘海屏)成为 主流趋势,相对于传统的矩形屏幕,全面屏的显示界面并不规则,应用软件(APP)在进行游 戏UI(用户界面)人机交互测试的时候会出现实际显示位置与触摸识别位置的偏移,进而导 致无法准确识别触摸操作。 现有的第三方手机测试工具,如谷歌推荐的网易开源框架Poco。该框架在实际使 用中存在问题,其UI框架接入sdk后,可在调试器上识别到UI树,但是对于全面屏(或刘海 屏)的手机不会重新计算像素点的真实识别位置,导致实际识别时需要根据UI框架的应用 特点对坐标x,坐标y或者坐标x,y(左上,右下等)一起偏移。 然而,游戏和其他类型的原生APP不一样,无法使用Poco框架内的xpath直接定位, 必须通过Poco对外的接入层才能识别,但这层目前有漏洞(Bug),不支持自动纠正偏移。现 有的方式是在该框架基础上进行手动编程纠偏,俗称“硬编码”。 然而硬编码采用了x、y坐标偏移计算的方式,其参数与手机是唯一对应的,如果更 换手机,就需要重新编码,效率低下。
技术实现要素:
本发明提供一种对移动设备的游戏用户界面进行纠偏的方法,方法包括: 选择步骤,确定目标元素,从在移动设备的游戏用户界面上截取的一个或多个屏 幕截图中选择包含目标元素的屏幕截图; 获取步骤,从屏幕截图获取目标元素在屏幕截图中的识别坐标; 判断步骤,判断识别坐标处是否存在目标元素; 纠偏步骤,当判断出识别坐标处不存在目标元素时,从识别坐标开始以预定规则 移动,从而对识别坐标进行纠偏。 其中,针对移动设备设置预定方向和预定距离,在纠偏步骤中,从识别坐标开始朝 向预定方向移动预定距离,到达新坐标, 其中,当判断出新坐标处存在目标元素时,将新坐标作为实际坐标。 较佳的,在纠偏步骤中,当判断出新坐标处不存在目标元素时,判断从识别坐标开 始朝向预定方向移动的距离是否大于等于阈值距离。 较佳的,当判断出从识别坐标开始朝向预定方向移动的距离小于阈值距离时,从 新坐标开始继续朝向预定方向移动预定距离,到达下一个新坐标, 其中,当判断出下一个新坐标处存在目标元素时,将下一个新坐标作为实际坐标。 较佳的,使用实际坐标对识别坐标进行纠偏。 4 CN 111600995 A 说 明 书 2/6 页 较佳的,当判断出从识别坐标开始朝向预定方向移动的距离大于等于阈值距离 时,停止对识别坐标进行纠偏,并对预定方向和预定距离进行调整。 较佳的,当判断出识别坐标处存在目标元素时,确定识别坐标是实际坐标。 本发明还提供一种对移动设备的游戏用户界面进行纠偏的装置,装置包括: 选择单元,确定目标元素,从在移动设备的游戏用户界面上截取的一个或多个屏 幕截图中选择包含目标元素的屏幕截图; 获取单元,从屏幕截图获取目标元素在屏幕截图中的识别坐标; 判断单元,判断识别坐标处是否存在目标元素; 纠偏单元,当判断出识别坐标处不存在目标元素时,从识别坐标开始以预定规则 移动,从而对识别坐标进行纠偏。 较佳的,针对移动设备设置预定方向和预定距离,从识别坐标开始朝向预定方向 移动预定距离,到达新坐标, 其中,当纠偏单元判断出新坐标处存在目标元素时,将新坐标作为实际坐标。 较佳的,当纠偏单元判断出新坐标处不存在目标元素时,判断从识别坐标开始朝 向预定方向移动的距离是否大于等于阈值距离。 较佳的,当判断出从识别坐标开始朝向预定方向移动的距离小于阈值距离时,从 新坐标开始继续朝向预定方向移动预定距离,到达下一个新坐标, 其中,当判断出下一个新坐标处存在目标元素时,将下一个新坐标作为实际坐标。 较佳的,当判断出从识别坐标开始朝向预定方向移动的距离大于等于阈值距离 时,停止对识别坐标进行纠偏,并对预定方向和预定距离进行调整。 较佳的,当判断单元判断出识别坐标处存在目标元素时,确定识别坐标是实际坐 标。 本发明还提供一种包含游戏用户界面的移动设备,移动设备包括如上的装置。 本发明还提供一种计算机可读的存储介质,存储介质具有存储在其中的指令,当 指令被执行时,使得计算机执行如上的对移动设备的游戏用户界面进行纠偏的方法。 本发明还提供一种系统,包括: 存储器,用于存储由系统的一个或多个处理器执行的指令,以及 处理器,用于执行如上的对移动设备的游戏用户界面进行纠偏的方法。 本发明中,可以自动对手机的游戏用户界面进行准确、有效地纠偏,并且提高了纠 偏的效率。 附图说明 图1是根据本发明实施例的对移动设备的游戏用户界面进行纠偏的方法的系统的 硬件结构框图; 图2是根据本发明实施例的移动设备的结构图; 图3是根据本发明实施例的对移动设备的游戏用户界面进行纠偏的装置的结构 图; 图4是根据本发明实施例的对移动设备的游戏用户界面进行纠偏的方法的流程 图; 5 CN 111600995 A 说 明 书 3/6 页 图5是图4中的纠偏步骤的具体流程图; 图6是根据本发明实施例的目标元素的识别坐标和实际坐标的示意图。