logo好方法网

一种空间定位方法、装置、系统和头戴式设备


技术摘要:
本发明实施例涉及一种空间定位方法、装置、系统和头戴式设备,摄像机在工作时,可以动态调整曝光时间,形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像序列。在此过程中,手持设备上的LED接受指令,按照一定的频率、亮度和发光时刻进行脉冲发光。为了避  全部
背景技术:
随着5G的到来,VR/AR的浪潮又再次袭来。空间定位技术是VR/AR的核心关键技术。 在2017年以后,空间定位方案都逐渐转向由内向外(inside-out),直接把摄像机内置到用 户所佩戴的头盔或者眼镜之中,摄像机通过拍摄周边环境,提取周边环境的特征点(如房间 墙壁上的图案,天花板的角点等),反向计算出头盔或者眼镜的六自由度(6degrees  of  freedom,6DOF)空间位置(X,Y,Z三维坐标)和姿态(Yaw,Roll,Pitch三个角度),对于手柄而 言,仍然在上面布设光源(如LED),通过摄像机拍摄到的手柄上的LED来解算手柄相对于头 盔的6DOF参数。通过这样的方案,可以实现对用户头部和手部的6DOF空间定位和实时位置 追踪,从而很好的解决了用户使用的方便性问题。 摄像机在连续拍摄图像时,环境跟踪曝光时长的帧和手持设备跟踪曝光时长的帧 按照一定的比例交替进行,比如先拍摄一帧环境跟踪曝光时间的图像,然后拍摄一帧手持 设备跟踪曝光时间的图像;或者按照1:2的比例进行拍摄。这种方案的优点是解决了曝光时 长的矛盾,并且没有引入额外的摄像机从而增加成本、发热和功耗。但缺点是,同一个摄像 机进行时分复用,需要摄像机工作在更高的帧率(如60FPS,其中30FPS进行环境跟踪曝光, 用于头部定位,30FPS进行手持设备跟踪曝光,用于手柄定位),增加了摄像机的帧率要求。 更重要的是,虽然摄像机工作在更高的帧率,但手柄的帧率是更低的,其LED发光的频率也 只有30FPS,这会带来闪烁问题,用户使用时,会看到手柄上的LED处于闪烁状态,引起用户 的视觉不适感。 实现本发明过程中,发明人发现相关技术中至少存在如下问题:同一个摄像机进 行时分复用,环境跟踪曝光时长的帧和手持设备跟踪曝光时长的帧按照一定的比例交替进 行,用户使用时,会看到手柄上的LED处于闪烁状态,引起用户的视觉不适感。
技术实现要素:
本发明实施例的目的是提供一种空间定位方法、装置、系统和头戴式设备,以解决 因光源处于闪烁状态,引起用户的视觉不适感。 第一方面,本发明实施例提供了一种头戴式设备,包括: 图像传感器, 处理器, 存储器, 所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一 个处理器执行,以执行以下方法: 向所述图像传感器发送曝光指令,以使得所述图像传感器获取所述头戴式设备周 4 CN 111614915 A 说 明 书 2/8 页 围环境的图像数据,所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图 像数据,手持设备的光源在环境跟踪曝光的积分发光强度,不低于所述手持设备的光源在 手持设备跟踪曝光的积分发光强度,其中,所述环境跟踪曝光时长大于所述手持设备跟踪 曝光时长; 根据所述环境跟踪曝光图像数据,获取所述头戴式设备相对于周围环境的位置; 根据所述手持设备跟踪曝光图像数据,获取所述手持设备相对于所述头戴式设备 的位置。 在一些实施例中,所述指令还用于执行:获取上一帧手持设备跟踪曝光图像数据, 计算所述光源发光光斑的位置和边界; 预测当前帧环境跟踪曝光的光源发光光斑的位置和边界; 从当前帧环境跟踪曝光图像数据中,去除预测的光源发光光斑; 根据减去后的环境跟踪曝光图像数据,确定所述头戴式设备相对于周围环境的位 置。 第二方面,本发明实施例提供了一种空间定位方法,应用于头戴式设备,所述头戴 式设备包括:图像传感器,处理器,存储器,所述存储器存储有可被所述至少一个处理器执 行的指令,所述方法包括: 向所述图像传感器发送曝光指令,以使得所述图像传感器获取所述头戴式设备周 围环境的图像数据,所述周围环境的图像数据包括环境跟踪曝光和手持设备跟踪曝光的图 像数据,手持设备的光源在环境跟踪曝光的积分发光强度,不低于所述手持设备的光源在 手持设备跟踪曝光的积分发光强度,其中,所述环境跟踪曝光时长大于所述手持设备跟踪 曝光时长; 根据所述环境跟踪曝光图像数据,获取所述头戴式设备相对于周围环境的位置; 根据所述手持设备跟踪曝光图像数据,获取所述手持设备相对于所述头戴式设备 的位置。 在一些实施例中,所述根据所述环境跟踪曝光图像数据,获取所述头戴式设备相 对于周围环境的位置,包括: 获取上一帧手持设备跟踪曝光图像数据,计算所述光源发光光斑的位置和边界; 预测当前帧环境跟踪曝光的光源发光光斑的位置和边界; 从当前帧环境跟踪曝光图像数据中,去除预测的光源发光光斑; 根据减去后的环境跟踪曝光图像数据,确定所述头戴式设备相对于周围环境的位 置。 在一些实施例中,所述预测当前帧环境跟踪曝光的光源发光光斑的位置和边界, 包括: 获取所述头戴式设备的运动信息和所述手持设备的运动信息,确定环境跟踪曝光 的光源发光光斑的位置,并计算环境跟踪曝光中光源发光光斑的光晕信息。 第三方面,一种空间定位装置,包括: 发送模块,用于向所述图像传感器发送曝光指令,以使得所述图像传感器获取所 述头戴式设备周围环境的图像数据,所述周围环境的图像数据包括环境跟踪曝光和手持设 备跟踪曝光的图像数据,手持设备的光源在环境跟踪曝光的积分发光强度,不低于所述手 5 CN 111614915 A 说 明 书 3/8 页 持设备的光源在手持设备跟踪曝光的积分发光强度,其中,所述环境跟踪曝光时长大于所 述手持设备跟踪曝光时长; 第一获取模块,用于根据所述环境跟踪曝光图像数据,获取所述头戴式设备相对 于周围环境的位置; 第二获取模块,用于根据所述手持设备跟踪曝光图像数据,获取所述手持设备相 对于所述头戴式设备的位置。 在一些实施例中,所述第一获取模块,用于: 获取上一帧手持设备跟踪曝光图像数据,计算所述光源发光光斑的位置和边界; 预测当前帧环境跟踪曝光的光源发光光斑的位置和边界; 从当前帧环境跟踪曝光图像数据中,去除预测的光源发光光斑; 根据减去后的环境跟踪曝光图像数据,确定所述头戴式设备相对于周围环境的位 置。 在一些实施例中,所述第一获取模块,还用于: 获取所述头戴式设备的运动信息和所述手持设备的运动信息,确定环境跟踪曝光 的光源发光光斑的位置,并计算环境跟踪曝光中光源发光光斑的光晕信息。 第四方面,本发明实施例提供了一种空间定位系统,包括如上的头戴式设备,以及 手持设备,所述手持设备上设有光源。 第五方面,本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机 可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被机器人执行时,使所 述机器人执行如上所述的方法。 本发明实施例的空间定位方法、装置、系统和头戴式设备,摄像机在工作时,可以 动态调整曝光时间,形成以一定比例的环境跟踪曝光、手持设备跟踪曝光交替进行的图像 序列。在此过程中,手持设备上的LED接受指令,按照一定的频率、亮度和发光时刻进行脉冲 发光。为了避免对人眼造成闪烁感,LED在环境跟踪曝光、手持设备跟踪曝光的强度,控制在 一定范围内。这种方式未增加摄像机的个数,从而使得头戴式设备inside-out更加简便,并 避免闪烁感。 附图说明 一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说 明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除 非有特别申明,附图中的图不构成比例限制。 图1为本发明实施例提供的空间定位的应用场景实例; 图2是本发明头戴式设备定位方法的一个实施例的流程示意图; 图3是本发明头戴式设备中摄像机的曝光和手持设备的LED的发光的时间关系; 图4是本发明头戴式设备手持设备跟踪曝光的图像示意图; 图5是本发明头戴式设备环境跟踪曝光的图像示意图; 图6是本发明头戴式设备环境跟踪曝光图像处理方法; 图7是本发明头戴式设备空间定位装置的结构示意图; 图8是本发明头戴式设备的一个实施例的结构示意图; 6 CN 111614915 A 说 明 书 4/8 页 图9是本发明LED发光峰值不变的示意图; 图10是本发明LED发光峰值变化的示意图。
下载此资料需消耗2积分,
分享到:
收藏