技术摘要：
本公开的实施例公开了一种图像语义和场景几何联合约束的室内VR场景构建的方法、装置、电子设备和介质。该方法的一具体实施方式包括：获得图像和相机距离地面的高度；对图像进行预处理；将预处理后的该图像输入至预先训练的深度残差网络中，输出该图像的特征信息；检测  全部
背景技术：
包括：获得图像和相机距离地面的高度；对图像 进行预处理；将预处理后的该图像输入至预先训 练的深度残差网络中，输出该图像的特征信息； 检测该特征信息中直线的信息；将该直线的信息 输入至卷积神经网络中，输出该图像中墙体连接 部分的信息；确定室内布局信息；将该特征信息 输入至预先训练的目标检测网络中，输出该图像 中室内物体信息；得到室内物体的位置信息；完 成室内与虚拟现实交互场景的构建。该实施方式 通过室内VR交互场景的构建来精准、快速的还原 图像真实场景。 CN 111583417 A CN 111583417 A 权　利　要　求　书 1/2 页 1.一种图像语义和场景几何联合约束的室内VR场景构建的方法，包括： 获得室内图像和拍摄所述室内图像时相机距离地面的高度； 对所述室内图像进行预处理； 将预处理后的所述室内图像输入至预先训练的深度残差网络中，输出所述室内图像的 特征信息； 检测所述特征信息中直线的信息； 将所述直线的信息输入至卷积神经网络中，输出所述室内图像中墙体连接部分的信 息，其中，所述墙体连接部分在所述室内图像中是墙体之间连接的直线； 基于所述相机距离地面的高度和所述墙体连接部分的信息，得到室内布局信息； 将所述特征信息输入至预先训练的目标检测网络中，输出所述室内图像中室内物体信 息； 基于所述室内物体信息和所述墙体连接部分的信息，得到室内物体的位置信息； 根据所述室内布局信息和所述室内物体的位置信息来完成室内与虚拟现实交互场景 的构建。 2.根据权利要求1所述的方法，其中，所述对室内图像进行预处理，包括： 将所述室内图像调整为预定分辨率。 3.根据权利要求1所述的方法，其中，所述检测所述特征信息中直线的信息，包括： 利用直线检测算法检测出所述特征信息中直线的位置，并将所述直线的位置信息储存 下来。 4.根据权利要求3所述的方法，其中，所述将所述直线的信息输入至卷积神经网络中， 输出所述室内图像中墙体连接部分的信息，包括： 将卷积神经网络作为判别器，对存储下来的所述直线的位置进行评分，通过评分得到 墙体连接部分的直线。 5.根据权利要求1所述的方法，其中，所述将所述室内图像的特征信息输入至预先训练 的目标检测网络中，输出所述室内图像中室内物体信息，包括： 使用目标检测网络对所述室内图像进行室内物体的检测，输出所述室内图像中所述室 内物体的中心坐标、长度和宽度信息。 6.根据权利要求5所述的方法，其中，所述根据所述室内布局信息和所述室内物体的位 置信息来完成室内与虚拟现实交互场景的构建，包括： 对所述室内图像进行裁剪； 通过所述卷积神经网络输出的所述墙体连接部分的信息，检测出所述墙体连接部分在 室内图像中的位置坐标； 提取所述室内图像中室内物体的中心坐标； 通过所述墙体连接部分在所述室内图像中的位置坐标与所述室内物体的中心坐标的 关系，得到室内物体的位置； 基于所述室内物体的位置和所述墙体连接部分的信息完成室内与虚拟现实交互场景 的构建。 7.一种图像语义和场景几何联合约束的室内VR场景构建的装置，包括： 获取单元，被配置成获得室内图像和拍摄所述室内图像时相机距离地面的高度； 2 CN 111583417 A 权　利　要　求　书 2/2 页 处理单元，被配置成对所述室内图像进行预处理； 第一输入输出单元，被配置成将预处理后的所述室内图像输入至预先训练的深度残差 网络中，输出所述室内图像的特征信息； 检测单元，被配置成检测所述特征信息中直线的信息； 第二输入输出单元，被配置成将所述直线的信息输入至卷积神经网络中，输出所述室 内图像中墙体连接部分的信息，其中，所述墙体连接部分在所述室内图像中是墙体之间连 接的直线； 第一确定单元，被配置成基于所述相机距离地面的高度和所述墙体连接部分的信息， 得到室内布局信息； 第三输入输出单元，被配置成将所述特征信息输入至预先训练的目标检测网络中，输 出所述室内图像中室内物体信息； 第二确定单元，被配置成基于所述室内物体信息和所述墙体连接部分的信息，得到室 内物体的位置信息； 第三确定单元，被配置成根据所述室内布局信息和所述室内物体的位置信息来完成室 内与虚拟现实交互场景的构建。 8.一种电子设备，包括： 一个或多个处理器； 存储装置，用于存储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器 实现如权利要求1-6中任一所述的方法。 9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现 如权利要求1-6中任一所述的方法。 3 CN 111583417 A 说　明　书 1/8 页 一种图像语义和场景几何联合约束的室内VR场景构建的方 法、装置、电子设备和介质 技术领域 本公开的实施例涉及计算机技术领域，具体涉及一种图像语义和场景几何联合约 束的室内VR场景构建的方法、装置、电子设备和介质。
技术实现要素：
随着虚拟现实技术(VR，Virtual  Reality)的迅速发展,使得交互性的实现变得更 加容易。VR技术越来越多的应用于我们日常生活中。例如，在室内装潢中，将VR技术应该到 室内装潢中就可以与客户进行交互设计从而解决了客户对室内装潢的要求的多样性这个 难题。由于虚拟现实场景对细节要求较高，手工制作场景不仅耗费大量人力、物力，其成本 高居不下，是制约虚拟现实技术发展的原因之一。目前存在的解决方案有模板式场景生成、 使用各种设备采集真实世界的三维信息并转换为三维模型等方法。这些生成方法依赖于一 套预先设计的场景模板，随后通过设置参数来批量生成三维场景。但是这些方法有很大的 局限性，精准度不高。