技术摘要：
根据视点范围对表示场景的3D表示的数据进行编码/解码可以涉及根据表示与3D表示的部分相关联的二维参数化的参数和与该部分中包括的点相关联的数据，生成与该部分相关联的深度图，其中二维参数化可以响应于与点相关联的几何信息，并且响应于与视点范围相关联的姿势信息。  全部
背景技术：
本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的 本公开的各个方面有关。认为本讨论有助于向读者提供背景信息，以有助于更好地理解本 发明的各个方面。因此，应该理解的是，应从此角度来阅读这些陈述，而不是作为对现有技 术的承认。 近来，可用的大视野内容(高达360°)日益增长。这类内容可能并不能由用户在诸 如头戴式显示器、智能眼镜、PC屏幕、平板、智能电话等沉浸式显示设备上观看内容时完全 看到。这意味着在给定时刻，用户可能仅在观看内容的一部分。然而，用户通常可以通过诸 如头部移动、鼠标移动、触摸屏、语音等各种手段在内容之内导航。通常期望对该内容进行 编码和解码。 沉浸式视频(也称为360°平面视频)允许用户通过其头部围绕静止视点的旋转来 观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频对于首次全向视频体 验(例如使用头戴式显示设备(HMD))是足够的，但对于希望获得更大自由度(例如通过体验 平行视差(parallax))的观看者而言，3DoF视频可能很快变得令人失望。另外，3DoF还可能 引起头晕，因为用户不仅旋转了头部，而且还在三个方向上平移了头部，这些平移在3DoF视 频体验中不被再现。 大视野内容尤其可以是三维计算机图形图像场景(3D  CGI场景)、点云或沉浸式视 频。可以使用许多术语来设计这类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π球面弧 度、沉浸式、全向或大视野。 体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除 了旋转之外，用户还可以在观看的内容之内平移其头部甚至身体，并且体验平行视差甚至 体积。此类视频大大提高沉浸感和景深感知，并通过在头部平移期间提供一致的视觉反馈 来防止头晕。通过允许同时记录感兴趣场景的颜色和深度的专用传感器来创建内容。彩色 相机装备与摄影测量技术的结合使用是执行此类记录的常用方式。 虽然3DoF视频包括从纹理图像的去映射中得到的图像序列(例如根据纬度/经度 投影映射或等矩形投影映射而编码的球形图像)，但6DoF视频帧嵌入了来自多个视点的信 息。可以将它们视为从三维捕获得到的点云的时间序列。取决于观看状况，可以考虑两种体 积视频。第一种(即完整的6DoF)允许在视频内容之内进行完全自由的导航，而第二种(也称 为3DoF )将用户的观看空间限制为有限的体积，从而限制了头部平移和平行视差体验。这 第二种情况是在自由导航与坐下的观众的被动观看状况之间的一种有益权衡。 在增加沉浸式环境中的用户体验的同时，要传输到渲染器的数据量非常重要，并 5 CN 111615715 A 说　明　书 2/23 页 且可能是一个问题。
技术实现要素：
说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用指示所 描述的实施例可包括特定的特征、结构或特性，但是每个实施例不一定包括该特定的特征、 结构或特性。而且，此类短语不一定指代相同的实施例。此外，当结合实施例描述特定的特 征、结构或特性时，可以认为无论是否明确描述，结合其他实施例来影响这些特征、结构或 特性在本领域技术人员的知识范围内。 本公开涉及一种将表示场景的3D表示的数据编码到比特流中的方法，该3D表示根 据视点范围，该方法包括： -根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个参数 以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联 的至少一个深度图，所述至少一个二维参数化响应于与至少一个点相关联的几何信息，并 且响应于与视点范围相关联的姿势信息； -根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据， 生成与所述至少一部分相关联的至少一个纹理图； -获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息； -将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码成比 特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编码成 比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和至少 一个纹理图之间的映射的第二信息编码成比特流的第五语法元素。 本公开还涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该 3D表示根据视点范围，该设备包括与至少一个处理器相关联的存储器，该处理器配置为： -根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个参数 以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联 的至少一个深度图，所述至少一个二维参数化响应于与至少一个点相关联的几何信息，并 且响应于与视点范围相关联的姿势信息； -根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据， 生成与所述至少一部分相关联的至少一个纹理图； -获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息； -将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码成比 特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编码成 比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和至少 一个纹理图之间的映射的第二信息编码成比特流的第五语法元素。 本公开涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该3D 表示根据视点范围，该设备包括： -生成器，其配置为根据表示与3D表示的至少一部分相关联的至少一个二维参数 化的至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述 至少一部分相关联的至少一个深度图，所述至少一个二维参数化响应于与至少一个点相关 6 CN 111615715 A 说　明　书 3/23 页 联的几何信息，并且响应于与视点范围相关联的姿势信息； -生成器，其配置为根据至少一个参数以及与所述至少一部分中包括的至少一个 点相关联的数据，生成与所述至少一部分相关联的至少一个纹理图； -接口，配置为获得表示至少一部分3D表示的至少一部分中包括的点的点密度的 第一信息； -编码器，配置为将至少一个深度图编码成比特流的第一语法元素，将至少一个纹 理图编码成比特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第 一信息编码成比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个 深度图和至少一个纹理图之间的映射的第二信息编码成比特流的第五语法元素。 本公开还涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该 3D表示根据视点范围，该设备包括： -用于根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个 参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相 关联的至少一个深度图的部件，所述至少一个二维参数化响应于与至少一个点相关联的几 何信息，并且响应于与视点范围相关联的姿势信息； -用于根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数 据，生成与所述至少一部分相关联的至少一个纹理图的部件； -用于获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息 的部件； -用于将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码 成比特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编 码成比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和 至少一个纹理图之间的映射的第二信息编码成比特流的第五语法元素的部件。 本公开涉及一种从比特流中解码表示场景的3D表示的数据的方法，该3D表示根据 视点范围，该方法包括： -从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参 数； -从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据； -从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据； -从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数据、从 比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信 息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和至少 一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个点相 关联的数据。 本公开涉及一种配置为从比特流中解码表示场景的3D表示的数据的设备，该3D表 示根据视点范围，该设备包括与至少一个处理器相关联的存储器，该处理器配置为： -从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参 数； -从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据； 7 CN 111615715 A 说　明　书 4/23 页 -从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据； -从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数据、从 比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信 息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和至少 一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个点相 关联的数据。 本公开涉及一种配置为从比特流中解码表示场景的3D表示的数据的设备，该3D表 示根据视点范围，该设备包括： -解码器，配置为从比特流中解码表示3D表示的至少一部分的至少一个二维参数 化的至少一个参数； -解码器，配置为从比特流中解码表示与3D表示的至少一部分相关联的至少一个 纹理图的数据； -解码器，配置为从比特流中解码表示与3D表示的至少一部分相关联的至少一个 深度图的数据； -处理器，配置为从至少一个参数、表示至少一个纹理图的数据、表示至少一个深 度图的数据、从比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点 密度的第一信息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个 深度图和至少一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的 至少一个点相关联的数据。 本公开涉及一种配置为从比特流中解码表示场景的3D表示的数据的设备，该3D表 示根据视点范围，该设备包括： -用于从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一 个参数的部件； -用于从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数 据的部件； -用于从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数 据的部件； -用于从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数 据、从比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第 一信息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和 至少一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个 点相关联的数据的部件。 根据特定特性，第一信息包括关于3D表示的哪些部分的点密度低于确定密度值的 指示。 根据具体特性，通过根据视点范围中包括的视点检测场景的至少一个图像中的场 景的对象之间的至少一个边界来获得第一信息，3D表示的部分的点密度低于与包括边界的 场景的区域相对应的确定密度值。 根据另一特性，通过计算3D表示的多个体积元素中的每个体积元素中包括的点的 数量从而获得每个体积元素的点密度，并且通过将每个体积的点密度与确定密度值进行比 8 CN 111615715 A 说　明　书 5/23 页 较来获得第一信息。 根据又一特性，除了从经解码的至少一个深度图获得的点之外，在点密度低于确 定密度值的3D表示的部分中生成附加点。 本公开还涉及一种承载表示场景的3D表示的数据的比特流，该3D表示根据视点范 围，其中，该数据包括： -表示部分3D表示的至少一部分的至少一个二维参数化的至少一个参数，该参数 是根据与3D表示的至少一部分的至少一个点相关联的几何信息以及根据与视点范围相关 联的姿势信息而获得的； -表示至少一个纹理图的数据，该至少一个纹理图与3D表示的至少一部分相关联， 并且是从至少一个参数和与3D表示的至少一部分中包括的至少一个点相关联的数据中确 定的； -表示至少一个深度图的数据，该至少一个深度图与3D表示的至少一部分相关联， 并且是从至少一个参数和与3D表示的至少一部分中包括的至少一个点相关联的数据中确 定的； -表示至少一部分3D表示中的至少一部分中包括的点的点密度的第一信息；以及 -表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映 射的第二信息。 本公开还涉及一种包括程序代码指令的计算机程序产品，当在计算机上执行该程 序时，该程序代码指令执行编码或解码表示场景的3D表示的数据的方法的步骤。 本公开还涉及一种(非暂时性)处理器可读介质，该介质中存储有用于使处理器至 少执行上述编码或解码表示场景的3D表示的数据的方法的指令。 附图说明 通过阅读以下描述，将更好地理解本公开，并且其他具体特征和优点也将显现，该 描述参考附图，其中： -图1示出了根据本原理的特定实施例的体积内容； -图2A和图2B示出了根据本原理的特定实施例的光场采集设备，其配置为采集3D 场景(或3D场景的一部分)的图像以获得图1的体积内容的至少一部分； -图3示出了根据本原理的特定实施例的用图2A和图2B的采集设备采集的3D场景 或其一部分的表示； -图4示出了根据本原理的特定实施例的与图3的3D场景的表示的3D部分相关联的 2D参数化； -图5和图6示出了根据本原理的特定实施例的与图4的3D部分相关联的补丁图集； -图7示出了根据本原理的非限制性实施例的图5和图6的补丁图集的生成； -图8A、图8B、图8C和图8D各自示出了对图3的3D场景的3D表示的分割的非限制性 示例； -图9示出了根据本原理的示例的图3的3D场景的表示的编码/解码方案的示例； -图10示出了根据本原理的非限制性实施例的在对图3的3D场景的表示进行编码 中实现的处理的示例；和 9 CN 111615715 A 说　明　书 6/23 页 -图11示出了根据本原理的非限制性实施例的用于解码比特流以获得图3的3D场 景的经解码的3D表示的处理的示例； -图12示出了根据本原理的示例的配置用于实现图10、图11、图15和/或图16的方 法的设备的架构的示例； -图13示出了根据本原理的示例的通过通信网络进行通信的图12的两个远程设 备； -图14示出了根据本原理的示例的承载图3的3D场景的3D表示的描述的信号的语 法； -图15示出了根据本原理的示例的对表示图3的3D场景的3D表示的数据进行编码 的方法； -图16示出了根据本原理的示例的对表示图3的3D场景的3D表示的数据进行解码 的方法。