技术摘要：
一种系统可以包括一个或多个处理器，所述处理器被配置为接收代表环境的多个图像。图像可以包括由图像捕获设备生成的图像数据。处理器还可以被配置为将图像数据传输到被配置为分割图像的图像分割网络。处理器还可以被配置为接收与环境相关联的传感器数据，包括由与图像  全部
背景技术：
传感器可用于生成指示环境中的对象的传感器数据。然而，由传感器生成的传感 器数据的原始形式可能使得难以使用或分析数据。因此，可以对传感器数据进行分割以将 其转换成更有用的形式(例如，标识数据中的不同对象，可驱动的(即，可以在其上进行驱 动)的传感器数据中的区域等)。分割数据通常涉及将传感器数据划分或组织为更有意义或 更有组织的形式，使得例如可以标识或分类传感器数据中捕获的数据的区域。数据分割可 以由人类手动执行。然而，手动分割可能会过分耗时且成本过高，通常使其不适合于许多应 用。可以使用计算机将图像数据自动分割，这将图像划分为不同的片段，以提供图像的更有 意义或更合用的表示。例如，可以对图像进行分割以唯一地标识图像内的对象，这在一些应 用中可以是有用的，例如自主车辆的操作。然而，可能难以自动分割从其他类型的传感器获 得的传感器数据。在这样的情况下，由人类进行手动分割可能是必要的，从而使从这样的传 感器类型获得的传感器数据的成本过高或难以用于一些应用。 附图说明 参考附图描述了详细描述。在附图中，附图标记的最左边的数字标识该附图标记 首次出现于其中的附图。不同附图中的相同附图标记指示相似或相同的项目。 图1是用于捕获图像数据和传感器数据、分割所捕获的图像、将传感器数据投影到 分割的图像上以及生成训练数据集的示例过程的图形流程图。 图2是示例车辆通过其行进并捕获图像数据和传感器数据的示例环境。 图3是用于生成分割的图像、训练示例传感器数据分割模型以及分割传感器数据 的示例架构。 图4A描绘了具有多个图像捕获设备和传感器的示例车辆的侧视图。 图4B描绘了图4A中所示的示例车辆的俯视图。 图5A描绘了示例图像，该示例图像包括图像数据和针对对象分割的示例图像的分 割版本。 图5B描绘了图5A中所示的示例图像以及针对可驱动表面而分割的示例图像的分 割版本。 图6是用于捕获图像数据和传感器数据的示例过程的图形流程图。 图7是用于分割图6中所示的图像、将图6中捕获的传感器数据投影到分割的图像 上以及生成训练数据集的示例过程的图形流程图。 图8是用于捕获传感器数据和使用示例传感器数据分割网络来分割传感器数据以 生成分割的传感器数据以供轨迹模块生成车辆轨迹的示例过程的图形流程图。 5 CN 111615703 A 说　明　书 2/24 页 图9是用于使用包括分割的图像和传感器数据的示例训练数据集来训练示例传感 器数据分割模型的示例过程的流程图。 图10是用于使用示例传感器数据分割模型来分割传感器数据的示例过程的流程 图。 图11描绘了用于实现本文描述的过程的示例计算机架构的框图。
技术实现要素：
本公开总体上涉及用于分割传感器数据的方法、装置和系统。传感器数据的这种 分割可以通过更容易分割的其他类型的传感器数据的分割来辅助。例如，系统可以使用一 个或多个图像捕获设备同时或基本同时捕获图像数据，并使用与图像捕获设备不同类型的 一个或多个传感器同时或基本同时捕获传感器数据。因为图像数据的分割可能比(除了图 像数据之外的)传感器数据的分割生成更准确的结果，所以图像数据可用于辅助或训练传 感器数据的分割。该系统可以分割图像，并且将传感器数据与分割的图像相关联，以创建可 以用于训练传感器数据分割模型的训练数据集。例如，传感器数据(例如，由LIDAR传感器捕 获的传感器数据，如本文所讨论的)可以被投影到分割的图像上，并且与分割的图像相关联 的分割信息可以被翻译或应用于传感器数据以创建训练数据集。训练的传感器数据分割模 型可以用于自动分割从另一类型的传感器获得的传感器数据，从而使传感器数据对于许多 应用(例如，自主车辆的操作)更加有用。考虑了其他应用。类似地，在一些示例中，任何一种 类型的传感器数据可以用于辅助和/或训练另一种类型的传感器数据的分割。 本公开总体上涉及一种被配置为接收代表环境的多个图像的系统。图像可以包括 由图像捕获设备生成的图像数据。该系统可以被配置为将图像数据发送到图像分割网络， 该图像分割网络被配置为分割图像并生成分割的图像。该系统还可以接收与环境相关联的 传感器数据。传感器数据可以包括由与图像捕获设备不同的类型的传感器生成的传感器数 据。例如，图像捕获设备和传感器可以同时或基本同时(在技术能力内)捕获与环境相关联 的数据。该图像捕获设备可以包括例如一个或多个相机(例如，RGB相机、单色相机、强度(灰 度)相机、红外相机、紫外线相机、深度相机、立体相机等)。该传感器可以包括例如一个或多 个光检测和测距(LIDAR)传感器、一个或多个无线电检测和测距(RADAR)传感器、一个或多 个声音导航和测距(SONAR)传感器以及其他传感器。该系统还可以被配置为将传感器数据 与分割的图像相关联以创建训练数据集。训练数据集可以被传输到被配置为传感器数据分 割模型的机器学习网络。该系统还可以被配置为使用训练数据集来训练传感器数据分割模 型，使得传感器数据分割模型被配置为分割从传感器类型获得的传感器数据。 在一些示例中，系统可以被配置为将传感器数据投影到分割的图像上，以将传感 器数据与分割的图像的类(或分类)相关联。由图像捕获设备捕获的每个图像可以在相应图 像时间被捕获，并且传感器数据的各个部分可以在各个传感器时间被捕获。在一些示例中， 系统可以被配置为选择在图像时间捕获的图像，以最小化图像时间和与传感器数据的一部 分相关联的传感器时间之间的差异，并且将传感器数据的该部分与所选图像或图像的部分 相关联。以这种示例方式，可以最小化图像数据捕获和传感器数据捕获的时序上的差异，从 而减小了分割的传感器数据中潜在错误的可能性。在一些示例中，多于一个的图像捕获设 备可以捕获图像数据，并且在传感器数据与分割的图像相关联之前，图像数据可以被对准 6 CN 111615703 A 说　明　书 3/24 页 和融合。 在一些示例中，系统可以被配置为将传感器数据与分割的图像对准。可以从不同 的角度捕获图像数据和/或可以将其与环境的与其他传感器的视图不同的视图相关联。例 如，图像数据可以包含具有与传感器数据所包含的视图不同的宽度、高度和/或纵横比的视 图。在一些示例中，系统可以被配置为将分割的图像与传感器数据在时间和/或空间上对 准。另外，图像捕获设备的视场和另一个传感器的视场可以至少部分地重叠，使得图像数据 和传感器数据包括与环境的对于图像捕获设备的视场和另一个传感器的视场是公共的部 分相关的数据。 在一些示例中，系统可以被配置为在将传感器数据与分割的图像相关联以创建训 练数据集时，识别与图像中的对象的局部表示相关联的图像数据并且忽略或以其他方式掩 盖(mask)与该局部表示相关联的分割的图像数据。局部表示可以是训练数据中错误的来 源，因此系统的一些示例可以配置为忽略此类数据，以减少在训练数据集中创建错误的可 能性。在一些示例中，系统可以被配置为删除与传感器数据中的不连续性相关联的传感器 数据。例如，传感器数据中的不连续性可以是对传感器已经检测到多于单个对象的指示，例 如人和在该人身后的对象(例如，墙壁)。删除、掩盖或忽略与不连续性相关联的数据可能会 降低在训练数据集中创建错误的可能性。考虑了用于减少错误可能性的其他技术。例如，识 别不连续性可以包括确定与单个对象相关联的LIDAR数据点代表异常宽范围的距离。例如， 人可能正站在坚固的墙壁前十英尺处。在分割相关联的图像时，背景可能会被捕获在“行人 对象”中。然而，当将LIDAR数据投影到“行人对象”中时，一些LIDAR数据将与人实际相关联 的数据相比距传感器远十英尺。在这样的情况下，如果距离高于阈值，则这指示不连续性， 并且在一些示例中，数据可以被掩盖、忽略或删除，以避免在训练数据和机器学习网络中创 建不准确性。 在一些示例中，不是使用分割的图像来生成用于训练机器学习网络的训练数据 集，而是可以将先前从传感器获取并分割的数据用于生成用于训练传感器数据分割模型的 训练数据集。 本公开总体上还涉及一种系统，该系统被配置为分割由与图像捕获设备不同的传 感器生成的传感器数据。例如，系统可以被配置为从这样的传感器接收数据，例如，一个或 多个LIDAR传感器、一个或多个RADAR传感器、一个或多个SONAR传感器以及其他传感器。例 如，系统可以被配置为使用传感器数据分割模型来分割从LIDAR传感器接收的传感器数据， 并生成分割的LIDAR数据。例如，系统可以使用机器学习模型(例如，神经网络)，该机器学习 模型被配置为运行传感器数据分割模型以生成分割的传感器数据(例如，对于神经网络，在 推理模式下使用经训练的网络对传感器数据进行分割)。以这种示例方式，系统可以自动分 割传感器数据。通过分割传感器数据，分割的传感器数据可以具有更有用的形式。例如，分 割的传感器数据可以由自主车辆的感知系统使用，该感知系统可以通知一个或多个系统， 该系统至少部分地基于分割的传感器数据来生成用于自主车辆的操作的轨迹。考虑了分割 传感器数据的其他用途。 本公开总体上还涉及用于分割传感器数据的方法。该方法可以包括接收一个或多 个代表环境的图像。图像可以包括由一个或多个图像捕获设备生成的图像数据。该方法还 可以包括将图像数据传输到被配置为分割图像的图像分割网络。该方法还可以包括接收由 7 CN 111615703 A 说　明　书 4/24 页 与图像捕获设备不同的传感器生成的传感器数据。传感器数据可以包括代表环境的数据。 该方法还可以包括分割图像以生成分割的图像，以及将传感器数据与分割的图像相关联以 创建训练数据集。该方法还可以包括将训练数据集传输到机器学习网络，该机器学习网络 被配置为运行传感器数据分割模型(即，使用分割模型来分割传感器数据)，以及使用训练 数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为对从传感器获得的 传感器数据进行分割。 本公开总体上还涉及一种用于生成自主车辆的轨迹的方法。该方法可以包括：从 与图像捕获设备不同的传感器接收传感器数据；以及使用传感器数据分割模型来对从传感 器接收的传感器数据进行分割。该方法还可以包括至少部分地基于分割的传感器数据来生 成用于自主车辆的一个或多个轨迹。 本文所述的训练数据的生成和机器学习模型的训练可以通过以更准确和可靠的 方式生成训练数据来改善计算设备的运行，该更准确和可靠的方式改善了以传感器数据表 示的对象的分割和/或分类的性能。在一些情况下，通过训练机器学习网络和/或算法以用 于传感器数据的改善的自动分割和/或分类，改善的训练数据生成和相关系统可以提供更 准确和/或更快的分割。使用本文所述的训练数据生成和训练操作来基于图像分割自动确 定分割信息通过将附加数据暴露于机器学习算法引起对对象更准确和/或更快的分类。此 外，本文描述的训练数据和训练技术可以允许提供改善的处理的深度学习技术。在一些情 况下，可以在生成自主车辆的轨迹时利用更快和/或更准确的分割和/或分类，这可以改善 自主车辆的乘员的安全性。在一些情况下，本文所述的训练数据生成和训练操作可以通过 将机器学习操作(例如，人工神经网络)应用于简化的(例如，分割的)数据来减少存储器需 求或减少处理量。在另外的示例中，可以容易地扩展这种方法以包括多个传感器类型和子 类型，否则这可能需要创建多个训练集。本文讨论了对计算机运作的这些和其他改善。 本文描述的技术和系统可以以多种方式来实现。下面参考附图提供示例实施方 式。 图1是用于捕获图像和传感器数据、分割捕获的图像、将传感器数据投影到分割的 图像上并且生成用于训练传感器数据分割模型的训练数据集的示例过程的图形流程图 100。在所示的示例中，示例车辆102行进通过环境104。例如，车辆102可以是自主车辆，例如 本文相对于图2所描述的示例车辆。车辆102可以包括一个或多个图像捕获设备106和一个 或多个传感器108(例如，一个或多个LIDAR传感器、雷达传感器、超声换能器等)，其被配置 为分别捕获与其中存在一个或多个图像捕获设备106和一个或多个传感器108的环境104相 关联的图像数据110和传感器数据112。虽然图1标识了单个图像捕获设备106和单个传感器 10，考虑了更多的图像捕获设备106和/或更多的传感器1088，例如如本文关于图4A和4B所 描述的。图像捕获设备106可以是被配置为捕获代表环境的图像的任何类型的图像捕获设 备，例如一个或多个相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相 机、深度相机、立体相机等)。传感器108可以是被配置为生成表示与图像捕获设备不同的传 感器的环境的数据的任何类型的传感器。例如，传感器108可以是一个或多个LIDAR传感器、 一个或多个RADAR传感器、一个或多个SONAR传感器以及其他传感器。 在图1所示的示例中，图像捕获设备106被描绘为以图像114A-114C的形式捕获图 像数据110，图像114A-114C对应于在三个连续时间t1、t2、t3的三个相应视场。例如，如示意 8 CN 111615703 A 说　明　书 5/24 页 性所示，图像捕获设备106在时间t1捕获与视场相关联的图像114A，在时间t2捕获与视场相 关联的图像114B，并且在时间t3捕获与视场相关联的图像114C。当图像捕获设备106行进通 过环境104时，图像114A-114C中的每个图像可以具有略微不同的视场。在这样的示例中，每 个图像114A-114C具有不同的并且包含环境104的不同部分的相应视角。在一些示例中，由 图像114A-114C中的每一个捕获的图像数据110可以被融合以生成环境104的更完整或准确 的表示。 出于说明的目的，图1中所示的示例传感器108是被配置为捕获LIDAR传感器数据 形式的传感器数据112的LIDAR传感器。考虑了其他类型的传感器。LIDAR传感器可以具有光 发射器和光传感器，其中光发射器包括一个或多个激光器，所述激光器将高度聚焦的光引 向对象或表面，该对象或表面将光反射回光传感器。LIDAR传感器的测量可以被表示为三维 LIDAR数据，其具有对应于由LIDAR传感器捕获的位置或距离的坐标(例如，笛卡尔坐标、极 坐标等)。在一些示例中，转换操作可以用于将三维LIDAR数据转换为多通道二维数据，其中 方位角和仰角被映射到X-Y坐标，一个通道包括范围，并且另一个通道包括强度。在一些示 例中，LIDAR数据可以如本文所述被自动地分割，并且分割的LIDAR数据可以例如用作用于 确定自主车辆的轨迹的输入。 在一些示例中，LIDAR传感器可以被配置为使得一个或多个激光器被安装以旋转 (例如，绕基本垂直的轴线)，从而使激光器扫过例如360度以捕获与环境相关联的LIDAR数 据。例如，如图1所示，一个或多个激光器可以扫过角度α，使得在时间t0，一个或多个激光器 沿垂直位置p0对准环境104。类似地，在时间t1，一个或多个激光器沿垂直位置p1对准环境， 在时间t2，一个或多个激光器沿垂直位置p2对准环境，并且在时间t3，一个或多个激光器沿 垂直位置p3对准环境。 在一些示例中，示例传感器108被配置为捕获视场116，其可以不同于与由图像捕 获设备106捕获的相应图像114A-114C中的每一个相关联的视场。虽然出于说明性目的在图 1中描绘，但是这种视场可以例如高达并且包括360度。在所示的示例中，传感器108的示例 视场116还具有与由图像捕获设备106捕获的相应图像114A-114C相关联的视场不同的纵横 比。例如，与图像114A-114C相关联的相应视场相比，LIDAR传感器的视场116可以更广和更 窄(例如，高度更短)。考虑了在一些示例中视场116可以与和由图像捕获设备106捕获的图 像相关联的视场中的一个或多个视场相同。在示例中，传感器104的视场116与和由图像捕 获设备106捕获的图像相关联的视场中的一个或多个视场不同(如本文中更详细地解释 的)，本文所述的系统可以被配置为解决这样的差异以将图像与传感器数据112对准。另外， 传感器104(例如，LIDAR传感器)可以被配置为在多个通道中和/或根据光束扩展来生成传 感器数据，并且系统可以被配置为解决图像数据110和传感器数据112之间的这种差异，并 将图像与传感器数据112对准。 如图1所示，示例过程100可以包括将包括图像114A-114C的图像数据110传输到图 像分割网络118，该图像分割网络118被配置为例如经由算法和/或机器学习(其可以从输入 图像预测分割的图像)来自动分割图像114A-114C以生成分割的图像120A-120C。机器学习 通常指的是一大类这样的算法，其中基于学习的参数来生成输出，这将在下面进行详细讨 论。在一些实施例中，可用于生成分割的图像120A-120C的示例机器学习算法是人工神经网 络(ANN)。ANN是受生物学启发的算法，其将输入数据传递通过一系列连接的层以生成输出。 9 CN 111615703 A 说　明　书 6/24 页 ANN中的每个层可以包括任何数量的层，并且还可以包括另一个ANN。ANN的各个层相互连接 的方式通常称为ANN的架构。考虑了用于分割图像的其他类型的图像分割网络。 图像分割可以用于将图像划分成不同的片段或超像素，以提供图像的更有意义的 表示。例如，可以对图像进行分割以便唯一地标识图像内的对象，每个对象具有唯一的标识 符。图像分割可以用于多个不同的应用中。例如，与环境中的场景相关联的分割的图像可以 包含位于该环境中的一个或多个对象的表示。被包含在分割的图像中的对象的存在和/或 位置可以反过来用于例如在使用机器视觉的一些方面的系统中的避障、对象检测和跟踪 等。例如，如本文中所解释的，自主车辆的感知系统可以使用分割的图像和/或分割的传感 器数据来生成用于操作自主车辆通过环境的车辆轨迹。在一些示例中，图像可以被分割以 提供可驱动的表面。在这样的示例中，可以将像素大致分类为是否属于可驱动的表面。这样 的分割的图像可以用于通知自主车辆哪些轨迹是可行的。 如图1所示，传感器108可以生成代表传感器108存在于的环境104的传感器数据 112。在122处，传感器数据112可以被投影(例如，经由变换和非投影(un-projection))到分 割的图像120A-120C上。如本文中所解释的，传感器数据112可以被投影到分割的图像120A- 120C上，使得传感器数据112和分割的图像120A-120C基本上在时间上对准(在技术能力 内)。另外，如本文中所解释的，传感器数据112可以被投影到分割的图像120A-120C上，使得 与环境104中的对象相关联的传感器数据112在空间上与分割的图像120A-120C中的对象对 准(在技术内能力)。 例如，传感器108可以是例如如上所述的LIDAR传感器，其包括一个或多个激光器， 所述激光器绕轴线(例如，基本垂直的轴线)旋转并当一个或多个激光器旋转时捕获LIDAR 传感器数据。当激光器旋转时，在时间t0、t1、t2和t3，它们捕获对应于垂直线p0、p1、p2和p3的 传感器数据112。在一些示例中，LIDAR传感器可以以一定频率提供LIDAR传感器数据，在该 频率上，LIDAR数据可以被映射到单个图像或图像组(在技术容许内)。在一些示例中，图像 捕获设备106可以被配置为以比激光器完成对环境的扫描更快的速率捕获图像。因此，在一 些示例中，传感器数据112可以与图像数据110在时间上对准。例如，在给定时间(例如，传感 器时间)捕获的传感器数据112可以与在传感器数据112约相同时间(例如，图像时间)捕获 的图像在时间上对准，例如通过选择在时间上最接近于捕获传感器数据112的时间(例如， 在传感器时间)捕获的图像。 例如，如图1所示，LIDAR传感器在t0开始在环境104上的扫描，并继续其扫描直到 t1。在t1，图像捕获设备106捕获图像114A。因此，在该示例中，传感器时间t1与捕获图像114A 的图像时间t1在时间上对准。另外，在传感器时间t1，LIDAR传感器已经仅部分在被感测的环 境104(例如，约在被感测的环境104的约三分之一的路)上扫描，并且在所示的示例中，这与 约图像114A的最右三分之一相关。随着LIDAR传感器继续从传感器时间t1到t2扫描，图像捕 获设备106在图像时间t2捕获图像114B。因此，在时间t1和t2之间的传感器时间期间捕获的 LIDAR数据在时间上最接近对应于图像时间t2。另外，在传感器时间t1和t2之间，LIDAR传感 器已经部分地在被感测的环境104(例如，从被感测的环境104上的约三分之一的路到被感 测的环境104的约三分之二的路)上扫描，并且在所示的示例中，这与图像114B的最中心三 分之一相关。随着LIDAR传感器继续从传感器时间t2到t3的扫描，图像捕获设备106在图像时 间t3捕获图像114C。因此，在时间t2和t3之间的传感器时间期间捕获的LIDAR数据在时间上 10 CN 111615703 A 说　明　书 7/24 页 最接近对应于图像时间t3。另外，在传感器时间t2和t3之间，LIDAR传感器已经从部分在被感 测的环境104上扫描(例如，从约被感测的环境104上的约三分之二的路到约完全在被感测 的环境104上)，并且在所示示例中，这与图像114C的约最左三分之一有关。以这种示例方 式，可以将由图像捕获设备106捕获的图像中的至少一些图像与由传感器108(例如，LIDAR 传感器)捕获的传感器数据112的至少一部分相关。 在一些示例中，LIDAR传感器可以继续扫过360度，在此期间捕获的一些数据不与 被感测的环境对应。在一些示例中，所捕获的不与被感测的环境对应的数据可以被忽略或 用于其他目的，例如，校准LIDAR传感器。 在传感器数据112在空间上投影到分割的图像数据120中的那些情况下，这种投影 可以包括使用传感器和图像设备的相对外在性确定的变换以及使用图像设备的相机矩阵 的去均质化。 如图1所示，将传感器数据112的至少一部分投影到分割的图像120A-120C上创建 训练数据集124，该训练数据集124可用于训练传感器数据分割模型126，以用于自动分割由 与图像捕获设备不同的类型的传感器生成的传感器数据，如本文所解释的。例如，在分割的 图像120A-120C中标识的环境104中的对象可以与传感器数据112相关，因此传感器数据112 中的特征可以在将来用于使用与图像捕获设备不同的其他类型的传感器标识相似的对象。 在一些示例中，传感器数据112可以用作用于训练传感器数据分割模型126的附加训练数 据。 图2示出了示例车辆202正行进通过的示例环境200。示例车辆202可以是无人驾驶 车辆，例如被配置为根据由美国国家公路交通安全管理局发布的5级分类进行操作的自主 车辆，其描述了能够在整个行程中执行所有安全关键功能的车辆，其中驾驶员(或乘员)不 被期望在任何时间控制车辆。在这样的示例中，因为车辆202可以被配置为控制从旅程的开 始到结束的所有功能，包括所有停车功能，所以它可以不包括驾驶员和/或用于驾驶车辆 202的控件，例如方向盘、加速踏板和/或制动踏板。这仅是示例，并且本文描述的系统和方 法可以被包括到任何地面运输、空中运输或水运车辆中，包括从需要一直由驾驶员手动控 制的车辆到部分或完全自主控制的车辆。 示例车辆202可以是车辆的任何配置，例如厢式货车、运动型多用途车、越野车、卡 车、公共汽车、农用车和建筑车。车辆202可以由一个或多个内燃发动机、一个或多个电动 机、氢能、其任何组合和/或任何其他合适的动力源提供动力。尽管示例车辆202具有四个车 轮204，但是本文描述的系统和方法可以被包括到具有更少或更多数量的车轮、轮胎和/或 履带的车辆中。示例车辆202可以具有四轮转向并且可以在所有方向上大体以等同的性能 特性操作，例如，使得当在第一方向208上行进时，车辆202的第一端206是车辆202的前端， 并且使得第一端206在相反的第二方向210上行进时成为车辆202的后端，如图2所示。类似 地，车辆202的第二端212在第二方向210上行进时是车辆202的前端，并且使得第二端212在 相反的第一方向208上行进时成为车辆202的后端。这些示例特性可以促进更大的可操作 性，例如，在狭小空间或拥挤的环境中，例如停车场和市区。 诸如示例车辆202之类的车辆可以用于行进通过环境200，并收集数据以生成用于 训练传感器数据分割模型126的训练数据集124。例如，该车辆可以包括一个或多个图像捕 获设备102和与图像捕获设备102不同的类型的一个或多个传感器104。出于说明的目的，一 11 CN 111615703 A 说　明　书 8/24 页 个或多个传感器104可以是一个或多个LIDAR传感器。考虑了其他传感器类型。在一些示例 中，一个或多个图像捕获设备102和一个或多个传感器104可以彼此紧邻地安装在车辆202 上，例如，以减少图像捕获设备102和传感器104之间的视角和/或视场的差异。这可以减少 由图像捕获设备102和传感器104在环境200中检测到的对象之间的差异。 当车辆202行进通过环境200时，图像捕获设备102和传感器104同时或基本同时 (在技术能力内)在图像捕获设备和传感器104中的一个或多个的视场216内捕获与检测到 的对象214(例如，车辆、行人、建筑物、障碍物等)相关联的数据。捕获的数据可用于创建训 练数据集124，例如如关于图1、6和7所述。 图3示出了用于实现本文描述的一个或多个示例过程的示例架构300。例如，架构 300可以包括一个或多个计算机系统302，该计算机系统302包括各种硬件和/或软件以实现 本文描述的系统、方法和装置的各方面。例如，计算机系统302可以包括传感器模块304(例 如，LIDAR模块)、图像捕获模块306、维度转换模块308、分割模块310、分类模块312和轨迹模 块314。 在一些示例中，计算机系统302可以体现在自主车辆中，例如图2所示的示例车辆 202。在一些示例中，计算机系统302可以为自主车辆提供感知和计划功能。通常，计算机系 统302可以包括LIDAR感知、视觉(相机)感知、分割和分类、跟踪和融合以及预测/计划。 传感器模块304可以包括一个或多个传感器104，例如LIDAR传感器，以捕获用于训 练数据、分割和/或分类的传感器数据114，如本文所述。例如，传感器模块304可以被配置为 组合或合成来自多个LIDAR传感器的LIDAR数据以生成LIDAR数据的元旋转(meta  spin)，其 可以指代由多个LIDAR传感器生成的LIDAR数据。在LIDAR数据的元旋转的情况下，传感器模 块304可以被配置为确定元旋转数据的虚拟原点(例如，通过将所有传感器数据映射到共同 原点)。在一些示例中，传感器模块304可以被配置为确定LIDAR传感器与对象或表面的点之 间的距离，并且在一些示例中，传感器模块304可以被配置为针对由传感器模块304捕获和/ 或感测的每个点确定表面法线矢量。作为非限制性示例，可以通过计算指示从该点到该点 的最接近的相邻点中的两个的方向的矢量的矢量积的法线来执行这样的表面法线确定。如 在本公开的上下文中可以理解的，传感器模块304可以捕获数据并且可以将数据集传输到 计算机系统302以进行后续处理。 图像捕获模块306可以包括一个或多个图像捕获设备102，其被配置为捕获用于图 像分割和/或分类的图像数据108，例如如本文所述。图像捕获模块306可以包括任何数量 和/或类型的图像捕获传感器。例如，图像捕获模块306可以包括图像捕获设备，例如任何相 机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相机、深度相机、立体相机 等)。如在本公开的上下文中可以理解的，图像捕获模块306可以捕获图像数据108，并且可 以将数据集传输到计算机系统302以进行后续处理。例如，来自图像捕获模块306的数据可 以被包括为多通道图像的一个或多个通道。 计算机系统302可以包括例如适合于在自主车辆中使用的任何数量或类型的其他 传感器。各种传感器可以包括但不限于一个或多个LIDAR传感器、一个或多个RADAR传感器、 一个或多个SONAR传感器、超声波换能器、车轮编码器、麦克风、惯性测量单元(IMU)、加速度 计、陀螺仪、磁力计、温度传感器、湿度传感器、光传感器、全球定位系统(GPS)、惯性导航系 统(INS)等。 12 CN 111615703 A 说　明　书 9/24 页 在一些示例中，传感器模块304和图像捕获模块306可以向计算机系统302提供一 个或多个数据集，以用于组合和/或合成数据以提供改善的图像分割和/或分类、生成训练 数据集和/或提供传感器数据分割和/或分类。在一些示例中，计算机系统302可以被配置为 接收和存储如本文所述的传感器数据集。在一些示例中，计算机系统302可以被配置为注释 所存储的数据，其可以包括对数据进行检测、识别、分类、分割、标记等。 在一些示例中，计算机系统302还可以包括已经由计算机模拟算法生成的模拟数 据，以部分用于测试中。在一些示例中，模拟数据可以包括任何类型的模拟数据，例如图像 数据、传感器数据(例如，LIDAR数据)、GPS数据等。在一些示例中，计算机系统302可以被配 置为对模拟数据进行修改、变换和/或执行转换操作，以验证操作和/或训练可由机器学习 网络执行的模型。 维度转换模块308的一些示例可以被配置为将具有第一维度的数据转换、变换或 映射为具有第二维度的数据。例如，维度转换模块308可以被配置为将一个或多个三维数据 集转换为一个或多个多通道二维图像。例如，维度转换模块308可以被配置为将以三维存储 的数据转换和/或映射为不同的维度的表示。这样的转换可以包括例如将以圆柱或球形坐 标描述的传感器数据与平面坐标相关联。在一些示例中，可以将圆柱坐标到平面坐标的这 种转换设想为“展开”圆柱坐标。在一些示例中，维度转换模块308可以被配置为执行任何转 换操作以将三维数据转换为二维数据，包括但不限于球形投影(例如，立体和圆柱)、墨卡托 投影、直接极性转换(例如，球形或等直角投影)等。这种表示的通道可以与范围(或距离)和 强度相关联。 示例分割模块310可以被配置为对一个或多个多通道二维图像执行分割。例如，分 割模块310可以被配置为将一个或多个多通道二维图像输入到一个或多个机器学习算法。 例如，分割模块310可以执行图像分割以分割数据中表示的对象以用于后续图像分类。在一 些示例中，被配置为对数据执行分割操作的硬件和/或软件可以被认为是“分割器”。在一些 示例中，分割模块310可以被配置为在与二维图像相关联的任何数量的通道上进行操作。例 如，分割模块310可以接收一个或多个通道作为输入，包括但不限于范围通道、x轴通道、y轴 通道、z轴通道、表面法线矢量通道、反射率通道、时间通道等。在一些示例中，分割模块310 可以使用一种或多种机器学习算法中的任何一种来执行分割。例如，分割模块310可以利用 被训练以分割多通道二维数据的人工神经网络，例如一个或多个卷积神经网络(CNN)。在一 些示例中，分割模块310可以被配置为使用不对称内核，从而导致数据金字塔化，如本文中 更详细地讨论的。在一些情况下，可基于例如通道的数量(波束的数量)、每转的点数等来应 用和选择内核的不对称步幅(例如，与y方向相比，在x方向上具有更高的步幅)，使得较高抽 象度(即，金字塔的较高级别)处的数据表示在x和y方向二者上更加统一。 示例分类模块312可以被配置为接收分割的数据并标识由数据表示的对象的类 型。例如，分类模块312可以对一个或多个对象进行分类，包括但不限于汽车、建筑物、行人、 自行车、树、自由空间、占用空间、路牌、车道标记等。分类模块312和/或分割模块310可以包 括任何机器学习算法(例如，神经网络)，以执行分割和分类的操作。 尽管在神经网络的上下文中进行了讨论，但是可以与本公开一致地使用任何类型 的机器学习。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归 (OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计的散点平滑 13 CN 111615703 A 说　明　书 10/24 页 (LOESS))、基于实例的算法(例如，脊回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小 角度回归(LARS))、决策树算法(例如，分类和回归树(CART)、迭代二分法器3(ID3)、卡方自 动交互检测(CHAID)、决策树桩、条件决策树))、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝 叶斯、多项式朴素贝叶斯、平均单依赖估计量(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、 聚类算法(例如，k均值、k中值、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知 器、反向传播、霍普菲尔德网络、径向基函数网络(RBFN))、深度学习算法(例如，深玻尔兹曼 机(DBM)、深层信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如， 主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度 (MDS)、投影追踪、线性判别分析(LDA)、混合物判别分析(MDA)、二次判别分析(QDA)、灵活判 别分析(FDA))、集成算法(例如，增强、自展输入引导式聚合(聚集(Bagging))、自适应增强 (AdaBoost)、堆栈泛化(混合)、梯度增强机(GBM)、梯度增强回归树(GBRT)、随机森林)、SVM (支持向量机)、监督学习、无监督学习、半监督学习等。 在一些示例中，可以使用多于一种的类型的机器学习来为所使用的每种类型的机 器学习提供相应的结果。在一些示例中，置信度得分可以与每个结果相关联，并且所依赖的 结果可以至少部分地基于与结果相关联的置信度得分。例如，可以在其他结果上选择与最 高置信度得分相关联的结果，或者可以基于置信度得分(例如，基于统计方法，例如加权平 均值等)将结果进行组合。 在一些示例中，轨迹模块314可以被配置为接收分割的和/或分类的数据以确定用 于自主车辆(例如，示例车辆202)的操作的轨迹。例如，轨迹模块314可以将其配置为接收分 割的图像数据、分割的传感器数据和/或相关分类信息，以标识道路上的自由空间以供自主 车辆行进，并生成轨迹以供自主车辆跟随。在一些示例中，轨迹模块314可以如本文中所讨 论的那样接收分割的和/或分类的对象作为输入，并且可以跟踪对象以至少部分地基于这 样的对象来生成轨迹。 图4A是示例车辆202的侧视图400，其具有安装在车辆202上或由车辆202携带的多 个传感器组装件。在一些示例中，来自多个传感器组装件的数据集可以被组合或合成以形 成元旋转(例如，LIDAR数据表示多个LIDAR传感器)，或者可以使用传感器融合技术对其进 行组合或融合，以改善分割、分类、预测、计划、轨迹生成等的准确性或处理。 如侧视图400所示，示例车辆202可以包括任何数量的采用任何组合或配置的传感 器。例如，所示的示例车辆202包括传感器404、406和408。在一些示例中，传感器404可以包 括具有被示为θ1的垂直视场的RADAR传感器。示例传感器406可以包括安装在车辆202的车 顶上的LIDAR传感器，并且可以具有示出为θ2的垂直视场。在一些示例中，传感器408可以包 括具有垂直视场θ3的图像捕获设备，例如相机。车辆202可以包括任何数量和类型的传感 器，并且不限于关于图4A示出和描述的示例。 图4B是图4A中所示的示例车辆202的俯视图410。如图4B所示，示例车辆202还包括 传感器412、414、416和418。例如，传感器408和418可以共置或彼此靠近地定位，但是可以包 括具有各种视场的不同传感器类型或形态。在一些示例中，传感器412、414、416和418可以 包括LIDAR传感器、RADAR传感器和/或图像捕获设备。 如图4B所示，传感器404可具有水平视场θ4、传感器406可具有水平视场θ5，传感器 408可具有水平视场θ6，传感器412可具有水平视场θ7，传感器414可以具有水平视场θ8，传感 14 CN 111615703 A 说　明　书 11/24 页 器416可以具有水平视场θ9，并且传感器418可以具有水平视场θ10。传感器的安装位置和/或 视场可以具有任何数量的配置。 图5A和5B示出了输入图像和对应的分割的图像的示例。图5A中所示的示例输入图 像500可以对应于示例的对象分割的图像510。可以执行图像500的分割以确定图像的多个 有意义的表示。例如，基于输入图像500中存在的对象来分割输入图像500可以得到如图所 示的对象分割的图像510。如图5A所描绘的，对象分割的图像510的每个不同的阴影对应于 不同的对象(例如，汽车、建筑物、行人、道路标记等)。以分割的形式(例如，所示的)，可以确 定输入图像500中的特定对象的位置、分类和/或存在或不存在。 图5B示出了用于分割输入图像500的另一种可能的分割方案的示例。与图5A中所 示的输入图像500的分割形成对比，输入图像500可以基于“自由空间”或车辆可以行进通过 的潜在区域进行分割。图5B示出了自由空间分割的图像520的示例表示。自由空间分割的图 像520可以提供用于可导航通路的置信度的信息(例如，各种阴影)。如所示示例中所描绘 的，自由空间分割的图像520的较浅阴影对应于没有被对象(例如，其他车辆、建筑物或行 人)阻挡的路面。这样的分割对于开发自主车辆的轨迹可能是有用的，使得车辆可以避免与 环境中的对象碰撞。 图6是用于捕获图像和传感器数据的示例过程的图形流程图600。在所示的示例 中，三个图像捕获设备102A-102C和示例LIDAR传感器602捕获与场景604相关联的数据，在 场景604中存在图像捕获设备102A-102C和LIDAR传感器602。虽然6示出了三个图像捕获设 备102A-102C和单个LIDAR传感器602，考虑了更少或更多的图像捕获设备，并且考虑了多于 单个LIDAR传感器。图像捕获设备102A-102C可以是被配置为捕获代表环境的图像的任何类 型的图像捕获设备，例如任何相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、 紫外线相机、深度相机、立体相机等)。 在图6所示的示例中，三个示例图像捕获设备102A-102C被描绘为以图像608的形 式捕获图像数据606，其对应于图像捕获设备102A-102C的相应的视场610A-610C。例如，如 示意性所示，图像捕获设备102A捕获与视场610A相关联的图像，图像捕获设备102B捕获与 视场610B相关联的图像，并且图像捕获设备102C捕获与视场610C相关联的图像。尽管由于 附图中固有的限制，图像608A-608C在图6中被示意性地描绘为相同，但一个或多个(例如， 每个)图像608A-608C将略微不同，这是由于例如捕获图像608A-608C的视场和时间略微不 同。在所示的示例中，每个图像捕获设备102A-102C具有与其他图像捕获设备102略微不同 的视场610。在这样的示例中，每个图像捕获设备102A-102C可以提供具有相应视角的相应 图像608A-608C，所述相应视角是不同的并包含场景604的不同部分。例如，图像608A可以对 应于由图像捕获设备102A在相应的图像时间t1、t2和t3捕获的三个图像，图像608B可以对应 于由图像捕获设备102B在相应图像时间t1、t2和t3捕获的三个图像，并且图像608C可以对应 于由图像捕获设备102C在相应图像时间t1、t2和t3捕获的三个图像。在一些示例中，可以融 合由每个图像捕获设备102A-102C捕获的图像数据606，以生成场景604的更完整的表示。 如图6所示，示例LIDAR传感器602被配置为从视场614捕获LIDAR传感器数据612， 其可以不同于与图像捕获设备102A-102C相关联的视场610A-610C，例如如图6所示。在所示 的示例中，LIDAR传感器602的示例视场614还具有与和图像捕获设备102A-102C相关联的视 场610A-610C不同的纵横比。例如，LIDAR传感器602的视场614比图像捕获设备102A-102C的 15 CN 111615703 A 说　明　书 12/24 页 相应视场610A-610C更广和更窄(即，高度更短)。这可能归因于传感器的物理参数，例如光 束扩展、通道数量等。在LIDAR  104的视场614与图像捕获设备102A-102C的视场610A-610C 中的一个或多个视场不同的示例中，本文描述的系统可以被配置为解决这种差异。 图7是用于分割图像、将LIDAR传感器数据投影到分割的图像上以创建用于训练传 感器数据分割网络的传感器数据分割模型的训练数据集的示例过程的图形流程图700。如 图7所示，包括图像608(见图6)的图像数据606被传输到图像分割网络702，该图像分割网络 702被配置为例如经由算法和/或机器学习来自动分割图像608以生成分割的图像704，该算 法和/或机器学习可以根据输入图像预测分割的图像，例如如本文所述。 如图7所示，LIDAR传感器602(参见图6)生成LIDAR传感器数据612，该LIDAR传感器 数据612表示其中存在LIDAR传感器602的场景604。在706处，将LIDAR传感器数据612投影到 分割的图像704A-704C上。LIDAR传感器数据612被投影到分割的图像704A-704C上，使得 LIDAR传感器数据612和分割的图像704A-704C基本上在时间上对准(在技术能力内)，例如 如以上关于图1所描述的。另外，可以将LIDAR传感器数据612投影到分割的图像704A-704C 上，使得与场景604中的对象相关联的LIDAR传感器数据612与分割的图像704A-704C中的对 象在空间上基本对准(在技术能力内)，例如如以上关于图1所述。 如图7所示，将LIDAR传感器数据612投影到分割的图像704A-704C上创建训练数据 集708，其可以用于训练传感器数据分割网络712的传感器数据分割模型710，以自动分割由 LIDAR传感器生成的LIDAR传感器数据。例如，一旦被训练，这种分割模型710就可以将原始 的传感器数据(例如，LIDAR传感器数据612)作为输入，以在将来使用LIDAR传感器来分割对 象。在一些示例中，由LIDAR传感器捕获的传感器数据可以用作用于训练传感器数据分割网 络712的传感器数据分割模型710的附加训练数据。 传感器数据分割网络712可以包括本文描述的任何类型的机器学习模型。例如，传 感器数据分割网络712可以是CNN。在一些示例中，传感器数据分割网络712可以包括多于一 个的机器学习网络。如本文所解释的，可以使用多于一种类型的机器学习来为所使用的每 种类型的机器学习提供相应的结果。在一些示例中，置信度得分可以与每个结果相关联，并 且所依赖的结果可以至少部分地基于与结果相关联的置信度得分。例如，可以在其他结果 上选择与最高置信度得分关联的结果，或者可以基于置信度得分(例如，基于统计方法，例 如加权平均值等)将结果进行组合。 在一些示例中(例如，使用CNN的那些示例)，传感器数据分割网络712可以包括对 称和/或不对称内核(例如，正方形或非正方形的内核)来以步幅是不对称的方式(即，沿长 度尺寸的内核应用之间的步长可以高于高度尺寸上的步长)分割传感器数据(例如，LIDAR 传感器数据612)。在一些这样的示例中，使用不对称步幅的内核的连续应用可以以增加接 收器场(receptor  field)的方式引起数据金字塔化。可以基于例如传感器数据的物理参数 来选择这样的步幅，所述物理参数例如但不限于通道的数量、通道之间的宽度、每转数据返 回的数量等。这可以促进将传感器数据(例如，LIDAR传感器数据612)分割，这是因为这种金 字塔化可以增加网络的接收器场，并在进行那些投影时引起数据和计算能力的更高效利 用。 为了生成有效的输出，诸如CNN之类的机器学习网络必须首先学习一组参数或被 “训练”。通过将数据集输入到网络中来完成训练，该数据集与期望的输出值相关联。这些期 16 CN 111615703 A 说　明　书 13/24 页 望的输出值通常可以称为“地面真相(ground  truth)”。例如，地面真相可以包括图像中特 定对象的标识，以及与该对象相关联的语义分类或标签(例如，以将对象标识和标记为汽车 或建筑物)。网络的准确性可以基于在训练数据集中提供的数据的量和/或准确性。结果，用 于训练网络以输出分割的传感器数据的适当数据集将包括具有已知的或先前确定的片段 的传感器数据。在一些示例中，训练数据集可以包括与代表现实世界场景的一个或多个传 感器数据集相关的代表现实世界场景的一个或多个分割的图像，其可以手动地或经由一种 或多种被配置为进行分割、检测、分类和/或标记传感器数据集中的对象的算法来注释。作 为非限制性示例，原始LIDAR传感器数据可以被输入到网络，其输出可以与LIDAR数据的对 应的分割的集合(即，地面真相)进行比较以更新内部参数，如下面详细讨论的。作为示例， 这种地面真相可以是具有由对应图像数据提供的相关联的分割的LIDAR数据。在一些示例 中，训练数据集可以包括合成的(例如，计算机生成的)数据，其包括带注释的对象或者已经 由计算机算法进行了注释。可以使用离线数据和/或在线数据进行训练。 损失函数可以用于在训练期间调整网络的内部参数。损失函数是数据集的期望输 出(或地面真相)值和由网络输出的值的函数。损失函数中包含的信息可以作为反向传播通 过网络发送，以调整内部参数，从而调节网络以提供有效的输出。在所有其他条件等同的情 况下，用于训练网络的数据越多，该网络就可以越可靠(例如，在提供准确的分割和/或分类 方面)。 可用于训练网络以分割传感器数据(例如，LIDAR数据)的这种损失函数的一个示 例是softmax函数，但考虑了具有期望的或地面真相的分割的数据的输入数据的任何其他 函数。其他示例性损失函数包括但不限于支持向量机(SVM)损失、铰链损失等。 在一些示例中，用于传感器数据分割网络712的地面真相可以由分割的图像704提 供。在一些示例中，可以使用图像分割网络702(例如，CNN)自动对图像进行分割，以获取分 割的图像704，并且与分割的图像704相关联的传感器数据可用作用于训练传感器数据分割 网络712的传感器数据分割模型710的地面真相，以自动分割从非图像捕获设备的传感器获 得的传感器数据。例如，与分割的图像704相关联的LIDAR传感器数据612可以用作用于从 LIDAR传感器获得的LIDAR传感器数据的地面真相。如图7中示意性所示，可以在捕获图像数 据606并将其分割的同时获得的LIDAR传感器数据612投影到分割的图像704上以获得训练 数据集708，其可以用于训练由传感器数据分割网络712运行的传感器数据分割模型710，其 可以是CNN或本文描述的任何类型的网络。如上所述，原始传感器数据可以输入到网络。然 后可以将得到的输出与由分割的图像704提供的具有关联的分割的传感器数据进行比较 (例如，地面真相)。这样的比较可以由损失函数(或成本函数)确定，其驱动网络参数的变 化。在一些示例中，损失函数可以是交叉熵softmax损失、焦点损失、逻辑回归等。 在一些示例中，可以例如通过基于被包含在输入数据中的对象对输入数据进行分 割，来训练传感器数据分割网络712以进行对象分割。考虑了其他分割类型。例如，可以训练 传感器数据分割网络712以识别“自由空间”，或者传感器数据中的将提供用于规划自主车 辆的轨迹的合适路径的区域，例如，类似于图5B所示的自由空间分割。在这样的示例中，在 分割的传感器数据中定义的自由空间可以用于生成轨迹，以用于自主车辆的操作。另外，传 感器数据分割网络712可以被训练以找到将不为自主车辆的轨迹提供合适路径的传感器所 包含的空间或区域。 17 CN 111615703 A 说　明　书 14/24 页 图8示意性地描绘了示例过程的图形流程图800，该示例过程用于捕获传感器数据 并使用示例传感器数据分割网络来对该传感器数据进行分割以生成分割的传感器数据，以 供轨迹模块使用，该轨迹模块被配置为生成用于自主车辆的车辆轨迹。在所示示例中，示例 车辆202在道路804上自主地行进通过环境802。示例传感器806被安装在车辆202上，以用于 检测环境802中的对象808。传感器806可以包括多种传感器类型，例如，本文描述的图像捕 获设备和/或其他传感器类型，包括LIDAR传感器。传感器806感测环境802中的对象808，并 生成指示对象808的信号形式传感器数据810。 在一些示例中，传感器806可以包括图像捕获设备和与图像捕获设备不同的第二 传感器，例如LIDAR传感器。在这样的示例中，一个或多个LIDAR传感器可以被配置为生成 LIDAR传感器数据810。LIDAR传感器数据810可以被传送到传感器数据分割网络812，该传感 器数据分割网络812被配置为使用传感器数据分割模型814分割LIDAR传感器数据810(例 如，自动分割LIDAR传感器数据810)。在一些示例中，传感器数据分割模型814可以被配置为 标识和/或分类由一个或多个LIDAR传感器感测到的对象808和/或自由空间以提供分割的 传感器数据816(例如，分割的LIDAR传感器数据)。分割的传感器数据816可以被传送到轨迹 模块818，该轨迹模块818被配置为生成车辆轨迹820，以供车辆202在其行进通过环境802时 跟随。 在各种实施方式中，本文所示的参数值和其他数据可以被包括在一个或多个数据 存储库中，并且可以与未描述的其他信息组合，或者可以被不同地划分为更多、更少或不同 的数据结构。在一些实施方式中，数据存储库可以物理地位于一个存储器中或者可以分布 在两个或更多个存储器之中。 本领域技术人员将理解，示例架构300(参见图3)仅仅是说明性的，并且不旨在限 制本公开的范围。特别地，计算系统和设备可以包括可以执行所指示的功能的硬件或软件 的任何组合，包括计算机、网络设备、互联网设备、平板计算机、PDA、无线电话、寻呼机等。架 构300也可以连接到未示出的其他设备，或者可以替代地充当独立系统。另外，在一些实施 方式中，由所图示的组件提供的功能可以在更少的组件中组合或分布在附加的组件中。类 似地，在一些实施方式中，可以不提供一些所示组件的功能和/或其他附加功能可以是可用 的。 本领域技术人员还将理解，尽管示出了各种项目在使用的同时被存储在存储器或 存储装置中，但是出于存储器管理和数据完整性的目的，这些项目或它们的部分可以在存 储器和其他存储设备之间转移。可替代地，在其他实施方式中，一些或全部软件组件可以在 另一设备上的存储器中执行并与所示的架构300通信。一些或全部系统组件或数据结构也 可以被存储(例如，作为指令或结构化的数据)在非暂时性计算机可访问介质或便携式制品 上，以供适当的驱动器读取，上面描述了其各种示例。在一些实施方式中，可以将存储在与 架构300分离的计算机可访问介质上的指令经由传输介质或信号(例如，电、电磁或数字信 号)传输至架构300，经由诸如无线链路之类的通信介质传送。各种实施方式还可以包括在 计算机可访问介质上接收、发送或存储根据前述描述实现的指令和/或数据。因此，本文描 述的技术可以用其他控制系统配置实践。下面讨论了关于车辆202(参见图2)的模块的操作 的附加信息。 图9和图10是示出为逻辑流程图中的框的集合的示例过程的流程图，其表示可以 18 CN 111615703 A 说　明　书 15/24 页 以硬件、软件或其组合来实现的一系列操作。在软件的上下文中，框代表存储在一个或多个 计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机 可执行指令执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽 象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制， 并且可以以任何顺序和/或并行地组合任何数量的所描述的框以实现过程。 图9是用于使用包括分割的图像和传感器数据的示例训练数据集来训练示例传感 器数据分割模型的示例过程900的流程图。在902处，示例过程可以包括接收一个或多个代 表环境的图像，其中图像包括由图像捕获设备生成的图像数据。 在904处，示例过程900还可以包括将图像数据传输到图像分割网络，该图像分割 网络被配置为分割图像并生成分割的图像。例如，可以使用机器学习网络(例如，CNN)自动 分割图像。如本文中所解释的，考虑了通过其他类型的机器学习模型或计算机视觉技术的 图像分割。 在906处，示例过程900可以包括分割图像数据以生成分割的图像。例如，图像可以 由机器学习网络(例如，CNN)自动分割。例如，这种分割可以基于检测到的对象、基于自由空 间确定等来划分图像。 在908处，示例过程900还可以包括接收由传感器生成的传感器数据，该传感器被 配置为生成代表环境的数据。在一些示例中，传感器可以是与图像捕获设备不同的类型的 传感器。例如，传感器可以是LIDAR传感器，并且传感器数据可以是LIDAR传感器数据。考虑 了其他传感器类型和来自此类传感器的数据，例如但不限于RADAR、超声波换能器等。 在910处，示例过程900还可以包括将传感器数据与分割的图像相关联以创建训练 数据集(例如，包括原始传感器数据的集合以及与对应的分割信息的传感器数据的关联集 合)。例如，将传感器数据与分割的图像相关联可以包括将传感器数据投影到分割的图像 上，以及将来自分割的图像的分割信息与传感器数据相关联。在一些示例中，在相应的图像 时间捕获每个图像，并且在传感器时间捕获传感器数据。将传感器数据与分割的图像相关 联可以包括：选择在图像时间捕获的图像数据，以最小化图像时间和传感器时间之间的差 异；以及将传感器数据与所选的图像相关联。在一些示例中，将传感器数据与分割的图像相 关联可以包括将传感器数据与分割的图像对准。在一些示例中，将传感器数据与分割的图 像对准可以包括在时间上和/或空间上将传感器数据与分割的图像对准。在一些示例中，将 传感器数据与分割的图像相关联还可以包括：识别与大深度不连续性相关联的图像数据； 以及在将传感器数据与分割的图像相关联时，忽略与分割的图像的这种不连续性相关联的 图像数据。这可以减少在训练数据集中产生错误的可能性。 示例过程900在912处还可以包括将训练数据集传输到机器学习网络，该机器学习 网络被配置为运行传感器数据分割模型(即，使用传感器数据分割模型确定传感器数据分 割)。 在914处，示例过程900还可以包括使用训练的数据集来训练传感器数据分割模 型，使得传感器数据分割模型被配置为分割从传感器获得的传感器数据。例如，接收由传感 器生成的传感器数据可以包括接收由LIDAR传感器生成的传感器数据，并且训练传感器数 据分割模型可以包括使用训练数据集来训练传感器数据分割模型(例如，通过反向传播在 与分割的图像数据和网络的输出相关联的传感器数据的损失函数中计算出的误差)，使得 19 CN 111615703 A 说　明　书 16/24 页 传感器数据分割模型被配置为分割从LIDAR获得的传感器数据。 图10是用于使用示例传感器数据分割模型来分割传感器数据的示例过程1000的 流程图。在1002处，示例过程可以包括从传感器接收传感器数据，该传感器被配置为生成指 示该传感器所位于的环境的信号。例如，传感器可以是与图像捕获设备不同的类型的传感 器。例如，传感器可以是被配置为生成代表传感器所位于的环境的LIDAR传感器数据的 LIDAR传感器，但是考虑了任何其他传感器类型。 在1004处，示例过程1000还可以包括使用传感器数据分割模型(例如，本文所述的 传感器数据分割模型)来分割从传感器接收的传感器数据。例如，传感器数据分割模型可以 被配置为促进由传感器检测到的环境中对象的识别和/或分类。在一些示例中，传感器数据 分割模型可以被配置为促进识别环境中的自由空间。在一些示例中，可以使用分割的图像 数据来训练传感器数据分割模型以提供地面真相，例如，如本文所述。在一些示例中，可以 通过由传感器和/或相同类型和/或不同类型的其他传感器捕获的附加数据来训练传感器 数据分割模型。 在1006处，示例过程1000还可以包括至少部分地基于分割的传感器数据来为自主 车辆生成一个或多个轨迹。例如，感知系统的轨迹模块可以被配置为接收分割的传感器数 据并至少部分地基于分割的传感器数据来生成一个或多个轨迹。 在1008处，示例过程1000还可以包括根据一个或多个轨迹来操作自主车辆。 图11是用于实现本文描述的过程的示例计算机架构1100的框图。该示例架构1100 包括一个或多个计算机系统1102，其可以包括存储装置1104、一个或多个处理器1106以及 包括操作系统1110的存储器1108。存储装置1104、处理器1106、存储器1108、以及操作系统 1110可以在通信基础设施1112上通信地耦合。在一些示例中，计算机系统1102可以经由输 入/输出(I/O)设备1114与用户或环境交互，以及经由通信基础设施1112在一个或多个网络 1116上与一个或多个其他计算设备交互。操作系统1110可以与其他组件进行交互，以控制 存储器1108中的一个或多个应用1118。 在一些示例中，计算机系统1102可以对应于图3的计算机系统302。计算机系统302 可以实现任何硬件和/或软件以实现模块304、306、308、310、312和314，以执行本文讨论的 图像分析和/或传感器数据分析。 本文描述的系统和方法可以以软件或硬件或其任何组合来实现。可以使用一个或 多个彼此物理或逻辑上分离的计算设备来实现本文所述的系统和方法。方法可以由被布置 为预置的硬件、预置的虚拟系统或托管私有实例的组件执行。另外，本文描述的方法的各个 方面可以被组合或合并为其他功能。 处理器或计算机系统可以被配置为特别地执行本文描述的一些或全部方法。在一 些示例中，方法可以由一个或多个计算机或处理器部分或完全自动化。可以使用硬件、软 件、固件或其组合来实现本文描述的系统和方法(或其任何部分或功能)，并且可以在一个 或多个计算机系统或其他处理系统中实现。在一些示例中，示出的系统元件可以被组合成 单个硬件设备或被分离成多个硬件设备。如果使用多个硬件设备，则硬件设备可以物理上 彼此靠近或远离地定位。所描述和示出的方法的示例旨在是说明性的而不是限制性的。例 如，在不同示例中，可以组合、重新布置和/或省略方法的一些或全部步骤。 在一些示例中，本文描述的系统和方法可以涉及能够执行本文描述的功能的一个 20 CN 111615703 A 说　明　书 17/24 页 或多个计算机系统。示例计算设备可以是但不限于运行任何操作系统的个人计算机(PC)系 统，例如但不限于OS  XTM、iOSTM、LinuxTM、AndroidTM和MicrosoftTM  WindowsTM。然而，本文描 述的系统和方法可以不限于这些平台。相反，本文描述的系统和方法可以在运行任何适当 的操作系统的任何适当的计算机系统上实现。本文描述的系统和方法的其他组件(例如但 不限于，计算设备、通信设备、移动电话、智能手机、电话设备、电话、个人数字助理(PDA)、个 人计算机(PC)、手持式PC、交互式电视(iTV)、数字录像机(DVD)、客户端工作站、瘦客户端、 胖客户端、代理服务器、网络通信服务器、远程访问设备、客户端计算机、服务器计算机、路 由器、Web服务器、数据、介质、音频、视频、电话系统或流式传输技术服务器等)也可以使用 计算设备来实现。可以使用例如但不限于交互式电视(iTV)、视频点播系统(VOD)并经由数 字视频记录器(DVR)或其他点播观看系统按需提供服务。 本文描述的系统可以包括一个或多个处理器。处理器可以连接到通信基础设施， 例如但不限于通信总线、交叉条(cross-over  bar)或网络等。过程和处理器不需要位于相 同的物理位置处。换句话说，可以通过例如LAN或WAN连接在一个或多个地理上相距较远的 处理器处执行过程。计算设备可以包括显示界面，该显示界面可以转发来自通信基础设施 的图形、文本和其他数据，以在显示单元上显示。 在一些示例中，计算机系统还可以包括但不限于主存储器、随机存取存储器(RAM) 和辅助存储器等。辅助存储器可以包括例如硬盘磁盘驱动器和/或可移动存储驱动器，例如 压缩盘驱动器CD-ROM等。可移动存储驱动器可以从可移动存储单元读取和/或向其写入。如 可以理解，可移动存储单元可以包括其中存储有计算机软件和/或数据的计算机可用存储 介质。在一些示例中，机器可访问介质可以指用于存储可由计算机访问的数据的任何存储 设备。机器可访问介质的示例可以包括但不限于磁性硬盘、软盘、光盘，至少类似于压缩盘 只读存储器(CD-ROM)或数字多功能光盘(DVD)、磁带和/或存储器芯片等。 处理器还可以包括一个或多个用于存储数据的数据存储设备，或者可操作地与其 耦合以与之通信。作为非限制性示例，这样的数据存储设备可以包括磁盘(包括内部硬盘和 可移动磁盘)、磁光盘、光盘、只读存储器、随机存取存储器和/或闪存。适合于有形地体现计 算机程序指令和数据的存储设备还可以包括所有形式的非易失性存储器，包括例如半导体 存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；磁光 盘；以及CD-ROM和DVD-ROM光盘。处理器和存储器可以由ASIC(专用集成电路)补充或被包括 在ASIC中。 处理系统可以与计算机化数据存储系统通信。数据存储系统可以包括非关系型或 关系型数据存储，例如MySQLTM或其他关系型数据库。可以使用其他物理和逻辑数据库类型。 数据存储库可以是数据库服务器，例如Microsoft  SQL  ServerTM、OracleTM、IBM  DB2TM、 SQLITETM或任何其他数据库软件(关系型或其他的)。数据存储库可以存储识别语法标签的 信息以及对语法标签进行操作所需的任何信息。在一些示例中，处理系统可以使用面向对 象编程并且可以将数据存储在对象中。在这样的示例中，处理系统可以使用对象关系型映 射器(ORM)来将数据对象存储在关系型数据库中。可以使用任何数量的物理数据模型来实 现本文描述的系统和方法。在一些示例中，可以使用关系型数据库管理系统(RDBMS)。在这 样的示例中，RDBMS中的表可以包括代表坐标的列。数据可以被存储在RDBMS中的表中。这些 表可以具有预先定义的它们之间关系。表还可以具有与坐标相关联的附件(adjunct)。 21 CN 111615703 A 说　明　书 18/24 页 在一些示例中，辅助存储器可以包括用于允许将计算机程序或其他指令加载到计 算机系统中的其他类似设备。这样的设备可以包括例如可移动存储单元和接口。这样的示 例可以包括程序盒(program  cartridge)和盒接口(例如但不限于，在视频游戏设备中找到 的那些)、可移动存储器芯片(例如但不限于，可擦除可编程只读存储器(EPROM)或可编程只 读存储器(PROM)和相关的插口)，以及其他可移动存储单元和接口，它们可以允许将软件和 数据从可移动存储单元传输到计算机系统。 计算系统还可以包括输入设备，例如但不限于语音输入设备，例如麦克风、触摸 屏、手势识别设备(例如，相机)、其他自然用户接口、鼠标或其他定点设备(例如，数字转换 器)和键盘或其他数据录入设备。该计算机系统还可以包括输出设备，例如但不限于显示器 和显示接口。该计算系统可以包括输入/输出(I/O)设备，例如但不限于通信接口、电缆和通 信路径等。这些设备可以包括但不限于网络接口卡和调制解调器。通信接口可以允许软件 和数据在计算机系统和一个或多个外部设备之间传输。 在一些示例中，计算机系统可以可操作地耦合至汽车系统。这样的汽车系统可以 是手动操作的、半自主的或完全自主的。在这样的示例中，输入和输出设备可以包括一个或 多个图像捕获设备、控制器、微控制器和/或其他处理器，以控制汽车功能，例如但不限于加 速、制动和转向。此外，在这样的示例中的通信基础设施还可以包括控制器局域网(CAN)总 线。 在一些示例中，计算机系统可以可操作地耦合到任何基于机器视觉的系统。例如， 这样的基于机器视觉的系统可以包括但不限于手动操作的、半自主的或完全自主的工业或 农业机器人、家用机器人、检查系统、安全系统等。例如，本文所描述的示例不限于一个特定 的上下文，并且可以适用于利用机器视觉的任何应用。 一些示例可以在一个或多个计算机网络的环境中被实践。该网络可以包括专用网 络或公共网络(例如，互联网)或二者的组合。网络可以包括硬件、软件或二者的组合。 从面向电信的角度看，网络可以被描述为一组由通信设施互连的硬件节点，其中 一个或多个进程(硬件、软件或其组合)在每个节点处运作。进程可以使用进程间通信通路 经由它们之间的通信通路与彼此通信并交换信息。在这些通路上，可以使用适当的通信协 议。 示例计算机和/或电信网络环境可以包括节点，这些节点可以包括硬件、软件或者 硬件和软件的组合。节点可以经由通信网络互连。每个节点可以包括一个或多个可由被包 括在节点中的处理器执行的进程。例如，单个进程可以由多个处理器运行，或者多个进程可 以由单个处理器运行。另外，每个节点可以提供网络和外部世界之间的接口点，并且可以包 括子网的集合。 在一些示例中，进程可以通过进程间通信通路与彼此通信，该进程间通信通路支 持通过任何通信协议的通信。这些通路可以顺序或并行运作(连续或间歇地)。除了由许多 计算机使用的标准并行指令集之外，这些通路还可以使用本文中关于通信网络描述的任何 通信标准、协议或技术。 节点可以包括能够执行处理功能的任何实体。可以与本文的示例一起使用的此类 节点的示例可以包括计算机(例如，个人计算机、工作站、服务器或大型机)、手持式无线设 备和有线设备(例如，个人数字助理(PDA)、具有处理能力的调制解调器手机)、无线电子邮 22 CN 111615703 A 说　明　书 19/24 页 件设备(包括但不限于，BlackBerryTM设备)、文档处理设备(例如，扫描仪、打印机、传真机或 多功能文档机)或复杂实体(例如，局域网或广域网)，其被连接到处理器集合，如所述。例 如，节点本身可以是广域网(WAN)、局域网(LAN)、专用网络(例如，虚拟专用网络(VPN))或网 络的集合。 节点之间的通信可以通过通信网络来成为可能。节点可以连续或间歇地与通信网 络连接。作为示例，通信网络可以是提供足够的带宽和信息安全性的数字通信基础设施。 通信网络可以使用任何类型的标准、协议或技术在任何频率处包括有线通信能 力、无线通信能力或二者的组合。另外，在一些示例中，通信网络可以是专用网络(例如， VPN)或公共网络(例如，互联网)。 由通信网络使用的示例性无线协议和技术的非包括性列表可以包括BluetoothTM、 通用分组无线电业务(GPRS)、蜂窝数字分组数据(CDPD)、移动解决方案平台(MSP)、多媒体 消息传递(MMS)、无线应用协议(WAP)、码分多址(CDMA)、短消息服务(SMS)、无线标记语言 (WML)、手持式设备标记语言(HDML)、无线二进制运行时环境(BREW)、无线电接入网(RAN)和 分组交换核心网(PS-CN)。还包括各种世代的无线技术。由通信网络使用的主要有线协议和 技术的非包括性列表包括异步传输模式(ATM)、增强型内部网关路由协议(EIGRP)、帧中继 (FR)、高级数据链路控制(HDLC)、互联网控制消息协议(ICMP)、内部网关路由协议(IGRP)、 互联网络分组交换(IPX)、ISDN、点对点协议(PPP)、传输控制协议/互联网协议(TCP/IP)、路 由信息协议(RIP)和用户数据报协议(UDP)。可以使用任何其他已知或预期的无线或有线协 议和技术。 本文公开的示例可以包括用于执行本文描述的操作的设备。可以出于期望的目的 而专门构造装置，或者其可以包括由设备中存储的程序选择性地激活或重新配置的通用设 备。 一些示例可以体现在机器可执行指令中。指令可用于使得处理设备(例如，通用或 专用处理器，其用指令编程以执行本文描述的过程的步骤)。可替代地，本文描述的步骤可 以由包含用于执行步骤的硬连线逻辑的特定硬件组件来执行，或者由编程的计算机组件和 定制硬件组件的任何组合来执行。例如，可以将本文描述的系统和过程提供为计算机程序 产品，如上所述。一些示例可以包括其上存储有指令的机器可读介质。指令可用于对任何一 个或多个处理器(或其他电子设备)进行编程，以执行根据本文所述示例的过程或方法。另 外，可以下载一些示例并将其存储在计算机程序产品上。在这样的示例中，可以通过体现在 载波或其他传播介质中的数据信号经由通信链路(例如，调制解调器或网络连接)将程序从 远程计算机(例如，服务器)传输到请求计算机(例如，客户端)，并且最终这些信号可以存储 在计算机系统上，以供后续执行。 过程可以在可从计算机可用或计算机可读存储介质访问的计算机程序产品中实 现，该计算机程序产品提供程序代码以供计算机或任何指令执行系统使用或与其结合使 用。计算机可用或计算机可读存储介质可以是能够包含或存储由计算机或指令执行系统、 设备或装置使用或与其结合使用的程序的任何装置。 适合于存储和/或执行对应程序代码的数据处理系统可以包括直接或间接耦合到 计算机化数据存储设备(例如，存储器元件)的至少一个处理器。输入/输出(I/O)设备(包括 但不限于键盘、显示器、指示设备等)可以耦合到系统。网络适配器也可以耦合到系统，以使 23 CN 111615703 A 说　明　书 20/24 页 得数据处理系统能够通过中间的专用或公共网络耦合到其他数据处理系统或远程打印机 或存储设备。为了提供与用户的交互，可以在具有显示设备(例如，LCD(液晶显示器)或用于 向用户显示信息的另一种类型的监视器)、用户可以通过其向计算机提供输入的键盘和输 入设备(例如，鼠标或轨迹球)的计算机上实现这些特征。 计算机程序可以是可以在计算机中直接或间接使用的一组指令。可以使用诸如 CUDA、OpenCL、FlashTM、JAVATM、C 、C、C#、Python、Visual  BasicTM、JavaScriptTM  PHP、XML、 HTML等的编程语言或编程语言的组合(包括编译或解释的语言)来实现本文描述的系统和 方法，并且可以以任何形式进行部署，包括作为独立程序或作为模块、组件、子例程或适合 于在计算环境中使用的其他单元。该软件可以包括但不限于固件、驻留软件、微代码等。诸 如SOAP/HTTP之类的协议可以用于实现编程模块之间的接口。本文所述的组件和功能可以 使用适合于软件开发的任何编程语言在虚拟或非虚拟环境中执行的任何桌面操作系统上 实现，所述桌面操作系统包括但不限于Microsoft  WindowsTM、AppleTM  MacTM、iOSTM、UnixTM/ X-WindowsTM、LinuxTM等的不同版本。可以使用Web应用框架(例如，Ruby  on  Rails)来实现 该系统。 用于执行指令程序的合适处理器包括但不限于通用和专用微处理器，以及任何类 型计算机的唯一处理器或多个处理器或核心中的一个。处理器可以从计算机化的数据存储 设备(例如，只读存储器、随机存取存储器、二者或本文所述的数据存储设备的任何组合)接 收并存储指令和数据。处理器可以包括可操作以控制电子设备的操作和性能的任何处理电 路或控制电路。 可以使用软件或硬件元素的任何组合来实现本文描述的系统、模块和方法。可以 使用单独运行或与彼此组合运行的一个或多个虚拟机来实现本文所述的系统、模块和方 法。任何适用的虚拟化解决方案都可以用于将物理计算机平台封装到虚拟机中，该虚拟机 在硬件计算平台或主机上运行的虚拟化软件的控制下执行。虚拟机可以具有虚拟系统硬件 和访客操作系统软件二者。 本文描述的系统和方法可以在计算机系统中实现，该计算机系统包括诸如数据服 务器之类的后端组件，或者包括诸如应用服务器或互联网服务器之类的中间件组件，或者 包括诸如具有图形用户界面或互联网浏览器的客户端计算机之类的前端组件，或它们的任 何组合。系统的组件可以通过任何形式或介质的数字数据通信来连接，例如通信网络。通信 网络的示例包括例如LAN、WAN以及形成互联网的计算机和网络。 本公开的一个或多个实施例可以用其他计算机系统配置来实践，包括手持式设 备、微处理器系统、基于微处理器的或可编程的消费者电子产品、小型计算机、大型计算机 等。本文描述的系统和方法还可以在分布式计算环境中实践，在分布式计算环境中，任务是 由通过网络链接的远程处理设备执行的。 应当理解，本文呈现的主题可以被实现为计算机过程、计算机控制的装置、计算系 统或诸如计算机可读存储介质之类的制品。尽管本文描述的主题是在一个或多个计算设备 上执行的程序模块的一般上下文中呈现的，但本领域技术人员将认识到，可以结合其他类 型的程序模块来执行其他实施方式。通常，程序模块包括例程、程序、组件、数据结构以及执 行特定任务或实现特定抽象数据类型的其他类型的结构。 本领域技术人员还将意识到，本文描述的主题的各方面可以在本文描述之外的其 24 CN 111615703 A 说　明　书 21/24 页 他计算机系统配置上实践或结合其实践，其他计算机系统配置包括多处理器系统、基于微 处理器的或可编程的消费者电子产品、小型计算机、大型计算机、手持式计算机、移动电话 设备、平板计算设备、专用硬件设备、网络设备等。 基于前述，应当理解，本文已经呈现了用于操作系统和实现过程的技术。而且，尽 管已经用特定于计算机结构特征、方法动作和计算机可读介质的语言描述了本文呈现的主 题，但是应该理解，所附权利要求书中定义的本发明不必限于特定的特征、动作或本文描述 的介质。相反，公开了特定的特征、动作和介质作为实现权利要求中记载的主题的示例形 式。 上面描述的主题仅以说明的方式提供，并且不应解释为限制性的。此外，要求保护 的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实施方式。可以在不遵 循所示出和描述的示例和应用并且不脱离在所附权利要求中阐述的本发明的精神和范围 的情况下，对本文所述的主题进行各种修改和改变。 示例条款 A、一种示例系统，包括： 一个或多个处理器；以及 一个或多个计算机可读存储介质，其通信地耦合到所述一个或多个处理器并且存 储能够由所述一个或多个处理器执行以执行以下操作的指令： 接收代表环境的多个图像，所述多个图像包括由一个或多个图像捕获设备生成的 图像数据； 将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个 图像并且生成分割的图像； 接收与所述环境相关联的第一传感器数据，所述第一传感器数据是从光检测和测 距(LIDAR)传感器接收的； 将所述第一传感器数据与所述分割的图像相关联以创建训练数据集； 将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以 及 使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割 模型被配置为分割从LIDAR传感器接收的第二传感器数据。 B、示例A的系统，其中所述指令还能够由所述一个或多个处理器执行以执行以下 操作： 将所述第一传感器数据的至少第一部分投影到所述分割的图像的第一分割的图 像上；以及 将所述第一传感器数据的至少第二部分投影到所述分割的图像的第二分割的图 像上。 C、示例A或示例B的系统，其中： 所述多个图像中的第一图像是在第一图像时间捕获的； 所述多个图像中的第二图像是在第二图像时间捕获的； 所述第一传感器数据的第一部分与第一传感器时间相关联； 所述第一传感器数据的第二部分与第二传感器时间相关联；以及 25 CN 111615703 A 说　明　书 22/24 页 所述指令还能够由所述一个或多个处理器进一步执行以执行以下操作： 确定所述第一图像时间与所述第一传感器时间之间的第一时间差； 确定所述第二图像时间与所述第一传感器时间之间的第二时间差； 确定所述第一时间差小于所述第二时间差；以及 至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第 一传感器数据的所述第一部分相关联。 D、示例A至示例C中任一项的系统，其中，所述指令还能够由所述一个或多个处理 器执行以从所述第一传感器接收第二传感器数据并且至少部分地基于所训练的传感器数 据分割模型来分割第二传感器数据。 E、示例A至示例D中任一项的系统，其中，所述传感器数据分割模型包括一个或多 个内核，所述一个或多个内核与不对称步幅相关联，以及 其中训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地 基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵 softmax损失、焦点损失或逻辑回归损失中的一个或多个。 F、示例A至示例E中的任一项的系统，其中，所述指令还能够由所述一个或多个处 理器执行以执行以下操作： 识别所述传感器数据中的不连续性；以及 删除与所述不连续性相关联的传感器数据。 G、示例A至示例F中的任一项的系统，其中，所述指令还能够由所述一个或多个处 理器执行以执行以下操作： 从LIDAR传感器接收传感器数据；以及 使用所述传感器数据分割模型来分割从所述LIDAR传感器接收的传感器数据，并 且生成分割的传感器数据。 H、示例A至示例G中的任一项的系统，其中，所述指令还能够由所述一个或多个处 理器执行以至少部分地基于所述分割的传感器数据来生成用于自主车辆的轨迹。 I、一种示例方法，包括： 接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据； 将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个 图像并且生成分割的图像； 接收由第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环 境的数据； 分割所述图像数据以生成分割的图像； 将所述第一传感器数据与所述分割的图像相关联以创建训练数据集； 将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以 及 使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割 模型被配置为分割从所述第一传感器获得的第二传感器数据。 J、示例I的方法，其中接收由所述第一传感器生成的所述第一传感器数据包括接 收由光检测和测距(LIDAR)传感器生成的传感器数据，并且训练所述传感器数据分割模型 26 CN 111615703 A 说　明　书 23/24 页 包括使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型 被配置为分割从LIDAR传感器获得的第二传感器数据。 K、示例I或示例J的方法，还包括将所述第一传感器数据的至少第一部分投影到所 述分割的图像的第一分割的图像上。 L、根据示例I至示例K中任一项所述的方法，其中： 所述多个图像中的第一图像是在第一图像时间捕获的； 所述多个图像中的第二图像是在第二图像时间捕获的； 所述第一传感器数据的第一部分与第一传感器时间相关联； 所述第一传感器数据的第二部分与第二传感器时间相关联；以及 所述方法还包括： 确定所述第一图像时间与所述第一传感器时间之间的第一时间差； 确定所述第二图像时间与所述第一传感器时间之间的第二时间差； 确定所述第一时间差小于所述第二时间差；以及 至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第 一传感器数据的所述第一部分相关联。 M、示例I至示例L中的任一项的方法，还包括：从所述第一传感器接收第二传感器 数据，并且至少部分地基于所训练的传感器数据分割模型来分割所述第二传感器数据。 N.根据示例I至示例M中的任一项所述的方法，其中，所述传感器数据分割模型包 括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及 其中训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地 基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵 softmax损失、焦点损失或逻辑回归损失中的一个或多个。 O、示例I至示例N中任一项的方法，还包括： 识别所述第一传感器数据中的不连续性；以及 删除与所述不连续性相关联的第一传感器数据。 P、示例I至示例O中任一项的方法，还包括： 从传感器接收第二传感器数据；以及 使用所述传感器数据分割模型分割从所述传感器接收的所述第二传感器数据。 Q、根据示例I至示例P中的任一项所述的方法，还包括：至少部分地基于所述分割 的第二传感器数据来生成用于自主车辆的轨迹。 R、一种示例计算机可读存储介质，其上存储有计算机可执行指令，当由计算机执 行时，所述计算机可执行指令使得所述计算机执行以下操作： 接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据； 将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述图像 并且生成分割的图像； 接收由第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环 境的数据； 分割所述图像以生成分割的图像； 将所述第一传感器数据与所述分割的图像相关联以创建训练数据集； 27 CN 111615703 A 说　明　书 24/24 页 将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以 及 使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割 模型被配置为分割从传感器获得的第二传感器数据。 [0200] S、示例R的计算机可读存储介质，其中，所述第一传感器数据是由光检测和测距 (LIDAR)传感器生成的，并且训练所述传感器数据分割模型包括使用所述训练数据集来训 练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从LIDAR传感器 获得的第二传感器数据。 [0201] T、示例R或示例S的计算机可读存储介质，其中： [0202] 所述多个图像中的第一图像是在第一图像时间捕获的； [0203] 所述多个图像中的第二图像是在第二图像时间捕获的； [0204] 所述第一传感器数据的第一部分与第一传感器时间相关联； [0205] 所述第一传感器数据的第二部分与第二传感器时间相关联；以及 [0206] 所述计算机可执行指令使得所述计算机执行以下操作： [0207] 确定所述第一图像时间与所述第一传感器时间之间的第一时间差； [0208] 确定所述第二图像时间与所述第一传感器时间之间的第二时间差； [0209] 确定所述第一时间差小于所述第二时间差；以及 [0210] 至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第 一传感器数据的所述第一部分相关联。 28 CN 111615703 A 说　明　书　附　图 1/11 页 图1 29 CN 111615703 A 说　明　书　附　图 2/11 页 图2 30 CN 111615703 A 说　明　书　附　图 3/11 页 图3 图4A 31 CN 111615703 A 说　明　书　附　图 4/11 页 图4B 图5A 32 CN 111615703 A 说　明　书　附　图 5/11 页 图5B 33 CN 111615703 A 说　明　书　附　图 6/11 页 图6 34 CN 111615703 A 说　明　书　附　图 7/11 页 图7 35 CN 111615703 A 说　明　书　附　图 8/11 页 图8 36 CN 111615703 A 说　明　书　附　图 9/11 页 图9 37 CN 111615703 A 说　明　书　附　图 10/11 页 图10 38 CN 111615703 A 说　明　书　附　图 11/11 页 图11 39