技术摘要：
本文公开了机器人外科手术系统和控制机器人外科手术系统的方法。一种所公开的方法包含：用成像装置在固定参考框架中在视觉上捕获外科手术部位内的工具的工具姿态；根据所述固定参考框架中的支撑所述工具的连杆的已知几何布置确定所述连杆的臂姿态；以及响应于控制信号 全部
背景技术：
例如远程手术系统等机器人外科手术系统用于执行微创外科手术过程，其与传统 的开放外科手术技术相比具有许多益处，包含疼痛较少、住院时间较短、能更快地恢复正常 活动、疤痕极小、恢复时间减少以及对组织的损伤较小。 机器人外科手术系统可以具有多个机械臂，其响应于外科医生查看由外科手术部 位的图像捕获装置捕获的图像时输入装置的移动而移动附接的器械或工具，例如图像捕获 装置、缝合器、电外科器械等。在机器人外科手术过程中，每个工具通过开口(自然开口或切 口)插入患者体内，并且定位成在外科手术部位操纵组织。开口围绕患者的身体放置，使得 外科手术器械可用于协作执行机器人外科手术过程，并且图像捕获装置可观察外科手术部 位。 在机器人外科手术过程中，精确了解和控制工具在外科手术部位内的位置非常重 要。因此，在机器人外科手术过程中，持续需要用于检测和控制工具在外科手术部位内的位 置的系统和方法。
技术实现要素：
本公开涉及通过在视觉上捕获外科手术部位内的工具姿态来控制外科手术机器 人。在所公开的方法中，一种成像装置捕获外科手术部位内的工具的工具姿态。然后，外科 手术机器人确定支撑工具的连杆的臂姿态。然后，外科手术机器人响应于来自临床医生的 输入而操纵臂以将工具移动到所需工具姿态。在视觉上确定工具姿态提高工具在外科手术 部位内的位置的精确性和分辨率。提高的精确性和分辨率可以用于完成精准移动，并且可 有助于完成自动化动作。在视觉上确定工具姿态还消除运动学模型中的偏差，这些偏差是 由关节的负载和动态性能引起的。 在本文公开的一些方法中，基于在视觉上捕获的工具姿态来启用和禁用工具的功 能。当工具的末端执行器在外科手术部位的启用区内时，可以启用所述工具的功能。可以基 于目标组织的位置、目标组织的大小、非目标组织相对于目标组织的接近度或工具的功能 的类型来确定启用区。包含显示器的用户界面可以控制外科手术机器人。显示器示出外科 手术部位的图形表示，并且可以提供启用区的视觉标志和工具的功能的启用/禁用状态。例 如，显示器可以具有边框，当启用工具的功能时，所述边框显示一种颜色，而当禁用工具的 功能时，所述边框显示另一种颜色。另外或替代地，当启用工具的功能时，显示器可以用一 种颜色示出工具，而当禁用工具的功能时，显示器可以用另一种颜色示出工具。可以设想， 当工具在启用区中时，外科手术机器人可以使用所述工具在外科手术部位内完成自动化任 务。在特定方法中，用户界面可以跟踪临床医生的视线，以在启用工具的功能之前验证临床 医生的视线是否聚焦到或看向显示器上启用区的表示。可以设想，通过要求工具在启用区 内和/或要求在激活工具的功能之前临床医生的视线看向启用区，可以通过当工具在启用 区之外时减少无意地或意外地激活工具功能而增加机器人外科手术过程中的安全性。 在某些方法中，成像装置的视图中心可以在外科手术过程中自动地跟踪质心。所 5 CN 111587095 A 说 明 书 2/9 页 跟踪的质心可以是工具的质心、工具的质心和目标组织之间的点，或多个工具的质心之间 的点。所跟踪的质心可以自动指派到外科手术部位内的现用的工具，也可以由临床医生选 择性地指派。通过在外科手术过程中自动跟踪质心，临床医生可以将注意力集中在所述过 程，而不必专注于移动成像装置。所述方法可包含从机器人外科手术系统的用户界面接收 控制信号。 在本公开的一方面，一种控制外科手术机器人的方法包含：用成像装置在固定参 考框架中在视觉上捕获外科手术部位内的第一工具的第一工具姿态；根据所述固定参考框 架中支撑所述第一工具的第一连杆的已知几何布置确定所述第一连杆的第一臂姿态；以及 响应于第一控制信号，在所述固定参考框架中操纵所述第一连杆以将所述第一工具移动到 所需第一工具姿态。 在各方面，在所述固定参考框架中在视觉上捕获所述第一工具的所述第一工具姿 态包含：在由所述成像装置限定的框架中限定所述固定参考框架。在所述固定参考框架中 在视觉上捕获所述第一工具的所述第一工具姿态可包含：用所述成像装置的第一透镜和第 二透镜两者捕获所述第一工具姿态。 在一些方面，在视觉上捕获所述第一工具姿态包含标识所述第一工具上的一个或 多个标记的位置。在视觉上捕获所述第一工具姿态可包含捕获光的红外线光谱内的所述一 个或多个标记的位置。 在某些方面，所述方法包含：用所述成像装置在所述固定参考框架中在视觉上捕 获所述外科手术部位内的第二工具的第二工具姿态；根据所述固定参考框架中支撑所述第 二工具的第二连杆的已知几何布置确定所述第二连杆的第二臂姿态；以及响应于第二控制 信号，在所述固定参考框架中操纵所述第二连杆以将所述第二工具移动到所需第二工具姿 态。确定所述第一臂姿态和确定所述第二臂姿态可全部发生在所述固定参考框架内。 在本公开的另一方面，一种控制外科手术系统的工具的功能的方法包含：用成像 装置捕获外科手术部位的图像；确定所述外科手术部位内的所述工具相对于目标组织的距 离；当所述工具距所述目标组织的距离在预定距离内时使得能够激活所述工具的功能；以 及响应于控制信号而激活所述工具的所述功能以操纵所述工具。 在各方面，使得能够激活所述工具的所述功能包含向与所述外科手术系统互动的 临床医生提供所述功能被启用的视觉标志。提供视觉标志可包含改变所述外科手术系统的 显示器的边框的颜色。 在一些方面，所述方法可包含在所述工具距所述目标组织的距离超出所述预定距 离时使得不能激活所述工具的所述功能。使得不能激活所述功能可包含向与所述外科手术 系统互动的临床医生提供所述功能被禁用的视觉标志。提供视觉标志可包含改变所述外科 手术系统的显示器的边框的颜色。 在某些方面，所述方法可包含当所述工具距所述目标组织的距离在所述预定距离 内时，所述外科手术系统用所述工具在所述外科手术部位内完成自动化任务。完成所述自 动化任务可包含当所述工具距所述目标组织的距离在所述预定距离内时缝接所述目标组 织。 在特定方面，所述方法可包含在使得能够激活所述工具的所述功能之前，验证与 所述外科手术系统介接的临床医生的视线是否看向所述外科手术系统的显示器上的启用 6 CN 111587095 A 说 明 书 3/9 页 区。用所述工具激活所述工具的所述功能以操纵组织可包含以下各项中的至少一个：用所 述工具夹持组织、用所述工具向组织输送电外科手术能量、用所述工具缝合组织、用所述工 具缝接组织或推动所述工具的剪刃或刀穿过组织。 在本公开的另一方面，一种外科手术系统包含：成像装置、工具和处理单元。所述 成像装置被配置成捕获外科手术部位的图像。所述工具具有被配置成响应于控制信号而操 纵组织的功能。所述处理单元与所述成像装置和所述工具通信，并且被配置成根据捕获的 图像确定所述工具相对于所述目标组织的距离，并且当所述工具定位在所述目标组织的预 定距离内时，使得能够激活所述工具的所述功能。 在各方面，所述外科手术系统包含显示器，所述显示器被配置成提供所述外科手 术部位的表示。所述处理单元可被配置成提供启用区的表示，所述启用区由所述外科手术 部位的表示内的所述预定距离限定。所述处理单元可被配置成在启用所述工具的所述功能 时在所述显示器上提供视觉标志。所述显示器可被配置成在启用所述工具的所述功能时改 变所述显示器的边框的颜色。 在一些方面，所述外科手术系统包含显示器，所述显示器被配置成提供所述外科 手术部位的表示。所述处理单元可被配置成在使得能够激活所述工具的所述功能之前验证 临床医生的视线是否看向所述显示器。所述处理单元可被配置成当所述工具在所述目标组 织的所述预定距离内时完成自动化任务。所述处理单元可被配置成当所述工具定位在超出 所述目标组织的所述预定距离的位置时，阻止激活所述工具的所述功能。 在本公开的另一方面，一种操纵成像装置的方法包含：在所述成像装置的视场内 标识所跟踪的质心；操纵所述成像装置的姿态以将所述所跟踪的质心定位在所述成像装置 的所述视场的中心处；在所述视场内移动第一工具，使得所述所跟踪的质心在所述成像装 置的所述视场内移动；以及当所述第一工具在所述视场内移动时跟踪所述所跟踪的质心， 并且将所述所跟踪的质心维持在所述成像装置的所述视场的所述中心处。 在各方面，标识所述所跟踪的质心包含将所述所跟踪的质心限定为所述第一工具 的第一工具质心。替代地，标识所述所跟踪的质心可包含将所述所跟踪的质心限定为所述 第一工具的第一工具质心与目标组织之间的点。所述所跟踪的质心可为所述第一工具质心 和所述目标组织的质心之间的线的中间点。 在一些方面，所述方法包含在所述视场内移动第二工具，使得所述所跟踪的质心 在所述成像装置的所述视场内移动。标识所述所跟踪的质心可包含将所述所跟踪的质心限 定为所述第一工具的第一工具质心与所述第二工具的第二工具质心之间的点。所述所跟踪 的质心可为所述第一工具质心和所述第二工具质心之间的线的中间点。替代地，标识所述 所跟踪的质心可包含将所述所跟踪的质心限定为在所述第一工具的第一工具质心、所述第 二工具的第二工具质心和目标组织之间进行三角测量而得到的点。 在某些方面，操纵所述成像装置的姿态包含移动支撑所述成像装置的外科手术机 器人的臂。跟踪所述所跟踪的质心可包含延迟所述成像装置的所述视场的重新居中，直到 所述所跟踪的质心偏离所述视场的所述中心达预定距离。跟踪所述所跟踪的质心可包含限 制所述成像装置的所述视场的移动速度。 在本公开的另一方面，一种外科手术系统包含：第一工具、臂和成像装置。所述第 一工具至少部分地限定所跟踪的质心。所述臂可在外科手术部位内移动。所述成像装置支 7 CN 111587095 A 说 明 书 4/9 页 撑在所述臂上且具有视场。所述成像装置被配置成被操纵以将所述所跟踪的质心维持在所 述视场的中心处。 在各方面，所述所跟踪的质心限定于所述第一工具的第一工具质心处。替代地，所 述所跟踪的质心可限定于所述第一工具的第一工具质心与所述外科手术部位内的目标之 间的点处。 在一些方面，所述外科手术系统包含第二工具。可在所述第一工具的第一工具质 心与所述第二工具的第二工具质心之间的点处限定所述所跟踪的质心。所述所跟踪的质心 可在所述第一工具的第一工具质心、所述第二工具的第二工具质心和所述外科手术部位内 的目标之间的点处进行三角测量得到。 可以预见，可以在现有的机器人外科手术系统的软件中实施本文的方法以提高现 有系统的功效。另外，可用专用设备增强本文详述的方法中的一些。 此外，在一致的程度上，本文描述的任何方面可与本文描述的任何或所有其它方 面结合使用。 附图说明 下文参考图式描述本公开的各种方面，所述图式并入本说明书中并且构成本说明 书的一部分，在附图中： 图1是根据本公开的用户界面和机器人系统的示意性图示； 图2是图1的机器人系统的连杆的透视图； 图3是外科手术部位的示意性图示，图1的机器人系统的工具插入其中； 图4是说明响应于工具的工具姿态而启用图3的工具的功能的方法的流程图； 图5是图1的用户界面的显示器的视图；并且 图6是外科手术部位的示意性图示，图1的机器人系统的工具插入其中，所述图示 示出用于引导成像装置的视图中心的质心。
本文公开了机器人外科手术系统和控制机器人外科手术系统的方法。一种所公开的方法包含：用成像装置在固定参考框架中在视觉上捕获外科手术部位内的工具的工具姿态；根据所述固定参考框架中的支撑所述工具的连杆的已知几何布置确定所述连杆的臂姿态；以及响应于控制信号 全部
背景技术：
例如远程手术系统等机器人外科手术系统用于执行微创外科手术过程，其与传统 的开放外科手术技术相比具有许多益处，包含疼痛较少、住院时间较短、能更快地恢复正常 活动、疤痕极小、恢复时间减少以及对组织的损伤较小。 机器人外科手术系统可以具有多个机械臂，其响应于外科医生查看由外科手术部 位的图像捕获装置捕获的图像时输入装置的移动而移动附接的器械或工具，例如图像捕获 装置、缝合器、电外科器械等。在机器人外科手术过程中，每个工具通过开口(自然开口或切 口)插入患者体内，并且定位成在外科手术部位操纵组织。开口围绕患者的身体放置，使得 外科手术器械可用于协作执行机器人外科手术过程，并且图像捕获装置可观察外科手术部 位。 在机器人外科手术过程中，精确了解和控制工具在外科手术部位内的位置非常重 要。因此，在机器人外科手术过程中，持续需要用于检测和控制工具在外科手术部位内的位 置的系统和方法。
技术实现要素：
本公开涉及通过在视觉上捕获外科手术部位内的工具姿态来控制外科手术机器 人。在所公开的方法中，一种成像装置捕获外科手术部位内的工具的工具姿态。然后，外科 手术机器人确定支撑工具的连杆的臂姿态。然后，外科手术机器人响应于来自临床医生的 输入而操纵臂以将工具移动到所需工具姿态。在视觉上确定工具姿态提高工具在外科手术 部位内的位置的精确性和分辨率。提高的精确性和分辨率可以用于完成精准移动，并且可 有助于完成自动化动作。在视觉上确定工具姿态还消除运动学模型中的偏差，这些偏差是 由关节的负载和动态性能引起的。 在本文公开的一些方法中，基于在视觉上捕获的工具姿态来启用和禁用工具的功 能。当工具的末端执行器在外科手术部位的启用区内时，可以启用所述工具的功能。可以基 于目标组织的位置、目标组织的大小、非目标组织相对于目标组织的接近度或工具的功能 的类型来确定启用区。包含显示器的用户界面可以控制外科手术机器人。显示器示出外科 手术部位的图形表示，并且可以提供启用区的视觉标志和工具的功能的启用/禁用状态。例 如，显示器可以具有边框，当启用工具的功能时，所述边框显示一种颜色，而当禁用工具的 功能时，所述边框显示另一种颜色。另外或替代地，当启用工具的功能时，显示器可以用一 种颜色示出工具，而当禁用工具的功能时，显示器可以用另一种颜色示出工具。可以设想， 当工具在启用区中时，外科手术机器人可以使用所述工具在外科手术部位内完成自动化任 务。在特定方法中，用户界面可以跟踪临床医生的视线，以在启用工具的功能之前验证临床 医生的视线是否聚焦到或看向显示器上启用区的表示。可以设想，通过要求工具在启用区 内和/或要求在激活工具的功能之前临床医生的视线看向启用区，可以通过当工具在启用 区之外时减少无意地或意外地激活工具功能而增加机器人外科手术过程中的安全性。 在某些方法中，成像装置的视图中心可以在外科手术过程中自动地跟踪质心。所 5 CN 111587095 A 说 明 书 2/9 页 跟踪的质心可以是工具的质心、工具的质心和目标组织之间的点，或多个工具的质心之间 的点。所跟踪的质心可以自动指派到外科手术部位内的现用的工具，也可以由临床医生选 择性地指派。通过在外科手术过程中自动跟踪质心，临床医生可以将注意力集中在所述过 程，而不必专注于移动成像装置。所述方法可包含从机器人外科手术系统的用户界面接收 控制信号。 在本公开的一方面，一种控制外科手术机器人的方法包含：用成像装置在固定参 考框架中在视觉上捕获外科手术部位内的第一工具的第一工具姿态；根据所述固定参考框 架中支撑所述第一工具的第一连杆的已知几何布置确定所述第一连杆的第一臂姿态；以及 响应于第一控制信号，在所述固定参考框架中操纵所述第一连杆以将所述第一工具移动到 所需第一工具姿态。 在各方面，在所述固定参考框架中在视觉上捕获所述第一工具的所述第一工具姿 态包含：在由所述成像装置限定的框架中限定所述固定参考框架。在所述固定参考框架中 在视觉上捕获所述第一工具的所述第一工具姿态可包含：用所述成像装置的第一透镜和第 二透镜两者捕获所述第一工具姿态。 在一些方面，在视觉上捕获所述第一工具姿态包含标识所述第一工具上的一个或 多个标记的位置。在视觉上捕获所述第一工具姿态可包含捕获光的红外线光谱内的所述一 个或多个标记的位置。 在某些方面，所述方法包含：用所述成像装置在所述固定参考框架中在视觉上捕 获所述外科手术部位内的第二工具的第二工具姿态；根据所述固定参考框架中支撑所述第 二工具的第二连杆的已知几何布置确定所述第二连杆的第二臂姿态；以及响应于第二控制 信号，在所述固定参考框架中操纵所述第二连杆以将所述第二工具移动到所需第二工具姿 态。确定所述第一臂姿态和确定所述第二臂姿态可全部发生在所述固定参考框架内。 在本公开的另一方面，一种控制外科手术系统的工具的功能的方法包含：用成像 装置捕获外科手术部位的图像；确定所述外科手术部位内的所述工具相对于目标组织的距 离；当所述工具距所述目标组织的距离在预定距离内时使得能够激活所述工具的功能；以 及响应于控制信号而激活所述工具的所述功能以操纵所述工具。 在各方面，使得能够激活所述工具的所述功能包含向与所述外科手术系统互动的 临床医生提供所述功能被启用的视觉标志。提供视觉标志可包含改变所述外科手术系统的 显示器的边框的颜色。 在一些方面，所述方法可包含在所述工具距所述目标组织的距离超出所述预定距 离时使得不能激活所述工具的所述功能。使得不能激活所述功能可包含向与所述外科手术 系统互动的临床医生提供所述功能被禁用的视觉标志。提供视觉标志可包含改变所述外科 手术系统的显示器的边框的颜色。 在某些方面，所述方法可包含当所述工具距所述目标组织的距离在所述预定距离 内时，所述外科手术系统用所述工具在所述外科手术部位内完成自动化任务。完成所述自 动化任务可包含当所述工具距所述目标组织的距离在所述预定距离内时缝接所述目标组 织。 在特定方面，所述方法可包含在使得能够激活所述工具的所述功能之前，验证与 所述外科手术系统介接的临床医生的视线是否看向所述外科手术系统的显示器上的启用 6 CN 111587095 A 说 明 书 3/9 页 区。用所述工具激活所述工具的所述功能以操纵组织可包含以下各项中的至少一个：用所 述工具夹持组织、用所述工具向组织输送电外科手术能量、用所述工具缝合组织、用所述工 具缝接组织或推动所述工具的剪刃或刀穿过组织。 在本公开的另一方面，一种外科手术系统包含：成像装置、工具和处理单元。所述 成像装置被配置成捕获外科手术部位的图像。所述工具具有被配置成响应于控制信号而操 纵组织的功能。所述处理单元与所述成像装置和所述工具通信，并且被配置成根据捕获的 图像确定所述工具相对于所述目标组织的距离，并且当所述工具定位在所述目标组织的预 定距离内时，使得能够激活所述工具的所述功能。 在各方面，所述外科手术系统包含显示器，所述显示器被配置成提供所述外科手 术部位的表示。所述处理单元可被配置成提供启用区的表示，所述启用区由所述外科手术 部位的表示内的所述预定距离限定。所述处理单元可被配置成在启用所述工具的所述功能 时在所述显示器上提供视觉标志。所述显示器可被配置成在启用所述工具的所述功能时改 变所述显示器的边框的颜色。 在一些方面，所述外科手术系统包含显示器，所述显示器被配置成提供所述外科 手术部位的表示。所述处理单元可被配置成在使得能够激活所述工具的所述功能之前验证 临床医生的视线是否看向所述显示器。所述处理单元可被配置成当所述工具在所述目标组 织的所述预定距离内时完成自动化任务。所述处理单元可被配置成当所述工具定位在超出 所述目标组织的所述预定距离的位置时，阻止激活所述工具的所述功能。 在本公开的另一方面，一种操纵成像装置的方法包含：在所述成像装置的视场内 标识所跟踪的质心；操纵所述成像装置的姿态以将所述所跟踪的质心定位在所述成像装置 的所述视场的中心处；在所述视场内移动第一工具，使得所述所跟踪的质心在所述成像装 置的所述视场内移动；以及当所述第一工具在所述视场内移动时跟踪所述所跟踪的质心， 并且将所述所跟踪的质心维持在所述成像装置的所述视场的所述中心处。 在各方面，标识所述所跟踪的质心包含将所述所跟踪的质心限定为所述第一工具 的第一工具质心。替代地，标识所述所跟踪的质心可包含将所述所跟踪的质心限定为所述 第一工具的第一工具质心与目标组织之间的点。所述所跟踪的质心可为所述第一工具质心 和所述目标组织的质心之间的线的中间点。 在一些方面，所述方法包含在所述视场内移动第二工具，使得所述所跟踪的质心 在所述成像装置的所述视场内移动。标识所述所跟踪的质心可包含将所述所跟踪的质心限 定为所述第一工具的第一工具质心与所述第二工具的第二工具质心之间的点。所述所跟踪 的质心可为所述第一工具质心和所述第二工具质心之间的线的中间点。替代地，标识所述 所跟踪的质心可包含将所述所跟踪的质心限定为在所述第一工具的第一工具质心、所述第 二工具的第二工具质心和目标组织之间进行三角测量而得到的点。 在某些方面，操纵所述成像装置的姿态包含移动支撑所述成像装置的外科手术机 器人的臂。跟踪所述所跟踪的质心可包含延迟所述成像装置的所述视场的重新居中，直到 所述所跟踪的质心偏离所述视场的所述中心达预定距离。跟踪所述所跟踪的质心可包含限 制所述成像装置的所述视场的移动速度。 在本公开的另一方面，一种外科手术系统包含：第一工具、臂和成像装置。所述第 一工具至少部分地限定所跟踪的质心。所述臂可在外科手术部位内移动。所述成像装置支 7 CN 111587095 A 说 明 书 4/9 页 撑在所述臂上且具有视场。所述成像装置被配置成被操纵以将所述所跟踪的质心维持在所 述视场的中心处。 在各方面，所述所跟踪的质心限定于所述第一工具的第一工具质心处。替代地，所 述所跟踪的质心可限定于所述第一工具的第一工具质心与所述外科手术部位内的目标之 间的点处。 在一些方面，所述外科手术系统包含第二工具。可在所述第一工具的第一工具质 心与所述第二工具的第二工具质心之间的点处限定所述所跟踪的质心。所述所跟踪的质心 可在所述第一工具的第一工具质心、所述第二工具的第二工具质心和所述外科手术部位内 的目标之间的点处进行三角测量得到。 可以预见，可以在现有的机器人外科手术系统的软件中实施本文的方法以提高现 有系统的功效。另外，可用专用设备增强本文详述的方法中的一些。 此外，在一致的程度上，本文描述的任何方面可与本文描述的任何或所有其它方 面结合使用。 附图说明 下文参考图式描述本公开的各种方面，所述图式并入本说明书中并且构成本说明 书的一部分，在附图中： 图1是根据本公开的用户界面和机器人系统的示意性图示； 图2是图1的机器人系统的连杆的透视图； 图3是外科手术部位的示意性图示，图1的机器人系统的工具插入其中； 图4是说明响应于工具的工具姿态而启用图3的工具的功能的方法的流程图； 图5是图1的用户界面的显示器的视图；并且 图6是外科手术部位的示意性图示，图1的机器人系统的工具插入其中，所述图示 示出用于引导成像装置的视图中心的质心。
