摘要：构建 AI 驱动的机器人系统面临几项关键挑战。首要挑战是将数据收集与专家见解相融合，另一项挑战则是为逼真的解剖结构、传感器和机器人创建详细的生物力学仿真，这些仿真对于生成合成数据和训练机器人至关重要。确保从虚拟部署无缝过渡到现实场景同样关键，此外还需在操作过程

医疗科技的未来是机器人化——医院将全面自动化，由 AI 驱动的手术系统、机器人助手和自主患者护理彻底改变现有医疗模式。

构建 AI 驱动的机器人系统面临几项关键挑战。首要挑战是将数据收集与专家见解相融合，另一项挑战则是为逼真的解剖结构、传感器和机器人创建详细的生物力学仿真，这些仿真对于生成合成数据和训练机器人至关重要。确保从虚拟部署无缝过渡到现实场景同样关键，此外还需在操作过程中管理高带宽、多模态传感器 AI 的超低延迟问题。

这些技术瓶颈凸显了对整体性框架的需求——该框架需包含三个核心计算模块：用于训练先进模型的 AI 计算，用于在高保真虚拟环境中开发和验证机器人行为的仿真计算，以及用于临床环境实时执行的运行时计算。

NVIDIA Isaac for Healthcare 是一款用于 AI 医疗健康机器人的开发者框架，能帮助开发者应对这些挑战。Isaac for Healthcare 适用于医疗健康特定领域，基于 NVIDIA 三台计算机实现物理 AI。

该框架包含用于采用 MONAI 提供预训练模型和代理式 AI 框架，其中 MAISI、Vista-3D 等模型可生成仿真工作流所需的解剖合成数据；其次，它包含用于仿真的 NVIDIA Omniverse（包括 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab），开发者可以导入医疗设备/机器人、传感器及解剖结构，以构建具有物理精确性的虚拟环境，让机器人系统能安全地学习技能；第三，它包含 NVIDIA Holoscan，用于实现在机器人端部署和进行实时传感器处理。

该框架能够提供数字原型设计、硬件在环（HIL）产品开发测试、用于 AI 训练的合成数据生成、策略训练，以及实时部署等，适用于各类型医疗机器人，包括：

图1. NVIDIA 三台计算机解决方案，正在为医疗健康领域的下一代 AI 机器人发展提供支持

Isaac for Healthcare：

引领医疗 AI 机器人技术新浪潮

Isaac for Healthcare 通过数字孪生与物理 AI 技术的融合，为医疗领域提供以下核心能力：

最新版本重点推出两大端到端参考工作流：手术子任务自动化与自主机器人超声扫描，全面覆盖外科手术和医学影像机器人应用场景，旨在加速实现用户特定场景下的自主机器人能力开发。

下文将详细解析这两大工作流的技术实现。

机器人手术子任务自动化工作流

本工作流为开发者构建和部署手术子任务自动化解决方案提供标准化模板。通过整合数字孪生、强化学习与模仿学习、高保真合成数据生成以及实时机器人评估等技术，该方案为 AI 驱动的手术自动化提供了可扩展的实施路径。

该工作流基于 ORBIT-Surgical 项目开发，该项目由 NVIDIA、PAIR 实验室（多伦多大学与佐治亚理工学院联合实验室）及 AUTOLAB（加州大学伯克利分校）共同推进，并得到苏黎世联邦理工学院的研究协作支持。

ORBIT-Surgical 现正迁移至 Isaac for Healthcare 平台，并逐渐演变为机器人手术子任务自动化工作流。未来，来自学术界、产业界和临床医疗机构的现有合作伙伴及新伙伴，将共同协作推动该工作流的进一步发展。

图 2. Isaac for Healthcare 工作流 1——机器人手术子任务自动化，

帮助开发者构建手术子任务自动化策略

约翰霍普金斯大学和斯坦福大学的合作团队，将一个经过数小时手术视频训练的视觉语言模型（VLM）与达芬奇研究套件（dVRK）集成，该系统可自主执行三个关键手术任务：小心提起身体组织、使用手术针和缝合伤口（如上图所示）。

借助这一工作流，开发人员可以将自己的手术机器人、传感器、器械和患者模型引入 NVIDIA Omniverse，创建高保真手术数字孪生模型。这使他们能够在不接触患者的情况下，对缝合、切割和组织操作等复杂手术过程进行仿真，同时大规模生成大量基于物理原理的、逼真的合成数据，用于训练机器人策略。

然后，这些合成生成的数据集将在 Isaac Lab 中用于训练强化学习和模仿学习流程，或者微调现有的通用视觉语言动作模型（例如 π0），以使手术机器人能够掌握人类外科医生的技能和灵活性。

最后，在数字孪生中经过充分训练的策略，实现了从仿真到现实的过渡，并部署到一台物理手术机器人上（本例中为 dVRK）。

Isaac for Healthcare 在手术子任务自动化工作流中的关键能力包括：

图 3. Isaac for Healthcare 机器人手术子任务自动化工作流是一个主要基于 NVIDIA Omniverse 和 NVIDIA Holoscan 构建的框架

BYO 解剖学

该流程创建逼真解剖模型的步骤如下：从 AI 辅助的合成 CT 生成（使用 NVIDIA MAISI）和分割操作（使用 NVIDIA VISTA3D 或 Auto3DSeg）开始，随后进行网格转换、网格清理和优化、逼真纹理处理，最终将所有带纹理的器官组装成统一的 OpenUSD 文件。

该工作流能够创建针对特定患者的模型，用于罕见或复杂病例的仿真。这一点尤为重要，因为此类病例的真实患者数据往往非常稀缺，这就使得仿真成为了用于培训和术前准备的极为宝贵的工具。

逼真人体器官模型可在 GitHub 获取：

BYO 机器人 / 仪器

该工作流基于达芬奇研究套件（dVRK）开发，但所提供的模板能够推广应用到其他机器人平台。导入手术机器人的流程需要遵循 Isaac Sim 通用导入指南。详细指导请参考 Isaac Sim URDF 导入教程。

Isaac Sim 4.5 提供了简化的工作流，通过将机器人 CAD 模型转换为 USD 格式来准备仿真模型。转换为 USD 后，可进行关节装配的关键步骤，包括添加关节物理特性和定义机器人的运动学属性。完成这些关键准备工作后，您的机器人模型即可集成到仿真场景（数字孪生模型）中，以物理精确的方式与器官或其他物体交互。

BYO 传感器

该工作流为 AI 策略学习提供多种感知模式。开发者可集成不同的成像传感器（如立体相机、内窥镜相机、深度传感器）来定制 AI 感知流程。

专家示范数据采集

（通过远程操作技术）

该工作流还提供方案/示例，支持通过不同手术任务的远程操作，生成高质量示范数据，这些数据对于训练和评估手术机器人中的 AI 模型至关重要。

各种外围设备，包括键盘、空间鼠标、游戏手柄、VR 控制器和达芬奇研究套件（dVRK）的主工具操作器（MTM），都可以与数字孪生体进行通信，并提供输入指令，来控制 Cartesian 空间中的机器人。

策略学习

对于任务自动化，支持各种先进的强化学习和模仿学习算法，例如 Action Chunking Transformer（ACT）和 https://arxiv.org/abs/2303.04137，以便获取高效的手术技能。

自主机器人超声工作流

超声成像具有无创、便携和安全等优势。然而，要获得高质量的超声图像需要熟练的超声技师操作。但是由于训练有素的专业人员面临日益短缺的情况，超声成像充分展现了任务自动化在扩大医疗服务可及性、支持及时准确诊断方面的潜在优势。

该参考工作流提供了一个可复现、可定制且模块化的框架，通过 AI、数字孪生和更广泛的三台计算系统框架，构建超声机器人自动化方案。该工作流的主要功能大多与机器人手术子任务自动化工作流重叠，因此本文仅重点阐述超声工作流特有的核心能力。

图 4. Isaac for Healthcare 工作流 2——自主机器人超声，使开发者能够开发机器人超声自动化策略

使用此工作流，开发者可以将机械臂、相机传感器、超声探头和患者模型导入 NVIDIA Omniverse，以创建高保真超声检查的数字孪生模型。开发人员可以构建逼真的解剖模型和虚拟探头，对超声波与不同密度组织的相互作用进行仿真，生成丰富的训练数据集。

这种方法使开发人员能够在不受物理实验室限制的情况下，探索不同的扫描角度、压力水平以及解剖结构的变化情况。开发者可以利用 Isaac Lab，获取来自仿真和专家示范操作的数据，以采用强化学习或模仿学习，训练机器人系统进行最佳定位，并调整超声波探针的方向以捕获高质量图像。

图 5. Isaac for Healthcare 自主机器人超声工作流框架

Isaac for Healthcare 的

早期采用者与生态系统合作伙伴

Isaac for Healthcare 正通过与手术机器人、介入机器人、影像机器人以及机械臂供应商等领域的领先机构合作，加速 AI 驱动的医疗机器人的发展。

在手术机器人领域，Virtual Incision 正在评估 Isaac for Healthcare 在手术合成数据生成（SDG）方面的能力，以开发其未来手术机器人系统的自主任务能力，并利用真实仿真环境提升手术精度。

Moon Surgical 正在对自主机器人设置进行原型设计，使机器人能够动态适应外科医生的技术和手术流程，从而提高手术的精准度和效率。

在介入机器人领域，Neptune Medical 使用 NVIDIA Omniverse 和 Isaac Sim 设计与仿真机器人内窥镜检查，以增强诊断能力。

XCath 正字利用 Isaac for Healthcare 为其血管介入机器人、治疗设备和人体血管系统创建全面的数字孪生，在其基于导管的机器人系统中实现自主导航的运动规划和控制。

Kinova 和 Franka 等领先机械臂提供商，正在通过在 Isaac for Healthcare 中提供可直接用于仿真的预构建机械臂，推动开发者生态系统的发展。

结合全面的参考工作流，这些解决方案为开发者提供了坚实的技术基础，使他们能够快速制作原型，并将自主功能部署到医疗设备中，推动医疗机器人领域的创新发展。

立即开始

借助全面的资源套件来探索 Isaac for Healthcare，这些资源能够加速由 AI 驱动的医疗机器人的开发进程。如有兴趣，请访问：

从手术子任务自动化工作流（Surgical Subtask Automation Workflow）或自主机器人超声工作流（Autonomous Robotic Ultrasound Workflow）中进行选择，以启动您的项目。

来源：NVIDIA英伟达中国