摘要：远程手术不再是未来的概念，它在医疗服务领域扮演着越来越重要的角色。到 2030 年，全球外科医生缺口将达 450 万人，偏远地区医院更是难以吸引专家。在此背景下，由专家通过远程方式开展手术的技术，正从实验性探索逐步成为必然趋势。其主要有以下三个变化：
远程手术不再是未来的概念，它在医疗服务领域扮演着越来越重要的角色。到 2030 年，全球外科医生缺口将达 450 万人，偏远地区医院更是难以吸引专家。在此背景下，由专家通过远程方式开展手术的技术，正从实验性探索逐步成为必然趋势。其主要有以下三个变化：
网络发展成熟：5G 和低延迟主干网络使跨洲的实时视频协作成为可能AI 和仿真技术成熟：外科医生现在可以在高度逼真的虚拟环境中训练和验证系统，然后再进入手术室标准化平台已经就绪：开发者无需再为传感器、视频和机器人技术整合定制化流程，而是可以基于共享基础设施进行开发，从而加速研发进程。同时，远程手术也面临以下主要技术挑战：
手术精度要求超低延迟视频可靠的具有触觉反馈的远程机器人控制多样化解决方案的无缝硬件集成这正是 NVIDIA Isaac for Healthcare 的价值所在。它为开发者提供了一套可直接用于开发的模块化远程手术工作流，涵盖视频与传感器流传输、机器人控制、触觉反馈及仿真功能。开发者可对其进行适配、扩展，并部署于培训与临床两种场景。
在本文中，将介绍远程手术工作流的运行原理、入门方法，以及为何它是构建新一代手术机器人最快捷的方式。
什么是 NVIDIA Isaac for Healthcare？
NVIDIA Isaac for Healthcare 将功能强大的三台计算机（NVIDIA DGX、NVIDIA OVX、NVIDIA IGX 或 NVIDIA AGX）引入医疗健康机器人领域，并整合了完整的开发技术栈。它提供了一整套工具和基础构建模块，包括：
端到端样本工作流（手术和影像）高保真医疗传感器仿真仿真可用资产目录（机器人、工具、解剖结构）预训练 AI 模型和策略基线合成数据生成工作流基于此架构，可以从仿真直接无缝衔接到临床部署，而无需更换基础设施。
远程手术工作流的原理
远程手术工作流通过高速网络将外科医生的控制站与患者侧的手术机器人连接起来。
图 1. 远程手术工作流程图
系统架构
接下来，我们将深入探寻具体细节，了解该解决方案背后的架构。
1.GPUDirect 传感器 IO：
系统使用 NVIDIA Holoscan Sensor Bridge（HSB）将视频直接传输到 GPU，实现实时处理。HSB 基于 FPGA 的接口，通过以太网连接高速传感器，实现低延迟数据传输。这简化了边缘 AI 医疗应用中传感器和执行器的集成。
2.视频流传输：
系统同时捕捉两路摄像头画面：房间整体和详细的机器人视角。视频编码使用 NVIDIA 硬件加速，以保证画质并最小化延迟。可以在 H.264（兼容性佳）或 NVJPEG（延迟最低）之间进行选择。
多摄像头支持： 可同时采集来自安装在机器人上的摄像头和房间概览摄像头（兼容 RealSense 或 CV2）的视频硬件加速编码：NVIDIA Video Codec（NVC）支持 H.264 或 H.265，适合带宽受限场景NVJPEG 编码：超低延迟选项，质量可调节（1-100）3.通信层：
RTI Connect 数据分布式服务（DDS）负责站点间的所有数据传输，确保医疗级可靠性、低延迟和数据完整性。视频流、控制命令和机器人反馈在不同的通道上传输，每个通道都通过服务质量控制进行优化，以满足其特定需求。
RTI Connect DDS 基础设施：安全的医疗级可靠性，消息传输有保证域隔离：用于视频流、控制命令和遥测数据各自独立 DDS 域时间同步：可选的网络时间协议（NTP）服务器集成，确保在所有系统中实现完美的时间对齐网络优化：根据手术需求定制的自动节点发现和服务质量配置文件4.控制界面：
外科医生可以使用 Xbox 控制器进行基本操作，或使用 Haply Inverse3 设备在 3D 空间中直观控制机器人。控制系统与患者侧机器人协同工作，将外科医生的指令转化为精确的机器人动作。
双控制模式:Cartesian 模式：直接进行 X-Y-Z 定位，实现直观控制Polar 模式：关节空间控制，适合复杂动作图 2. 远程手术系统架构图
术前验证：延迟基准
低延迟对于远程手术至关重要，以下基准测试结果表明，该工作流符合临床要求。
配备 IMX274 摄像头的 HSB使用 NVIDIA HSB board 和 IMX274 MIPI 摄像头，实现超低延迟工作流。
采用 YUAN HSB board 的 HDMI 摄像头现有医疗机构通常配备具有 HDMI 或 SDI 输出的摄像头。在这种情况下，YUAN HSB board 是很好的解决方案。它可以从 HDMI 或 SDI 中拍摄视频，并将数据直接传输到 GPU。此基准测试中使用的 HDMI 摄像头是富士 X-T4 摄像头。
显示器基准测试采用支持 G-Sync 的显示器，以 240Hz 刷新率在 Vulkan 独占全屏模式下进行。延迟测量数据由 NVIDIA 延迟和显示分析工具（LDAT）捕获。
1080p@60fps（H.264，码率为 10 Mbps）光子到屏幕延迟：35.2+/-4.77 毫秒编码和解码：10.58+/-0.64 毫秒4k@60fps（H.265，码率为 30 Mbps)光子到屏幕延迟：44.2+/-4.38 毫秒编码和解码：14.99+/-0.69 毫秒可通过生态系统中的 FPGA 合作伙伴 Lattice 和 Microchip 购买 Holoscan Sensor Bridge。
需要强调的是，两种设置均实现了约 50 毫秒的延迟，速度足够快，能够支持安全的远程操作。
部署灵活性
由于该工作流采用容器化技术，因此可在不同环境中保持一致运行：
实际的手术室：连接真实的摄像头和机器人进行真实的手术。即插即用地集成现有的手术基础设施支持多种摄像头类型：Intel RealSense、标准 USB 摄像头、带 HSB board 的 MIPI 摄像头以及带 YUAN HSB board 的 HDMI 或 SDI 摄像头可用游戏控制器或 Haply Inverse3 设备直接控制 MIRA 机器人通过隔离远程操作者，实现与现场的无菌操作。仿真环境：使用 NVIDIA Isaac Sim 进行训练，而不会给患者带来风险。NVIDIA Isaac Sim 集成可提供逼真的手术场景通过准确的物理和组织建模，实现无风险训练技能评估工具可跟踪精度、速度和技术现场录制和回放，可用于复盘与改进两种部署模式采用相同的控制方案和网络协议，确保在仿真环境中开发的技能可直接迁移至实际应用。平台的模块化设计使机构能够从基于仿真的训练起步，并在准备就绪后无缝迁移到现场手术。
临床影响
早期试点部署已显示出积极的成效：
急诊手术患者转诊时间减少了 50%偏远地区获得专业手术护理的机会增加了 3 倍通过仿真训练，手术培训效率提高 40%超过 1,000 例手术中，无因设备延迟引发的并发症。构建下一代外科手术
远程手术并非仅是一套工作流，更是构建医疗新模式的基石；它也不仅关乎架构设计，而是通过工程技术手段，为解决全球医疗领域各类缺口提供的解决方案。
无论身处何地，专家可为患者进行手术受训者在接触患者之前可先在仿真环境进行练习医院可扩展稀缺的专科资源，而无需进行高成本转诊借助为开发者打造的、可连接仿真环境与手术室的可靠低延迟工作流，NVIDIA Isaac for Healthcare 让这一切成为可能。
构建远程手术工作流程
git clone https://github.com/isaac-for-healthcare/i4h-workflows.gitcd i4h-workflowsworkflows/telesurgery/docker/real.sh build之后，可以连接摄像头，配置 DDS，并开始尝试机器人控制。
即刻开始开发工作。您可以复刻代码仓库、尝试适配新的控制设备、集成新成像系统或自行测试延迟基准。每一份贡献，都在推动远程手术离日常应用更近一步。
文档与代码
来源：NVIDIA英伟达中国
