摘要：在3D医学影像领域，一项突破性研究正在改变我们处理复杂医学图像的方式。来自密歇根大学的研究团队，包括Chenhui Zhao、Yiwei Lyu、Asadur Chowdury、Edward Harake、Akhil Kondepudi、Akshay Rao、

医学影像技术如CT（计算机断层扫描）和MRI（磁共振成像）在现代医疗诊断中扮演着至关重要的角色。然而，与2D医学影像（如胸部X光片）相比，3D医学影像的人工智能辅助分析进展相对缓慢。想象一下，目前的2D胸部X光AI模型已经能达到人类专家水平，而3D医学影像的AI模型还远远落后。这是为什么呢？

问题在于3D医学数据的复杂性和体积。如果你曾经做过MRI检查，你可能知道一次检查会产生多个不同的扫描序列（比如T1加权、T2加权、FLAIR等）。这些3D体素数据就像是一摞摞的数字化照片，每一摞代表人体某个部位的不同切面。处理这些海量数据对计算机来说是个巨大挑战，就像同时阅读数千本厚重的图册一样耗时费力。

以往的研究往往选择两条路径来应对这一挑战：要么让放射科医生手动筛选出最具代表性的扫描或切片（这就像从图册中挑选出几页关键内容），要么设计特殊的模型架构（这相当于发明新的阅读方法）。但这两种方法都存在明显的局限性——前者需要大量的人工标注工作，后者则难以扩展到真实临床场景。

密歇根大学研究团队提出的HLIP框架采用了全新的思路。他们没有改变原始数据或设计复杂的模型，而是利用放射学数据天然存在的层次结构来优化处理流程。这就像是在不改变图册内容的情况下，发明了一种能够同时浏览所有页面并快速定位关键信息的方法。

HLIP框架的核心创新在于其"层次化注意力机制"，它模拟了放射学数据的自然层次：切片（slice）、扫描（scan）和研究（study）。想象一下，一位放射科医生在阅片时也是先看整体研究，再聚焦到某个扫描序列，最后细看具体切片。HLIP正是模仿了这种从宏观到微观的审视过程。

与传统方法不同，HLIP能够直接处理未经筛选的临床研究数据。研究团队在两个大规模数据集上进行了实验：一个包含220K患者、313万次扫描的脑部MRI数据集，和一个包含240K患者、144万次扫描的头部CT数据集。这相当于分析了数十万患者的完整医学影像档案，规模前所未有。

实验结果令人振奋。在胸部CT评估中，HLIP模型比现有最先进的模型在Rad-ChestCT基准测试上表现提升了4.3%的宏观AUC指标。在脑部MRI评估中，HLIP在公开的Pub-Brain-5基准测试上比现有2D基础模型表现提升了惊人的32.4%平衡准确率。在头部CT评估上，HLIP也在RSNA和CQ500两个基准测试上分别提升了1.4%和6.9%的宏观AUC指标。

这些结果意味着什么？简单来说，HLIP成功地打破了3D医学影像AI处理的瓶颈，使我们能够直接从未经筛选的临床数据中学习，就像一位能够迅速从海量医学影像中提取关键信息的超级放射科医生。这不仅提高了模型性能，还大大简化了数据准备流程，为3D医学影像的AI辅助诊断铺平了道路。

接下来，让我们深入了解HLIP是如何工作的，以及它为何能取得如此显著的突破。

一、3D医学影像的挑战：为什么需要HLIP？

想象你走进一间堆满成千上万厚重图册的图书馆，每本图册都有数百页，记录着人体内部的各种角度和层面的图像。这就是放射科医生日常面对的情况。在AI领域，处理这些数据更是一项艰巨任务。

研究团队发现，当前3D医学影像的语言-图像预训练（一种让AI同时理解图像和相关医学报告的技术）存在三大瓶颈：数据筛选标注的需求、模型架构的局限性，以及3D医学影像研究的复杂性。

CT和MRI扫描会生成3D体积图像，而且一次临床检查通常包含多个3D体积，每个体积捕捉不同的成像协议或方向。例如，一次标准MRI检查通常包括几个序列（如T1加权、T2加权和FLAIR），每个序列提供不同的诊断信息。CT检查也类似，常包含不同方向或扫描设置的多次扫描。

如果直接用标准视觉编码器（如Vision Transformer，简称ViT）处理这些未经筛选的研究数据，每项研究可能产生高达10,000个标记（token），导致巨大的计算负担。这就像要同时阅读并记住图书馆中所有图册的所有页面一样困难。

为了解决这个问题，传统方法通常是让放射科医生手动选择每项研究中最具代表性的扫描或2D切片（相当于从每本图册中选出最重要的几页），或者设计特殊的模型架构（相当于发明新的阅读方法）。但这些方法要么依赖于昂贵的人工标注，要么难以在真实世界中扩展应用。

二、HLIP的核心原理：像放射科医生一样"看"影像

HLIP的核心理念可以类比为"教会AI像放射科医生一样阅读医学影像"。放射科医生不会机械地逐页查看所有图像，而是采用由粗到细的层次化阅读策略：先整体浏览研究，识别关键扫描序列，再聚焦到特定区域的细节切片。

HLIP模拟了这种层次化注意力过程，引入了三个层次的注意力机制：

首先是研究注意力（Study Attention）。这相当于对整个研究数据的所有标记进行全局注意力计算，就像放射科医生先获取患者整体情况的全局视角。

其次是扫描注意力（Scan Attention）。这将注意力范围缩小到单个扫描序列内的标记，相当于放射科医生聚焦到某一特定扫描序列（如T1加权或FLAIR序列）。

最后是切片注意力（Slice Attention）。这进一步将注意力范围缩小到扫描中相邻切片的标记，类似于放射科医生仔细查看某个关键部位的连续切片。

这种设计的巧妙之处在于，它不需要改变原始ViT的基本架构，只需调整注意力的计算范围。想象一下，这就像是在不改变阅读内容的前提下，教会AI一种更高效的阅读策略。

更重要的是，HLIP的层次化注意力机制大大降低了计算复杂度。以一个包含N个标记的研究为例，标准的全局注意力需要Ω(N?)的计算复杂度，而HLIP的扫描注意力只需要Ω(N?/M)的复杂度（M为扫描数量），切片注意力更是只需要Ω(N?/(M×d))的复杂度（d为切片数量）。

这种计算效率的提升使得HLIP能够直接处理未经筛选的研究数据，无需人工选择代表性扫描或切片。正如研究报告中所展示的，与原始ViT相比，HLIP在处理相同数据时内存占用减少了45%以上，同时性能还有显著提升。

三、实验设计与实施：HLIP如何在真实数据上表现？

研究团队在三种不同的医学影像类型上评估了HLIP的性能：胸部CT、脑部MRI和头部CT。这就像是在三种不同的"考试"中测试AI的"阅读理解"能力。

首先，为了证明HLIP层次化注意力机制的有效性，研究团队在已筛选的胸部CT数据集CT-RATE上进行了实验。CT-RATE数据集相当于一个"标准化测试"，它包含已经由专家筛选过的CT扫描。在这个数据集上，HLIP的表现已经超过了现有最先进的模型，比如CT-CLIP、BIUD和Merlin等。更重要的是，当在外部验证数据集Rad-ChestCT上进行测试时，HLIP展示出了出色的泛化能力，宏观AUC比第二好的模型高出7.9%。

接下来，研究团队展示了HLIP在大规模未经筛选的临床数据集上的表现。他们构建了两个大型数据集：BrainMRI220K（包含220K患者的313万次脑部MRI扫描）和HeadCT240K（包含240K患者的144万次头部CT扫描）。这些数据集的规模前所未有，相当于分析了数十万患者的完整医学影像档案。

为了评估脑部MRI的性能，研究团队还构建了一个名为Pub-Brain-5的公开基准测试，它基于现有的公开可用脑部MRI数据集，涵盖五类疾病：健康、急性卒中、胶质瘤、脑膜瘤和转移瘤。在这个基准测试上，HLIP远远超过了现有的2D基础模型BiomedCLIP和ConceptCLIP，在疾病分类任务上的平衡准确率提高了32.4%。

对于头部CT，研究团队在RSNA和CQ500两个公开基准测试上评估了HLIP的性能。HLIP再次展示出优异表现，分别在这两个基准测试上比最好的现有模型FM-HeadCT提高了1.4%和6.9%的宏观AUC。

这些实验结果不仅证明了HLIP的有效性，还强调了三个关键因素的同等重要性：数据规模、建模方法和计算效率。就像研究团队所展示的，如果只使用10%的训练数据，HLIP在Pub-Brain-5上的性能会下降24.5%；如果采用简单的随机选择一个扫描进行训练的方法，性能会下降12.4%；如果使用较小的批量大小（例如64），性能会下降6.6%。

四、HLIP的临床价值：从实验室到医院

HLIP不仅在学术基准测试上表现出色，研究团队还在真实临床环境中进行了前瞻性评估。他们分析了约23K脑部MRI研究（涵盖52种诊断）和约15K头部CT研究（涵盖83种诊断），这相当于在真实医院场景中对AI进行"实习医生"测试。

结果证明，HLIP在这些真实世界任务上的表现始终优于标准ViT模型。更重要的是，通过可视化HLIP的"注意力热图"，研究人员发现它能够准确定位病理区域，无论是跨越不同胸部CT切片还是不同类型的脑部MRI扫描。

例如，在一个胶质瘤案例中，HLIP能够同时在FLAIR和T1加权对比增强序列中识别肿瘤区域；在肺纤维化案例中，它能够跨越多个CT切片定位病变。这种能力对临床实践至关重要，因为它模拟了放射科医生综合多个影像序列进行诊断的方式。

此外，HLIP的另一个关键优势是其通用性。与许多需要针对特定任务进行专门训练的AI模型不同，HLIP是一个通用基础模型，可以适应各种医学影像任务。这就像一位全科医生，虽然可能不如专科医生在特定领域精通，但具备广泛的知识基础，能够处理各种医疗情况。

五、HLIP的局限性与未来展望

尽管HLIP取得了显著成果，研究团队也坦率地讨论了其局限性。首先，计算资源仍然是一个挑战。尽管HLIP比原始ViT更高效，但训练仍需要相当的计算资源，最密集的设置使用了8张L40 GPU。即使有了闪存注意力（flash attention）和梯度检查点（gradient checkpointing）等优化技术，他们能够达到的批量大小（未经筛选数据集为256，已筛选数据集为512）仍远小于自然图像和2D医学影像领域典型的批量大小。此外，他们的计算资源不足以训练更大的模型，如ViT-Large。

另一个有趣的观察是，零样本迁移性能并不总是与研究数量相关。例如，尽管关键词搜索产生了比胶质瘤更多的脑膜瘤或转移瘤患者，但胶质瘤的零样本性能明显高于其他两种。肿瘤大小可能部分解释这种差异，但这个问题值得进一步研究。

研究团队还指出，他们简单地收集了所有来自健康系统的研究，导致训练数据集不平衡。建立在自然图像领域的发现基础上，他们认为开发一种系统方法来构建相对平衡的预训练数据集是未来工作的重要方向。

HLIP的成功也为医学影像AI的未来发展指明了方向。首先，直接从未经筛选的临床数据中学习是可行且有效的。其次，利用领域知识（如放射学数据的层次结构）可以大大提高模型效率和性能。最后，计算效率、数据规模和有效建模同等重要，三者缺一不可。

六、总结：HLIP如何改变医学影像AI的格局

归根结底，HLIP代表了3D医学影像AI领域的一个重要突破。它巧妙地结合了传统深度学习架构（ViT）与放射学领域知识（数据的层次结构），创造了一个既高效又有效的解决方案。

通过引入层次化注意力机制，HLIP成功地解决了3D医学影像处理的关键挑战：计算复杂性。这使得直接从未经筛选的临床数据中学习成为可能，极大地简化了数据准备流程，同时提高了模型性能。

HLIP的成功不仅体现在学术基准测试上的卓越表现，还体现在其对真实临床环境的适应性上。它能够像放射科医生一样，综合多个扫描序列和切片进行诊断，这对临床实践具有重要价值。

虽然仍有改进空间，但HLIP无疑为3D医学影像的AI辅助诊断铺平了道路。随着技术的进一步发展和计算资源的增加，我们可以期待HLIP及其后继者在临床实践中发挥越来越重要的作用，最终帮助放射科医生提高诊断效率和准确性，造福患者。

来源：至顶网一点号