计算机视觉大模型,助超声更准确判读LVEF!阜外医院赵韡、权欣等研究

摘要:超声心动图左心室射血分数(LVEF)可用于心血管疾病的诊断分类、疗效评价和预后评估等。然而,在超声心动图中判读LVEF存在观察者间差异,这种主观性可能会影响对患者病情的准确评估和后续的治疗决策。此外,LVEF有时需要在多个心动周期重复测量,手动完成这一过程较为

超声心动图左心室射血分数(LVEF)可用于心血管疾病的诊断分类、疗效评价和预后评估等。然而,在超声心动图中判读LVEF存在观察者间差异,这种主观性可能会影响对患者病情的准确评估和后续的治疗决策。此外,LVEF有时需要在多个心动周期重复测量,手动完成这一过程较为费时。

基于深度学习的计算机视觉技术在医学影像分析领域显示出巨大潜力,现有的超声心动图LVEF自动化预测研究按照方法,可分为基于图片或基于视频两类。

基于图片的LVEF预测与医师测量相似,仍可能引起误差传播,还可能由于无法找到舒张末期帧或收缩末期帧而导致LVEF预测失败。

基于视频的LVEF预测省略中间步骤,输入为超声心动图视频、输出为LVEF,避免了串行流程的问题。现有相关研究中,卷积神经网络模型在全局特征捕捉和长距离依赖关系建模方面存在局限性,基于Transformer的模型理论上可以突破这些局限性,但目前其预测误差仍高于卷积神经网络模型。

在自然图像分析领域,基于Transformer的计算机视觉大模型(也称基础模型)已有出色表现,其训练策略为在大规模数据集上进行无监督预训练,然后在特定任务的小规模数据集上进行有监督微调。大模型和“无监督预训练 + 有监督微调 ”策略有应用于超声心动图LVEF预测任务的潜力。

近期,阜外医院信息中心赵韡等联合超声影像中心权欣、朱振辉发表的一项研究表明,在超声心动图视频中,用计算机视觉大模型来预测LVEF可行,它可以准确地完成LVEF预测,结果与人类专家测量值具有一致性,可减轻医师的工作负担,有望应用于临床实践。

该研究基于目前最大的超声心动图视频公开数据集 EchoNet-Dynamic,纳入10 024例患者的10 024段超声心动图动态视频。选用计算机视觉大模型VideoMAE V2,分别使用7 460、1 288、1 276段视频对其进行微调、验证和测试。

结果显示,VideoMAE V2预测的LVEF与人类专家测量结果间的平均绝对误差为3.94%,Pearson相关系数为0.91。此外,VideoMAE V2可准确判断患者LVEF是否低于50%,AUC可达0.96。

作者指出,根据指南,LVEF=40%和LVEF=50%是心衰分类的重要阈值,VideoMAE V2预测结果对两个阈值的分类表现优异,AUC均超过0.95。以上结果表明,VideoMAE V2可以在超声心动图视频中用于预测LVEF,其预测结果与人类专家测量值具有一致性。

作者指出,与基于图片的LVEF预测方法相比,本研究直接基于超声心动图动态视频预测LVEF,不再仅依赖于静态的舒张末期帧和收缩末期帧上的空间特征,而是捕捉视频中的时空特征以全面地理解左心室在整个心动周期内的运动模式。这种方法省略了舒张末期、收缩末期帧定位步骤,并降低了一段视频中少量模糊的帧对LVEF预测的影响,从而提高了预测效率及稳健性。

与基于视频的LVEF预测方法相比,计算机视觉大模型不仅可以捕捉长距离依赖关系以实现心脏运动全周期建模,还可以通过无监督预训练得到丰富的视觉特征和视觉语义信息以降低预测误差。VideoMAE V2因其更适用于视频处理的结构和训练过程中的双重掩码策略,可以在超大规模数据集上完成预训练,在自然图像视频理解任务中表现最优。

本研究针对预训练过的VideoMAE V2设计有监督的微调任务,验证了将计算机视觉大模型和“无监督预训练+有监督微调”策略应用于超声心动图LVEF预测任务的可行性,其预测误差低于在相同数据集上表现最优的卷积神经网络模型。

国家正致力于改善各级医疗卫生机构的心血管疾病防治能力和质量,医疗人工智能模型的应用不仅可以增强基层医疗服务能力,还有望推进分级诊疗制度的实施。本研究利用专家级标注对计算机视觉大模型进行微调,使其具有在超声心动图中自动化预测LVEF的能力,有望提升基层医院超声心动图心功能测量能力,为患者带来更高质量的诊断服务。其预测流程如下图所示,医师采集超声心动图数据后,人工智能模型基于心尖四腔切面视频预测LVEF。

此外,医疗决策通常需要结合影像、电子病历、基因等多模态信息。在基于Transformer的大模型中,多种模态的数据可通过嵌入(embedding)层统一转化为向量一并处理。同时,Transformer架构捕捉长距离依赖关系的优势也可以有效辅助模型寻找不同模态数据间的关系。LVEF与年龄、性别等多种因素有关,超声心动图也与多种心血管疾病相关。因此,本研究也为开发统一的多模态超声心动图自动判读系统提供了依据和基础。

登录中国循环杂志官网“期刊目录”或小程序(中国循环杂志+),可免费阅读和下载本刊所有文章!

来源:中国循环杂志一点号

相关推荐