摘要：该模型，研究人员称之为MUSK（Multimodal transformer with Unified maSKed modeling），基于BEiT3架构[2]，通过两步来预训练。第一步，通过非配对的5,000万张病理图片（来自33 种肿瘤类型，11,577

受限于稀少的高质量注释数据，用于病理的基石模型的准确性还有待于进一步提升[1]。

近日一项发表在Nature的工作创新地通过引入海量的非配对病理图像和文本数据来训练模型，显著提升了肿瘤诊断和预后评估的准确性[1]。

该模型，研究人员称之为MUSK（Multimodal transformer with Unified maSKed modeling），基于BEiT3架构[2]，通过两步来预训练。第一步，通过非配对的5,000万张病理图片（来自33 种肿瘤类型，11,577个病人的近33,000张全切片）和10亿tokens病理文本（来自约100万篇文章）来统一掩码预训练；第二步，通过100万配对的病理图片与文本数据来对齐[1]。

MUSK架构与预训练[1]。

后续，研究人员通过系统的benchmarks测评展示了MUSK相比其它模型更准确的肿瘤诊断等相关能力；并且，更重要的是，通过整合临床报告和病理图片，MUSK模型实现了比经典方法和其它模型更出色的肿瘤预后（无疾病进展生存时间、药物响应以及复发等）评估能力[1]。

MUSK用于肿瘤诊断[1]。

MUSK整合临床报告和病理图片数据用于肿瘤预后评估[1]。

比如，在免疫治疗（immune checkpoint inhibitors (ICIs)）响应预测方面，MUSK模型在晚期非小细胞肺癌(NSCLC)和胃-食管癌(gastro-oesophageal cancer)实现了比经典方法，比如PD-L1表达以及微卫星不稳定(MSI)等，更准确的预测效果；并在PD-L1阴性/EGFP突变的非小细胞肺癌病人挖掘出很可能响应免疫治疗的群体[1]。

MUSK在PD-L1阴性和EGFR突变的晚期非小细胞肺癌(NSCLC)病人发现有望响应免疫治疗的群体[1]。

该项工作的通讯作者是斯坦福大学医学院Ruijiang Li和Sen Yang等研究人员；2025年1月8日在线发表在Nature[1]。

研究人员表示该范式还可用于皮肤、放射科以及基因组等方面的基石模型构建；不过后续还需要高质量的证据，比如前瞻性的临床试验，来证明该方法在医学判断方面的价值[1]。

Comment(s):

MUSK模型在各项测评中基本都是 “遥遥领先” 确实印象深刻。

将来或许可以通过开发进一步的人源化动物模型，可控可扩展地产生大量病理与药物响应相关数据，从而更好地训练基石模型。

参考文献：

[1] J. Xiang et al., “A vision–language foundation model for precision oncology,” Nature, no. May, Jan. 2025, doi: 10.1038/s41586-024-08378-w.

[2] W. Wang et al., “Image as a Foreign Language: BEIT Pretraining for Vision and Vision-Language Tasks,” in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, Jun. 2023, pp. 19175–19186. doi: 10.1109/CVPR52729.2023.01838.

原文链接：

来源：科学的大本营