重磅突破！滨江“90后”博导将DeepSeek迁移到视觉领域

摘要：在全球最大的代码托管与协作平台GitHub上，一款名叫VLM-R1的全新开源项目在上线短短十多个小时内，收到了来自各国开发者的2000多个星标收藏，并迅速登上平台热门趋势榜，关注度持续居高不下。

“点击图中最小的红色三棱柱”——我们登录DeepSeek时，都遇到类似验证问题。

识图、辨别、点击。这对我们人类来说并不难；但若AI在深度思考几秒后，也能自动识别图片并圈出答案，并把它的思考过程“解释”给你听呢？

这不是想象！

这两天，全球开源圈又“炸”了。

在全球最大的代码托管与协作平台GitHub上，一款名叫VLM-R1的全新开源项目在上线短短十多个小时内，收到了来自各国开发者的2000多个星标收藏，并迅速登上平台热门趋势榜，关注度持续居高不下。

VLM-R1是什么？

2000多个星标又意味着什么？

“你可以把VLM-R1简单理解成‘视觉版DeepSeek’，它不仅会看，还很擅长思考，会举一反三。”项目带头人、浙江大学滨江研究院Om AI Lab人工智能中心主任、博士生导师赵天成博士倍感惊喜地说，“一天涨十几个星标比较常见，能收获几百个星标已经算是全球顶尖了；像VLM-R1这样一夜之间暴增上千关注的，前所未见！”

“这个项目的灵感来自DeepSeek R1方法，其通过GRPO（Group Relative Policy Optimization）强化学习方法，在纯文本大模型上取得了显著效果。”赵天成表示。他毕业于卡内基梅隆大学（CMU），是全球最早一批推动生成式AI与大模型理论技术成熟的青年学者之一，“基于这个思路，我们开始思考：视觉模型是否也能实现类似的推理能力？”

与传统大模型训练的SFT（Supervised Fine-Tuning）方法不同，R1方法的突破在于其路径创新。SFT依赖海量标注数据进行“填鸭式”教学，而R1方法则通过强化学习，让模型自主探索最优路径。“我们在Qwen2.5-VL的基础上，同时对比了R1和SFT方法，发现R1在各种复杂场景下都能保持稳定的高性能，这对实际应用至关重要。”赵天成解释道。

采访时，他分享了一个训练案例：在一张人行道的街景照片中，VLM-R1被要求定位可能对盲人行走造成危险的物体。照片中包含了常见的障碍物，如公交站牌、车辆、行人等，但其中还出现了一个特殊的元素——台阶。VLM-R1通过逐步分析，清晰地展示了其思考过程，并准确地圈出了台阶的位置。“对人类来说，这种推理是常识，但对视觉模型而言，准确识别图像、进行专业推理并用文本清晰表达，却非常具有挑战性。”

更令人惊叹的是VLM-R1的泛化能力。“它能举一反三，适应多种场景和任务，而无需针对每个任务进行专门训练。”

赵天成举例，当你想买台电脑，苦恼于多种款式和不同价格，拍下比较图问AI：“选出性价比最高的一款”；

当你在健身对吃大餐有负担，拍下菜单发给AI：“挑出高蛋白、低脂肪的食物”……

这意味着R1方法让模型真正“学会”了理解视觉内容，而非简单地机械记忆。

2月15日，赵天成在海外社交平台上发布VLM-R1的实验结果，并将它开源、上传到GitHub。一夜之间成顶流。截至目前，该项目已获得全球开发者们给出的2800多个星标收藏。

“性能惊艳，潜力无限”“证明了R1方法的通用性，不止文本领域玩得转”“为多模态AI带来全新思路”“或许能够引领一种全新的视觉语言模型训练潮流”……AI领域的观察者们纷纷对VLM-R1表示高度认可。

VLM-R1爆火，看似意料之外，实则情理之中。

以赵天成为首，这支以“95后”为主的年轻研发团队，含金量极高。在位于滨江区秋溢路上的金润科技园里，Om AI Lab汇聚了来自卡内基梅隆大学、微软研究院、清华大学、浙江大学等顶尖学术机构和科研单位的50名计算机领域精英。

“VLM-R1项目从春节启动，能迅速通过实验验证并取得成果，离不开我们前期的深厚积累，主要还是基础搭得牢。”赵天成表示，“我从2014年考入CMU时起就专注于AI生成式模型的研究，并结识了一群志同道合的伙伴。2021年，我们回国成立了Om AI Lab，就一直深耕于滨江。团队具备丰富的研究经验和创新思维，聚焦于AGI底层技术与架构的探索，始终致力于推动人工智能技术在各个领域的应用与发展。”

当行业刚刚开始关注大语言模型时，Om AI Lab早已坚定地探索多模态方向，并取得了工信部大模型检测的001号证书。“而002号证书的获得者，便是大家熟悉的‘文心一言’。”赵天成笑着说。

Om AI Lab背后的母公司联汇科技，其多个智能体应用已通过与运营商、国家电网、广电媒体等企业机构的合作实现规模化落地，例如自动化输电线路巡检、开发AI眼镜帮助视障者“看见”世界等。