阿里挖来AI大牛许主洪,接下来目标明确:要靠多模态打通AI应用了

360影视 2025-02-09 09:43 2

摘要:随着AI竞争加剧,消费市场成为各大科技公司的必争之地。在文心一言、豆包、Kimi等产品疯狂争夺C端用户的当下,如何打开AI消费市场,成为阿里巴巴的紧迫课题。

作者|summer
邮箱|huangxiaoyi@pingwest.com

随着AI竞争加剧,消费市场成为各大科技公司的必争之地。在文心一言、豆包、Kimi等产品疯狂争夺C端用户的当下,如何打开AI消费市场,成为阿里巴巴的紧迫课题。

2月6日,多家媒体消息称,人工智能科学家许主洪教授(Steven Hoi)正式加入阿里巴巴,将出任集团副总裁。据内部人士透露,许主洪教授将专注于AI To C业务的多模态基础模型及Agents相关基础研究与应用解决方案,提升阿里巴巴AI应用C端产品在模型结合应用上的端到端闭环能力。

稍后,许主洪在X上确认了这一消息,并提到“未来十年,为消费市场开发基础模型和 AI Agents应用存在大量机会!”

这位技术大牛的加入,意味着阿里在AI To C的又一尝试。

自去年底阿里巴巴“少壮派”吴嘉执掌智能信息事业群以来,阿里的AI C端产品开始加速整合:先是将通义系列C端产品从阿里云剥离,随后又整合了天猫精灵所属的智能互联事业群;在产品层面,阿里选择了用户量已达2亿的夸克作为主攻方向,将其重新定位为"AI全能助手",并开始与天猫精灵展开联动。据悉,双方正在筹备包括AI眼镜在内的AI新产品。

如今技术人才的引入只是一个开始,进入2025年,阿里AI急需一场面向消费市场的反击。

1

从Salesforce到阿里,专注多模态预训练

作为一位深耕AI领域20余年的研究者,许主洪的学术履历颇为丰富。2002年获清华大学计算机系学士学位后,他在香港中文大学完成了硕士和博士学位。在学术界,他于2019年当选IEEE Fellow(电气和电子工程师协会会士),入选斯坦福"全球前1%AI科学家"榜单。

许主洪的研究领域覆盖机器学习基础理论及多个应用方向,包括多媒体信息检索、计算机视觉、大数据分析等。其中,他在多模态预训练方面的工作获得了最多关注,特别是BLIP模型系列的研究成果,发布在了多个开源社区。

BLIP系列有多篇论文,研究聚焦于视觉-语言多模态预训练(Vision-Language Pre-training, VLP),旨在通过统一模型架构和高效数据增强策略,实现视觉语言理解与生成任务的协同优化,可以应用于图像-文本检索、图像标题生成、视觉问答、视觉推理和视觉对话等多种任务。

在Github社区,BLIP获得了5000颗星,而BLIP2则是直接点爆了当年的图文模型圈,获得业界高度评价,并被认为是多模态启发性工作,对开源社区做出了显著贡献。此外,据许主洪在X称,BLIP-2还被排名为the 5 top AI Research paper of 2023,仅次于GPT-4。

《BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models》也是许主洪参与的引用量最高的工作,具体来看,通过创新的"冻结模型+轻量桥接"策略,以Q-Former架构对齐了图像和文本,在保持高性能的同时大幅降低了计算成本。

这些研究大多完成于他在Salesforce期间。在Salesforce,许主洪参与了多个AI研究项目,并尝试将研究成果转化为应用产品。

在离开Salesforce,加入阿里巴巴之前,许主洪还有一段创业经历,于2023年创立了一家多模态生成式AI初创公司HyperGAI并担任CEO,发布了三款开源多模态大模型。其中,开源多模态模型Hyper-Pretrained Transformers (HPT) 1.5 Edge 能够实现文本和视觉输入的多模态理解,专为边缘和移动设备量身定制,参数小于 5B。

不过,在竞争激烈的AI创业市场中,HyperGAI的产品未能获得市场反响,其开源模型在Huggingface平台上少有人关注。

从总体来看,多模态研究和横跨学术、产业、创业,是许主洪两个关键词。

1

重组、融合、创新,阿里AI to C需要新牌

在多模态AI成为技术竞争焦点的当下,我们不难理解:在发力To C的关键时刻,阿里恰好需要这样一位既能突破算法边界、又能推动产品创新的科学家。

在过去一段时间里,阿里AI To C产品中,除夸克以外,其他AI产品包括通义APP本身在C端的表现并不突出。也正是因此,目前的阿里正在通过整合通义、夸克等产品力量,配以顶尖人才加持,打造一个更具竞争力的AI To C新生态。

首先是在模型与应用的关系上,阿里经过一年多的探索后逐渐明确了"分而治之"的策略,让基础模型研发和消费级应用各自独立发展,以适应不同的创新节奏。

2024年底,阿里将原属阿里云的“通义”应用剥离出来,并入智能信息事业群由吴嘉统管,而此前通义千问更多是整体打包的思路,模型和应用捆绑发展。但在实践中发现,大模型研发和消费级应用分属不同赛道,各自面临的挑战和节奏都不尽相同,为双方松绑后通义千问团队可以专注技术突破,而C端产品团队则能更灵活地进行调整。

此后更多的AI to C整合开始了。特别是天猫精灵所属的智能互联事业群并入之后,加上原有的夸克、书旗小说、UC浏览器等业务,一条从搜索到内容,从文本到语音交互,从软件到硬件的创新链条正在形成。在这条链条上,多模态技术成为连接各个场景的关键。

许主洪的加入,也恰好印证了阿里的这一技术布局。作为BLIP系列的参与者,他在多模态预训练和效率优化方面的积累正是阿里所需要的。从夸克的图文理解到天猫精灵的视觉交互,再到未来可能推出的AI眼镜,多模态交互将成为阿里AI产品的标配。

不过,在AI消费市场,先进技术只是起点,过去一年的市场竞争已经证明,真正的难点在于找准用户和场景。

对All in AI的阿里巴巴而言,这既是机遇也是挑战。一方面,阿里拥有庞大的用户基础、丰富的应用场景和强大的技术储备;但另一方面,在To C战场上,无论是百度的文心一言、百度文库,还是字节的豆包,都已形成了一定的用户心智。

现在的阿里不仅需要新鲜血液,也需要一场胜仗,通过AI重新定义自己在消费互联网时代的核心竞争力。

来源:硅星人

相关推荐