深度长文|多模态 Scaling Laws 新篇章:Chinchilla 范式已破?数据、模型、算力最优平衡点正在重塑
人工智能领域,如同物理学曾经历的那样,一度渴望找到普适的“定律”。当 DeepMind 的研究者们在 2022 年揭示了大型语言模型(LLMs)的Chinchilla Scaling Laws (Hoffmann et al., 2022)[1]时,整个行业似
模态 laws scalinglaws chinchilla 2025-04-13 18:34 2
人工智能领域,如同物理学曾经历的那样,一度渴望找到普适的“定律”。当 DeepMind 的研究者们在 2022 年揭示了大型语言模型(LLMs)的Chinchilla Scaling Laws (Hoffmann et al., 2022)[1]时,整个行业似
模态 laws scalinglaws chinchilla 2025-04-13 18:34 2
目前我们见到的很多多模态大模型应用是「组合式」的:其中集成了数个单独预训练的组件,例如将视觉编码器连接到 LLM 上并继续进行多模态训练;而在谷歌 Gemin 2.0 推出之后,原生多模态模型(NMM)被认为是正确的方向。
模型 模态 moe laws scalinglaws 2025-04-13 14:23 4
实验表明,RFT 对特定任务的提升具有很高的数据效率。通过对样本有限的时空感知目标进行多任务 RFT,他们开发出了视频 MLLM——VideoChat-R1,其在不牺牲聊天能力的前提下,在时空感知任务上实现了 SOTA,同时展现了时空推理能力。与 Qwen2.
模态 论文 模态模型 laws scalinglaws 2025-04-12 13:41 3
BEIJING, April 9 (Xinhua) -- The Chinese government is opposed to practices that disregard the laws of the market economy, involve
laws ministry commerceministry 2025-04-10 05:42 2
All cell life, including human beings, plants, animals, and microorganisms, is a highly integrated entity of physical structure an
规模法则(Scaling Laws)是指随着计算资源(如数据量、模型大小、计算能力等)的增加,AI模型的表现会随之改善,并且这种改善遵循某种可预测的趋势或规律。具体来说,当更多的数据被用来训练更大规模的模型时,通常可以获得更好的性能。这反映了深度学习模型的一个
Jisha's theoretical framework introduces three groundbreaking principles that redefine our understanding of cosmic origins, struct
laws jisha cosmic lawsproposed 2025-03-20 11:15 7
去年 12 月,OpenAI 在 ChatGPT 两周年期间连续发布了 12 天,我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
去年 12 月,OpenAI 在 ChatGPT 两周年期间连续发布了 12 天,我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqiz
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqiz
数据的多样性和规模:增加训练数据的多样性和数量能够显著提升奖励模型(RM)的性能;策略训练的效率:初期增加响应样本能够提高策略训练效果,但收益会迅速趋于平稳;RLHF 的 scaling 效率低于预训练:RLHF 的计算资源投入带来的回报递减,整体 scali
rlhf laws scalinglaws 2024-12-24 11:50 10
指依照法规、协议、决定等行事,含即使不同意也必须接受并服从之意。这个短语的主语总是遵守这个动作的施动者。没有被动语态。