Scaling Law撞墙?预训练终结?亚马逊云科技为什么在做基础大模型
12 月 2-6 日,亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。会上,亚马逊云科技发布了相当多东西,其中之一便是新的大模型系列 Nova。说实话,这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic,似乎没有
亚马逊 scaling scalinglaw 2024-12-18 14:57 2
12 月 2-6 日,亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。会上,亚马逊云科技发布了相当多东西,其中之一便是新的大模型系列 Nova。说实话,这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic,似乎没有
亚马逊 scaling scalinglaw 2024-12-18 14:57 2
在最新研讨会上,OpenAI大神,o1核心成员Noam Brown表示,o1代表的是一种全新的,以推理计算为代表的Scaling。
scaling scalinglaw ilya 2024-12-16 10:46 2
在近期的一次科技讨论热潮中,关于人工智能领域中的Scaling Law再次成为焦点。这一讨论紧随Ilya关于“预训练时代或将落幕”的言论之后,引起了业界的广泛关注。
openai scaling scalinglaw 2024-12-15 21:07 2
11月27日早晨,Meta研究员Jack Morris在社交媒体发文称:“大多数人不知道,关于Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI。”
anthropic scaling scalinglaw 2024-11-28 14:40 1
大多数人可能不知道,Scaling law原始研究来自2017年的百度,而非三年后(2020年)的OpenAI。
claude scaling scalinglaw 2024-11-28 08:52 2
Scaling Law 或将终结——这是最近备受热议的话题之一。该讨论最初源自于哈佛大学一篇名为《Scaling Laws for Precision》的论文,其研究表明当下的语言模型在大量数据上经历了过度训练,继续叠加更多的预训练数据可能会产生副作用。
模型 scaling scalinglaw 2024-11-22 11:25 3
迈向超级智能系统的AI实验室正意识到,可能需要改换道路。分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力。