近期，来自清华大学刘知远教授团队发现并提出大模型的Densing Law —模型能力密度随时间呈指数级增长，2023年以来能力密度约100 天翻一倍。这意味着每100天，我们可以用一半参数量实现当前最优模型相当的性能。LeCun团队提出NWM-可控视频生成模型

模型 刘知远 lecun团队 2024-12-10 12:21  2

尺度定律之外，清华研究团队发现，大模型还有另一种度量与优化的空间，能力密度（Capability Density），它为评估不同规模 LLM 的训练质量提供了新的统一度量框架。

模型 scalinglaw 刘知远 2024-12-09 17:42  2

近期，关于 Scaling Law 能否持续的争论不断，有人认为 Scaling Law 可能将会“撞墙”；也有观点认为，Scaling Law 的潜力远未被充分挖掘，OpenAI CEO Sam Altman 更是以一句直白的“There is no wal

llm scalinglaw 刘知远 2024-12-07 22:19  3