一种让你的大语言模型更“轻”、更“快”、不失真的技术突破
想象一下，你有一本厚重的百科全书（原始模型），但携带和翻阅都很不方便。传统方法是简单地缩小字体和页面（基本量化），虽然书变轻了，但内容可能变得模糊难辨。而YAQA就像是一种神奇的压缩术，不仅能让书变得轻便，还能尽可能保留原书的全部知识和表达方式，让读者在阅读"
hessian
神经网络的泛化能力为何如此强大
2025年5月27日，arXiv平台发布了一篇尚未正式发表的预印本论文《Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization》，该研究对过度参数化神经
厦门真景科技取得基于Hessian滤波器的人像锐化专利
国家知识产权局信息显示，厦门真景科技有限公司取得一项名为“一种基于Hessian滤波器的人像锐化方法、装置、设备、介质”的专利，授权公告号 CN114494066B，申请日期为2022年1月。
滤波器 锐化 hessian hessian滤波器 人像锐化 2025-05-09 18:14 10
雅可比矩阵与Hessian矩阵
雅可比矩阵是多元向量值函数的一阶偏导数矩阵，用于描述从 R^n到 R^m的函数在某点的最佳线性近似。其核心思想是将多变量函数的导数推广到高维空间。
【 ICLR 2025 】Adam 有了 mini 版：内存减半，吞吐量可提升 50%
在这项工作中，研究团队通过分析 Transformer 模型的 Hessian 结构，提出了一种轻量化优化器 Adam-mini。Adam-mini大幅减少了 Adam 优化器中学习率的数量，在降低 50%优化器内存开销的同时保持了与 Adam 优化器相当甚至
《生鲜产品冷链减排决策及政府补贴机制》理论基础
Today, the editor brings you the "Decision-making on cold chain emission reduction for fresh produce and government subsidy mechan
清华大学校友袁域重要成果在数学顶刊Annals of Mathematics上发表
近日，由普林斯顿大学出版的数学四大顶刊之一的《Annals of Mathematics》（数学年刊，双月刊）更新了本年度第二期的正式上线发表的文章，本次共更新上线了6篇文章，本次无国内机构作者参与发表，但有两位华人学者。其中一位就是大名鼎鼎的第二位华人菲尔兹
泰勒展开与Hessian矩阵
黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Hesse提出，并以其名字命名。在工程实际问题的优化设计中，所列的目标函数往往很复杂，
当Batch Size增大时，学习率该如何随之变化？
本文约5700字，建议阅读15分钟本文从多个视角讨论了 “Batch Size 与学习率之间的 Scaling Law” 这一经典炼丹问题。