近期，Hugging Face携手英伟达及约翰霍普金斯大学的研究人员，共同推出了BERT模型的全新升级版本——ModernBERT。这一新版本不仅在效率上有所提升，更突破了原有模型在处理长文本上的限制，能够支持高达8192个Token的上下文处理。

英伟达 bert modernbert 2024-12-29 16:12  1

Hugging Face、英伟达和约翰霍普金斯大学研究人员联手为 Hugging Face 上的热门编码器模型 BERT 推出了全新版本 ModernBERT，号称在满足效率的同时新增支持处理长达 8192 个 Token 的上下文。

英伟达 modernbert modernbert模型 2024-12-29 15:37  2

BERT 发布于 2018 年（从人工智能发展速度来看已是遥远的过去），但它至今仍在广泛使用：实际上它目前是 HuggingFace hub 上下载量第二高的模型，月下载量超过 6800 万次，仅次于另一个针对检索任务优化的编码器模型。这源于其编码器架构在处理

编码器 bert modernbert 2024-12-24 10:41  3