Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
推理大模型中的注意力机制可以去掉吗？这是当下最具挑战性的开放问题之一。过去半年，伴随长思维链的爆火，模型在复杂推理任务中普遍需要生成成千上万的 tokens 才能产出高质量解答。然而，这也与 Transformer 架构天然矛盾：随着生成长度的增长，Atten
mamba架构
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前，全球权威大模型公开竞技场 -Chatbot Arena 评测榜单公布最新排名，腾讯混元旗舰大语言模型 TurboS 位列全球第 7，在国内大模型中仅次于 Deepseek。放眼国际，排在前面的也仅有谷歌 Gemini、 OpenAI 以及 xAI 三家国
海豚乐智科技申请基于 Mamba 架构的红外高速公路异物检测方法专利，显著提升高速公路监控的效率和安全性
金融界 2024 年 12 月 21 日消息，国家知识产权局信息显示，海豚乐智科技（成都）有限责任公司申请一项名为“一种基于 Mamba 架构的红外高速公路异物检测方法”的专利，公开号 CN 119152453 A，申请日期为 2024 年 11 月。