Attention Sink产生的起点？清华&美团揭秘MoE LLM中超级专家机制
稀疏激活的混合专家模型（MoE）通过动态路由和稀疏激活机制，极大提升了大语言模型（LLM）的学习能力，展现出显著的潜力。基于这一架构，涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
moe
闫俊杰的“赌性”
魏瀚疃投资领域履历丰富，曾在平安、字节跳动（以下简称“字节”）、小红书等公司任职，2024年5月加入MiniMax，主要负责战略投资板块，对大模型公司投融资、产业链布局、拓展业务边界意义重大。
大模型时代算力挑战：Scale Up成破局关键，软硬协同共筑算力基石
在人工智能领域，模型发展的两极分化趋势愈发显著。一方面，企业级应用更倾向于采用小参数模型，因其在实际应用中展现出高效与便捷；另一方面，通用大模型的参数规模持续攀升，已迈入万亿参数的新纪元。
大模型进入万亿参数时代，超节点是唯一“解”么？丨ToB产业观察
模型发展的两极化趋势已经愈发明显，一方面，在企业级应用侧，小参数模型成为应用落地的最佳选择；另一方面，通用大模型的参数正在不断攀升，大模型已经进入了万亿参数时代。
自回归模型（Autoregressive）：AI 生成内容的 “接龙大师”
当你看到 AI 写出连贯的文章、生成流畅的代码，甚至创作完整的旋律时，背后可能藏着一位擅长 “接龙” 的高手 ——自回归模型（Autoregressive）。这种遵循 “前事定后事” 逻辑的 AI 模型，正成为生成式人工智能的核心动力。
模型 大师 moe 接龙 autoregressive 2025-08-06 22:31 2
上海AI独角兽，连放大招
分化快速显现，零之万物、百川智能相继退出大模型预训练。大模型“六小虎”（月之暗面、智谱AI、MiniMax、阶跃星辰、百川智能、零一万物）的叙事已被瓦解，取而代之的是“基础大模型五强”（DeepSeek、阿里、字节、阶跃星辰、智谱AI）。
九章云极智算云2.0：全球首发强化学习服务，赋能AI创新企业
AI领域的创新步伐再次加速，国内知名的AI独角兽企业九章云极，近期隆重推出了其新一代的全栈智能计算云平台——九章智算云Alaya NeW Cloud 2.0，并同步宣布了全球首个强化学习智算服务的正式启动。这一平台的问世，标志着九章云极在智能计算基础设施服务领
为什么混合专家模型（MoE）如此高效从架构原理到技术实现全解析
在人工智能技术快速演进的背景下，大型语言模型的架构设计始终围绕仅解码器（decoder-only）的Transformer结构展开。自第一个GPT模型发布以来，该架构已成为主流设计范式。尽管研究人员在效率优化方面进行了诸多改进，但核心架构结构保持相对稳定。
昇腾“数字化风洞”问世：让AI算力配置从经验驱动迈向建模驱动
大模型训推系统宛如一辆精密调校的赛车，即便搭载顶级引擎（高算力芯片），如果油箱（内存）、变速箱（带宽）与路况（任务类型）不匹配，仍会陷入“龟速”困局。华为研究团队发现，超过60%的算力浪费在硬件资源错配与系统耦合上，而传统“人拉肩扛”的优化方法在芯片特性的“三
训推大模型，为何应该先彩排？
在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协同，实现整个系统的效
让算力航母稳健远航，华为首次披露昇腾算力基础设施的压舱石
你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译，甚至帮医生看 CT 片，这些能力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力集群。随着人工智能从简单规则判断进化到能处理万亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而
独家揭秘！华为如何让万台AI服务器秒变「超级大脑」
你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这些能力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力集群。随着人工智能从简单规则判断进化到能处理万亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而
华为如何驯服AI算力「巨兽」？
在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协同，实现整个系统的效
华为昇腾万卡集群揭秘：如何驯服AI算力「巨兽」？
随着人工智能从简单规则判断进化到能处理万亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而算力集群则是把上万台甚至几十万台计算机像搭积木一样连接起来，形成一艘能承载巨量计算任务的 "算力航空母舰"。
英特尔第一时间适配Qwen3，AI PC未来已来？
为持续推动尖端AI模型的创新发展，英特尔始终与业界领先的创新力量保持深度协作。我们欣然宣布，全新升级的英特尔AI解决方案已全面覆盖PC客户端、边缘计算、智能驾舱等场景，在第一时间为Qwen3系列大模型的发布提供技术支撑。
红袖添香，自研新模
小红书意外成为开源大模型领域的先锋，推出首个自研模型dots.llm1，引发技术界热议。小红书这个以分享生活方式和美容心得为主的社交媒体平台，近期却在技术圈掀起了不小的波澜。其人文智能实验室团队自主研发的首个大模型dots.llm1正式开源，打破了外界对小红书
更高效的多模态推理能力，Kimi-VL 一键部署教程！
Kimi-VL 项目是 Kimi Team 于 2025 年 4 月发布的大语言模型，这是一种高效的开源专家混合 (MoE) 视觉语言模型 (VLM)，可提供高级多模态推理、长上下文理解和强大的代理功能。相关论文成果为「Kimi-VL Technical Re
昇腾×盘古：模型与系统全链路优化，打造大模型推理“性能王炸”组合！
在通往通用人工智能（AGI）的进程中，混合专家（MoE）模型凭借动态稀疏计算优势，成为大模型推理提效的关键路径。华为团队重磅推出昇腾平台原生设计的Pangu Pro MoE 72B模型，大幅降低计算开销，并在SuperCLUE千亿内模型并列国内第一。通过系统级
昇腾×盘古：软硬协同炼就MoE推理性价比之王！
在通往通用人工智能（AGI）的进程中，混合专家（MoE）模型凭借动态稀疏计算优势，成为大模型推理提效的关键路径。华为团队重磅推出昇腾平台原生设计的Pangu Pro MoE 72B模型，大幅降低计算开销，并在SuperCLUE千亿内模型并列国内第一。通过系统级
大模型推理，得讲性价比
如今，后发优势再一次来到了大洋此岸，以华为为代表的中国科技企业，纷纷提出对MoE架构的优化重组方案。尤其是华为的MoGE架构，不仅克服了MoE负载不均衡及效率瓶颈的弊病，还能够降本增效，便于训练和部署。