扩散语言模型九倍推理加速！KV Cache并非自回归模型专属
训练无关，即插即用。dLLM-Cache完全在推理过程中工作，无需修改模型参数或重训练。dLLM-Cache可以在完全不损失模型输出质量的前提下，带来最高9.1倍的推理速度提升 。
kv
高压放大器在等离子体激发中的关键作用与技术进展
等离子体激发作为物质第四态的能量调控手段，在工业制造、材料科学、生物医疗等领域具有广泛应用。其核心在于通过外部能量输入使气体电离生成等离子体，而高压放大器作为能量供给的核心器件，直接影响等离子体的生成效率、稳定性和可控性。随着精密制造与科研实验对等离子体参数的
ICML 2025｜如何凭「自动补全」实现100K生成3×加速？
在当前大模型推理愈发复杂的时代，如何快速、高效地产生超长文本，成为了模型部署与优化中的一大核心挑战。随着 GPT-o3, DeepSeek R1 等具备 「超级上下文窗口」 能力的大模型持续刷新业界记录，百万甚至千万 Token 级别的推理任务已从研究话题迈入
一张图带你看华为新品发布会，史上最强nova全面信息汇总来了
5月18日，华为终端官方正式释出华为nova 14系列新品发布会直播信息，一张图清晰标示出发布会时间、名称与主要直播平台。至此，华为nova 14系列的核心卖点均已在预热中大致明确，而发布会的关注热度也随之推至高潮。
ICLR 2025｜首个动态视觉-文本稀疏化框架来了，计算开销直降50%-75%
本文由华东师范大学和小红书联合完成，共同第一作者是华东师范大学在读硕士、小红书 NLP 团队实习生黄文轩和翟子杰，通讯作者是小红书 NLP 团队负责人曹绍升，以及华东师范大学林绍辉研究员。
别再被GQA难住！通俗解读来了～
按需备货：查询头保留独立配置，键值头按组共享，减少重复计算灵活分餐：用repeat_interleave魔法，让每个厨师都能拿到对应组的食材高效出餐：相比MHA，直接砍掉2/3的KV存储量，长文本场景显存暴降75%！
注意！注意！侦测到前方高能色彩大迸发！
🫣眼睛不要动哦~ 👻毛茸茸的LABUBU马上就要从你手机屏幕中跳出来啦！ 📱快快用“泡泡玛特”APP 扫 描 任意门店“前方高能系列展桌”体验超级炫酷可爱的AR能量场域 🎇让可爱的LABUBU用色彩魔法点燃你的高能一天！ 🎮具体体验步骤如下： 打开“
AI Infra 的“中场战事”：推理业务，还在提速
从 OpenAI 于 3 月 27 日宣布全面支持 MCP 协议开始，市面上的 MCP Server 数量，在不到一个月的时间里，逼近了 10,000 大关。接下来， Google 在 4 月 10 日为 Gemini 系列模型添加了对 MCP 协议的支持，称
科技论| 1.96 kV p-Cr₂O₃/β-Ga₂O₃异质结二极管，理想因子1.07
由西安电子科技大学的研究团队在学术期刊 Applied Physics Letters 发布了一篇名为1.96 kV p-Cr2O3/β-Ga2O3 heterojunction diodes with an ideality factor of 1.07（1
中国算力市场，不能只讲“堆卡”的故事
当以“降本”闻名的马斯克对外公布由 10 万个液冷 H100 GPU 组成的超大集群，并宣布未来几个月内还要再增加 10 万颗 GPU 时，业界对 AI 基础设施的衡量标准，一时间变得有些单一——大家更倾向于对比卡的数量，而对集群性能，尤其是特定业务场景下的性
如何选择适合您的X射线无损检测设备
在工业检测领域，X射线无损检测(RT，Radiographic Testing)设备以其对内部缺陷“看得见”的优势，被广泛应用于焊缝检测、铸件质量控制、电子元件封装检查等领域。但面对种类繁多、参数复杂的X射线检测设备，许多采购人员和技术工程师常常感到无从下手。
Consul服务治理机制详解
Consul 是 HashiCorp 开发的一款分布式服务网格工具，专注于服务发现、配置管理和服务治理。其服务治理能力主要通过以下核心机制实现：
90分钟生成10万Token，新框架实现3倍无损加速超长文本生成
而且支持R1-Distill，团队发布经过微调的DeepSeek-R1-Distill-Qwen-32B模型，同样具备3倍加速效果。
论文 token kv kv缓存 tokenswift 2025-03-12 12:32 11
优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 t
推理 kv lighttransfer lighttrans 2025-03-11 06:17 10
优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本还能增效
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 t
推理 kv lighttransfer lighttrans 2025-03-10 16:54 10
优于o1预览版，推理阶段KV缓存减一半，LightTransfer降本还能增效
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 t
推理 kv lighttransfer lighttrans 2025-03-10 16:14 16
华为提出业界首个长序列KV Cache静态压缩算法，论文被ICLR收录
华为AI算法团队研究并发表的大模型KV Cache压缩算法“RazorAttention”，节省70%大模型推理内存占用，其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval
阶跃公开了自家新型注意力机制：KV缓存消耗直降93.7%
随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起，如何实现高效的大规模推理成为了一个巨大挑战。特别是在语言模型的推理阶段，传统注意力机制中的键值缓存（KV Cache）会随着批处理大小和序列长度线性增长，俨然成为制约大语言模型规模化应用和推理时扩展的「内
阶跃公开了自家新型注意力机制：KV缓存消耗直降93.7%，性能不减反增
随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起，如何实现高效的大规模推理成为了一个巨大挑战。特别是在语言模型的推理阶段，传统注意力机制中的键值缓存（KV Cache）会随着批处理大小和序列长度线性增长，俨然成为制约大语言模型规模化应用和推理时扩展的「内
kv kv缓存 factorization 2025-01-17 16:45 19
阶跃公开了新型注意力机制：KV缓存消耗直降93.7%，性能不减反增
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqiz