清华创业团队打造！国内首个专注AI推理ServerlessGPU平台
现在，国内终于有了自己的 RunPod—— 共绩云 AI 推理 Serverless 平台 ，不仅支持极简快速部署，而且超级低价 —— RTX 4090 最高 只要 1.68 元/小时 ，还能按毫秒计费、自动扩容，真正做到了 “随用随租”。
推理 清华 创业团队 ai推理 推理serverlessgp 2025-05-28 18:17 2
ai推理
红帽推出llm-d社区：打造大规模分布式AI推理“Linux”
Gartner预计，到2028年，80%以上的算力将用于推理而不是训练。与此同时，随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并有可能因成本过高和延迟过长而使AI创新陷入瓶颈。
红帽携手多家巨头推出llm-d项目，助力AI推理技术新突破！
红帽公司近日宣布，与CoreWeave、Google Cloud、IBM Research及NVIDIA等业界巨头联手，正式启动了一项名为llm-d的全新开源项目。该项目致力于解决生成式人工智能（AI）在大规模推理方面的迫切需求。
红帽推出企业Linux 10以及llm-d社区 赋能生成式AI推理需求
近日，红帽公司宣布推出红帽企业Linux 10以及启动全新开源项目llm-d，以满足生成式AI（gen AI）未来最关键的需求：大规模推理。
中国首个专注AI推理的Serverless GPU产品上线：清华力量共绩科技驱动AI普惠
本文将深入探讨AI推理领域面临的核心挑战，并介绍中国首个专注AI推理的Serverless产品——共绩算力AI推理Serverless平台。我们将解析其技术亮点、背后源自清华的创业团队力量，以及其如何以创新的价格策略，打造中国版的RunPod，赋能广大开发者与
推理 gpu 普惠 serverless ai推理 2025-05-26 10:59 2
红帽AI推理服务器重磅出炉，助力混合云环境智能化升级
红帽公司近期揭晓了其最新力作——红帽AI推理服务器，该产品旨在混合云环境中为用户提供兼具高效与经济性的AI推理解决方案。通过融合尖端的vLLM技术和Neural Magic的创新优势，红帽力图在响应速度和性能表现上为用户带来显著提升。
红帽推出 AI 推理服务器，推动产品线扩展
本周在波士顿举行的红帽峰会上发布的这款全新 AI 推理服务器软件，基于开源 vLLM project 开发，并融合了红帽近期收购初创公司 Neural Magic 的技术成果。
YEF2025 | 从芯片到框架：AI推理加速的创新与实践
在人工智能全面迈入"大模型时代"的当下，模型推理效率正演进为制约技术产业化的关键瓶颈。面对端侧设备算力约束与云端算力成本激增的双重挑战，需构建从芯片架构到框架设计的全栈式技术突破体系，重点聚焦三大核心挑战：其一，面向AI计算场景的芯片架构创新，如何利用AI模型
中兴32B星云大模型 汲取DeepSeek训练精髓 开启低成本×高性能AI推理
随着人工智能技术的飞速发展，企业在推动AI技术落地时，不仅需要高性能的推理能力，更希望能够降低部署成本，提升应用效率。中兴通讯近日推出了NTele-R1-Lite-32B-v2星云大模型，这款仅有32B参数的轻量级大模型，不仅性能出众，而且显著降低了AI推理的
模型 推理 星云 ai推理 deepseek训练 2025-04-11 21:42 6
日本 NTT 推出用于边缘低功耗视频处理的 AI 推理芯片
日本电报电话公司（NTT）推出一款专为边缘设备及功率受限终端视频处理设计的 AI 推理芯片。这款芯片以大规模集成电路（LSI）技术打造，性能卓越，可对 4K 分辨率、30 帧 / 秒的视频实现实时 AI 处理，极大地提升了边缘设备低功耗推理能力。
谷歌发布第七代TPU芯片 Ironwood AI 推理破纪录
作为 TPU 家族中首款完全聚焦推理任务的产品，Ironwood 的发布被业界视为 AI 技术发展的重要转折点。谷歌机器学习与云 AI 副总裁 Amin Vahdat 指出，该芯片将推动 AI 从 “数据处理工具” 升级为 “主动决策智能体”。通过优化架构设计
AI推理芯片，最新排名
在 MLCommons 发布的最新一轮机器学习基准测试结果中，基于 Nvidia 全新 Blackwell GPU 架构构建的计算机表现优于其他所有计算机。但 AMD 的最新 Instinct GPU MI325 却与其竞争对手Nvidia H200相媲美。两
港股异动｜万国数据-SW(09698)早盘涨超7% AI推理需求增长或带动公司国内数据中心空置率下降
华泰证券发布研报称，万国数据2024年实现营业收入103.22亿元，同比增长5.5%，实现调整后EBITDA48.76亿元，同比增长3%。4Q24公司国际业务正式完成B轮融资交割，交割后上市公司持有国际子公司35.6%的股权，不再合并报表。若从合并报表口径来看
港股异动 | 万国数据-SW(09698)早盘涨超7% AI推理需求增长或带动公司国内数据中心空置率下降
华泰证券发布研报称，万国数据2024年实现营业收入103.22亿元，同比增长5.5%，实现调整后EBITDA48.76亿元，同比增长3%。4Q24公司国际业务正式完成B轮融资交割，交割后上市公司持有国际子公司35.6%的股权，不再合并报表。若从合并报表口径来看
智能驾驶水面之下，“AI推理之争”暗流涌动
如果说，智能驾驶此前还在围绕VLM（视觉-语言模型）与VLA（视觉-语言-动作模型）、一段式与两段式、无图和有图等维度展开竞争，那么从今年开始，智驾竞争已悄然进入深水，一场更底层的较量正在算力集群与算法架构之间展开。
AI推理时代：边缘计算成竞争新焦点
近日，随着科技领域一系列动态的涌现，AI大模型的竞争焦点正加速向AI推理转移，AI推理时代已然来临，而边缘计算凭借其独特优势，成为这一新兴领域的竞争新战场。
大规模AI推理再非难事：如何在Kubernetes上部署DeepSeek
随着人工智能的持续发展，高效、大规模部署AI驱动应用程序变得至关重要。而编排平台Kubernetes在管理容器化AI工作负载、确保可扩展性、弹性以及降低管理难度等方面，无疑将发挥不可替代的作用。
推理 kubernetes deepseek po ai推理 2025-03-28 14:11 9
AI推理时代，边缘计算成新战场
自去年来，从Open AI推出O1推理模型，到Anthropic跟进推出非常依赖推理能力的“Computer Use”的Agent功能，再到DeepSeek R1推理模型在全球火爆，以及英伟达在GTC大会上亮相首款推理模型、首个推理软件等，这些科技巨头的动作一
英特尔前CEO基辛格：AI推理芯片待万倍提升，量子计算时代将来临
近日，英伟达GTC 2025大会的Acquired播客活动中，迎来了英特尔前掌舵人帕特·基辛格的身影。作为特邀嘉宾，他分享了对当前科技发展趋势的独到见解。
Oracle 与 NVIDIA 合作助力企业加速代理式 AI 推理
美国加利福尼亚州圣何塞 —— GTC —— 2025 年 3 月 18 日 ——Oracle 和 NVIDIA 今日宣布，NVIDIA 加速计算和推理软件与 Oracle 的 AI 基础设施以及生成式 AI 服务首次实现集成，以帮助全球企业组织加速创建代理式