摘要：近日，全球知名的开源解决方案提供商红帽公司宣称正式启动新开源项目 llm-d。此项目旨在满足生成式 AI 大规模推理需求，由红帽公司与创始贡献者 CoreWeave、Google Cloud、IBM Research 以及 NVIDIA 携手打造。该项目能够借
新榜讯 近日，全球知名的开源解决方案提供商红帽公司宣称正式启动新开源项目 llm-d。此项目旨在满足生成式 AI 大规模推理需求，由红帽公司与创始贡献者 CoreWeave、Google Cloud、IBM Research 以及 NVIDIA 携手打造。该项目能够借助突破性的大规模生成式 AI 推理技术，使大语言模型（LLM）推理云达成最为严苛的生产服务级目标（SLO）。（新浪科技）
来源：新榜一点号
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!
