Hugging Face集成Groq，三行代码实现10个开源模型推理速度超每秒800 token
美国AI芯片创企Groq昨天宣布，其已正式成为Hugging Face Hub支持的推理服务提供商，推理服务已无缝集成至Hugging Face的JS和Python客户端SDK，开发者可便捷地将各类模型与优选服务提供商对接使用。
groq
获沙特15亿美元投资，Groq专注以垂直整合策略打造AI推理基础设施
尽管NVIDIA的市值目前稳居美国股市前三，但其市场地位已经不如之前那么稳固。一个标志性的事件，是Google使用TPU芯片（张量处理单元），训练出了Gemini 2.5 Pro这个SOTA通用模型，打破了SOTA模型主要由NVIDIA GPU训练的垄断。
芯片新贵，集体转向
Nvidia依然在训练芯片市场一骑绝尘，Cerebras则继续孤注一掷地打造超大规模计算平台。但其他曾在训练芯片上争得面红耳赤的玩家——Graphcore、英特尔Gaudi、SambaNova等——正在悄悄转向另一个战场：AI推理。