infra

单词联想infra,ultra

adj. 次的,较差的;低等的,下级的;自卑的;(法庭,特别法庭)下级的;(商品,服务)需求量在衰退期中较之繁荣期更大的,低档的;(位置)下方的,下位的,靠下的;(字母,数字,符号)下标的;低等的

ultra 单词 联想 infra 红外线发射管 2025-05-21 10:22  4

ML infra: tensorRT 使用

之前尝试过用huggingface的transformer的library来下载bertmodel,并且简单的跑了一下。今天就打算测试一下CPU和gpu跑模型的性能,然后用trtllm优化一下,看能够优化到多少。

cuda latency infra tensorrt to 2025-04-22 00:35  7

简明科普:DeepSeek Infra开源周全解析

随着人工智能技术的飞速发展,大语言模型及相关应用正成为推动科技变革的核心力量。然而,背后支撑这些模型高效运行的基础设施(Infra)却鲜为人知。本文将深度解读DeepSeek开源周的内容,通过通俗易懂的语言,剖析DeepSeek在模型训练、推理优化以及基础设施

开源 deepseek infra deepseekinfr 2025-03-14 10:09  10

2025年,大模型落地的最佳AI infra土壤在哪里?

这个土壤是可以看作是目前国内最新、最适配AI推理生长的IT架构体系。这其中有大规模GPU集群弹性调度管理,也更有国内最适配AI推理场景的存储计算产品,以及基于AI训练推理需求的网络加持、对特殊推理场景数据需求满足环境,进而帮助企业以更快、更稳、更具性价比的方式

模型 infra aiinfra 2025-01-10 16:57  12