tensorrt

ML infra: tensorRT 使用

之前尝试过用huggingface的transformer的library来下载bertmodel,并且简单的跑了一下。今天就打算测试一下CPU和gpu跑模型的性能,然后用trtllm优化一下,看能够优化到多少。

cuda latency infra tensorrt to 2025-04-22 00:35  7