triton系列：性能测量

性能测量和优化

性能相关的客户端接口

• metrics：Triton 以 Prometheus 的格式将测量的数据暴露出来。文档
• statistics：请求相关的统计数据。文档

性能相关的客户端工具

• perf_analyzer，测量吞吐延迟等。文档
• model_analyzer，利用 perf_analyzer 来进行性能分析，测量 GPU 内存和利用率。仓库
• model_navigator，自动化部署模型。文档