triton系列:perf_analyzer 性能测量
perf_analyzer 是 client 的工具,可以通过测量在尝试不同优化策略时性能的变化来帮助您优化在 Triton Inference Server 上运行的模型的推理性能。
安装
使用 client 内置的 perf_analyzer 工具,安装方法triton系列:client 安装
perf_analyzer 是 client 的工具,可以通过测量在尝试不同优化策略时性能的变化来帮助您优化在 Triton Inference Server 上运行的模型的推理性能。
使用 client 内置的 perf_analyzer 工具,安装方法triton系列:client 安装