2025 February 10 triton

triton系列：镜像说明

镜像说明

官方镜像地址：https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags

xx.yy-py3: 包含 Triton 推理服务器，支持 Tensorflow、PyTorch、TensorRT、ONNX 和 OpenVINO 模型。
xx.yy-py3-sdk: 包含 Python 和 C++ 客户端库、客户端示例、GenAI-Perf、性能分析器和模型分析器。
xx.yy-py3-min: 用作创建自定义 Triton 服务器容器的基础，如自定义 Triton 容器中所述。
xx.yy-pyt-python-py3: 包含 Triton 推理服务器，仅支持 PyTorch 和 Python 后端。
xx.yy-tf2-python-py3: 包含 Triton 推理服务器，仅支持 TensorFlow 2.x 和 Python 后端。
xx.yy-py3-igpu: 包含 Triton 推理服务器，支持 Jetson Orin 设备。有关哪个容器支持哪个 iGPU 硬件/软件的信息，请参阅框架支持矩阵。
xx.yy-py3-igpu-sdk: 包含 Python 和 C++ 客户端库、客户端示例和 Perf Analyzer。
xx.yy-py3-igpu-min: 用作创建自定义 iGPU Triton 服务器容器的基础。
xx.yy-vllm-python-py3: 包含仅支持 vLLM 和 Python 后端的 Triton 推理服务器。
xx.yy-trtllm-python-py3: 包含仅支持 TensorRT-LLM 和 Python 后端的 Triton 推理服务器。