Model-Optimizer NVIDIA/Model-Optimizer

能干什么

NVIDIA 统一模型优化库：量化（含 FP8 / INT4 等档）、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 技术集于一体，是 TensorRT-LLM / NIM 生态的标准前置工具——先用它压缩模型，再交给部署栈跑。FP8 路线在消费卡（Ada / Hopper 架构）上也越来越常见。

怎么干

• pip install nvidia-modelopt
• API 选量化方案（FP8 / INT4 等）+ 校准数据
• 导出压缩后的模型
• 对接 TensorRT-LLM 部署（数据中心场景为主）

本站怎么用

站内已有 3 条 FP8 他测（RTX 4090 跑 qwen3-14b-fp8 系列）正属这条「FP8 路线」生态；后续 FP8 条目入库时，Model-Optimizer 是框架字段的可能来源之一。FP8 = 8.0 bpw 已入本站位宽表（2026-11-07 补档）。

显存口径

FP8 档 = 8.0 bpw（纯 8bit 浮点，区别于 Q8_0 的 8.5 含 fp32 scale）；具体实现的文件大小与理论值可能有差，对账以实际文件为准。