AutoGPTQ AutoGPTQ/AutoGPTQ

能干什么

GPTQ 算法的量化工具包：用少量校准数据把模型量化到 4bit / 8bit（动态量化，按权重分布逐列定 scale），API 简单，与 transformers 生态无缝衔接。它是 PyTorch 生态里「4bit 量化跑大模型」的老牌路线之一。注意：2026-11-07 快照显示其最近一次推送停在 2025-04，项目活跃度低——新项目选型时建议把它当存量格式支持（很多老模型权重就是 GPTQ 格式），而非首选开发路线。

怎么干

• pip install auto-gptq
• GPTQModel API：载入校准数据 → 量化 → 导出
• 量化后的权重再加载推理，或直接对接现有服务
• 存量 GPTQ 格式权重的加载与转换

本站怎么用

读者拿到「.safetensors GPTQ 格式」的老权重时，这是对应的量化路线页面；GPTQ 4bit 档与本站 Q4 档量级相同但 bpw 不完全一致（含 scale），入库对账按实际文件大小。

显存口径

GPTQ 4bit 约 0.5B/参数含 scale；与位宽表对账以实际文件为准，不猜 bpw。