量化是什么？Q4_K_M、Q8_0、IQ3 这些名字什么意思？

量化就是把每个参数用更少的比特存下来，模型变小变快，质量按档位往下掉。Q8 几乎无损，Q4 是主流甜点位，Q3 已经能听出变笨。

模型权重原始是 16 比特（FP16/BF16）。量化到 4 比特，文件直接小 3/4，显存读取量也小 3/4，所以速度大约同比例变快——这是本地跑大模型最重要的一个免费午餐。

名字里的规律：Q4/Q5/Q6/Q8 是数字越大越接近原始质量；后缀 _K_M / _K_S 是同代的两种规模（M 稍大稍好）；IQ2/IQ3/IQ4 是新一代的『智能量化』，同样比特下质量更好但计算稍慢；MXFP4 是 OpenAI gpt-oss 的官方原生格式。

换算成显存有个粗算式：权重 GB ≈ 参数量(B) × 每参数字节数 ÷ 8。本站用的每参数字节数：Q8_0 是 8.5、Q6_K 是 6.56、Q5_K_M 是 5.6、Q4_K_M 是 4.8、IQ4_XS 是 4.25、IQ3_XXS 是 3.02。注意 Q8_0 是 8.5 而不是 8.0——多出来的是每块的缩放信息，这就是『14B 跑 Q8 要 14.9G』而不是 14G 的原因。

新手常犯的错是『显存装得下就选最大量化』。更实用的顺序是：先保证留出你要的上下文，再在剩下的空间里挑质量最高的档。