『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对？

方向对，但要按显存档位落地。4B–9B 跑 Q8 确实合适；12B–14B 在 16G 上 Q8 会把上下文挤光，Q6_K 才是甜点；27B+ 在 16G 上 Q4 根本塞不进去。

这条经验法则的本质是『量化档应该由剩余显存决定，不是由模型大小决定』。同一个 14B，在 24G 卡上跑 Q8 很舒服，在 16G 卡上就只能 Q6_K，在 8G 卡上只能 Q3。所以把规则写成『14B 原则上跑 Q8』会在 16G 用户身上失效。

带数字的落地版：Q8_0 权重 = 参数量 × 1.0625。8B→8.5G、12B→12.75G、14B→14.88G。16G 卡水位后可用 14.1G，再扣 1G 框架开销，剩 13.1G 给『权重 + KV』。所以 14B 跑 Q8 需要 14.88G > 13.1G，权重本身就超了；12B 跑 Q8 剩 0.33G 给 KV，约 2.4K token，日常聊天两三轮就顶满。

『27B/32B 属于 Q4 或 Q3』也要修正：27B Q4_K_M 权重 16.2G、32B Q4_K_M 权重 19.2G，在 16G 卡上连权重都放不下，谈不上 Q4。这一档在 16G 上只有 Q3 系列，而且上下文余量 3–6K，属于演示性质。真要跑 27B+，24G 起。

『再大 16G 肯定跑不进去』这句要加一个例外：MoE。gpt-oss-20B、Qwen3-30B-A3B 这类总参数 20–30B 的 MoE 在 16G 上不但能进，还比 14B 稠密模型快。判断能不能进 16G 的正确依据是『权重大小』和『每 token 读取量』这两个独立的数，不是参数量。