参数调到最低还是装不下：权重本身就超容量

换最小量化、降上下文、关所有程序，还是加载失败或者只跑 1–2 tok/s。

有些组合不是『调参能救』的，而是权重大小已经超过可用显存。本站按 Windows 88% 水位算出的 16G 硬墙例子：27B Q4_K_M 权重 16.2G > 整卡 16G；32B Q4_K_M 权重 19.2G；36B IQ3_XXS 权重 13.6G 加 1G 开销已经顶到 14.1G 水位线，等于零上下文；70B 任何档都进不了单张 16G。

1. 先算账再折腾：权重 GB = 参数量 × 每参数字节 ÷ 8。Q4_K_M 是 4.8，Q8_0 是 8.5（不是 8.0）。可用显存 = 显存 × 0.88（Windows）。
2. 确实要在 16G 上跑 27B+，只有两条路：降到 Q3 系列并接受 3–6K 上下文的演示级体验，或者换 24G 以上。
3. MoE 是唯一能绕开这堵墙的架构：专家权重放内存，注意力放显存。Qwen3-30B-A3B 在 16G + 48G 内存上能到 25–35 tok/s，而稠密 30B 同条件只能个位数。
4. 如果只是想『试试大模型长什么样』：用共享主机按小时租一张 48G/128G，比冲动买卡便宜得多，本站共享主机类目就是为这个场景准备的。

看加载日志的『分配到显存的层数 / 总层数』：如果只有少数层进了显存，说明你在跟物理上限对抗，不是配置问题。