常见问题 / 选卡与预算

16G 显存到底能干什么?(最常被问的一档)

能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K,能勉强跑 27B–36B 的 Q3 但上下文几乎没有,用 MoE 放内存可以跑 30B 级还很流畅。

这是本站第一张容量推算表,直接给结论(Windows 88% 水位,可用约 14.1G,扣 1G 框架开销):8B Q8_0 权重 8.5G,剩 4.6G,可开约 33K token,是 16G 上质量与上下文兼得的最佳组合;14B Q6_K 权重 11.48G,剩 1.6G ≈ 10.7K;14B Q8_0 权重 14.88G,只剩 0.13G ≈ 850 token —— 所以『14B 原则上跑 Q8』在 16G 上不成立,甜点位是 Q6_K。

12B(Gemma 3 12B)Q8_0 权重 12.75G,剩 0.33G ≈ 2.4K,同样出局;Q6_K 权重 9.84G 剩 3.3G,得益于它 48 层里只有 8 层要全量 KV,可开上下文比 14B 还多。

27B/32B/36B 这一档在 16G 上是『理论可跑、实际别跑』:27B Q4_K_M 权重 16.2G 直接超过整卡容量;IQ3_M 权重 11.6G 剩 1.5G ≈ 6K;32B IQ3_XXS 权重 12.1G 剩 1.0G ≈ 3.6K;36B IQ3_XXS 权重 13.6G 加开销已经顶到水位线,装不下。

16G 上真正的隐藏冠军是 MoE:gpt-oss-20B(21B 总/3.6B 激活,KV 4K 只要 0.097G)MXFP4 权重约 11.3G,剩 1.8G 且几乎不涨,速度快;Qwen3-30B-A3B 权重 13–18G,整卡塞不下就走内存放专家,25–35 tok/s 很流畅。

完整表格、每档 KV 精度切换、8K/16K 两列都在 16G 容量推算表里。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

我该配多大的显存?给一条按容量而不是按型号的阶梯8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?方向对,但要按显存档位落地。4B–9B 跑 Q8 确实合适;12B–14B 在 16G 上 Q8 会把上下文挤光,Q6_K 才是甜点;27B+ 在 16G 上 Q4 根本塞不进去。

延伸阅读

16G 显存有哪些卡→

选卡与预算 · 其他条目

我该配多大的显存?给一条按容量而不是按型号的阶梯『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?Mac(M 系列统一内存)能不能跑本地大模型?站里那些『魔改卡』『共享主机』是什么?能买吗?AMD 的 RX 卡能跑本地大模型吗?比 N 卡差在哪?笔记本能外接显卡跑大模型吗?值得买显卡坞吗?
← 我该配多大的显存?给一条按容量而不是按型号的阶梯回到全部 40 条『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对? →
这条内容有帮助吗?