常见问题 / 选卡与预算

我该配多大的显存?给一条按容量而不是按型号的阶梯

8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。

本站刻意不做导购、不给链接,只给容量阶梯(数字都按 Windows 88% 水位、Q4_K_M、要留 8K 上下文这个前提):

8G(可用约 7.0G):4B/8B 的 Q4_K_M 能跑,Q8 装不下;8B Q4 权重 4.8G 加开销只剩约 1.2G 给上下文,约 8K 出头就到顶。中文 4B 是这张卡的甜点位,8B 属于『凑合能用』。二手 8G 卡便宜才买,新卡不划算。

12G(约 10.6G):8B Q8 有肉(权重 8.5G 但只剩 1.1G ≈ 8K 内),实际甜点位是 8B 的 Q6_K 或 Q5_K_M,或 12B 的 Q4_K_M(权重 9.84G 会挤,12B 建议 Q4_XS 以下)。

16G(约 14.1G):本站问得最多的一档,也是『第一台』的最佳容量点。8B Q8 剩 4.6G ≈ 33K 上下文(但 Qwen3 原生只到 40K,基本顶格);14B 的甜点位是 Q6_K 而不是 Q8(Q8 只剩 0.13G ≈ 850 token,4K 必爆);12B 同理建议 Q6_K;27B/32B 只能 Q3 系列且上下文极紧;MoE 走内存放专家则很舒服。详见 16G 容量表。

24G(约 21.1G):32B Q4_K_M 权重 19.2G 已经装不进 24G 的水位线,得退到 IQ4_XS(17.0G)或 Q5_K_S 以下;24B 的 Q4/Q5 很舒服。这一档是『认真用 32B』的最低容量。

32G(约 28.2G):32B Q5_K_M 权重 22.4G 加开销剩约 4.8G ≈ 19K 上下文,是 32B 最舒服的容量点。

48G(约 42.2G):70B 的 IQ4_XS(36.4G)加开销剩 4.8G,能开约 15K,是 70B 可用的最低起点。70B Q4_K_M(42G)在 48G 卡上装不下(水位后只剩 42.2G 且还要留 KV)。

128G 及以上:属于 70B Q8、235B-A22B 的领域,通常靠多卡或大内存 offload,本站共享主机类目里有相关数据。

最后一条经验:预算有限时,显存 > 带宽 > 算力。同样是 16G,288GB/s 和 960GB/s 的速度差 3 倍,但 8G 和 16G 的差别是『能不能装下』。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

延伸阅读

显存档位表→16G 显存有哪些卡→24G 显存有哪些卡→显卡→

选卡与预算 · 其他条目

16G 显存到底能干什么?(最常被问的一档)『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?Mac(M 系列统一内存)能不能跑本地大模型?站里那些『魔改卡』『共享主机』是什么?能买吗?AMD 的 RX 卡能跑本地大模型吗?比 N 卡差在哪?笔记本能外接显卡跑大模型吗?值得买显卡坞吗?
← 本地跑的小模型,和在线的 GPT / Claude / 通义比差在哪?值不值?回到全部 40 条16G 显存到底能干什么?(最常被问的一档) →
这条内容有帮助吗?