常见问题 / 选卡与预算
我该配多大的显存?给一条按容量而不是按型号的阶梯
8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。
本站刻意不做导购、不给链接,只给容量阶梯(数字都按 Windows 88% 水位、Q4_K_M、要留 8K 上下文这个前提):
8G(可用约 7.0G):4B/8B 的 Q4_K_M 能跑,Q8 装不下;8B Q4 权重 4.8G 加开销只剩约 1.2G 给上下文,约 8K 出头就到顶。中文 4B 是这张卡的甜点位,8B 属于『凑合能用』。二手 8G 卡便宜才买,新卡不划算。
12G(约 10.6G):8B Q8 有肉(权重 8.5G 但只剩 1.1G ≈ 8K 内),实际甜点位是 8B 的 Q6_K 或 Q5_K_M,或 12B 的 Q4_K_M(权重 9.84G 会挤,12B 建议 Q4_XS 以下)。
16G(约 14.1G):本站问得最多的一档,也是『第一台』的最佳容量点。8B Q8 剩 4.6G ≈ 33K 上下文(但 Qwen3 原生只到 40K,基本顶格);14B 的甜点位是 Q6_K 而不是 Q8(Q8 只剩 0.13G ≈ 850 token,4K 必爆);12B 同理建议 Q6_K;27B/32B 只能 Q3 系列且上下文极紧;MoE 走内存放专家则很舒服。详见 16G 容量表。
24G(约 21.1G):32B Q4_K_M 权重 19.2G 已经装不进 24G 的水位线,得退到 IQ4_XS(17.0G)或 Q5_K_S 以下;24B 的 Q4/Q5 很舒服。这一档是『认真用 32B』的最低容量。
32G(约 28.2G):32B Q5_K_M 权重 22.4G 加开销剩约 4.8G ≈ 19K 上下文,是 32B 最舒服的容量点。
48G(约 42.2G):70B 的 IQ4_XS(36.4G)加开销剩 4.8G,能开约 15K,是 70B 可用的最低起点。70B Q4_K_M(42G)在 48G 卡上装不下(水位后只剩 42.2G 且还要留 KV)。
128G 及以上:属于 70B Q8、235B-A22B 的领域,通常靠多卡或大内存 offload,本站共享主机类目里有相关数据。
最后一条经验:预算有限时,显存 > 带宽 > 算力。同样是 16G,288GB/s 和 960GB/s 的速度差 3 倍,但 8G 和 16G 的差别是『能不能装下』。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。