6G 显存有哪些卡
这一档站内共 7 张卡,按带宽从高到低排。点一张卡看它的完整结论:能跑哪些模型、什么量化、能开多大上下文、大概多快。
先演一个算例:Qwen3-4B(4B)在 NVIDIA RTX 2060 6G 上能整卡装下——能跑但紧
| 权重(Q6_K) | 3.3 GB |
|---|---|
| KV 缓存(4K 上下文) | 0.56 GB |
| 框架开销 | 1 GB |
| 合计需要 | 4.8 GB / 可用 5.3 GB(Windows 桌面口径) |
| 结论 | 余量 0.5 GB,还能把上下文开到约 7,168 token(估算 ±30%) |
| 估算速度 | 50–70 tok/s(decode,4K 上下文,单流) |
这只是粗算,和全站推算页同一个公式、同一个口径(估算值 ±30%,非实测)。这张卡和这个模型的完整组合表还没收录,点上面的卡看它全部结论。
NVIDIA RTX 2060 6G英伟达 · 336 GB/sNVIDIA GTX 1660 SUPER 6G英伟达 · 336 GB/sNVIDIA GTX 1660 Ti 6G英伟达 · 288 GB/sAMD RX 5600 XT 6GAMD · 288 GB/sIntel Arc Pro A40 6G(工作站)英特尔 · 192 GB/sIntel Arc Pro A50 6G(工作站)英特尔 · 192 GB/sIntel Arc A380 6G英特尔 · 186 GB/s
相关条目
上下文(ctx)到底是什么?8K 能装多少字?上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。我该配多大的显存?给一条按容量而不是按型号的阶梯8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。16G 显存到底能干什么?(最常被问的一档)能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K,能勉强跑 27B–36B 的 Q3 但上下文几乎没有,用 MoE 放内存可以跑 30B 级还很流畅。『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?方向对,但要按显存档位落地。4B–9B 跑 Q8 确实合适;12B–14B 在 16G 上 Q8 会把上下文挤光,Q6_K 才是甜点;27B+ 在 16G 上 Q4 根本塞不进去。Windows 还是 Linux?差别有多大?同样硬件下 Linux 大约能多用 10% 显存(没有桌面合成器吃那块),驱动/权限要额外折腾。新手建议先 Windows 跑通,再决定值不值得换。