128G 显存有哪些卡

这一档站内共 4 张卡,按带宽从高到低排。点一张卡看它的完整结论:能跑哪些模型、什么量化、能开多大上下文、大概多快。

先演一个算例:Qwen3-235B-A22B(235B)在 Apple M5 Max 128G(统一内存) 上能整卡装下——能跑但紧

权重(IQ3_XXS)88.7 GB
KV 缓存(4K 上下文)0.73 GB
框架开销1 GB
合计需要90.4 GB / 可用 96 GB(macOS 统一内存口径)
结论余量 5.6 GB,还能把上下文开到约 34,816 token(估算 ±30%)
估算速度40–56 tok/s(decode,4K 上下文,单流)

这只是粗算,和全站推算页同一个公式、同一个口径(估算值 ±30%,非实测)。这张卡和这个模型的完整组合表还没收录,点上面的卡看它全部结论。

Apple M5 Max 128G(统一内存)共享主机 · 614 GB/s · 统一内存Apple M4 Max 128G(统一内存)共享主机 · 546 GB/s · 统一内存NVIDIA DGX Spark 128G英伟达 · 273 GB/s · 统一内存AMD Ryzen AI Max+ 395 / Strix Halo 128G(统一内存)共享主机 · 256 GB/s · 统一内存
上下文(ctx)到底是什么?8K 能装多少字?上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。我该配多大的显存?给一条按容量而不是按型号的阶梯8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。16G 显存到底能干什么?(最常被问的一档)能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K,能勉强跑 27B–36B 的 Q3 但上下文几乎没有,用 MoE 放内存可以跑 30B 级还很流畅。『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?方向对,但要按显存档位落地。4B–9B 跑 Q8 确实合适;12B–14B 在 16G 上 Q8 会把上下文挤光,Q6_K 才是甜点;27B+ 在 16G 上 Q4 根本塞不进去。Windows 还是 Linux?差别有多大?同样硬件下 Linux 大约能多用 10% 显存(没有桌面合成器吃那块),驱动/权限要额外折腾。新手建议先 Windows 跑通,再决定值不值得换。

换个显存档位

4G6G8G10G11G12G16G20G22G24G32G48G64G96G128G256G512G
这条内容有帮助吗?