摩尔线程 MTT S4000 48G(国产·推理加速卡):能跑什么模型
国产大显存推理加速卡:48GB GDDR6 / 768GB/s / FP16 100 TFLOPS(官方规格书),PCIe 5.0 x16 + MTLink 多卡互联,450W 整卡功耗。48G 容量对本站读者是「单卡 32B Q4 有得跑」的一档,带宽 768GB/s 对标 Tesla V100 一档。但它走 MUSA 专用栈(CUDA 代码靠 MUSIFY 迁移、需自行编译),且面向信创/渠道市场——零售可得性远低于同显存洋垃圾(V100 32G / 魔改 4080S 32G),收录是为了「国产 48G 能不能跑我的模型」这个问题有人能答。
一、这张卡能装下哪些模型
能装 / 装不下是推算,不是实测;点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。
二、多少 G 显存开多少 K 上下文
行是量化档,列是上下文档位,格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B;换别的模型看同一张卡,选一下即可。
· Qwen3-32B,模型原生上下文上限 40960 token| 量化 | 4K | 8K | 16K | 32K | 40K | 64K | 128K | 最多可开 |
|---|---|---|---|---|---|---|---|---|
| Q8_0 34G | 36G 13–18 | 37G 13–18 | 39G 12–16 | 43G 混跑 | 45G 混跑 | 51G 混跑† | 67G 混跑† | 29184 token(显存) |
| Q6_K 26.2G | 28.2G 17–24 | 29.2G 16–22 | 31.2G 15–20 | 35.2G 12–17 | 37.2G 12–16 | 43.2G 混跑† | 59.2G 混跑† | 40960 token(模型原生上限) |
| Q5_K_M 22.4G | 24.4G 19–27 | 25.4G 18–26 | 27.4G 17–23 | 31.4G 14–19 | 33.4G 13–18 | 39.4G 11–14† | 55.4G 混跑† | 40960 token(模型原生上限) |
| Q4_K_M 19.2G | 21.2G 22–32 | 22.2G 21–30 | 24.2G 19–26 | 28.2G 15–21 | 30.2G 14–20 | 36.2G 11–16† | 52.2G 混跑† | 40960 token(模型原生上限) |
| IQ4_XS 17G | 19G 25–35 | 20G 23–33 | 22G 21–29 | 26G 17–23 | 28G 15–21 | 34G 12–16† | 50G 混跑† | 40960 token(模型原生上限) |
| IQ3_K 14G | 16G 30–42 | 17G 28–39 | 19G 24–33 | 23G 19–26 | 25G 17–23 | 31G 13–18† | 47G 混跑† | 40960 token(模型原生上限) |
| IQ3_XXS 12.1G | 14.1G 34–48 | 15.1G 31–44 | 17.1G 26–37 | 21.1G 20–28 | 23.1G 18–25 | 29.1G 14–19† | 45.1G 混跑† | 40960 token(模型原生上限) |
格子里上行是总需显存(权重 + 该上下文的 KV + 1G 框架开销),下行是单流 decode 估算 tok/s;「混跑」表示超出显存、要靠内存放层,速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文,属于 rope/yarn 超纲使用,质量不保证。全部为推算,非实测。
三、别人测的 摩尔线程 MTT S4000 48G(国产·推理加速卡) 速度(他测汇总)
本卡行情(整卡价)
本卡暂无可核对出处的整卡价快照。语料里出现过的价格必须带作者、链接、发布日期才入库, 没有就空着——价格是最容易过期、也最容易被编的字段。
同档显存的其它卡
手上有 48G 卡就点自己的型号;一行一张卡,点开就是那张卡的结论页。
规格与数据来源
上面的显存、带宽、架构数字来自下面这些页面;口径说明逐条附后。没有可核对出处的字段,本站留空,不填一个编出来的数。
口径:显存(48GB GDDR6 / 384-bit / 768GB/s)、PCIe 5.0 x16、MTLink、整卡最大功耗 450W 来自官方产品页与官方规格书(docs.mthreads.com 产品规格表,2026-11-08 抓取),两处逐字一致。「FP16/BF16 100 TFLOPS」官方产品页规格表未给数字,取自官方规格书「算力(张量)FP16/BF16 100 TFLOPS」;同表 FP32/FP16 向量算力 25 TFLOPS、TF32 50 TFLOPS、INT8 200 TOPS、核心频率 1.5GHz、芯片 QY102AA-800 一并坐实。