AMD Instinct MI100 32G（老数据中心卡）：能跑什么模型
32GB HBM2 / 4096-bit / 1229GB/s / 300W。老数据中心卡：带宽极高但 ROCm 1.x 时代的软件栈，llama.cpp 走 Vulkan/HIP 能跑，属于「便宜大带宽」的折腾档。
能装下39 / 67 个模型
最大能跑到Llama 3.1 70B Instruct（IQ3_XXS）
单流速度上限约 200 tok/s
他测汇总0 条（口径完整 0 条）
一、这张卡能装下哪些模型
能装 / 装不下是推算，不是实测；点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。
Qwen3-4B4BQ8_0Gemma 3 4B IT4B · 滑窗Q8_0Qwen3-8B8BQ8_0Llama 3.1 8B Instruct8BQ8_0GLM-4-9B 04149BQ8_0Qwen3-14B14BQ8_0Gemma 3 12B IT12B · 滑窗Q8_0Phi-4 14B14.7BQ8_0GPT-OSS-20B21B · A3.6B · MoEQ8_0Qwen3-30B-A3B30B · A3B · MoEQ6_KMistral Small 3.1 24B22BQ8_0Gemma 3 27B IT27B · 滑窗Q6_KQwen3-32B32BQ5_K_MDeepSeek-R1-Distill-Qwen-32B32BQ5_K_MSeed-OSS-36B-Instruct36BQ5_K_MLlama 3.1 70B Instruct70BIQ3_XXSQwen3-235B-A22B235B · A22B · MoE装不下Qwen3.8-27B26.9BQ6_KQwen2.5-VL-7B-Instruct7BQ8_0Qwen3.6-35B-A3B35B · A3B · MoEQ5_K_MOrnith-1.5-35B-A3B36B · A3B · MoEQ5_K_MTerminal-RSI-27B27.8BQ6_KAREX-227.4BQ6_KMiniCPM5-2B2.5BQ8_0Qwen3.8-Flash-Next125B · A6B · MoE装不下DeepSeek-V4.1-Flash552B · A8B · MoE装不下LFM3-1.7B1.7B · 滑窗Q8_0Muse Glimmer-30B29.8B · 滑窗Q6_KGLM-5.3753B · A40B · MoE装不下Kimi K32800B · A104B · MoE装不下Ling-3.2-flash560B · A25B · MoE装不下Ling-3.1-flash560B · A25B · MoE装不下MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ8_0NVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下GLM-5.3-Flash320B · A18B · MoE装不下NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoEQ6_KNVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下Muse Spark Open 816B816B · A42B · MoE装不下Beam 1.0 501B501B · A23B · MoE装不下Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0腾讯混元 Hunyuan-1.8B1.8BQ8_0腾讯混元 Hunyuan-4B4BQ8_0腾讯混元 Hunyuan-7B7BQ8_0MiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoEQ5_K_MMiniCPM-V 4.7 1B1.55BQ8_0Kimi K3.1 Pro2800B · A104B · MoE装不下Step-5-Preview600B · A27B · MoE装不下Ling-3.0-flash124B · A5.1B · MoE装不下Gemma 4 12B Unified11.95B · 滑窗Q8_0Mistral Large 41050B · A52B · MoE装不下Inkling975B · A41B · MoE装不下Inkling-Small276B · A12B · MoE装不下IBM Granite 4.2 30B30BQ6_KIBM Granite 4.2 8B8BQ8_0IBM Granite 4.2 3B3BQ8_0K-EXAONE 2.0750B · A37B · MoE装不下Tencent Hy4 preview770B · A49B · MoE装不下MiniMax-M3428B · A23B · MoE装不下Swift-1.5-Qwen3.8-27B27.8BQ6_KDeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下ERNIE-5.5-Flash-Base280B · A14B · MoE装不下DeepSeek-R1-Distill-Qwen-14B14BQ8_0
二、多少 G 显存开多少 K 上下文
行是量化档，列是上下文档位，格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B；换别的模型看同一张卡，选一下即可。
· Qwen3-32B，模型原生上下文上限 40960 token| 量化 | 4K | 8K | 16K | 32K | 40K | 64K | 128K | 最多可开 |
|---|---|---|---|---|---|---|---|---|
| Q8_0 34G | 36G 混跑 | 37G 混跑 | 39G 混跑 | 43G 混跑 | 45G 混跑 | 51G 混跑† | 67G 混跑† | 权重已超容量 |
| Q6_K 26.2G | 28.2G 混跑 | 29.2G 混跑 | 31.2G 混跑 | 35.2G 混跑 | 37.2G 混跑 | 43.2G 混跑† | 59.2G 混跑† | 3584 token（显存） |
| Q5_K_M 22.4G | 24.4G 31–44 | 25.4G 29–41 | 27.4G 27–37 | 31.4G 混跑 | 33.4G 混跑 | 39.4G 混跑† | 55.4G 混跑† | 19456 token（显存） |
| Q4_K_M 19.2G | 21.2G 36–51 | 22.2G 34–47 | 24.2G 30–42 | 28.2G 25–34 | 30.2G 混跑 | 36.2G 混跑† | 52.2G 混跑† | 32768 token（显存） |
| IQ4_XS 17G | 19G 40–57 | 20G 37–53 | 22G 33–46 | 26G 27–37 | 28G 24–34 | 34G 混跑† | 50G 混跑† | 40960 token（模型原生上限） |
| IQ3_K 14G | 16G 48–68 | 17G 44–62 | 19G 38–53 | 23G 30–41 | 25G 27–37 | 31G 混跑† | 47G 混跑† | 40960 token（模型原生上限） |
| IQ3_XXS 12.1G | 14.1G 55–77 | 15.1G 50–70 | 17.1G 42–59 | 21.1G 32–45 | 23.1G 29–40 | 29.1G 混跑† | 45.1G 混跑† | 40960 token（模型原生上限） |
格子里上行是总需显存（权重 + 该上下文的 KV + 1G 框架开销），下行是单流 decode 估算 tok/s；「混跑」表示超出显存、要靠内存放层，速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文，属于 rope/yarn 超纲使用，质量不保证。全部为推算，非实测。
三、别人测的 AMD Instinct MI100 32G（老数据中心卡） 速度（他测汇总）
这张卡还没有他测数据。有 AMD Instinct MI100 32G（老数据中心卡） 的实测？上传你的实测。
本卡行情（整卡价）
本卡暂无可核对出处的整卡价快照。语料里出现过的价格必须带作者、链接、发布日期才入库， 没有就空着——价格是最容易过期、也最容易被编的字段。
同档显存的其它卡
手上有 32G 卡就点自己的型号；一行一张卡，点开就是那张卡的结论页。
NVIDIA RTX 5090 32G32G · 1792 GB/sNVIDIA RTX 5090 D 32G32G · 1792 GB/sAMD Instinct MI50 32G（数据卡）32G · 1024 GB/sNVIDIA Tesla V100 32G（数据卡）32G · 900 GB/sNVIDIA RTX PRO 4500 Blackwell 32G（工作站）32G · 896 GB/sNVIDIA RTX 4080 32G（魔改）32G · 736 GB/sNVIDIA RTX 4080 SUPER 32G（魔改）32G · 736 GB/sAMD Radeon PRO R9700 32G（工作站）32G · 640 GB/sAMD Radeon PRO W7800 32G（工作站）32G · 576 GB/sNVIDIA RTX 5000 Ada 32G（工作站）32G · 512 GB/sAMD Radeon PRO W6800 32G（工作站）32G · 512 GB/s海光 深算 K100 32G32G · 400 GB/s
规格与数据来源
上面的显存、带宽、架构数字来自下面这些页面；口径说明逐条附后。没有可核对出处的字段，本站留空，不填一个编出来的数。
口径：32 GB HBM2 / 4096-bit / 1229 GB/s / 300W / CDNA1（Arcturus XL）为规格库一致口径（B 级，2026-11-08 核对；amd.com 官方页已随产品退役不可达，URL 留档）。