小米 MiMo-V2.6-Distill-Qwen-9B

MiMo · 9B 参数 · dense · 混合 Mamba-2 线性注意力 + GQA（Qwen3.5-9B 系蒸馏的 V2.6 学生模型）· 开源权重 · 开源 2026-09-21 · 9B 蒸馏 / Qwen3 系底座 / 单卡可跑 / 小米

关于小米 MiMo-V2.6-Distill-Qwen-9B 的完整介绍（点开看；上面就是结论表）

小米 MiMo-V2.6 系列的 9B 蒸馏版（HF: XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B，model_type qwen3_5，下载量 18.9k）。V2.6 大模型（311B+）蒸馏到 Qwen3.5-9B 底座——**这是本站模型清单里少见的「新代际大模型蒸馏小杯」**：16G 显卡 Q4 可跑（权重约 5G），让用不上集群的读者也能摸到 V2.6 时代的能力。config.json 一手核到（2026-11-08）：32 层 = 24 层 Mamba-2 线性注意力 + 8 层全注意力（full_attention_interval=4），16 查询头 / 4 KV 头 / head_dim 256，max_position_embeddings 262144（256K），带 27 层视觉塔（图像+视频）。混合架构让 KV 极省——只有 8 层全注意力按 token 线性增长，每 4K ≈ 0.125G，长上下文占用远低于同规模稠密模型（24 层线性层只留固定状态）。注意：config 声明了 1 层 MTP，但发布 checkpoint 未含 MTP 权重（第三方 GGUF 用 --no-mtp 转换），实际就是 32 层。本站/他测速度均无，公式推算见 /capacity/16/。

实测速度：什么卡、什么量化、多少 token

显卡	卡数	量化	上下文	框架 / 版本	decode tok/s	prefill tok/s	单流/并发	投机	口径	来源
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	1K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	145.2	4943	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	4K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	144.1	8922	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	8K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	140.5	9212	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	16K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	137.3	8957	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	32K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	127.2	4828	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 4090 24G	1 卡	EXL3 4.0 bpw	63K	ExLlamaV3 + TabbyAPI（OpenAI 兼容 /v1/chat/completions） · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	111.3	6577	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 3060 12G	1 卡	EXL3 4.0 bpw	1K	ExLlamaV3 + TabbyAPI · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	53.5	1479	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 3060 12G	1 卡	EXL3 4.0 bpw	8K	ExLlamaV3 + TabbyAPI · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	49	1511	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA RTX 3060 12G	1 卡	EXL3 4.0 bpw	16K	ExLlamaV3 + TabbyAPI · ExLlamaV3 1.5.2；PyTorch 2.10.0 + cu128	50.3	1440	单流	无	他测·本站未复现	MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） bettercallcaleb（RAMGPT） · 2026-09-29
NVIDIA Tesla V100 32G（数据卡）	1 卡	Q4_K_M	0K	llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） · llama.cpp b10635-fc35562ba；-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024	53.9	595.43	单流	无	本站实测	`P:\显卡模型网站\tools\bench\evals_suite\mimo-v2-6-distill-qwen-9b-q4km\raw.json` 本站（Step，六工位统一评测） · 2026-11-09

每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。

速查：什么卡、跑多少 token

AMD R9 295X2 8G装不下（8G · 推算）

NVIDIA RTX 5070 12G装不下（12G · 推算）

AMD Radeon VII 16G64–91 t/s（16G · 推算）

NVIDIA RTX 4090 24G63–90 t/s（24G · 推算）

NVIDIA RTX 5090 32G112–159 t/s（32G · 推算）

NVIDIA RTX PRO 5000 Blackwell 48G（工作站）84–119 t/s（48G · 推算）

推算值按 Q8_0、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。

架构常数（已核实）

层数32

KV 头数4

每头维度256

需全量 KV 的层8 / 32

滑窗长度无（全层线性）

原生上下文上限256K

KV 每 4K（FP16）0.125 G

KV 每 1K token0.03 G

来源：XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B / config.json（抓取于 2026-11-08）。KV 公式：2 × 层数 × KV头数 × 头维 × 精度字节 × token（滑窗层按 — 封顶）。

上下文档位（按 Q8_0）

上下文	KV	总需显存	16G 水位内
4K	0.13 G	10.7 G	够
8K	0.25 G	10.8 G	够
32K	1 G	11.6 G	够
128K	4 G	14.6 G	超

* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

显存	推荐量化	8K 总需	最多可开
4G	装不下	—	—
6G	装不下	—	—
8G	Q4_K_M（估算）	6.7G	19456（约 19K）
10G	Q6_K（估算）	8.6G	13312（约 13K）
11G	Q6_K（估算）	8.6G	43008（约 42K）
12G	Q6_K（估算）	8.6G	72704（约 71K）
16G	Q8_0（估算）	10.8G	115712（约 113K）
20G	Q8_0（估算）	10.8G	230400（约 225K）
22G	Q8_0（估算）	10.8G	262144（约 256K）
24G	Q8_0（估算）	10.8G	262144（约 256K）
32G	Q8_0（估算）	10.8G	262144（约 256K）
48G	Q8_0（估算）	10.8G	262144（约 256K）
64G	Q8_0（估算）	10.8G	262144（约 256K）
96G	Q8_0（估算）	10.8G	262144（约 256K）
128G	Q8_0（估算）	10.8G	262144（约 256K）
256G	Q8_0（估算）	10.8G	262144（约 256K）
512G	Q8_0（估算）	10.8G	262144（约 256K）

「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。

估算速度（Q8_0 · 8K）

实测中位 53.9 tok/s（1 条，1 条已核）

显卡	状态	估算 tok/s
NVIDIA RTX 5090 32G	流畅	112–159
NVIDIA RTX 5090 D 32G	流畅	112–159
NVIDIA CMP 170HX 64G（矿卡魔改）	流畅	93–132
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）	流畅	84–119
AMD Instinct MI100 32G（老数据中心卡）	流畅	77–109
AMD Instinct MI50 32G（数据卡）	流畅	64–91
AMD Radeon VII 16G	能跑但紧	64–91
NVIDIA RTX 4090 24G	流畅	63–90
NVIDIA RTX 3090 Ti 24G	流畅	63–90

同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。总需显存 = 10.8G，对比各卡可用水位。

实测数据区

P:\显卡模型网站\tools\bench\evals_suite\mimo-v2-6-distill-qwen-9b-q4km\raw.json（本站实测 · 本机日志，无外链）

推理框架命令

llama.cpp

# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B config.json
#   GGUF 量化版通常在第三方转换仓库，搜「XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m MIMO-V2-6-DISTILL-QWEN-9B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080

Ollama

# 本站没核实到 Ollama 仓库里有 小米 MiMo-V2.6-Distill-Qwen-9B 的可用标签，所以不给命令
# 自己去查一眼：https://ollama.com/search?q=%E5%B0%8F%E7%B1%B3%20MiMo-V2.6-Distill-Qwen-9B

宁可不给命令，也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。

vLLM

vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B」→ 选 Q8_0 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大

仓库名 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。

优化要点

Q4_K_M 权重 5.4G（估算）、Q6_K 7.4G（估算）、Q8_0 9.6G（估算）：带「估算」的是公式值（官方仓库没核到这档），不带的核过真实文件；先在容量表里确认 8K 上下文还剩多少，再决定档位
上下文从 8K 提到 32K，KV 增加约 0.8G（本模型 32 层 / 4 KV头 / 头维 256）
模型原生上下文上限是 256K，把 -c 设得更高属于超纲使用，质量不保证
想要更长上下文：-ctk q8_0 -ctv q8_0 让 KV 减半，几乎不掉质量
稠密模型每个 token 都要读全部权重，所以速度上限就是带宽 ÷ 权重大小
本站对单流解码设了经验上限 200–200 tok/s（依带宽分档），超出上限的数字是公式失真而不是你的卡快

小米 MiMo-V2.6-Distill-Qwen-9B

实测速度：什么卡、什么量化、多少 token

速查：什么卡、跑多少 token

架构常数（已核实）

上下文档位（按 Q8_0）

各显存档位能开多大

估算速度（Q8_0 · 8K）

实测数据区

推理框架命令

llama.cpp

Ollama

vLLM

LM Studio

优化要点

相关

有小米 MiMo-V2.6-Distill-Qwen-9B 的实测数据？

小米 MiMo-V2.6-Distill-Qwen-9B

实测速度：什么卡、什么量化、多少 token

速查：什么卡、跑多少 token

架构常数（已核实）

上下文档位（按 Q8_0）

各显存档位能开多大

估算速度（Q8_0 · 8K）

实测数据区

推理框架命令

llama.cpp

Ollama

vLLM

LM Studio

优化要点

相关

有 小米 MiMo-V2.6-Distill-Qwen-9B 的实测数据？

有小米 MiMo-V2.6-Distill-Qwen-9B 的实测数据？