Tesla V100 32G 跑 36B-A3 模型，能跑多少 token？

口径：Windows 水位（WDDM 桌面合成器实测占用 0.5–1.5GB，取 12% 余量）＋1G 框架开销；速度 = 带宽×效率÷每 token 读取字节数，粗算 ±30%，非实测。实测投稿见页尾。

量化 × 上下文 × 状态 × 估算速度

上下文	量化档	权重 G	KV G	总需求 G	状态	估算 tok/s（±30%）	框架建议
4K	Q4_K_M	20.2	0.08	21.3	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
16K	Q4_K_M	20.2	0.31	21.5	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	Q4_K_M	20.2	0.63	21.8	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
64K	Q4_K_M	20.2	1.25	22.5	能跑但紧	161–200	llama.cpp 单卡（降 KV 量化可再 25%）
128K	Q4_K_M	20.2	2.5	23.7	能跑但紧	108–146	llama.cpp 单卡（降 KV 量化可再 25%）
256K	Q4_K_M	20.2	5	26.2	能跑但紧	65–87	llama.cpp 单卡（降 KV 量化可再 25%）
4K	Q5_K_M	23.6	0.08	24.7	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
16K	Q5_K_M	23.6	0.31	24.9	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	Q5_K_M	23.6	0.63	25.2	能跑但紧	193–200	llama.cpp 单卡（降 KV 量化可再 25%）
64K	Q5_K_M	23.6	1.25	25.9	能跑但紧	149–200	llama.cpp 单卡（降 KV 量化可再 25%）
128K	Q5_K_M	23.6	2.5	27.1	能跑但紧	102–139	llama.cpp 单卡（降 KV 量化可再 25%）
256K	Q5_K_M	23.6	5	29.6	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	Q6_K	27.2	0.08	28.3	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
16K	Q6_K	27.2	0.31	28.5	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
32K	Q6_K	27.2	0.63	28.8	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K	Q6_K	27.2	1.25	29.5	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K	Q6_K	27.2	2.5	30.7	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K	Q6_K	27.2	5	33.2	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	Q8_0	35.2	0.08	36.3	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
16K	Q8_0	35.2	0.31	36.5	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
32K	Q8_0	35.2	0.63	36.8	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K	Q8_0	35.2	1.25	37.5	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K	Q8_0	35.2	2.5	38.7	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K	Q8_0	35.2	5	41.2	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	IQ4_XS	19.1	0.08	20.2	流畅	200–200	llama.cpp 单卡即可；多并发换 vLLM
16K	IQ4_XS	19.1	0.31	20.4	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	IQ4_XS	19.1	0.63	20.8	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
64K	IQ4_XS	19.1	1.25	21.4	能跑但紧	166–200	llama.cpp 单卡（降 KV 量化可再 25%）
128K	IQ4_XS	19.1	2.5	22.6	能跑但紧	110–149	llama.cpp 单卡（降 KV 量化可再 25%）
256K	IQ4_XS	19.1	5	25.1	能跑但紧	65–88	llama.cpp 单卡（降 KV 量化可再 25%）

KV 列按模型架构常数实算（全注意力层线性，40 层中 10 层需全量 KV）；粗算口径，误差 ±30%，标注超原生的行需要模型本身支持 rope 外推才真实可用。

实测锚点：这个组合已有的真机数字

以下 16 条来自站内他测/实测库（16 条本站实测），与上表公式推算分开呈现、不合并：口径照原文录，缺项明标。带「本站同口径推算」列的单流口径完整条目，才同时给出偏差。

分级	decode t/s	口径（量化/上下文/流）	框架	本站同口径推算	偏差	来源
本站实测	93.4	Q4_K_M / 526 / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	200–200	-53%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	90.19	Q4_K_M / 3.9970703125K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	200–200	-55%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	81.77	Q4_K_M / 16.0087890625K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	200–200	-59%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	72.53	Q4_K_M / 31.9853515625K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	200–200	-64%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	56.29	Q4_K_M / 63.935546875K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	200–200	-72%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	38.1	Q4_K_M / 127.958984375K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	161–200	-79%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	22.99	Q4_K_M / 255.8818359375K / 单流	llama.cpp llama-server llama.cpp b10635-fc35562ba；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144	108–146	-82%	本站实测：Ornith-1.5-35B-A3B Q4_K_M 上下文扫频（V100-32G，llama.cpp b10635，2026-11-08）
本站实测	103.71	Q4_K_M / 526 / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	200–200	-48%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	99.86	Q4_K_M / 3.9970703125K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	200–200	-50%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	89.23	Q4_K_M / 16.0078125K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	200–200	-55%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	78.6	Q4_K_M / 31.986328125K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	200–200	-61%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	60.61	Q4_K_M / 63.935546875K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	200–200	-70%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	41.15	Q4_K_M / 127.9599609375K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	161–200	-77%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	24.49	Q4_K_M / 255.8818359375K / 单流	llama.cpp llama-server（七档上下文扫频，/completion 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024	108–146	-81%	本站七档上下文扫频（Ornith-1.5-35B-A3B Q4_K_M，llama.cpp b12211，2026-11-09）
本站实测	94.82	Q4_K_M / 98 / 单流	llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） llama.cpp b10635-fc35562ba；-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024	200–200	-53%	本站六工位实测（ornith-1-5-35b-a3b-q4km，docs/评测规程v1_六工位.md，2026-11-09）
本站实测	100.46	Q4_K_M / 97 / 单流	llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875)；-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024	200–200	-50%	本站六工位实测（ornith-1-5-35b-a3b-q4km-b12211，llama.cpp b10635→b12211 版本对比·MoE 格，2026-11-09）

口径说明：并发吞吐与单流体验不是一个量纲，只有单流且口径完整的条目才参与偏差计算；投机解码条目缺接受率的一律不进对比（照展示）。注意：本站带宽公式在这张卡上系统性偏乐观（老架构 / 无 bf16 / 实际访存效率低于公式假设），偏差 ≥40% 时以实测为准、公式仅作装不装得下的容量判断。

投机解码

LLaMA 系可用外置 draft 小模型投机解码：llama.cpp 加 --model-draft，vLLM 用 --speculative-config；本模型无原生 MTP 层。

四大主流框架怎么跑这个组合

框架	方式	显存开销	量化支持	启动命令模板
llama.cpp	CLI / llama-server	约 0.3–1.0G	GGUF 全系（IQ2_XXS…Q8_0）	`llama-server -m <model>.gguf -ngl 99 -c 32768 --cache-type-k q8_0`
vLLM	服务化 / 多并发	约 1–2G	AWQ / GPTQ / FP8 / GGUF（新版）	`vllm serve <HF-repo> --max-model-len 32768 --gpu-memory-utilization 0.92`
Ollama	一键桌面	约 0.5–1.5G	Q4_K_M / Q8_0 等预设档	`ollama run qwen3:8b`
LM Studio	图形界面	约 1–2G	GGUF 主流档	`（界面加载 GGUF 即可，无命令行）`

量化档最全、显存最省；单流速度上限高，多并发弱。投机解码用 --model-draft 小 draft 模型。并发吞吐高、PagedAttention 省 KV；显存调度激进，小卡反而吃亏。投机用 --speculative-config。部署最简单（Windows/macOS/Linux），档位少、可控参数少；本质是 llama.cpp 封装。非技术用户首选；显存水位比同引擎 llama.cpp 略高（桌面 + JIT）。

来源链接（我们只整理，不抄数字）

模型官方仓库：huggingface.co/ornith-ai/Ornith-1.5-35B-A3B —— 权重、模型卡与 config.json 权威源（KV/层数等架构常数从这里核对）。
llama.cpp 性能与量化文档 —— 框架参数/量化定义权威源。
vLLM 文档 —— 显存调度/投机解码参数。
Qwen 官方仓库 —— 模型卡与 config.json 权威源。
实测投稿：本表 tok/s 全为公式推算。有真机输出（框架版本 + 量化 + 上下文 + `llama-bench` 曲线）的同学，可上传实测数据，核实后上表并署名。