RTX 3090 Ti 24G 跑 30B-A3 模型，能跑多少 token？

口径：Windows 水位（WDDM 桌面合成器实测占用 0.5–1.5GB，取 12% 余量）＋1G 框架开销；速度 = 带宽×效率÷每 token 读取字节数，粗算 ±30%，非实测。实测投稿见页尾。

量化 × 上下文 × 状态 × 估算速度

上下文	量化档	权重 G	KV G	总需求 G	状态	估算 tok/s（±30%）	框架建议
4K	Q8_0	31.9	0.38	33.3	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
16K	Q8_0	31.9	1.5	34.4	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
32K	Q8_0	31.9	3	35.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K 超原生·rope外推	Q8_0	31.9	6	38.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K 超原生·rope外推	Q8_0	31.9	12	44.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	Q8_0	31.9	24	56.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	Q6_K	24.6	0.38	26	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
16K	Q6_K	24.6	1.5	27.1	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
32K	Q6_K	24.6	3	28.6	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K 超原生·rope外推	Q6_K	24.6	6	31.6	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K 超原生·rope外推	Q6_K	24.6	12	37.6	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	Q6_K	24.6	24	49.6	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	Q5_K_M	21	0.38	22.4	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
16K	Q5_K_M	21	1.5	23.5	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
32K	Q5_K_M	21	3	25	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K 超原生·rope外推	Q5_K_M	21	6	28	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K 超原生·rope外推	Q5_K_M	21	12	34	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	Q5_K_M	21	24	46	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	Q4_K_M	18	0.38	19.4	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
16K	Q4_K_M	18	1.5	20.5	能跑但紧	159–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	Q4_K_M	18	3	22	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
64K 超原生·rope外推	Q4_K_M	18	6	25	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K 超原生·rope外推	Q4_K_M	18	12	31	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	Q4_K_M	18	24	43	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	IQ4_XS	15.9	0.38	17.3	能跑但紧	200–200	llama.cpp 单卡（降 KV 量化可再 25%）
16K	IQ4_XS	15.9	1.5	18.4	能跑但紧	168–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	IQ4_XS	15.9	3	19.9	能跑但紧	108–147	llama.cpp 单卡（降 KV 量化可再 25%）
64K 超原生·rope外推	IQ4_XS	15.9	6	22.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
128K 超原生·rope外推	IQ4_XS	15.9	12	28.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	IQ4_XS	15.9	24	40.9	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	IQ3_K	13.1	0.38	14.5	流畅	200–200	llama.cpp 单卡即可；多并发换 vLLM
16K	IQ3_K	13.1	1.5	15.6	能跑但紧	183–200	llama.cpp 单卡（降 KV 量化可再 25%）
32K	IQ3_K	13.1	3	17.1	能跑但紧	114–154	llama.cpp 单卡（降 KV 量化可再 25%）
64K 超原生·rope外推	IQ3_K	13.1	6	20.1	能跑但紧	65–87	llama.cpp 单卡（降 KV 量化可再 25%）
128K 超原生·rope外推	IQ3_K	13.1	12	26.1	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	IQ3_K	13.1	24	38.1	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
4K	IQ3_XXS	11.3	0.38	12.7	流畅	200–200	llama.cpp 单卡即可；多并发换 vLLM
16K	IQ3_XXS	11.3	1.5	13.8	流畅	193–200	llama.cpp 单卡即可；多并发换 vLLM
32K	IQ3_XXS	11.3	3	15.3	能跑但紧	118–159	llama.cpp 单卡（降 KV 量化可再 25%）
64K 超原生·rope外推	IQ3_XXS	11.3	6	18.3	能跑但紧	66–89	llama.cpp 单卡（降 KV 量化可再 25%）
128K 超原生·rope外推	IQ3_XXS	11.3	12	24.3	装不下	—	装不下：换低档量化 / 卸载层 / 双卡
256K 超原生·rope外推	IQ3_XXS	11.3	24	36.3	装不下	—	装不下：换低档量化 / 卸载层 / 双卡

KV 列按模型架构常数实算（全注意力层线性，48 层中 48 层需全量 KV）；粗算口径，误差 ±30%，标注超原生的行需要模型本身支持 rope 外推才真实可用。

实测锚点：这个组合已有的真机数字

以下 1 条来自站内他测/实测库（0 条本站实测），与上表公式推算分开呈现、不合并：口径照原文录，缺项明标。带「本站同口径推算」列的单流口径完整条目，才同时给出偏差。

分级	decode t/s	口径（量化/上下文/流）	框架	本站同口径推算	偏差	来源
口径不全·不进对比缺：KV 精度	166.9	Q4_K / 4K / 单流	llama.cpp（CUDA 后端）未报（Hardware Corner 页面未标构建号）	—	—	RTX 3090 Ti Local LLM Benchmarks, Context Scaling & Supported Models 2026

口径说明：并发吞吐与单流体验不是一个量纲，只有单流且口径完整的条目才参与偏差计算；投机解码条目缺接受率的一律不进对比（照展示）。

投机解码

LLaMA 系可用外置 draft 小模型投机解码：llama.cpp 加 --model-draft，vLLM 用 --speculative-config；本模型无原生 MTP 层。

四大主流框架怎么跑这个组合

框架	方式	显存开销	量化支持	启动命令模板
llama.cpp	CLI / llama-server	约 0.3–1.0G	GGUF 全系（IQ2_XXS…Q8_0）	`llama-server -m <model>.gguf -ngl 99 -c 32768 --cache-type-k q8_0`
vLLM	服务化 / 多并发	约 1–2G	AWQ / GPTQ / FP8 / GGUF（新版）	`vllm serve <HF-repo> --max-model-len 32768 --gpu-memory-utilization 0.92`
Ollama	一键桌面	约 0.5–1.5G	Q4_K_M / Q8_0 等预设档	`ollama run qwen3:8b`
LM Studio	图形界面	约 1–2G	GGUF 主流档	`（界面加载 GGUF 即可，无命令行）`

量化档最全、显存最省；单流速度上限高，多并发弱。投机解码用 --model-draft 小 draft 模型。并发吞吐高、PagedAttention 省 KV；显存调度激进，小卡反而吃亏。投机用 --speculative-config。部署最简单（Windows/macOS/Linux），档位少、可控参数少；本质是 llama.cpp 封装。非技术用户首选；显存水位比同引擎 llama.cpp 略高（桌面 + JIT）。

来源链接（我们只整理，不抄数字）

模型官方仓库：huggingface.co/Qwen/Qwen3-30B-A3B —— 权重、模型卡与 config.json 权威源（KV/层数等架构常数从这里核对）。
llama.cpp 性能与量化文档 —— 框架参数/量化定义权威源。
vLLM 文档 —— 显存调度/投机解码参数。
Qwen 官方仓库 —— 模型卡与 config.json 权威源。
实测投稿：本表 tok/s 全为公式推算。有真机输出（框架版本 + 量化 + 上下文 + `llama-bench` 曲线）的同学，可上传实测数据，核实后上表并署名。