RTX 4090 24G 跑 36B-A3 模型，能跑多少 token？

口径：Windows 水位（WDDM 桌面合成器实测占用 0.5–1.5GB，取 12% 余量）＋1G 框架开销；速度 = 带宽×效率÷每 token 读取字节数，粗算 ±30%，非实测。实测投稿见页尾。

量化 × 上下文 × 状态 × 估算速度

KV 列按模型架构常数实算（全注意力层线性，40 层中 10 层需全量 KV）；粗算口径，误差 ±30%，标注 超原生 的行需要模型本身支持 rope 外推才真实可用。

实测锚点：这个组合已有的真机数字

本组合暂无真机记录。上表全是公式推算——不是我们藏着实测，是确实还没有。有这个组合真机输出的同学，上传实测数据，核实后上表并署名。

投机解码

LLaMA 系可用外置 draft 小模型投机解码：llama.cpp 加 --model-draft，vLLM 用 --speculative-config；本模型无原生 MTP 层。

四大主流框架怎么跑这个组合

量化档最全、显存最省；单流速度上限高，多并发弱。投机解码用 --model-draft 小 draft 模型。 并发吞吐高、PagedAttention 省 KV；显存调度激进，小卡反而吃亏。投机用 --speculative-config。 部署最简单（Windows/macOS/Linux），档位少、可控参数少；本质是 llama.cpp 封装。 非技术用户首选；显存水位比同引擎 llama.cpp 略高（桌面 + JIT）。

来源链接（我们只整理，不抄数字）

• 模型官方仓库：huggingface.co/ornith-ai/Ornith-1.5-35B-A3B —— 权重、模型卡与 config.json 权威源（KV/层数等架构常数从这里核对）。
该模型 GGUF 元数据实测：40 层、KV 头 2、head_dim 256、原生上下文 256K。
• llama.cpp 性能与量化文档 —— 框架参数/量化定义权威源。
• vLLM 文档 —— 显存调度/投机解码参数。
• Qwen 官方仓库 —— 模型卡与 config.json 权威源。
• 实测投稿：本表 tok/s 全为公式推算。有真机输出（框架版本 + 量化 + 上下文 + `llama-bench` 曲线）的同学，可上传实测数据，核实后上表并署名。