RTX 3060 12G 跑 27B 模型，能跑多少 token？

口径：Windows 水位（WDDM 桌面合成器实测占用 0.5–1.5GB，取 12% 余量）＋1G 框架开销；速度 = 带宽×效率÷每 token 读取字节数，粗算 ±30%，非实测。实测投稿见页尾。

量化 × 上下文 × 状态 × 估算速度

KV 列按模型架构常数实算（全注意力层线性，64 层中 16 层需全量 KV）；粗算口径，误差 ±30%，标注 超原生 的行需要模型本身支持 rope 外推才真实可用。

实测锚点：这个组合已有的真机数字

以下 4 条来自站内他测/实测库（0 条本站实测），与上表公式推算分开呈现、不合并：口径照原文录，缺项明标。带「本站同口径推算」列的单流口径完整条目，才同时给出偏差。

口径说明：并发吞吐与单流体验不是一个量纲，只有单流且口径完整的条目才参与偏差计算；投机解码条目缺接受率的一律不进对比（照展示）。注意：本站带宽公式在这张卡上系统性偏乐观（老架构 / 无 bf16 / 实际访存效率低于公式假设），偏差 ≥40% 时以实测为准、公式仅作装不装得下的容量判断。

投机解码

本模型为 Qwen3.5 架构：GGUF 元数据含 nextn 预测层（nextn_predict_layers=1），投机解码属原生特性，具体启用看 llama.cpp/vLLM 版本更新日志。

四大主流框架怎么跑这个组合

量化档最全、显存最省；单流速度上限高，多并发弱。投机解码用 --model-draft 小 draft 模型。 并发吞吐高、PagedAttention 省 KV；显存调度激进，小卡反而吃亏。投机用 --speculative-config。 部署最简单（Windows/macOS/Linux），档位少、可控参数少；本质是 llama.cpp 封装。 非技术用户首选；显存水位比同引擎 llama.cpp 略高（桌面 + JIT）。

来源链接（我们只整理，不抄数字）

• 模型官方仓库：huggingface.co/Qwen/Qwen3.8-27B —— 权重、模型卡与 config.json 权威源（KV/层数等架构常数从这里核对）。
该模型 GGUF 元数据实测：64 层、KV 头 4、head_dim 256、原生上下文 256K。本地实文件佐证：Qwen3.8-27B-UD-IQ3_S.gguf 11.5GB（IQ3_S），mmproj Q8_0 约 600MB（CLIP 768 视觉塔，27 层）。
• llama.cpp 性能与量化文档 —— 框架参数/量化定义权威源。
• vLLM 文档 —— 显存调度/投机解码参数。
• Qwen 官方仓库 —— 模型卡与 config.json 权威源。
• 实测投稿：本表 tok/s 全为公式推算。有真机输出（框架版本 + 量化 + 上下文 + `llama-bench` 曲线）的同学，可上传实测数据，核实后上表并署名。