Gemma 3 12B IT旧代际

Gemma · 12B 参数 · dense · 滑窗混合（每 6 层 1 层全注意力） · 开源 2025-03 · 16G 主力档 / 多模态 / 128K / head_dim 256 / HF 权重需申请授权（gated=manual）

关于 Gemma 3 12B IT 的完整介绍（点开看；上面就是结论表）

48 层里只有 8 层要全量 KV，另外 40 层锁死在 1024 token——所以 32K 上下文只花 2.35G，线性猜会得到 4.5G。16G 卡跑 Q8_0 权重 12.75G，剩不下多少，实际推荐 Q6_K/Q5_K_M。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

实测速度：什么卡、什么量化、多少 token

这一模型还没有实测条目。
上传实测数据

每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。

速查：什么卡、跑多少 token

AMD R9 295X2 8G装不下（8G · 推算）

NVIDIA RTX 5070 12G装不下（12G · 推算）

AMD Radeon VII 16G62–88 t/s（16G · 推算）

NVIDIA RTX 4090 24G61–87 t/s（24G · 推算）

NVIDIA RTX 5090 32G109–155 t/s（32G · 推算）

NVIDIA RTX PRO 5000 Blackwell 48G（工作站）82–116 t/s（48G · 推算）

推算值按 Q6_K、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。

架构常数（已核实）

层数48

KV 头数8

每头维度256

需全量 KV 的层8 / 48

滑窗长度1024

原生上下文上限128K

KV 每 4K（FP16）0.563 G

KV 每 1K token0.06 G

来源：google/gemma-3-12b-it / config.json（抓取于 2026-11-02）。KV 公式：2 × 层数 × KV头数 × 头维 × 精度字节 × token（滑窗层按 1024 封顶）。

上下文档位（按 Q6_K）

上下文	KV	总需显存	16G 水位内
4K	0.56 G	11.4 G	够
8K	0.81 G	11.7 G	够
32K	2.31 G	13.2 G	够
128K	8.31 G	19.2 G	超

* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

显存	推荐量化	8K 总需	最多可开
4G	装不下	—	—
6G	装不下	—	—
8G	IQ3_XXS（估算）	6.3G	18944（约 19K）
10G	IQ4_XS（估算）	8.2G	17920（约 18K）
11G	Q4_K_M（估算）	9G	19456（约 19K）
12G	Q5_K_M（估算）	10.2G	14336（约 14K）
16G	Q6_K（估算）	11.7G	48128（约 47K）
20G	Q8_0（估算）	14.6G	57856（约 57K）
22G	Q8_0（估算）	14.6G	87040（约 85K）
24G	Q8_0（估算）	14.6G	115200（约 113K）
32G	Q8_0（估算）	14.6G	131072（约 128K）
48G	Q8_0（估算）	14.6G	131072（约 128K）
64G	Q8_0（估算）	14.6G	131072（约 128K）
96G	Q8_0（估算）	14.6G	131072（约 128K）
128G	Q8_0（估算）	14.6G	131072（约 128K）
256G	Q8_0（估算）	14.6G	131072（约 128K）
512G	Q8_0（估算）	14.6G	131072（约 128K）

「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 300 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。

估算速度（Q6_K · 8K）

推算本站暂无这一模型的实测记录。

显卡	状态	估算 tok/s
NVIDIA RTX 5090 32G	流畅	109–155
NVIDIA RTX 5090 D 32G	流畅	109–155
NVIDIA CMP 170HX 64G（矿卡魔改）	流畅	91–129
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）	流畅	82–116
AMD Instinct MI100 32G（老数据中心卡）	流畅	75–106
AMD Instinct MI50 32G（数据卡）	流畅	62–88
AMD Radeon VII 16G	能跑但紧	62–88
NVIDIA RTX 4090 24G	流畅	61–87
NVIDIA RTX 3090 Ti 24G	流畅	61–87

同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。总需显存 = 11.7G，对比各卡可用水位。

实测数据区

暂无实测数据。
上传实测数据

推理框架命令

llama.cpp

# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download google/gemma-3-12b-it config.json
#   GGUF 量化版通常在第三方转换仓库，搜「google/gemma-3-12b-it GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m GEMMA-3-12B-IT-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# 该模型带滑窗层，长上下文比同级便宜，值得把 -c 拉高试试

Ollama

ollama run gemma3:12b

标签按 Ollama 库命名习惯整理，若拉取失败请 `ollama pull` 搜同名前缀；Ollama 会自行决定量化档与显存分配。

vLLM

vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve google/gemma-3-12b-it --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「google/gemma-3-12b-it」→ 选 Q6_K 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大

仓库名 google/gemma-3-12b-it 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。

优化要点

Q4_K_M 权重 7.2G（估算）、Q6_K 9.8G（估算）、Q8_0 12.8G（估算）：带「估算」的是公式值（官方仓库没核到这档），不带的核过真实文件；先在容量表里确认 8K 上下文还剩多少，再决定档位
上下文从 8K 提到 32K，KV 增加约 1.5G（本模型 48 层 / 8 KV头 / 头维 256）
模型原生上下文上限是 128K，把 -c 设得更高属于超纲使用，质量不保证
想要更长上下文：-ctk q8_0 -ctv q8_0 让 KV 减半，几乎不掉质量
稠密模型每个 token 都要读全部权重，所以速度上限就是带宽 ÷ 权重大小
本站对单流解码设了经验上限 200–200 tok/s（依带宽分档），超出上限的数字是公式失真而不是你的卡快