Llama 3.1 70B Instruct旧代际

架构常数（已核实）

来源：meta-llama/Llama-3.1-70B-Instruct / config.json（抓取于 2026-11-02）。KV 公式：2 × 层数 × KV头数 × 头维 × 精度字节 × token（滑窗层按 — 封顶）。

上下文档位（按 IQ3_XXS）

* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 200 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。

估算速度（IQ3_XXS · 8K）

推算 本站暂无这一模型的实测记录。

同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。 总需显存 = 29.9G，对比各卡可用水位。

实测数据区

llama.cpp

# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download meta-llama/Llama-3.1-70B-Instruct config.json
#   GGUF 量化版通常在第三方转换仓库，搜「meta-llama/Llama-3.1-70B-Instruct GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m LLAMA-3.1-70B-INSTRUCT-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080

Ollama

ollama run llama3.1:70b

标签按 Ollama 库命名习惯整理，若拉取失败请 `ollama pull` 搜同名前缀；Ollama 会自行决定量化档与显存分配。

vLLM

vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve meta-llama/Llama-3.1-70B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「meta-llama/Llama-3.1-70B-Instruct」→ 选 IQ3_XXS 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大