llama.cpp ggml-org/llama.cpp

能干什么

用 C/C++ 实现的 LLM 推理引擎，不需要装 CUDA 工具链就能跑，支持 NVIDIA / AMD / Metal（Mac）/ CPU / Vulkan。GGUF 量化格式随它普及，成为本地模型权重的通用载体。核心组件：llama-cli 单次推理、llama-server 提供 OpenAI 兼容 API、llama-bench 跑速度基线，多卡用层切分跑大模型。市面上绝大多数「消费卡跑大模型」教程都以它为基础。

怎么干

• 编译或用发行版预编译二进制 / 包管理器安装
• 下载模型的 GGUF 量化权重（Q4_K_M 是常见首选取档）
• llama-server 起 OpenAI 兼容服务，llama-cli 做单次推理
• 多卡用层切分（--tensor-split 指定各卡分配的层）
• llama-bench 出速度基线——本站 /rank/#upload 投稿实测的标准格式

本站怎么用

本站容量表与单卡页的「框架命令」主要以它为默认路径写。读者问「16G 能不能跑 27B」时，先看本站 /capacity/ 的量化档与显存口径，再用它实际部署。投稿实测时框架字段写 llama.cpp（带版本号），口径才完整。

显存口径

权重显存口径与本站 /capacity/ 同源：权重 = 参数量 × 每参数字节（位宽表）÷ 8，另加 KV 与约 1G 框架开销。