常见问题 / 装与跑

模型文件去哪下载?GGUF、safetensors、MLX 有什么区别?

本地跑选 GGUF(llama.cpp/Ollama/LM Studio 通用);训练/微调选 safetensors;Mac 选 MLX。国内网络不畅用镜像站,但一定要核对文件大小和哈希。

格式和框架是绑定的:GGUF 是为 CPU/GPU 混合推理设计的单文件格式,量化档就写在文件名里(比如 xxx-Q4_K_M.gguf),是本地跑唯一需要的格式。safetensors 是分片的原始精度权重,动辄上百 GB,要自己转量化。MLX 是 Apple 的格式。

常见下载位置:Hugging Face(官方模型仓库 + 大量第三方量化版)、ModelScope 魔搭(国内访问快)、以及量化作者的个人仓库。同一个模型会有很多人做的不同量化版本,选哪个不是玄学:优先选量化说明里附了困惑度(perplexity)对比的那份。

务必核对两件事:① 文件大小是否和页面标的一致(下载被截断是『加载时报错』和『输出乱码』的常见原因)② 有条件就校验 SHA256。别从二手网盘链接拿权重,改名和篡改都发现不了。

国内镜像能提速,但要注意镜像仓库的版本可能滞后,尤其是刚更新的模型;本站数据里的架构常数全部取自 config.json,如果你下的镜像里 config 和官方不一致,模型的 KV 常数就得重新核。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

从 0 到跑通第一个模型,具体要走几步?五步:确认驱动 → 装一个框架 → 下载一个 GGUF → 用命令行起服务 → 打开网页界面聊天。卡住的位置 90% 在第二、三步。

延伸阅读

/troubleshoot/gguf-truncated/→

装与跑 · 其他条目

从 0 到跑通第一个模型,具体要走几步?llama.cpp、Ollama、LM Studio、vLLM 我该用哪个?要占多少硬盘?要不要 SSD?Windows 还是 Linux?差别有多大?多卡到底怎么拆层?加第二张卡值不值?首次部署要不要上 Docker?
← 从 0 到跑通第一个模型,具体要走几步?回到全部 40 条llama.cpp、Ollama、LM Studio、vLLM 我该用哪个? →
这条内容有帮助吗?