LlamaFactory hiyouga/LlamaFactory

能干什么

覆盖 100+ LLM 与 VLM 的统一高效微调框架（ACL 2024 论文）：全参 / LoRA / QLoRA / 预训练 / 对齐（DPO 等）一套配置走完，带 WebUI 可视操作，中文社区微调开源模型的最流行选择之一。模型模板（chat template）覆盖主流开源模型，数据格式统一。

怎么干

• git clone 后按 README 装依赖（PyTorch / CUDA）
• 起 WebUI（python src/llamafactory/webui.py），或写 YAML 配置训练
• 选模板 + 量化档（QLoRA 走 4bit 底座）+ 训练方式
• 训练完在 WebUI 里评测（内置常用评测集）

本站怎么用

读者「自家卡微调垂直小模型」的中文社区主路径：LlamaFactory + QLoRA。链路接法同 unsloth——先按本站 /capacity/ 估算部署显存，再训练，自测数字投 /rank/#upload。

显存口径

微调显存含激活值与优化器状态，比推理高；部署阶段回到容量表口径。