故障排查
按报错原文搜最快。每条固定八段:现象 / 报错 / 原因 / 处置顺序 / 验证方法 / 影响范围 / 来源 / 相关条目。
请先知道这一点:本站已有一台 V100-PCIE-32GB 测试机,但下面 24 条标「未复现」的条目还没在它上面逐条复现过。 所以它们的全部证据是「公开的错误信息 + 本站的容量与速度公式推导」,按本站口径应视为声称级, 不是实测级。哪一条你在自己的机器上验证过有效或无效,请告诉我们并附链接,我们把它升级成实测并署名。 这里的处置办法来自公开来源(GitHub 仓库、官方文档、社区报告)的改写与汇总,仅供排错参考;按你实际情况动手前请自行判断,硬件与驱动操作有风险。
装不下(5 条)
CUDA out of memory / ggml: failed to allocate加载模型时报显存不足,或者加载成功但第一次生成时崩;nvidia-smi 显示显存已经顶到接近总量。有报错原文 未复现 Windows / Linux刚装上好好的,聊十几轮就崩或开始忘事前几轮正常,越聊越慢,然后要么报错退出,要么模型开始『忘记』你最早说的话,或者答话重复。有报错原文 未复现 Windows / Linux / macOS参数调到最低还是装不下:权重本身就超容量换最小量化、降上下文、关所有程序,还是加载失败或者只跑 1–2 tok/s。无固定报错 未复现 Windows / Linux微调训练 CUDA out of memory(QLoRA/LoRA 显存爆)权重本身不大,用 LoRA/QLoRA 微调跑几个 step 就 OOM。有报错原文 未复现 Windows / LinuxOllama 上下文被限 4096 / OLLAMA_CONTEXT_LENGTH 不生效Ollama 默认上下文卡在 4096,设了 OLLAMA_CONTEXT_LENGTH 不生效或一放大就 OOM。有报错原文 未复现 Windows / Linux / macOS
起不来(3 条)
no CUDA devices / unrecognized error code / hipErrorNotFound二进制直接不认显卡,日志里一句 no devices 或者满屏 unrecognized error code;CPU 后端能跑但速度是个位数。有报错原文 未复现 Windows / LinuxWindows 双击 exe 一闪就没(无任何报错)命令行窗口闪一下就关闭,或者双击毫无反应,任务管理器里也看不到进程。无固定报错 未复现 Windows加载时报大小对不上 / missing tensor / 输出乱码模型加载失败,或者勉强加载成功但输出完全不通顺的乱码、乱吐训练数据。有报错原文 未复现 Windows / Linux / macOS
速度不对(4 条)
速度只有估算的一半:层没有全部进显存本站容量表推算 30 tok/s,实际只有 8–15;显存看起来没满;模型能正常回答。无固定报错 未复现 Windows / Linux按回车主卡很久,但开始吐字之后就正常第一次提问要等 10–60 秒才出第一个字,之后 tok/s 正常;长文档提问等待更夸张。无固定报错 未复现 Windows / Linux / macOSMoE 模型快得离谱或慢得离谱:你在用总参数量估速度30B-A3B 跑出 100+ tok/s 让你怀疑测速坏了;或者 235B-A22B 只跑到 20 tok/s 让你以为配置出错。无固定报错 未复现 Windows / Linux / macOS装下了但只有 1–3 tok/s:offload 不是慢一点,是慢一个数量级模型完整加载成功、能正常回答,但每秒只出 1–3 个字,感觉像卡住。无固定报错 未复现 Windows / Linux
输出质量怪(3 条)
输出乱码、复读、突然说另一种语言模型输出符号乱码、同一段话反复循环、把训练里的其他内容吐出来,或者中文进去英文/日文出来。无固定报错 未复现 Windows / Linux / macOS上下文一长就开始答非所问短对话很聪明,塞进长文档后开始忽略你的问题、只复述开头结尾、或者把文档中间的信息当成没有。无固定报错 未复现 Windows / Linux / macOS模型“回”了但内容是空的 / 只蹦出几个字就断(思考模型)调用没报错、状态码正常,但返回的正文是空的,或只蹦出「Based」这种一两个字就断了。尤其发生在思考/推理型模型上(Qwen3 的 -thinking 变体、DeepSeek-R1 类、任何会先写思考块再答的模型):reasoning / thinking / reasoning_content 字段里一大段思考,正文却是空的。重试时好时坏——短问题正常、一换长一点的题就空。有报错原文 未复现 Windows / Linux / macOS
越用越慢(1 条)
框架环境(8 条)
nvidia-smi 显示已经占了 1–2GB,模型装不下明明什么都没做,显存已经被用掉 1–2GB;或者关掉浏览器/游戏后仍然没释放干净。无固定报错 未复现 Windows / Linux同一个模型在 Ollama 和 llama.cpp 上速度/显存差很多Ollama 跑得比手动 llama.cpp 慢一大截,或者显存占用更高;同一个 GGUF 两边结论不一样。无固定报错 未复现 Windows / Linux / macOS魔改卡(改大显存/数据卡)驱动更新后识别异常改过显存的卡原本正常,官方驱动升级后变成基础显示适配器、掉驱动、或者显存识别回原容量;也可能间歇性崩溃并伴随显存报错。有报错原文 未复现 Windows / LinuxLoRA/微调 Loss 不降或发散微调几十步 loss 不降反而涨,或模型输出几乎不变。无固定报错 未复现 Windows / Linux设了 CUDA_VISIBLE_DEVICES 却没生效 / 指定卡不工作机器有多张卡,指定了设备号却报 no devices,或跑到了错的卡。有报错原文 未复现 Windows / Linux模型下载慢到放弃 / Connection timed out / 下到一半就断从 Hugging Face / GitHub / Ollama 拉模型时卡住、跑到百分之几十就断线,或者全程只有几 KB/s 几乎不动;换个多线程下载器又报 Connection reset。有报错原文 未复现 Windows / Linux / macOS手机/另一台电脑访问家里跑的模型:连接被拒服务在自己那台电脑上跑得好好的,同一局域网的手机/另一台电脑却连不上;有人加了 --host 0.0.0.0 还是连不上。有报错原文 未复现 Windows / Linux / macOSollama run 同一个 latest,今天下载的和昨天不一样同一个 ollama run qwen:latest,昨天和今天加载的模型感觉不一样:体积变了、速度变了、或者输出质量变了。你以为模型坏了或更新出 bug,其实是 Ollama hub 默认量化档会变。无固定报错 未复现 Windows / Linux / macOS
没有匹配的条目。换个关键词,或者把你看到的报错原文发给我们(提交途径),我们补一条。