故障排查 / 越用越慢
刚起来很快,跑久了越来越慢
本站未复现 改写 影响:llama.cpp / Ollama 全版本 · Windows / Linux
现象
同一模型同一参数,第一次跑 30 tok/s,两小时后掉到 10 以下;或者跨天不用后重启才恢复。
原因
四类原因:① 上下文真的涨满了(每轮都在增加 KV,decode 要读的 KV 变多)② 散热到温度墙,GPU 降频 ③ 内存/显存碎片与框架泄漏,长时间驻留后分配效率下降 ④ 其他程序陆续占了显存。
按这个顺序处理
- 先看是不是①:开新会话再测一次速度,如果立刻回到正常,那就是历史累积的 KV,属于物理现象不是故障;处理办法见 context-full-crash。
- 查频率与温度:nvidia-smi --query-gpu=name,memory.used,temperature.gpu,clocks.sm --format=csv -l 2,跑一段时间后对照 clocks 是否下降。
- 长时间任务定时重启服务,这是当前本地推理工具链下最省事的做法(别指望框架永远不泄漏)。
- 确保散热风道:笔记本和小型主机最容易撞温度墙。
- 看显存占用是否随时间上涨(占用上涨 + 速度下降 = 泄漏或缓存堆积)。
怎么确认解决了
重启服务并开新会话后速度恢复;如果只有重启才恢复,请在反馈里告诉我们是哪个框架哪个版本,这是本站最想收集的实测线索之一。
来源与可信度
条目性质依据公开事实与社区普遍报告,用本站自己的话重写(未搬运任何他人文章段落)
是否已在本站机器复现否——请把这条当线索而不是结论
- https://www.linkedin.com/pulse/why-your-gpu-gets-slower-during-training-even-though-nothing-lakhera-wblsc — 文章:A100/3090/4090 长时运行热节流降频,对应'越用越慢=热节流'判断
- https://www.mdpi.com/2079-9292/9/12/2106 — 论文:热节流降低吞吐,支撑'长跑降频'的物理机制