故障排查 / 装不下
Ollama 上下文被限 4096 / OLLAMA_CONTEXT_LENGTH 不生效
本站未复现 改写 影响:Ollama >= 0.3.x · Windows / Linux / macOS
报错原文
context length capped at 4096
这段字符串可以直接粘到 站内搜索 或外部搜索引擎里找。
现象
Ollama 默认上下文卡在 4096,设了 OLLAMA_CONTEXT_LENGTH 不生效或一放大就 OOM。
原因
Ollama 对小于 24GB 显存卡默认限 4096;环境变量需在 ollama serve 前设置且重启服务才生效;Docker 环境下须在容器内设置;上下文翻倍≈显存占用翻倍。
按这个顺序处理
- export OLLAMA_CONTEXT_LENGTH=16384,然后在当前用户/服务里重启 ollama serve;
- Docker 环境下把变量传进容器(--env 或 compose 的 environment);
- 确认显存足够:上下文翻倍≈显存占用翻倍,显存不够设大也 OOM;
- API 调用可在每请求带 context 参数临时覆盖
怎么确认解决了
ollama 服务重启后上下文超过 4096,长文本能完整进入而非被截。
来源与可信度
条目性质依据公开事实与社区普遍报告,用本站自己的话重写(未搬运任何他人文章段落)
是否已在本站机器复现否——请把这条当线索而不是结论
- https://docs.ollama.com/context-length — Ollama 官方:OLLAMA_CONTEXT_LENGTH 配置与显存占用关系,对应条目处置
- https://github.com/ollama/ollama/issues/10829 — issue:Docker 内 OLLAMA_CONTEXT_LENGTH 不生效,对应'容器内设置'处置
- https://www.reddit.com/r/LocalLLaMA/comments/1nffm7r/psa_for_ollama_users_your_context_length_might_be/ — 社区 PSA:4096 上限需用环境变量突破,对应条目前两条
相关条目
刚装上好好的,聊十几轮就崩或开始忘事装不下 · 前几轮正常,越聊越慢,然后要么报错退出,要么模型开始『忘记』你最早说的话,或者答话重复。上下文(ctx)到底是什么?8K 能装多少字?上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。