常见问题 / 起步概念

站里说『显存不够硬盘来凑』,那个 n-gram 表 / Engram 表到底是什么?能真省显存吗?

那是模型里一整块哈希查表(n-gram / Engram 记忆),不是普通权重——查表不是矩阵乘法,可以整块卸到内存甚至 SSD,显存只装骨干。代价是查表走 PCIe 比显存慢,能跑但更慢,本站没测这套的速度。

先把两种 offload 分清,别混。站内讲的第一种是 MoE 专家 offload(见『内存大能不能跑大模型』那条):把不用的专家放内存,llama.cpp 里靠 --n-cpu-moe。本文讲的是另一种——模型里有一整块『哈希查表』(n-gram 记忆 / Engram 记忆),它查的是 n-gram 片段对应的一行参数,是查表不是矩阵乘法,所以可以整块卸到内存甚至 SSD,显存只留骨干。这是 2026 这一代新模型(Flash-Next、DeepSeek-V4.1-Flash)能比上代更省显存的关键。

站内有两条带这种表,数字都是从官方 config.json 核到的、不是估的:Qwen3.8-Flash-Next 带 51B 的 n-gram PLE 表(config:20M 词 × 2560 维 = 51.2B,恰好对上官方说的『125B 骨干 + 51B 表』);DeepSeek-V4.1-Flash 带 196.6B 的 Engram 表(config:2 张 384M × 256 维,恰好对上官方『552B 骨干 + 196.6B Engram』)。表是单独一块,和骨干分开装。

怎么省、代价是什么:Flash-Next 的 125B 骨干 Q4 还要约 75G,得是多卡;但那 51B 的表整块卸到内存/SSD 之后,显存压力降一大截——社区有 IQ2_XS 整包压到 68G、一张 3060 12G 配 16G 内存跑通 decode 22 tok/s 的记录(单源、本站未复现)。DeepSeek 那 196B Engram 同理可以 host offload,官方 vLLM recipe 就是 CPU 卸 Engram + routed experts 来跑,但它的 552B 骨干本身单卡装不下,是多机/共享主机门槛,不是一张卡的事。

『显存不够硬盘来凑』准确的意思是:把不必须常驻显存的那块表卸出去,能装下;但查表每一步都要走 PCIe/内存,比全在显存里慢——它是『装得下』的解,不是『跑得快』的解。本站目前没有这套 offload 的实测 tok/s,上面所有速度数字都是社区或官方自述口径,别当本站实测。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

我内存大(64G/128G),是不是就能跑大模型?能跑,但会很慢。内存带宽只有显存的 1/10 到 1/15,稠密模型 offload 之后普遍掉到 1–5 tok/s。大内存的正确用法是给 MoE 放专家。稠密模型和 MoE 有什么区别?为什么 30B-A3B 可能比 14B 还快?MoE 每次只激活一小部分参数,所以它『显存按总量算、速度按激活量算』。30B-A3B 每 token 只读约 3B 权重,能比 14B 稠密模型快 3 倍。

延伸阅读

模型详情:Qwen3.8-Flash-Next→模型详情:DeepSeek-V4.1-Flash→显存档位表→

起步概念 · 其他条目

能不能跑一个模型,到底只看显存吗?量化是什么?Q4_K_M、Q8_0、IQ3 这些名字什么意思?上下文(ctx)到底是什么?8K 能装多少字?KV cache 是什么?为什么上下文那么吃显存?tok/s 是多少才够用?我是不是需要很快?稠密模型和 MoE 有什么区别?为什么 30B-A3B 可能比 14B 还快?
← 都是 27B 的 Qwen3.8-27B、Terminal-RSI、AREX-2,我该下哪个?回到全部 40 条站里的数据多久更新一次?价格是什么时候的? →
这条内容有帮助吗?