Strata (strataforge) huzjie/strataforge

能干什么

把「显存装不下的大 MoE」拆成三层放：GPU 只放注意力 + 路由 + 最热的约 4000 个专家，RAM 放全量专家并由 CPU 就地算冷尾，SSD 放 n-gram 查找表；再叠一个小 MTP 头的投机解码做批量验证（项目自述端到端 1.6–1.8 倍加速、输出逐字节不变）。配套 Q2_0 / IQ2_XS / IQ3_XXS / IQ3_S / Coder 五档低比特量化驱动内存预算与速度估算。**必须说清的性质：这是一个零依赖纯 Python 的「参考实现」，配的是一个确定性可训练 mock 后端，README 明说「先把策略跑通、验证、再对接真 ggml 内核」——它演示的是分层放置策略与量化经济学，不是可直接喂权重的生产引擎。** 项目自述目标：12GB 显存 + 64GB 内存的游戏机跑 Qwen3.8-Flash-Next（125B、24,576 专家稀疏 MoE）90+ token/s。

怎么干

• pip install -e .（零依赖，纯 Python，托管 Python 3.13 也能跑）
• python -m strataforge doctor 自检：5 后端 + 一次生成 + 内存预算核对
• python -m strataforge bench 出吞吐 / prefill / 投机 / 命中率 / 内存（mock 模型）
• python -m strataforge serve --port 8080 起 OpenAI + Anthropic 兼容服务
• 对照 recipes/ 的硬件配方（gpu_12gb / low_ram / multi_gpu 等）选专家分层与量化档

本站怎么用

本站「显存装不下大 MoE」这条链的新入口：Q4 装不下 → 降 Q3（站长 11-07 口径）→ 还不够 → 用内存/SSD 分层把冷专家 offload 出去，而不是硬堆显存。Strata 正是「MoE 装不下就用内存跑（慢一点也跑）」路线的可读参考实现，本站拿它的分层策略与五档量化经济学当讲解素材（标注项目自述），**不把它列成「装完就能跑 125B 的生产工具」**——它是策略样板，真实部署仍需 llama.cpp 等真实内核。

显存口径

本站容量表算的是「权重整体驻留单卡显存」，Strata 的口径不同：GPU 只驻注意力 + 路由 + 热专家，冷专家走 RAM/SSD，所以「12GB 显存跑 125B」在它的分层模型里成立、在纯显存公式里不成立。五档位宽（2.0 / 2.3 / 3.0 / 3.4 / 3.2 bpw）与本站位宽表同源但属 mock 估算值，对账以真实 ggml 产物为准；其 94 / 79 / 62 / 53 / 55 tok/s 为 mock 模型自述，不是任何真实硬件的实测。