Strata Niko1221/Strata

能干什么

消费卡跑超大 MoE 的「显存分层」引擎：注意力 + 路由 + 最热专家放显卡，冷专家放内存由 CPU 就地算，再大的走 SSD，三层叠起来把 125B 的 Qwen3.8-Flash-Next（每 token 激活约 6B 的稀疏 MoE）装进 12GB 显存的机器。它不是 llama.cpp 的替代品，是 MoE 大模型的专门部署路径——README 附的项目自述实测（RTX 5070 12G + 64G 内存，ISTA-DAS Q2_0 档）：短上下文对话约 94 tok/s、128K 上下文 76 tok/s、32K prompt 预读 2650 tok/s，速度不慢。也跑 DeepSeekV4.1-Flash-1017（12G 卡 + 46G+ 内存 + 约 260G 硬盘）与 Qwen3.6-35B-A3B。带桌面 App（Win/Linux/Mac 各一个安装包）和终端两条路，`strata launch` 交互式选模型、`--plan` 先打印计划不动手。支持 NVIDIA 20/30/40/50 系、AMD Radeon、Intel Arc、Apple Silicon、Ryzen AI Max；可选图片输入（24G 以下卡走 CPU 看图、不吃显存）。`strata connect` 把它接到 Claude Code / Codex CLI / OpenCode 等 Agent 工具（走 OpenAI / Anthropic 兼容 API）。

怎么干

• Windows：irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex；Linux / Mac 用对应 install.sh
• 装完跑 strata launch，向导让你按内存选量化档（Q2_0 最快 / IQ3_S 质量最好），--plan 先预览计划不下载
• 125B 的门槛看内存不看显存：Q2_0 需约 37.6G RAM+VRAM（项目自述），64G 内存的机器全档都装得下
• 需要本地 API 就常驻 strata launch 起的 OpenAI / Anthropic 兼容服务，或装桌面 App 直接聊天
• 接 Agent 工具：strata connect 打印 Claude Code / Codex / OpenCode 等的配置步骤
• DeepSeekV4.1-Flash 路线：12G 卡 + 46G+ 内存 + 257G+ 硬盘，strata launch --family deepseek41

本站怎么用

本站读者最常问的「小卡能不能跑大模型」里，MoE 大模型这一支以前只能答「装不下」。Strata 把口径改了：显存不够时冷专家下放到内存 / 硬盘，12G 卡跑 125B 成立——但前提是把内存账也算上（本站容量表公式只算权重 + KV 单卡驻留，它的 RAM+VRAM+SSD 三层口径必须分开写，别混进容量表）。读者拿本站 /capacity/ 查到「单卡装不下」的 MoE 模型时，这条是下一步的官方入口。本站不实测（没有对应硬件），它 README 的 tok/s 全部按「项目自述」标注。

显存口径

与 /capacity/ 不同口径：本站容量表 = 权重 + KV + 1G 开销整体驻留单卡显存；Strata = GPU 只放注意力 + 路由 + 热专家，冷专家走 RAM / SSD，所以「12G 显存跑 125B」在它的分层模型里成立、在本站纯显存公式里不成立。两者并存不冲突，引用时各标各的口径。