Beam 1.0 501B
关于 Beam 1.0 501B 的完整介绍(点开看;上面就是结论表)
Reflection AI 2026-10-16 开源的首个模型(HF: reflection/Beam-1.0-501B-A23B,许可 **Apache 2.0**,BF16/FP8/NVFP4 三档 + DFlash2 推测解码 drafter)。501.3B 总 / 23.4B 激活,52 层(3 dense + 49 MoE)、256 专家激活 8、Gated GQA + 滑窗注意力,纯文本、主打 coding/reasoning/长程 Agent,1M ctx,知识截止 2026-06-30。权重 NVFP4 ~294G / FP8 ~503G / BF16 ~1TB,单卡装不下,门槛多机集群(官方 TP8/EP8 8×卡)。KV 已按 config 一手核到并建 arch_detail 精确化:52 层里 9 层全注意力 + 43 层滑窗(窗口 512)/ GQA 8KV / head_dim 128,复算 0.22G/4K(原保守近似 0.3G,config 抓到后转正,原值未逐层核)。收录理由:2026 窗口内新出现的美国一线实验室开放权重模型,读者会搜,给诚实答案页。
实测速度:什么卡、什么量化、多少 token
| 显卡 | 卡数 | 量化 | 上下文 | 框架 / 版本 | decode tok/s | prefill tok/s | 单流/并发 | 投机 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|
| 8×NVIDIA GB300 TP8(vLLM 官方 day-0,SpeedBench throughput_1k) | 8 卡(互联未报) | NVFP4 | 1K | vLLM · 版本未报 | 708 | 未报 | 单流 | 开(接受率 未报) | 口径不全·不进对比 缺 4 项 | Serving Reflection Beam on vLLM from Day 0(vLLM 博客) vLLM Team · 2026-10-16 |
每行是一次真实测量的完整口径:哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来,缺项的行不参与对比与偏差计算。本站实测行没有外链,但日志路径就是原始数据所在。 想看同一张卡跑别的模型,从这个表的显卡名点进那张卡的页面。
速查:什么卡、跑多少 token
推算值按 Q4_K_M、8K 上下文、单流;真实测量看下面的实测速度表。没有实测的模型这里只有推算,本站不把推算写成实测。
架构常数(已核实)
来源:reflection/Beam-1.0-501B-A23B / config.json(抓取于 2026-11-08)。KV 公式:2 × 层数 × KV头数 × 头维 × 精度字节 × token(滑窗层按 512 封顶)。
上下文档位(按 Q4_K_M)
| 上下文 | KV | 总需显存 | 16G 水位内 |
|---|---|---|---|
| 4K | 0.22 G | 301.8 G | 超 |
| 8K | 0.37 G | 302 G | 超 |
| 32K | 1.21 G | 302.8 G | 超 |
| 128K | 4.58 G | 306.2 G | 超 |
* 含 1G 框架开销;可用水位按 Windows 口径 88% = 14.1G。
各显存档位能开多大
| 显存 | 推荐量化 | 8K 总需 | 最多可开 |
|---|---|---|---|
| 4G | 装不下 | — | — |
| 6G | 装不下 | — | — |
| 8G | 装不下 | — | — |
| 10G | 装不下 | — | — |
| 11G | 装不下 | — | — |
| 12G | 装不下 | — | — |
| 16G | 装不下 | — | — |
| 20G | 装不下 | — | — |
| 22G | 装不下 | — | — |
| 24G | 装不下 | — | — |
| 32G | 装不下 | — | — |
| 48G | 装不下 | — | — |
| 64G | 装不下 | — | — |
| 96G | 装不下 | — | — |
| 128G | 装不下 | — | — |
| 256G | 装不下 | — | — |
| 512G | Q6_K(估算) | 412.2G | 1048576(约 1024K) |
「最多可开」已扣掉权重与 1G 开销;标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token(估算值,未逐项核实)。量化档后带「(估算)」= 官方仓库没核到这档、按公式算的权重体积(方向保守偏高);不带 = 核过官方仓库真实文件体积。
估算速度(Q4_K_M · 8K)
推算 本站暂无这一模型的实测记录。
| 显卡 | 状态 | 估算 tok/s |
|---|---|---|
| NVIDIA RTX 5090 32G | 装不下 | 需 offload ≈2–3 |
| NVIDIA RTX 5090 D 32G | 装不下 | 需 offload ≈2–3 |
| NVIDIA CMP 170HX 64G(矿卡魔改) | 装不下 | 需 offload ≈2–3 |
| NVIDIA RTX PRO 5000 Blackwell 48G(工作站) | 装不下 | 需 offload ≈2–3 |
| AMD Instinct MI100 32G(老数据中心卡) | 装不下 | 需 offload ≈2–3 |
| AMD Instinct MI50 32G(数据卡) | 装不下 | 需 offload ≈2–3 |
| AMD Radeon VII 16G | 装不下 | 需 offload ≈2–3 |
| NVIDIA RTX 4090 24G | 装不下 | 需 offload ≈2–3 |
| NVIDIA RTX 3090 Ti 24G | 装不下 | 需 offload ≈2–3 |
同一套公式也用于显卡页,两页数字必然一致。带宽按 60–85% 效率折算(offload 场景更低),并对单流解码设经验上限,因此这里的数字比纯带宽公式保守。 总需显存 = 302G,对比各卡可用水位。
实测数据区
上传实测数据
推理框架命令
llama.cpp
# 1) 取 GGUF 权重(本站核实过的仓库名)
huggingface-cli download reflection/Beam-1.0-501B-A23B config.json
# GGUF 量化版通常在第三方转换仓库,搜「reflection/Beam-1.0-501B-A23B GGUF」
# 2) 起服务(Linux/macOS 用 ./llama-server,Windows 用 llama-server.exe)
llama-server -m BEAM-1-0-501B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# 该模型带滑窗层,长上下文比同级便宜,值得把 -c 拉高试试
# MoE:想让专家留在内存以塞更大模型,加 --n-cpu-moe(参数名随版本变,用 --help 确认)Ollama
# 本站没核实到 Ollama 仓库里有 Beam 1.0 501B 的可用标签,所以不给命令
# 自己去查一眼:https://ollama.com/search?q=Beam%201.0%20501B宁可不给命令,也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。
vLLM
vLLM 直接吃 Hugging Face 仓库名,这条最可靠:
vllm serve reflection/Beam-1.0-501B-A23B --max-model-len 8192 --gpu-memory-utilization 0.90LM Studio
模型页搜「reflection/Beam-1.0-501B-A23B」→ 选 Q4_K_M 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大仓库名 reflection/Beam-1.0-501B-A23B 是本站核实过的(架构常数就取自它)。Ollama 标签与 GGUF 文件名会随发布方变动,本站不保证一定存在,拉取失败请搜同名前缀。
优化要点
- Q4_K_M 权重 300.6G(估算)、Q6_K 410.8G(估算)、Q8_0 532.3G(估算):带「估算」的是公式值(官方仓库没核到这档),不带的核过真实文件;先在容量表里确认 8K 上下文还剩多少,再决定档位
- 上下文从 8K 提到 32K,KV 增加约 0.8G(本模型 52 层 / 8 KV头 / 头维 128)
- 模型原生上下文上限是 1024K,把 -c 设得更高属于超纲使用,质量不保证
- 想要更长上下文:-ctk q8_0 -ctv q8_0 让 KV 减半,几乎不掉质量
- MoE 速度按激活参数(本站用 23B)算,显存却必须装下全部 501B 专家;两者混用会得出完全错误的结论
- 本站对单流解码设了经验上限 200–200 tok/s(依带宽分档),超出上限的数字是公式失真而不是你的卡快