评测里的 tok/s 是单流还是并发？为什么同一张 4090 有人报 30、有人报 400？

单流是你一个人对话时每秒出几个字；并发是同时服务很多人时每秒总共出几个字。后者能高一个数量级，两种数字放在一起比一定是误导。

单流（一个请求、batch=1）是个人本地使用的真实体感，它几乎只由『带宽 ÷ 每 token 要读的字节』决定，因为每出一个字都得把权重完整扫一遍，中间大量时间在等内存而不是等计算。

并发（batch=N）是把 N 个人的请求搭成一批同时算。权重读一次可以服务整批人，所以总吞吐能接近线性地往上叠——一张报 30 tok/s 单流的卡，开 32 路并发报到 400 tok/s 总吞吐完全正常。但每一路分到手只有 12 tok/s，体感反而更慢：单个人看到的第一个字要等更久，出字也更卡。

这就是网上速度数字最容易混的地方。评测视频和厂商页很少标明自己是哪一种，有些还会在标题写『每秒 400 token』而实际是服务多人的总吞吐。看到 tok/s 先反问三件事：几个人在用、一次报的是总吞吐还是你的体感、报没报首 token 延迟（prefill）。

本站容量表与单卡专辑里的数字全部是单流口径，他测汇总表永远把单流与并发分开列（并强制标注批大小），就是因为把并发吞吐写进单流榜里，得出的排名一定是假的。