SGLang sgl-project/sglang

能干什么

高性能 LLM / 多模态 serving 框架：RadixAttention 用基数树自动复用请求间的公共前缀 KV（多轮对话、few-shot 批量、agent 分支场景不重算前缀），另有 RadixAttention + 调度器组合带来的高吞吐。定位与 vLLM 同档（服务侧），单流个人使用场景仍优先 llama.cpp / Ollama。

怎么干

• pip install sglang（要求较新的 CUDA / GPU 驱动）
• python -m sglang.launch_server --model <模型> 起 OpenAI 兼容服务
• 多轮 / 批量任务直接用其前端 DSL（SGL 语言）写 prompt 流
• 量化档同样走 --tp-size / 量化参数组合，按卡档位选

本站怎么用

「多用户服务 / agent 后端」类查询的第三选项（llama.cpp 单流、Ollama 入门、vLLM / SGLang 吞吐）。口径纪律同 vLLM：吞吐数字必须带并发与 batch 口径才进对比；单流数字与 llama.cpp 同台时才可比。

显存口径

前缀复用会占额外 KV 显存（缓存的公共前缀也驻留显存），与「按 1 个用户算的容量」不同——服务场景显存规划要比单流估算宽裕。