LFM3-1.7B
关于 LFM3-1.7B 的完整介绍(点开看;上面就是结论表)
Liquid AI 的 LFM3 家族文本模型(**2026-10-27 官方发布、同日权重上 HF**——Liquid 官方博客 + HF 启动文 + @liquidai X 发布帖三源一致),1-2B 端侧档的第二个代表。架构是本站少见的 tri-hybrid:24 层里 13 层门控短卷积(kernel 7,不存标准 KV)+ 5 层滑窗注意力(窗口 256)+ 6 层全注意力(GQA 16Q4KV / head_dim 128),config.json 一手核到,262144 ctx(YaRN 外推的 256K 输入+输出)。KV 口径特殊——只有 6 层全注意力按 token 线性增长,5 层滑窗是固定开销,13 层卷积只留极短窗状态,所以长上下文下 KV 增长远慢于同规模稠密模型;本站按 6 层全注意力 + 滑窗固定项近似,每 4K 约 0.32G(check-data 同公式复算通过)。4-bit 下权重约 1GB(官方口径),是无独显笔记本 / 旧台式机 / 树莓派 / 手机 NPU 都能跑的端侧档,与 MiniCPM5-2B 同属「补低端空档」这批。许可是 LFM Open License v1.0(非 Apache:营收 <10M 免费,商用受限,商用前看条款)。定位偏本地 Agent(官方为 Hermes Agent / OpenClaw 等 Agent 框架 post-train,工具调用强、通用 chat 一般)。站内暂无本站/他测速度,按容量表推算 ±30%。
实测速度:什么卡、什么量化、多少 token
| 显卡 | 卡数 | 量化 | 上下文 | 框架 / 版本 | decode tok/s | prefill tok/s | 单流/并发 | 投机 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 8G | 1 卡 | 手工 FP8(e4m3,作者自制 checkpoint) | 未报 | SGLang(PR #46858 pre-release,含原生 Lfm3ForCausalLM) · transformers 5.21 / flashinfer 0.7.2 / sglang-kernel 0.4.10 | 3647.2 | 410.4 | 并发×64 | 无 | 口径不全·不进对比 缺 2 项 | Running LFM3 on an RTX 4060 Laptop GPU with SGLang(Swamix 正式修正版) Nikhil(Swamix Global AI Solutions) · 2026-10-29 |
| NVIDIA RTX 4070 12G | 1 卡 | Q4_0(Unsloth Studio 跑分,GGUF) | 128K | Unsloth Studio(社区提交) · 版本未报 | 254.6 | 7844.5 | 单流 | 无 | 口径不全·不进对比 缺 2 项 | LiquidAI/LFM3-1.7B-GGUF Benchmarks(llm-bench.io 模型页,Last updated October 2026) llm-bench.io 社区提交(Unsloth Studio 用户) · 2026-10-29 |
| NVIDIA RTX 3090 Ti 24G | 1 卡 | Q8_0(官方 GGUF) | 未报 | llama.cpp(llama-bench) · 版本未报 | 329 | 20648.6 | 单流 | 无 | 口径不全·不进对比 缺 3 项 | LFM3 benchmarks: tokens per second by GPU(llamaperf,Nov 4, 2026 报告) llamaperf 社区提交(用户自报) · 2026-11-04 |
每行是一次真实测量的完整口径:哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来,缺项的行不参与对比与偏差计算。本站实测行没有外链,但日志路径就是原始数据所在。 想看同一张卡跑别的模型,从这个表的显卡名点进那张卡的页面。
速查:什么卡、跑多少 token
推算值按 Q8_0、8K 上下文、单流;真实测量看下面的实测速度表。没有实测的模型这里只有推算,本站不把推算写成实测。
架构常数(已核实)
来源:LiquidAI/LFM3-1.7B / config.json(抓取于 2026-11-08)。KV 公式:2 × 层数 × KV头数 × 头维 × 精度字节 × token(滑窗层按 256 封顶)。
上下文档位(按 Q8_0)
| 上下文 | KV | 总需显存 | 16G 水位内 |
|---|---|---|---|
| 4K | 0.06 G | 2.9 G | 够 |
| 8K | 0.1 G | 2.9 G | 够 |
| 32K | 0.38 G | 3.2 G | 够 |
| 128K | 1.51 G | 4.3 G | 够 |
* 含 1G 框架开销;可用水位按 Windows 口径 88% = 14.1G。
各显存档位能开多大
| 显存 | 推荐量化 | 8K 总需 | 最多可开 |
|---|---|---|---|
| 4G | Q8_0(估算) | 2.9G | 59392(约 58K) |
| 6G | Q8_0(估算) | 2.9G | 217088(约 212K) |
| 8G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 10G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 11G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 12G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 16G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 20G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 22G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 24G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 32G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 48G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 64G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 96G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 128G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 256G | Q8_0(估算) | 2.9G | 262144(约 256K) |
| 512G | Q8_0(估算) | 2.9G | 262144(约 256K) |
「最多可开」已扣掉权重与 1G 开销;标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token(估算值,未逐项核实)。量化档后带「(估算)」= 官方仓库没核到这档、按公式算的权重体积(方向保守偏高);不带 = 核过官方仓库真实文件体积。
估算速度(Q8_0 · 8K)
推算 本站暂无这一模型的实测记录。
| 显卡 | 状态 | 估算 tok/s |
|---|---|---|
| NVIDIA RTX 5090 32G | 流畅 | 200 |
| NVIDIA RTX 5090 D 32G | 流畅 | 200 |
| NVIDIA CMP 170HX 64G(矿卡魔改) | 流畅 | 200 |
| NVIDIA RTX PRO 5000 Blackwell 48G(工作站) | 流畅 | 200 |
| AMD Instinct MI100 32G(老数据中心卡) | 流畅 | 200 |
| AMD Instinct MI50 32G(数据卡) | 流畅 | 200 |
| AMD Radeon VII 16G | 流畅 | 200 |
| NVIDIA RTX 4090 24G | 流畅 | 200 |
| NVIDIA RTX 3090 Ti 24G | 流畅 | 200 |
同一套公式也用于显卡页,两页数字必然一致。带宽按 60–85% 效率折算(offload 场景更低),并对单流解码设经验上限,因此这里的数字比纯带宽公式保守。 总需显存 = 2.9G,对比各卡可用水位。
实测数据区
上传实测数据
推理框架命令
llama.cpp
# 1) 取 GGUF 权重(本站核实过的仓库名)
huggingface-cli download LiquidAI/LFM3-1.7B config.json
# GGUF 量化版通常在第三方转换仓库,搜「LiquidAI/LFM3-1.7B GGUF」
# 2) 起服务(Linux/macOS 用 ./llama-server,Windows 用 llama-server.exe)
llama-server -m LFM3-1-7B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# 该模型带滑窗层,长上下文比同级便宜,值得把 -c 拉高试试Ollama
# 本站没核实到 Ollama 仓库里有 LFM3-1.7B 的可用标签,所以不给命令
# 自己去查一眼:https://ollama.com/search?q=LFM3-1.7B宁可不给命令,也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。
vLLM
vLLM 直接吃 Hugging Face 仓库名,这条最可靠:
vllm serve LiquidAI/LFM3-1.7B --max-model-len 8192 --gpu-memory-utilization 0.90LM Studio
模型页搜「LiquidAI/LFM3-1.7B」→ 选 Q8_0 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大仓库名 LiquidAI/LFM3-1.7B 是本站核实过的(架构常数就取自它)。Ollama 标签与 GGUF 文件名会随发布方变动,本站不保证一定存在,拉取失败请搜同名前缀。
优化要点
- Q4_K_M 权重 1G(估算)、Q6_K 1.4G(估算)、Q8_0 1.8G(估算):带「估算」的是公式值(官方仓库没核到这档),不带的核过真实文件;先在容量表里确认 8K 上下文还剩多少,再决定档位
- 上下文从 8K 提到 32K,KV 增加约 0.3G(本模型 24 层 / 4 KV头 / 头维 128)
- 模型原生上下文上限是 256K,把 -c 设得更高属于超纲使用,质量不保证
- 想要更长上下文:-ctk q8_0 -ctv q8_0 让 KV 减半,几乎不掉质量
- 稠密模型每个 token 都要读全部权重,所以速度上限就是带宽 ÷ 权重大小
- 本站对单流解码设了经验上限 200–200 tok/s(依带宽分档),超出上限的数字是公式失真而不是你的卡快