# gpuVRAM 全站事实摘要（llms-full.txt）
生成自与页面同一套公式，构建时间见各页 dateModified。实测记录 14 条 → 站内速度均为推算。
索引版见 /llms.txt；本文件适合一次性读完整站内容。

---

# 零、文章·组合全表（120 张表，量化 × 4K–256K 上下文 × 框架 × 投机解码 × 估算 tok/s）
每张表都是服务端渲染的完整表格，数字与 /model/、/card/、/capacity/ 同源（公式推算 ±30%）。热门组合：
- /article/rtx3090-qwen3.8-27b/ — RTX 3090 24G 跑 27B 模型能跑多少 token
- /article/rtx3090-qwen3-32b/ — RTX 3090 24G 跑 32B 模型能跑多少 token
- /article/rtx4090-qwen3-32b/ — RTX 4090 24G 跑 32B 模型能跑多少 token
- /article/rtx4090-qwen3-30b-a3b/ — RTX 4090 24G 跑 30B 模型能跑多少 token
- /article/rtx5060ti-qwen3-8b/ — RTX 5060 Ti 16G 跑 8B 模型能跑多少 token
完整 120 张表见 /article/ 索引页；tok/s 均为推算，投稿实测走 /rank/#upload。

# 一、按显存档位查卡（156 张卡分 17 档）

## /capacity/4/ — 4G 显存档位（11 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| AMD R9 290X 4G | AMD | 320 GB/s | /card/r9-290x-4g/ |
| AMD R9 290 4G | AMD | 320 GB/s | /card/r9-290-4g/ |
| AMD RX 6500 XT 4G | AMD | 144 GB/s | /card/rx-6500-xt-4g/ |
| NVIDIA GTX 1650 4G | 英伟达 | 128 GB/s | /card/nvidia-gtx-1650-4g/ |
| AMD RX 6400 4G | AMD | 128 GB/s | /card/amd-rx-6400-4g/ |
| Intel Arc A310 4G | 英特尔 | 124 GB/s | /card/intel-arc-a310-4g/ |
| AMD RX 560 4G | AMD | 112 GB/s | /card/rx-560-4g/ |
| AMD RX 550 4G | AMD | 112 GB/s | /card/rx-550-4g/ |
| Intel Arc A370 4G | 英特尔 | 112 GB/s | /card/arc-a370-4g/ |
| Intel Arc A350 4G | 英特尔 | 112 GB/s | /card/arc-a350-4g/ |
| AMD Radeon PRO W6400 4G（工作站） | AMD | 112 GB/s | /card/pro-w6400-4g/ |

## /capacity/6/ — 6G 显存档位（7 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 2060 6G | 英伟达 | 336 GB/s | /card/rtx-2060-6g/ |
| NVIDIA GTX 1660 SUPER 6G | 英伟达 | 336 GB/s | /card/gtx-1660-super-6g/ |
| NVIDIA GTX 1660 Ti 6G | 英伟达 | 288 GB/s | /card/gtx-1660-ti-6g/ |
| AMD RX 5600 XT 6G | AMD | 288 GB/s | /card/rx-5600-xt-6g/ |
| Intel Arc Pro A40 6G（工作站） | 英特尔 | 192 GB/s | /card/arc-pro-a40-6g/ |
| Intel Arc Pro A50 6G（工作站） | 英特尔 | 192 GB/s | /card/arc-pro-a50-6g/ |
| Intel Arc A380 6G | 英特尔 | 186 GB/s | /card/intel-arc-a380-6g/ |

## /capacity/8/ — 8G 显存档位（38 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| AMD R9 295X2 8G | AMD | 640 GB/s | /card/r9-295x2-8g/ |
| NVIDIA RTX 3070 Ti 8G | 英伟达 | 624 GB/s | /card/rtx-3070-ti-8g/ |
| Intel Arc A750 8G | 英特尔 | 512 GB/s | /card/arc-a750-8g/ |
| Intel Arc A580 8G | 英特尔 | 512 GB/s | /card/arc-a580-8g/ |
| Intel Arc A770 8G | 英特尔 | 512 GB/s | /card/arc-a770-8g/ |
| NVIDIA RTX 2080 SUPER 8G | 英伟达 | 496 GB/s | /card/rtx-2080-super-8g/ |
| AMD RX Vega 64 8G | AMD | 484 GB/s | /card/rx-vega-64-8g/ |
| NVIDIA GeForce RTX 3060 Ti 8G | 英伟达 | 448 GB/s | /card/rtx-3060-ti-8g/ |
| NVIDIA RTX 2060 SUPER 8G | 英伟达 | 448 GB/s | /card/rtx-2060-super-8g/ |
| NVIDIA RTX 2070 8G | 英伟达 | 448 GB/s | /card/rtx-2070-8g/ |
| NVIDIA RTX 2070 SUPER 8G | 英伟达 | 448 GB/s | /card/rtx-2070-super-8g/ |
| NVIDIA RTX 2080 8G | 英伟达 | 448 GB/s | /card/rtx-2080-8g/ |
| NVIDIA RTX 3070 8G | 英伟达 | 448 GB/s | /card/rtx-3070-8g/ |
| AMD RX 5700 8G | AMD | 448 GB/s | /card/rx-5700-8g/ |
| AMD RX 5700 XT 8G | AMD | 448 GB/s | /card/rx-5700-xt-8g/ |
| AMD Radeon PRO W5700 8G（工作站） | AMD | 448 GB/s | /card/pro-w5700-8g/ |
| AMD RX Vega 56 8G | AMD | 410 GB/s | /card/rx-vega-56-8g/ |
| NVIDIA P104-100 8G（矿卡） | 英伟达 | 320 GB/s | /card/p104-100-8g/ |
| AMD RX 7600 8G | AMD | 288 GB/s | /card/rx-7600-8g/ |
| AMD RX 9060 XT 8G | AMD | 288 GB/s | /card/rx-9060-xt-8g/ |
| AMD RX 9060 8G | AMD | 288 GB/s | /card/rx-9060-8g/ |
| NVIDIA RTX 4060 Ti 8G | 英伟达 | 288 GB/s | /card/rtx-4060-ti-8g/ |
| AMD Radeon PRO W7600 8G（工作站） | AMD | 288 GB/s | /card/pro-w7600-8g/ |
| AMD RX 6650 XT 8G | AMD | 280 GB/s | /card/rx-6650-xt-8g/ |
| NVIDIA RTX 4060 8G | 英伟达 | 272 GB/s | /card/rtx-4060-8g/ |
| AMD RX 580 8G | AMD | 256 GB/s | /card/rx-580-8g/ |
| AMD RX 590 8G | AMD | 256 GB/s | /card/rx-590-8g/ |
| AMD RX 6600 XT 8G | AMD | 256 GB/s | /card/rx-6600-xt-8g/ |
| NVIDIA RTX 3050 8G | 英伟达 | 224 GB/s | /card/rtx-3050-8g/ |
| AMD RX 6600 8G | AMD | 224 GB/s | /card/rx-6600-8g/ |
| AMD RX 570 8G | AMD | 224 GB/s | /card/rx-570-8g/ |
| AMD Radeon PRO W6600 8G（工作站） | AMD | 224 GB/s | /card/pro-w6600-8g/ |
| AMD Radeon PRO W7500 8G（工作站） | AMD | 224 GB/s | /card/pro-w7500-8g/ |
| AMD Radeon PRO W7400 8G（工作站） | AMD | 224 GB/s | /card/pro-w7400-8g/ |
| AMD Radeon PRO W5500 8G（工作站） | AMD | 224 GB/s | /card/pro-w5500-8g/ |
| 摩尔线程 S50 8G | 国产 | 200 GB/s | /card/mthreads-s50-8g/ |
| NVIDIA T1000 8G（工作站） | 英伟达 | 192 GB/s | /card/t1000-8g/ |
| NVIDIA Tesla P4 8G | 英伟达 | 112 GB/s | /card/tesla-p4-8g/ |

## /capacity/10/ — 10G 显存档位（3 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 3080 10G | 英伟达 | 760 GB/s | /card/rtx-3080-10g/ |
| AMD Radeon RX 6700 10G | AMD | 400 GB/s | /card/rx-6700-10g/ |
| Intel Arc B570 10G | 英特尔 | 380 GB/s | /card/arc-b570-10g/ |

## /capacity/11/ — 11G 显存档位（2 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 2080 Ti 11G（原厂） | 英伟达 | 616 GB/s | /card/rtx-2080-ti-11g/ |
| NVIDIA GTX 1080 Ti 11G | 英伟达 | 484 GB/s | /card/gtx-1080-ti-11g/ |

## /capacity/12/ — 12G 显存档位（12 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 5070 12G | 英伟达 | 672 GB/s | /card/rtx-5070-12g/ |
| NVIDIA RTX 4070 12G | 英伟达 | 504 GB/s | /card/rtx-4070-12g/ |
| NVIDIA RTX 4070 SUPER 12G | 英伟达 | 504 GB/s | /card/rtx-4070-super-12g/ |
| NVIDIA RTX 4070 Ti 12G | 英伟达 | 504 GB/s | /card/rtx-4070-ti-12g/ |
| Intel Arc B580 12G | 英特尔 | 456 GB/s | /card/arc-b580-12g/ |
| AMD RX 9070 GRE 12G | AMD | 432 GB/s | /card/rx-9070-gre-12g/ |
| AMD RX 7700 XT 12G | AMD | 432 GB/s | /card/rx-7700-xt-12g/ |
| AMD RX 6700 XT 12G | AMD | 384 GB/s | /card/rx-6700-xt-12g/ |
| AMD RX 6750 XT 12G | AMD | 384 GB/s | /card/rx-6750-xt-12g/ |
| Intel Arc Pro A60 12G（工作站） | 英特尔 | 384 GB/s | /card/arc-pro-a60-12g/ |
| NVIDIA RTX 3060 12G | 英伟达 | 360 GB/s | /card/rtx-3060-12g/ |
| NVIDIA RTX 3060 12G（魔改） | 英伟达 | 360 GB/s | /card/rtx-3060-12g-modded/ |

## /capacity/16/ — 16G 显存档位（28 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| AMD Radeon VII 16G | AMD | 1024 GB/s | /card/radeon-vii-16g/ |
| NVIDIA RTX 5080 16G | 英伟达 | 960 GB/s | /card/rtx-5080-16g/ |
| NVIDIA Tesla V100 16G（数据卡） | 英伟达 | 900 GB/s | /card/tesla-v100-16g/ |
| NVIDIA RTX 4080 Super 16G | 英伟达 | 736 GB/s | /card/rtx-4080-super-16g/ |
| NVIDIA RTX 4080 16G | 英伟达 | 736 GB/s | /card/rtx-4080-16g/ |
| NVIDIA Tesla P100 16G（数据卡） | 英伟达 | 732 GB/s | /card/tesla-p100-16g/ |
| NVIDIA RTX 4070 Ti SUPER 16G | 英伟达 | 672 GB/s | /card/rtx-4070-ti-super-16g/ |
| AMD RX 9070 16G | AMD | 644 GB/s | /card/rx-9070-16g/ |
| AMD Radeon RX 6800 XT 16G | AMD | 640 GB/s | /card/rx-6800-xt-16g/ |
| AMD Radeon RX 7800 XT 16G | AMD | 624 GB/s | /card/rx-7800-xt-16g/ |
| AMD RX 7900 GRE 16G | AMD | 578 GB/s | /card/rx-7900-gre-16g/ |
| AMD RX 9070 XT 16G | AMD | 576 GB/s | /card/rx-9070-xt-16g/ |
| AMD RX 6950 XT 16G | AMD | 576 GB/s | /card/rx-6950-xt-16g/ |
| AMD Radeon PRO W7700 16G（工作站） | AMD | 576 GB/s | /card/pro-w7700-16g/ |
| Intel Arc A770 16G | 英特尔 | 560 GB/s | /card/arc-a770-16g/ |
| AMD RX 6800 16G | AMD | 512 GB/s | /card/rx-6800-16g/ |
| AMD RX 6900 XT 16G | AMD | 512 GB/s | /card/rx-6900-xt-16g/ |
| NVIDIA RTX 5060 Ti 16G | 英伟达 | 448 GB/s | /card/rtx-5060-ti-16g/ |
| NVIDIA Quadro RTX A4000 16G（专业卡） | 英伟达 | 448 GB/s | /card/quadro-a4000-16g/ |
| 摩尔线程 MTT S80 16G（国产） | 国产 | 448 GB/s | /card/moore-threads-mtt-s80-16g/ |
| NVIDIA RTX 3070 16G（魔改） | 魔改 | 448 GB/s | /card/rtx-3070-16g/ |
| NVIDIA RTX 2070 16G（魔改） | 英伟达 | 448 GB/s | /card/rtx-2070-16g-modded/ |
| NVIDIA RTX 5070 Ti 16G | 英伟达 | 336 GB/s | /card/rtx-5070-ti-16g/ |
| NVIDIA Tesla T4 16G（数据卡） | 英伟达 | 320 GB/s | /card/tesla-t4-16g/ |
| NVIDIA RTX 4060 Ti 16G | 英伟达 | 288 GB/s | /card/rtx-4060-ti-16g/ |
| AMD RX 9060 XT 16G | AMD | 288 GB/s | /card/rx-9060-xt-16g/ |
| AMD RX 7600 XT 16G | AMD | 288 GB/s | /card/rx-7600-xt-16g/ |
| Intel Arc Pro B50 16G（工作站） | 英特尔 | 224 GB/s | /card/arc-pro-b50-16g/ |

## /capacity/20/ — 20G 显存档位（3 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| AMD RX 7900 XT 20G | AMD | 800 GB/s | /card/rx-7900-xt-20g/ |
| NVIDIA RTX 3080 20G（魔改） | 魔改 | 760 GB/s | /card/rtx-3080-20g/ |
| NVIDIA RTX 4000 SFF Ada 20G（工作站） | 英伟达 | 280 GB/s | /card/rtx-4000-sff-ada-20g/ |

## /capacity/22/ — 22G 显存档位（1 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 2080 Ti 22G（魔改） | 魔改 | 616 GB/s | /card/rtx-2080-ti-22g/ |

## /capacity/24/ — 24G 显存档位（10 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 4090 24G | 英伟达 | 1008 GB/s | /card/rtx-4090-24g/ |
| NVIDIA RTX 3090 Ti 24G | 英伟达 | 1008 GB/s | /card/rtx-3090-ti-24g/ |
| NVIDIA RTX 4090D 24G | 英伟达 | 1008 GB/s | /card/rtx-4090d-24g/ |
| AMD RX 7900 XTX 24G | AMD | 960 GB/s | /card/rx-7900-xtx-24g/ |
| NVIDIA RTX 3090 24G | 英伟达 | 936 GB/s | /card/rtx-3090-24g/ |
| NVIDIA RTX A5000 24G | 英伟达 | 560 GB/s | /card/rtx-a5000-24g/ |
| NVIDIA Tesla P40 24G（数据卡） | 英伟达 | 480 GB/s | /card/tesla-p40-24g/ |
| Intel Arc Pro B60 24G（工作站） | 英特尔 | 456 GB/s | /card/arc-pro-b60-24g/ |
| NVIDIA RTX 3060 24G（魔改） | 魔改 | 336 GB/s | /card/rtx-3060-24g-modded/ |
| NVIDIA RTX Pro 4000 Blackwell SFF 24G | 英伟达 | 288 GB/s | /card/rtx-pro-4000-blackwell-sff-24g/ |

## /capacity/32/ — 32G 显存档位（21 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX 5090 32G | 英伟达 | 1792 GB/s | /card/rtx-5090-32g/ |
| NVIDIA RTX 5090 D 32G | 英伟达 | 1792 GB/s | /card/rtx-5090-d-32g/ |
| AMD Instinct MI100 32G（老数据中心卡） | AMD | 1229 GB/s | /card/instinct-mi100-32g/ |
| AMD Instinct MI50 32G（数据卡） | AMD | 1024 GB/s | /card/instinct-mi50-32g/ |
| NVIDIA Tesla V100 32G（数据卡） | 英伟达 | 900 GB/s | /card/tesla-v100-32g/ |
| NVIDIA RTX PRO 4500 Blackwell 32G（工作站） | 英伟达 | 896 GB/s | /card/rtx-pro-4500-blackwell-32g/ |
| NVIDIA RTX 4080 32G（魔改） | 魔改 | 736 GB/s | /card/rtx-4080-32g-modded/ |
| NVIDIA RTX 4080 SUPER 32G（魔改） | 英伟达 | 736 GB/s | /card/rtx-4080-super-32g/ |
| AMD Radeon PRO R9700 32G（工作站） | AMD | 640 GB/s | /card/pro-r9700-32g/ |
| AMD Radeon PRO W7800 32G（工作站） | AMD | 576 GB/s | /card/pro-w7800-32g/ |
| NVIDIA RTX 5000 Ada 32G（工作站） | 英伟达 | 512 GB/s | /card/rtx-5000-ada-32g/ |
| AMD Radeon PRO W6800 32G（工作站） | AMD | 512 GB/s | /card/pro-w6800-32g/ |
| 海光 深算 K100 32G | 国产 | 400 GB/s | /card/hygon-k100-32g/ |
| 天数智芯 天垓100 32G | 国产 | 400 GB/s | /card/tenxian-tiangai-100-32g/ |
| 壁仞科技 Biren BR100 32G | 国产 | 400 GB/s | /card/biren-br100-32g/ |
| 沐曦集成 MetaX 32G | 国产 | 400 GB/s | /card/matrixx-metax-32g/ |
| 燧原科技 训燧/infer燧 32G | 国产 | 400 GB/s | /card/suitian-suyuan-32g/ |
| 平头哥 玄铁/含光 32G | 国产 | 400 GB/s | /card/tongyi-xuantie-32g/ |
| 华为昇腾 910B 32G | 国产 | 320 GB/s | /card/huawei-ascend-910b-32g/ |
| 寒武纪 思元 MLU370-S4 32G | 国产 | 320 GB/s | /card/cambric-mlu370-s4-32g/ |
| Apple M6 32G（统一内存） | 共享主机 | 170 GB/s | /card/apple-m6-32g/ |

## /capacity/48/ — 48G 显存档位（9 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX PRO 5000 Blackwell 48G（工作站） | 英伟达 | 1344 GB/s | /card/nvidia-rtx-pro-5000-blackwell-48g/ |
| NVIDIA RTX 4090 48G（魔改） | 魔改 | 1008 GB/s | /card/rtx-4090-48g/ |
| NVIDIA RTX 6000 Ada 48G（工作站） | 英伟达 | 960 GB/s | /card/rtx-6000-ada-48g/ |
| AMD Radeon PRO W7900 48G（工作站） | AMD | 864 GB/s | /card/pro-w7900-48g/ |
| AMD Radeon PRO W7800 48G（工作站） | AMD | 864 GB/s | /card/pro-w7800-48g/ |
| 摩尔线程 MTT S4000 48G（国产·推理加速卡） | 国产 | 768 GB/s | /card/moore-threads-mtt-s4000-48g/ |
| NVIDIA RTX A6000 48G（工作站） | 英伟达 | 768 GB/s | /card/rtx-a6000-48g/ |
| Apple M3 Max 48G（统一内存） | 共享主机 | 400 GB/s | /card/apple-m3-max-48g/ |
| Apple M4 Pro 48G（统一内存） | 共享主机 | 273 GB/s | /card/apple-m4-pro-48g/ |

## /capacity/64/ — 64G 显存档位（3 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA CMP 170HX 64G（矿卡魔改） | 魔改 | 1490 GB/s | /card/nvidia-cmp-170hx-64g/ |
| Apple M1 Max 64G（统一内存） | 共享主机 | 400 GB/s | /card/apple-m1-max-64g/ |
| Apple M5 Pro 64G（统一内存） | 共享主机 | 307 GB/s | /card/apple-m5-pro-64g/ |

## /capacity/96/ — 96G 显存档位（1 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| NVIDIA RTX Pro 6000 Blackwell 96G | 英伟达 | 960 GB/s | /card/nvidia-rtx-pro-6000-blackwell-96g/ |

## /capacity/128/ — 128G 显存档位（4 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| Apple M5 Max 128G（统一内存） | 共享主机 | 614 GB/s | /card/apple-m5-max-128g/ |
| Apple M4 Max 128G（统一内存） | 共享主机 | 546 GB/s | /card/apple-m4-max-128g/ |
| NVIDIA DGX Spark 128G | 英伟达 | 273 GB/s | /card/nvidia-dgx-spark-128g/ |
| AMD Ryzen AI Max+ 395 / Strix Halo 128G（统一内存） | 共享主机 | 256 GB/s | /card/amd-strix-halo-395-128g/ |

## /capacity/256/ — 256G 显存档位（1 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| Apple M5 Ultra 256G（统一内存） | 共享主机 | 1200 GB/s | /card/apple-m5-ultra-256g/ |

## /capacity/512/ — 512G 显存档位（2 张卡）
按显存档位查卡：这一档站内在售/在用的卡，点卡看完整结论（能跑什么模型 / 量化 / 上下文 / 速度）。
| 卡 | 品牌 | 带宽 | 详情页 |
| --- | --- | --- | --- |
| Apple M5 Ultra 512G（统一内存） | 共享主机 | 1200 GB/s | /card/apple-m5-ultra-512g/ |
| Apple M3 Ultra 512G（统一内存） | 共享主机 | 819 GB/s | /card/apple-m3-ultra-512g/ |

---

# 二、逐卡结论（156 张，对应 /card/<slug>/）

回答"某张卡能跑什么模型 / 能开多大上下文"就摘这一段。速度是单流 decode 推算，已计入每 token 重读 KV 的开销。

## /card/apple-m5-ultra-512g/ — Apple M5 Ultra 512G（统一内存） 能跑什么模型
512G 显存 → 可用约 450.6G（Windows 88%）· 带宽 1200 GB/s · Apple Silicon · 共享主机
能装下 57/67 个模型，其中 46 个开 8K 上下文仍算流畅。最大能跑到 Step-5-Preview（Q5_K_M，8K 总需 421.6G，装完权重最多还能开 448000 token，受限：显存，推算 36–51 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3-235B-A22B(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、Qwen3.8-Flash-Next(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、Kolibri-1(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Ling-3.0-flash(Q6_K)、Gemma 4 12B Unified(Q8_0)、Inkling-Small(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、ERNIE-5.5-Flash-Base(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：DeepSeek-V4.1-Flash(Q5_K_M)、Ling-3.2-flash(Q5_K_M)、Ling-3.1-flash(Q5_K_M)、MiniMax-M3.1-Flash(Q6_K)、小米 MiMo-V2.6-Flash(Q8_0)、NVIDIA Nemotron 3 Ultra(Q5_K_M)、GLM-5.3-Flash(Q8_0)、Beam 1.0 501B(Q6_K)、Step-5-Preview(Q5_K_M)、MiniMax-M3(Q6_K)、DeepSeek-V4.1-Flash-1017(Q5_K_M)
装不下：GLM-5.3、Kimi K3、Muse Spark Open 816B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Mistral Large 4、Inkling、K-EXAONE 2.0、Tencent Hy4 preview
上下文拉长后的单流推算：Qwen3-235B-A22B（Q8_0）沿 4K 30–42 → 8K 28–40 → 16K 26–37 → 32K 23–32 → 40K 22–30 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m3-ultra-512g/ — Apple M3 Ultra 512G（统一内存） 能跑什么模型
512G 显存 → 可用约 450.6G（Windows 88%）· 带宽 819 GB/s · Apple Silicon · 共享主机
能装下 57/67 个模型，其中 46 个开 8K 上下文仍算流畅。最大能跑到 Step-5-Preview（Q5_K_M，8K 总需 421.6G，装完权重最多还能开 448000 token，受限：显存，推算 25–35 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3-235B-A22B(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、Qwen3.8-Flash-Next(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、Kolibri-1(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Ling-3.0-flash(Q6_K)、Gemma 4 12B Unified(Q8_0)、Inkling-Small(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、ERNIE-5.5-Flash-Base(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：DeepSeek-V4.1-Flash(Q5_K_M)、Ling-3.2-flash(Q5_K_M)、Ling-3.1-flash(Q5_K_M)、MiniMax-M3.1-Flash(Q6_K)、小米 MiMo-V2.6-Flash(Q8_0)、NVIDIA Nemotron 3 Ultra(Q5_K_M)、GLM-5.3-Flash(Q8_0)、Beam 1.0 501B(Q6_K)、Step-5-Preview(Q5_K_M)、MiniMax-M3(Q6_K)、DeepSeek-V4.1-Flash-1017(Q5_K_M)
装不下：GLM-5.3、Kimi K3、Muse Spark Open 816B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Mistral Large 4、Inkling、K-EXAONE 2.0、Tencent Hy4 preview
上下文拉长后的单流推算：Qwen3-235B-A22B（Q8_0）沿 4K 20–29 → 8K 19–27 → 16K 18–25 → 32K 16–22 → 40K 15–21 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m5-ultra-256g/ — Apple M5 Ultra 256G（统一内存） 能跑什么模型
256G 显存 → 可用约 225.3G（Windows 88%）· 带宽 1200 GB/s · Apple Silicon · 共享主机
能装下 48/67 个模型，其中 43 个开 8K 上下文仍算流畅。最大能跑到 GLM-5.3-Flash（Q5_K_M，8K 总需 225.1G，装完权重最多还能开 17554 token，受限：模型原生上限，推算 56–80 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、Qwen3.8-Flash-Next(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、Kolibri-1(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Ling-3.0-flash(Q6_K)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-235B-A22B(Q6_K)、小米 MiMo-V2.6-Flash(Q5_K_M)、GLM-5.3-Flash(Q5_K_M)、Inkling-Small(Q5_K_M)、ERNIE-5.5-Flash-Base(Q5_K_M)
装不下：DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、NVIDIA Nemotron 3 Ultra、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017
上下文拉长后的单流推算：Qwen3-235B-A22B（Q6_K）沿 4K 38–53 → 8K 36–51 → 16K 33–46 → 32K 28–39 → 40K 26–36 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m5-max-128g/ — Apple M5 Max 128G（统一内存） 能跑什么模型
128G 显存 → 可用约 112.6G（Windows 88%）· 带宽 614 GB/s · Apple Silicon · 共享主机
能装下 44/67 个模型，其中 40 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-235B-A22B（IQ3_K，8K 总需 105.3G，装完权重最多还能开 40960 token，受限：模型原生上限，推算 32–45 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-235B-A22B(IQ3_K)、Qwen3.8-Flash-Next(Q6_K)、Kolibri-1(Q8_0)、Ling-3.0-flash(Q6_K)
装不下：DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-235B-A22B（IQ3_K）沿 4K 35–49 → 8K 32–45 → 16K 27–38 → 32K 21–29 → 40K 19–26 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m4-max-128g/ — Apple M4 Max 128G（统一内存） 能跑什么模型
128G 显存 → 可用约 112.6G（Windows 88%）· 带宽 546 GB/s · Apple Silicon · 共享主机
能装下 44/67 个模型，其中 40 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-235B-A22B（IQ3_K，8K 总需 105.3G，装完权重最多还能开 40960 token，受限：模型原生上限，推算 28–40 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-235B-A22B(IQ3_K)、Qwen3.8-Flash-Next(Q6_K)、Kolibri-1(Q8_0)、Ling-3.0-flash(Q6_K)
装不下：DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-235B-A22B（IQ3_K）沿 4K 31–44 → 8K 28–40 → 16K 24–34 → 32K 19–26 → 40K 17–23 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/nvidia-dgx-spark-128g/ — NVIDIA DGX Spark 128G 能跑什么模型
128G 显存 → 可用约 112.6G（Windows 88%）· 带宽 273 GB/s · Blackwell（Grace Hopper） · 英伟达
能装下 44/67 个模型，其中 40 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-235B-A22B（IQ3_K，8K 总需 105.3G，装完权重最多还能开 40960 token，受限：模型原生上限，推算 14–20 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-235B-A22B(IQ3_K)、Qwen3.8-Flash-Next(Q6_K)、Kolibri-1(Q8_0)、Ling-3.0-flash(Q6_K)
装不下：DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-235B-A22B（IQ3_K）沿 4K 15–22 → 8K 14–20 → 16K 12–17 → 32K 9–13 → 40K 8–12 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/amd-strix-halo-395-128g/ — AMD Ryzen AI Max+ 395 / Strix Halo 128G（统一内存） 能跑什么模型
128G 显存 → 可用约 112.6G（Windows 88%）· 带宽 256 GB/s · Strix Halo（Radeon 8060S RDNA3.5） · 共享主机
能装下 44/67 个模型，其中 40 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-235B-A22B（IQ3_K，8K 总需 105.3G，装完权重最多还能开 40960 token，受限：模型原生上限，推算 13–19 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-235B-A22B(IQ3_K)、Qwen3.8-Flash-Next(Q6_K)、Kolibri-1(Q8_0)、Ling-3.0-flash(Q6_K)
装不下：DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-235B-A22B（IQ3_K）沿 4K 14–20 → 8K 13–19 → 16K 11–16 → 32K 9–12 → 40K 8–11 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/nvidia-rtx-pro-6000-blackwell-96g/ — NVIDIA RTX Pro 6000 Blackwell 96G 能跑什么模型
96G 显存 → 可用约 84.5G（Windows 88%）· 带宽 960 GB/s · Blackwell · 英伟达
能装下 43/67 个模型，其中 38 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.8-Flash-Next（Q4_K_M，8K 总需 76.2G，装完权重最多还能开 262144 token，受限：模型原生上限，推算 150–200 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Llama 3.1 70B Instruct(Q8_0)、Qwen3.8-Flash-Next(Q4_K_M)、NVIDIA Nemotron 3.5 Bolt 74B(Q8_0)、Kolibri-1(Q8_0)、Ling-3.0-flash(Q4_K_M)
装不下：Qwen3-235B-A22B、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 16–23 → 8K 16–22 → 16K 15–21 → 32K 13–18 → 40K 12–17 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/nvidia-cmp-170hx-64g/ — NVIDIA CMP 170HX 64G（矿卡魔改） 能跑什么模型
64G 显存 → 可用约 56.3G（Windows 88%）· 带宽 1490 GB/s · Ampere GA100-105F（A100 同封装；70 SM / 4480 CUDA / 280 Tensor，CC 8.0，HBM2e 4096-bit） · 魔改
能装下 41/67 个模型，其中 37 个开 8K 上下文仍算流畅。最大能跑到 Kolibri-1（Q5_K_M，8K 总需 55.8G，装完权重最多还能开 61440 token，受限：显存，推算 200 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q5_K_M)、NVIDIA Nemotron 3.5 Bolt 74B(Q5_K_M)、Kolibri-1(Q5_K_M)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 25–36 → 8K 24–34 → 16K 23–32 → 32K 20–28 → 40K 19–26 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m1-max-64g/ — Apple M1 Max 64G（统一内存） 能跑什么模型
64G 显存 → 可用约 56.3G（Windows 88%）· 带宽 400 GB/s · Apple Silicon · 共享主机
能装下 41/67 个模型，其中 37 个开 8K 上下文仍算流畅。最大能跑到 Kolibri-1（Q5_K_M，8K 总需 55.8G，装完权重最多还能开 61440 token，受限：显存，推算 93–131 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q5_K_M)、NVIDIA Nemotron 3.5 Bolt 74B(Q5_K_M)、Kolibri-1(Q5_K_M)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 7–10 → 8K 7–9 → 16K 6–9 → 32K 5–8 → 40K 5–7 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m5-pro-64g/ — Apple M5 Pro 64G（统一内存） 能跑什么模型
64G 显存 → 可用约 56.3G（Windows 88%）· 带宽 307 GB/s · Apple Silicon · 共享主机
能装下 41/67 个模型，其中 37 个开 8K 上下文仍算流畅。最大能跑到 Kolibri-1（Q5_K_M，8K 总需 55.8G，装完权重最多还能开 61440 token，受限：显存，推算 71–101 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、Muse Glimmer-30B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(Q5_K_M)、NVIDIA Nemotron 3.5 Bolt 74B(Q5_K_M)、Kolibri-1(Q5_K_M)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 5–7 → 8K 5–7 → 16K 5–7 → 32K 4–6 → 40K 4–5 tok/s，到 40K 就是这张卡的上限。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/nvidia-rtx-pro-5000-blackwell-48g/ — NVIDIA RTX PRO 5000 Blackwell 48G（工作站） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 1344 GB/s · Blackwell（RTX PRO 5000，384-bit GDDR7 ECC） · 英伟达
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 20–28 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 23–32 → 8K 22–31 → 16K 21–29 → 28.5K 19–26 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4090-48g/ — NVIDIA RTX 4090 48G（魔改） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 1008 GB/s · Ada Lovelace（魔改显存颗粒） · 魔改
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 15–21 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 17–24 → 8K 16–23 → 16K 15–22 → 28.5K 14–19 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-6000-ada-48g/ — NVIDIA RTX 6000 Ada 48G（工作站） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 960 GB/s · Ada Lovelace（AD102，18176 CUDA，384-bit GDDR6 ECC） · 英伟达
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 16–23 → 8K 16–22 → 16K 15–21 → 28.5K 13–19 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7900-48g/ — AMD Radeon PRO W7900 48G（工作站） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 864 GB/s · RDNA3（Navi 31 XT，96CU，384-bit GDDR6 ECC） · AMD
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 13–18 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 15–21 → 8K 14–20 → 16K 13–19 → 28.5K 12–17 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7800-48g/ — AMD Radeon PRO W7800 48G（工作站） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 864 GB/s · RDNA3（Navi 31，70CU，384-bit GDDR6 ECC） · AMD
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 13–18 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 15–21 → 8K 14–20 → 16K 13–19 → 28.5K 12–17 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/moore-threads-mtt-s4000-48g/ — 摩尔线程 MTT S4000 48G（国产·推理加速卡） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 768 GB/s · MTT S4000（MUSA 第三代，QY102AA-800 / 1.5GHz） · 国产
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 11–16 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 13–18 → 8K 13–18 → 16K 12–16 → 28.5K 11–15 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-a6000-48g/ — NVIDIA RTX A6000 48G（工作站） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 768 GB/s · Ampere（GA102，10752 CUDA，384-bit GDDR6 ECC） · 英伟达
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 11–16 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 13–18 → 8K 13–18 → 16K 12–16 → 28.5K 11–15 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m3-max-48g/ — Apple M3 Max 48G（统一内存） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 400 GB/s · Apple Silicon · 共享主机
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 6–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 7–10 → 8K 7–9 → 16K 6–9 → 28.5K 6–8 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m4-pro-48g/ — Apple M4 Pro 48G（统一内存） 能跑什么模型
48G 显存 → 可用约 42.2G（Windows 88%）· 带宽 273 GB/s · Apple Silicon · 共享主机
能装下 39/67 个模型，其中 25 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ4_XS，8K 总需 40.7G，装完权重最多还能开 12800 token，受限：显存，推算 4–6 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、GPT-OSS-20B(Q8_0)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3.8-27B(Q6_K)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：Qwen3-30B-A3B(Q8_0)、Qwen3-32B(Q8_0)、DeepSeek-R1-Distill-Qwen-32B(Q8_0)、Seed-OSS-36B-Instruct(Q8_0)、Llama 3.1 70B Instruct(IQ4_XS)、Qwen3.6-35B-A3B(Q8_0)、Ornith-1.5-35B-A3B(Q8_0)、Terminal-RSI-27B(Q8_0)、AREX-2(Q8_0)、Muse Glimmer-30B(Q8_0)、NVIDIA Nemotron 3.5 Lightning 30B(Q8_0)、MiniCPM-V 4.7 35B-A3B(Q8_0)、IBM Granite 4.2 30B(Q8_0)、Swift-1.5-Qwen3.8-27B(Q8_0)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q8_0）沿 4K 5–7 → 8K 4–6 → 16K 4–6 → 28.5K 4–5 tok/s，到 28.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5090-32g/ — NVIDIA RTX 5090 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 1792 GB/s · Blackwell · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 24–34 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 45–64 → 8K 43–60 → 16K 39–54 → 19K 37–52 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5090-d-32g/ — NVIDIA RTX 5090 D 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 1792 GB/s · Blackwell（GB202，512-bit GDDR7，中国特供 AI 算力受限 SKU） · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 24–34 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 45–64 → 8K 43–60 → 16K 39–54 → 19K 37–52 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/instinct-mi100-32g/ — AMD Instinct MI100 32G（老数据中心卡） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 1229 GB/s · CDNA 1.0（Arcturus，4096-bit HBM2） · AMD
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 31–44 → 8K 29–41 → 16K 27–37 → 19K 26–36 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/instinct-mi50-32g/ — AMD Instinct MI50 32G（数据卡） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 1024 GB/s · Vega20（HBM2） · AMD
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 14–19 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 26–37 → 8K 25–34 → 16K 22–31 → 19K 21–30 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-v100-32g/ — NVIDIA Tesla V100 32G（数据卡） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 900 GB/s · Volta（HBM2） · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 12–17 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 23–32 → 8K 22–30 → 16K 19–27 → 19K 19–26 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-pro-4500-blackwell-32g/ — NVIDIA RTX PRO 4500 Blackwell 32G（工作站） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 896 GB/s · Blackwell（256-bit GDDR7 ECC） · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 12–17 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 23–32 → 8K 21–30 → 16K 19–27 → 19K 19–26 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4080-32g-modded/ — NVIDIA RTX 4080 32G（魔改） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 736 GB/s · Ada Lovelace（魔改显存） · 魔改
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 10–14 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 19–26 → 8K 18–25 → 16K 16–22 → 19K 15–21 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4080-super-32g/ — NVIDIA RTX 4080 SUPER 32G（魔改） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 736 GB/s · Ada Lovelace AD103（魔改显存颗粒，10240 CUDA） · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 10–14 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 19–26 → 8K 18–25 → 16K 16–22 → 19K 15–21 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-r9700-32g/ — AMD Radeon PRO R9700 32G（工作站） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 640 GB/s · RDNA4（Navi 48，4096 流处理器，256-bit GDDR6） · AMD
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 9–12 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 16–23 → 8K 15–22 → 16K 14–19 → 19K 13–19 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7800-32g/ — AMD Radeon PRO W7800 32G（工作站） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 576 GB/s · RDNA3（Navi 31，70CU，256-bit GDDR6 ECC） · AMD
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 8–11 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 15–21 → 8K 14–19 → 16K 12–17 → 19K 12–17 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5000-ada-32g/ — NVIDIA RTX 5000 Ada 32G（工作站） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 512 GB/s · Ada Lovelace（AD103，12800 CUDA，256-bit GDDR6 ECC） · 英伟达
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 7–10 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 13–18 → 8K 12–17 → 16K 11–16 → 19K 11–15 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w6800-32g/ — AMD Radeon PRO W6800 32G（工作站） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 512 GB/s · RDNA2（Navi 21，60CU，256-bit GDDR6 ECC） · AMD
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 7–10 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 13–18 → 8K 12–17 → 16K 11–16 → 19K 11–15 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/hygon-k100-32g/ — 海光 深算 K100 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 国产GPU架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tenxian-tiangai-100-32g/ — 天数智芯 天垓100 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 国产GPU架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/biren-br100-32g/ — 壁仞科技 Biren BR100 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 壁仞架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/matrixx-metax-32g/ — 沐曦集成 MetaX 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 沐曦架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/suitian-suyuan-32g/ — 燧原科技 训燧/infer燧 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 燧原架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tongyi-xuantie-32g/ — 平头哥 玄铁/含光 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 400 GB/s · 平头哥架构 · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 5–8 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 10–14 → 8K 10–13 → 16K 9–12 → 19K 8–12 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/huawei-ascend-910b-32g/ — 华为昇腾 910B 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 320 GB/s · Da Vinci · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 4–6 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 8–11 → 8K 8–11 → 16K 7–10 → 19K 7–9 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/cambric-mlu370-s4-32g/ — 寒武纪 思元 MLU370-S4 32G 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 320 GB/s · Cambricon · 国产
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 4–6 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 8–11 → 8K 8–11 → 16K 7–10 → 19K 7–9 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/apple-m6-32g/ — Apple M6 32G（统一内存） 能跑什么模型
32G 显存 → 可用约 28.2G（Windows 88%）· 带宽 170 GB/s · Apple Silicon · 共享主机
能装下 39/67 个模型，其中 21 个开 8K 上下文仍算流畅。最大能跑到 Llama 3.1 70B Instruct（IQ3_XXS，8K 总需 29.9G，装完权重最多还能开 2048 token，受限：显存，推算 2–3 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
能跑但紧：GPT-OSS-20B(Q8_0)、Qwen3-30B-A3B(Q6_K)、Mistral Small 3.1 24B(Q8_0)、Gemma 3 27B IT(Q6_K)、Qwen3-32B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-32B(Q5_K_M)、Seed-OSS-36B-Instruct(Q5_K_M)、Llama 3.1 70B Instruct(IQ3_XXS)、Qwen3.8-27B(Q6_K)、Qwen3.6-35B-A3B(Q5_K_M)、Ornith-1.5-35B-A3B(Q5_K_M)、Terminal-RSI-27B(Q6_K)、AREX-2(Q6_K)、Muse Glimmer-30B(Q6_K)、NVIDIA Nemotron 3.5 Lightning 30B(Q6_K)、MiniCPM-V 4.7 35B-A3B(Q5_K_M)、IBM Granite 4.2 30B(Q6_K)、Swift-1.5-Qwen3.8-27B(Q6_K)
装不下：Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（Q5_K_M）沿 4K 4–6 → 8K 4–6 → 16K 4–5 → 19K 4–5 tok/s，到 19K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4090-24g/ — NVIDIA RTX 4090 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 1008 GB/s · Ada Lovelace · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 33–46 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 33–47 → 8K 31–43 → 12K 29–40 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3090-ti-24g/ — NVIDIA RTX 3090 Ti 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 1008 GB/s · Ampere · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 33–46 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 33–47 → 8K 31–43 → 12K 29–40 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4090d-24g/ — NVIDIA RTX 4090D 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 1008 GB/s · Ada Lovelace · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 33–46 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 33–47 → 8K 31–43 → 12K 29–40 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7900-xtx-24g/ — AMD RX 7900 XTX 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 960 GB/s · RDNA3 · AMD
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 31–44 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 31–44 → 8K 29–41 → 12K 27–38 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3090-24g/ — NVIDIA RTX 3090 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 936 GB/s · Ampere · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 30–43 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 31–43 → 8K 29–40 → 12K 27–37 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-a5000-24g/ — NVIDIA RTX A5000 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 560 GB/s · Ampere · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 18–26 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 18–26 → 8K 17–24 → 12K 16–22 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-p40-24g/ — NVIDIA Tesla P40 24G（数据卡） 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 480 GB/s · Pascal（GP100 数据卡） · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 16–22 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 16–22 → 8K 15–21 → 12K 14–19 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-pro-b60-24g/ — Intel Arc Pro B60 24G（工作站） 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 456 GB/s · Xe2（Battlemage，20 Xe2 核，192-bit GDDR6） · 英特尔
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 15–21 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 15–21 → 8K 14–20 → 12K 13–18 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3060-24g-modded/ — NVIDIA RTX 3060 24G（魔改） 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 336 GB/s · Ampere（笔记本核心魔改） · 魔改
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 11–16 → 8K 10–14 → 12K 10–13 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-pro-4000-blackwell-sff-24g/ — NVIDIA RTX Pro 4000 Blackwell SFF 24G 能跑什么模型
24G 显存 → 可用约 21.1G（Windows 88%）· 带宽 288 GB/s · Blackwell · 英伟达
能装下 37/67 个模型，其中 19 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 17408 token，受限：显存，推算 9–13 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Gemma 3 12B IT(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(Q4_K_M)、Mistral Small 3.1 24B(Q6_K)、Gemma 3 27B IT(Q5_K_M)、Qwen3-32B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-32B(IQ4_XS)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q5_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Ornith-1.5-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q5_K_M)、AREX-2(Q5_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ4_XS）沿 4K 9–13 → 8K 9–12 → 12K 8–12 tok/s，到 12K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2080-ti-22g/ — NVIDIA RTX 2080 Ti 22G（魔改） 能跑什么模型
22G 显存 → 可用约 19.4G（Windows 88%）· 带宽 616 GB/s · Turing（魔改显存颗粒） · 魔改
能装下 36/67 个模型，其中 17 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_K，8K 总需 18.8G，装完权重最多还能开 10752 token，受限：显存，推算 20–28 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、GPT-OSS-20B(Q4_K_M)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q8_0)、Qwen3-30B-A3B(IQ4_XS)、Mistral Small 3.1 24B(Q5_K_M)、Gemma 3 27B IT(Q4_K_M)、Qwen3-32B(IQ3_K)、DeepSeek-R1-Distill-Qwen-32B(IQ3_K)、Seed-OSS-36B-Instruct(IQ3_K)、Qwen3.8-27B(Q4_K_M)、Qwen3.6-35B-A3B(IQ4_XS)、Terminal-RSI-27B(Q4_K_M)、AREX-2(Q4_K_M)、Muse Glimmer-30B(Q4_K_M)、NVIDIA Nemotron 3.5 Lightning 30B(Q4_K_M)、Gemma 4 12B Unified(Q8_0)、IBM Granite 4.2 30B(Q4_K_M)、Swift-1.5-Qwen3.8-27B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ3_K）沿 4K 24–34 → 8K 22–31 → 16K 19–27 → 17.5K 19–26 tok/s，到 17.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7900-xt-20g/ — AMD RX 7900 XT 20G 能跑什么模型
20G 显存 → 可用约 17.6G（Windows 88%）· 带宽 800 GB/s · RDNA3 · AMD
能装下 34/67 个模型，其中 17 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_XXS，8K 总需 16.6G，装完权重最多还能开 12288 token，受限：显存，推算 30–41 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(GSQ-2bit)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q6_K)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_K)、Mistral Small 3.1 24B(Q4_K_M)、Gemma 3 27B IT(IQ4_XS)、Qwen3-32B(IQ3_K)、DeepSeek-R1-Distill-Qwen-32B(IQ3_K)、Seed-OSS-36B-Instruct(IQ3_XXS)、Qwen3.8-27B(IQ4_XS)、Terminal-RSI-27B(IQ4_XS)、AREX-2(IQ4_XS)、Muse Glimmer-30B(IQ4_XS)、Gemma 4 12B Unified(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ3_K）沿 4K 31–44 → 8K 29–40 → 10K 28–39 tok/s，到 10K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3080-20g/ — NVIDIA RTX 3080 20G（魔改） 能跑什么模型
20G 显存 → 可用约 17.6G（Windows 88%）· 带宽 760 GB/s · Ampere（魔改显存颗粒） · 魔改
能装下 34/67 个模型，其中 17 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_XXS，8K 总需 16.6G，装完权重最多还能开 12288 token，受限：显存，推算 28–39 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(GSQ-2bit)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q6_K)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_K)、Mistral Small 3.1 24B(Q4_K_M)、Gemma 3 27B IT(IQ4_XS)、Qwen3-32B(IQ3_K)、DeepSeek-R1-Distill-Qwen-32B(IQ3_K)、Seed-OSS-36B-Instruct(IQ3_XXS)、Qwen3.8-27B(IQ4_XS)、Terminal-RSI-27B(IQ4_XS)、AREX-2(IQ4_XS)、Muse Glimmer-30B(IQ4_XS)、Gemma 4 12B Unified(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ3_K）沿 4K 30–42 → 8K 27–38 → 10K 26–37 tok/s，到 10K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4000-sff-ada-20g/ — NVIDIA RTX 4000 SFF Ada 20G（工作站） 能跑什么模型
20G 显存 → 可用约 17.6G（Windows 88%）· 带宽 280 GB/s · Ada Lovelace（AD104，6144 CUDA，160-bit GDDR6 ECC） · 英伟达
能装下 34/67 个模型，其中 17 个开 8K 上下文仍算流畅。最大能跑到 Seed-OSS-36B-Instruct（IQ3_XXS，8K 总需 16.6G，装完权重最多还能开 12288 token，受限：显存，推算 10–14 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、Qwen3.6-35B-A3B(GSQ-2bit)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 8B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-14B(Q8_0)、Gemma 3 12B IT(Q8_0)、Phi-4 14B(Q6_K)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_K)、Mistral Small 3.1 24B(Q4_K_M)、Gemma 3 27B IT(IQ4_XS)、Qwen3-32B(IQ3_K)、DeepSeek-R1-Distill-Qwen-32B(IQ3_K)、Seed-OSS-36B-Instruct(IQ3_XXS)、Qwen3.8-27B(IQ4_XS)、Terminal-RSI-27B(IQ4_XS)、AREX-2(IQ4_XS)、Muse Glimmer-30B(IQ4_XS)、Gemma 4 12B Unified(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ4_XS)、DeepSeek-R1-Distill-Qwen-14B(Q8_0)
装不下：Llama 3.1 70B Instruct、Qwen3-235B-A22B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-32B（IQ3_K）沿 4K 11–15 → 8K 10–14 → 10K 10–14 tok/s，到 10K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/radeon-vii-16g/ — AMD Radeon VII 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 1024 GB/s · GCN 5.1（Vega 20，3840 流处理器，4096-bit HBM2） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 200 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5080-16g/ — NVIDIA RTX 5080 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 960 GB/s · Blackwell · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 200 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-v100-16g/ — NVIDIA Tesla V100 16G（数据卡） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 900 GB/s · Volta（HBM2） · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 200 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4080-super-16g/ — NVIDIA RTX 4080 Super 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 736 GB/s · Ada Lovelace · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4080-16g/ — NVIDIA RTX 4080 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 736 GB/s · Ada Lovelace（AD103，256-bit GDDR6X 23Gbps） · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-p100-16g/ — NVIDIA Tesla P100 16G（数据卡） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 732 GB/s · Pascal（GP100 HBM2） · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4070-ti-super-16g/ — NVIDIA RTX 4070 Ti SUPER 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 672 GB/s · Ada Lovelace（AD103，256-bit GDDR6X 21Gbps） · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9070-16g/ — AMD RX 9070 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 644 GB/s · RDNA4（Navi 48，256-bit GDDR6） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6800-xt-16g/ — AMD Radeon RX 6800 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 640 GB/s · RDNA2（Navi 21 XT，72CU/4608 SP，256-bit GDDR6，128MB Infinity Cache） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7800-xt-16g/ — AMD Radeon RX 7800 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 624 GB/s · RDNA3（Navi 31，60CU/3840 SP，256-bit GDDR6，80MB Infinity Cache） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7900-gre-16g/ — AMD RX 7900 GRE 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 578 GB/s · RDNA3 · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9070-xt-16g/ — AMD RX 9070 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 576 GB/s · RDNA4 · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6950-xt-16g/ — AMD RX 6950 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 576 GB/s · RDNA2（Navi 21 XTX，256-bit GDDR6 18Gbps） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7700-16g/ — AMD Radeon PRO W7700 16G（工作站） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 576 GB/s · RDNA3（Navi 32，48CU，256-bit GDDR6 ECC） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a770-16g/ — Intel Arc A770 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 560 GB/s · Alchemist（ACM-G10） · 英特尔
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6800-16g/ — AMD RX 6800 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 512 GB/s · RDNA2 · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6900-xt-16g/ — AMD RX 6900 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 512 GB/s · RDNA2（Navi 21 XT，256-bit GDDR6 16Gbps） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5060-ti-16g/ — NVIDIA RTX 5060 Ti 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 448 GB/s · Blackwell · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/quadro-a4000-16g/ — NVIDIA Quadro RTX A4000 16G（专业卡） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 448 GB/s · Ampere · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/moore-threads-mtt-s80-16g/ — 摩尔线程 MTT S80 16G（国产） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 448 GB/s · MTT S80（MUSA） · 国产
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3070-16g/ — NVIDIA RTX 3070 16G（魔改） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 448 GB/s · Ampere（魔改显存颗粒） · 魔改
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2070-16g-modded/ — NVIDIA RTX 2070 16G（魔改） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 448 GB/s · Turing TU106（魔改显存） · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5070-ti-16g/ — NVIDIA RTX 5070 Ti 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 336 GB/s · Blackwell · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-t4-16g/ — NVIDIA Tesla T4 16G（数据卡） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 320 GB/s · Turing · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4060-ti-16g/ — NVIDIA RTX 4060 Ti 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 288 GB/s · Ada Lovelace · 英伟达
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9060-xt-16g/ — AMD RX 9060 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 288 GB/s · RDNA4（Navi 44，128-bit GDDR6） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7600-xt-16g/ — AMD RX 7600 XT 16G 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 288 GB/s · RDNA3（Navi 33，128-bit GDDR6） · AMD
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-pro-b50-16g/ — Intel Arc Pro B50 16G（工作站） 能跑什么模型
16G 显存 → 可用约 14.1G（Windows 88%）· 带宽 224 GB/s · Xe2（Battlemage，128 XMX，128-bit GDDR6） · 英特尔
能装下 32/67 个模型，其中 11 个开 8K 上下文仍算流畅。最大能跑到 Qwen3.6-35B-A3B（GSQ-2bit，8K 总需 12.6G，装完权重最多还能开 89088 token，受限：显存，推算 113–140 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen2.5-VL-7B-Instruct(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q8_0)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q8_0)、Qwen3-14B(Q6_K)、Gemma 3 12B IT(Q6_K)、Phi-4 14B(Q5_K_M)、GPT-OSS-20B(Q4_K_M)、Qwen3-30B-A3B(IQ3_XXS)、Mistral Small 3.1 24B(IQ4_XS)、Gemma 3 27B IT(IQ3_K)、Qwen3-32B(IQ3_XXS)、DeepSeek-R1-Distill-Qwen-32B(IQ3_XXS)、Qwen3.6-35B-A3B(GSQ-2bit)、Terminal-RSI-27B(IQ3_K)、AREX-2(IQ3_K)、Muse Glimmer-30B(IQ3_XXS)、小米 MiMo-V2.6-Distill-Qwen-9B(Q8_0)、Gemma 4 12B Unified(Q6_K)、IBM Granite 4.2 8B(Q8_0)、Swift-1.5-Qwen3.8-27B(IQ3_M)、DeepSeek-R1-Distill-Qwen-14B(Q6_K)
装不下：Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Ornith-1.5-35B-A3B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-5070-12g/ — NVIDIA RTX 5070 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 672 GB/s · Blackwell（GB205，192-bit GDDR7） · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 40–57 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 49–69 → 8K 44–62 → 13.5K 39–55 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4070-12g/ — NVIDIA RTX 4070 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 504 GB/s · Ada Lovelace · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 30–43 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 37–51 → 8K 33–47 → 13.5K 30–41 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4070-super-12g/ — NVIDIA RTX 4070 SUPER 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 504 GB/s · Ada Lovelace（AD104，192-bit GDDR6X 21Gbps） · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 30–43 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 37–51 → 8K 33–47 → 13.5K 30–41 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4070-ti-12g/ — NVIDIA RTX 4070 Ti 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 504 GB/s · Ada Lovelace（AD104，192-bit GDDR6X 21Gbps） · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 30–43 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 37–51 → 8K 33–47 → 13.5K 30–41 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-b580-12g/ — Intel Arc B580 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 456 GB/s · Battlemage · 英特尔
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 27–38 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 33–47 → 8K 30–42 → 13.5K 27–37 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9070-gre-12g/ — AMD RX 9070 GRE 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 432 GB/s · RDNA4（Navi 48，192-bit GDDR6） · AMD
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 26–36 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 31–44 → 8K 28–40 → 13.5K 25–35 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7700-xt-12g/ — AMD RX 7700 XT 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 432 GB/s · RDNA3（Navi 32，192-bit GDDR6） · AMD
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 26–36 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 31–44 → 8K 28–40 → 13.5K 25–35 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6700-xt-12g/ — AMD RX 6700 XT 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 384 GB/s · RDNA2（Navi 22 XT，192-bit GDDR6 16Gbps） · AMD
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 23–32 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 28–39 → 8K 25–35 → 13.5K 22–31 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6750-xt-12g/ — AMD RX 6750 XT 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 384 GB/s · RDNA2（Navi 22 KXTX，192-bit GDDR6 16Gbps） · AMD
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 23–32 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 28–39 → 8K 25–35 → 13.5K 22–31 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-pro-a60-12g/ — Intel Arc Pro A60 12G（工作站） 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 384 GB/s · Xe HPG（Alchemist ACM-G12，2048 Xe 核，192-bit GDDR6） · 英特尔
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 23–32 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 28–39 → 8K 25–35 → 13.5K 22–31 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3060-12g/ — NVIDIA RTX 3060 12G 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 360 GB/s · Ampere · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 22–30 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 26–37 → 8K 24–33 → 13.5K 21–29 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3060-12g-modded/ — NVIDIA RTX 3060 12G（魔改） 能跑什么模型
12G 显存 → 可用约 10.6G（Windows 88%）· 带宽 360 GB/s · Ampere GA106（魔改显存） · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 8192 token，受限：显存，推算 22–30 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q8_0)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q5_K_M)、Phi-4 14B(IQ4_XS)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q5_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ4_XS)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ4_XS）沿 4K 26–37 → 8K 24–33 → 13.5K 21–29 tok/s，到 13.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2080-ti-11g/ — NVIDIA RTX 2080 Ti 11G（原厂） 能跑什么模型
11G 显存 → 可用约 9.7G（Windows 88%）· 带宽 616 GB/s · Turing · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 2560 token，受限：显存，推算 23–33 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q6_K)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q4_K_M)、Phi-4 14B(IQ3_K)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q4_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ3_K)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/gtx-1080-ti-11g/ — NVIDIA GTX 1080 Ti 11G 能跑什么模型
11G 显存 → 可用约 9.7G（Windows 88%）· 带宽 484 GB/s · Pascal（GP102，352-bit GDDR5X 11Gbps） · 英伟达
能装下 23/67 个模型，其中 9 个开 8K 上下文仍算流畅。最大能跑到 Mistral Small 3.1 24B（IQ3_XXS，8K 总需 10.6G，装完权重最多还能开 2560 token，受限：显存，推算 18–26 tok/s）。
8K 算流畅：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q6_K)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ4_XS)、Gemma 3 12B IT(Q4_K_M)、Phi-4 14B(IQ3_K)、GPT-OSS-20B(IQ3_XXS)、Mistral Small 3.1 24B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q8_0)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-7B(Q8_0)、Gemma 4 12B Unified(Q4_K_M)、IBM Granite 4.2 8B(Q6_K)、DeepSeek-R1-Distill-Qwen-14B(IQ3_K)
装不下：Qwen3-30B-A3B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3080-10g/ — NVIDIA RTX 3080 10G 能跑什么模型
10G 显存 → 可用约 8.8G（Windows 88%）· 带宽 760 GB/s · Ampere · 英伟达
能装下 21/67 个模型，其中 7 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 11776 token，受限：显存，推算 60–83 tok/s）。
8K 算流畅：Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q6_K)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ3_K)、Gemma 3 12B IT(IQ4_XS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q6_K)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q6_K)、Gemma 4 12B Unified(Q4_K_M)、IBM Granite 4.2 8B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_K)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ3_K）沿 4K 66–92 → 8K 59–82 → 10.5K 55–76 tok/s，到 10.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6700-10g/ — AMD Radeon RX 6700 10G 能跑什么模型
10G 显存 → 可用约 8.8G（Windows 88%）· 带宽 400 GB/s · RDNA2（Navi 22，36CU/2304 SP，160-bit GDDR6，80MB Infinity Cache） · AMD
能装下 21/67 个模型，其中 7 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 11776 token，受限：显存，推算 31–44 tok/s）。
8K 算流畅：Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q6_K)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ3_K)、Gemma 3 12B IT(IQ4_XS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q6_K)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q6_K)、Gemma 4 12B Unified(Q4_K_M)、IBM Granite 4.2 8B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_K)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ3_K）沿 4K 34–48 → 8K 31–43 → 10.5K 29–40 tok/s，到 10.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-b570-10g/ — Intel Arc B570 10G 能跑什么模型
10G 显存 → 可用约 8.8G（Windows 88%）· 带宽 380 GB/s · Xe2（Battlemage，18 Xe 核，160-bit GDDR6） · 英特尔
能装下 21/67 个模型，其中 7 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 11776 token，受限：显存，推算 30–42 tok/s）。
8K 算流畅：Gemma 3 4B IT(Q8_0)、MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Qwen3-8B(Q6_K)、Llama 3.1 8B Instruct(Q6_K)、GLM-4-9B 0414(Q6_K)、Qwen3-14B(IQ3_K)、Gemma 3 12B IT(IQ4_XS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q6_K)、小米 MiMo-V2.6-Distill-Qwen-9B(Q6_K)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q6_K)、Gemma 4 12B Unified(Q4_K_M)、IBM Granite 4.2 8B(Q5_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_K)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
上下文拉长后的单流推算：Qwen3-14B（IQ3_K）沿 4K 33–46 → 8K 29–41 → 10.5K 27–38 tok/s，到 10.5K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/r9-295x2-8g/ — AMD R9 295X2 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 640 GB/s · GCN 2.0（双 Hawaii XT，5632 流处理器，1024-bit GDDR5） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 30–43 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3070-ti-8g/ — NVIDIA RTX 3070 Ti 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 624 GB/s · Ampere（GA104，256-bit GDDR6X 19.5Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 30–42 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a750-8g/ — Intel Arc A750 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 512 GB/s · Alchemist · 英特尔
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 24–35 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a580-8g/ — Intel Arc A580 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 512 GB/s · Xe HPG（Alchemist，24 Xe 核，256-bit GDDR6） · 英特尔
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 24–35 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a770-8g/ — Intel Arc A770 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 512 GB/s · Xe HPG（Alchemist，32 Xe 核，256-bit GDDR6） · 英特尔
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 24–35 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2080-super-8g/ — NVIDIA RTX 2080 SUPER 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 496 GB/s · Turing（TU104，256-bit GDDR6 15.5Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 24–34 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-vega-64-8g/ — AMD RX Vega 64 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 484 GB/s · GCN 5.0（Vega 10，4096 流处理器，2048-bit HBM2） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 23–33 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3060-ti-8g/ — NVIDIA GeForce RTX 3060 Ti 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Ampere（GA104，4864 CUDA，256-bit GDDR6） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2060-super-8g/ — NVIDIA RTX 2060 SUPER 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Turing（TU106，256-bit GDDR6 14Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2070-8g/ — NVIDIA RTX 2070 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Turing（TU106，256-bit GDDR6 14Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2070-super-8g/ — NVIDIA RTX 2070 SUPER 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Turing（TU104，256-bit GDDR6 14Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2080-8g/ — NVIDIA RTX 2080 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Turing（TU104，256-bit GDDR6 14Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3070-8g/ — NVIDIA RTX 3070 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · Ampere（GA104，256-bit GDDR6 14Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-5700-8g/ — AMD RX 5700 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · RDNA1（Navi 10，256-bit GDDR6 14Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-5700-xt-8g/ — AMD RX 5700 XT 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · RDNA1（Navi 10 XT，256-bit GDDR6 14Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w5700-8g/ — AMD Radeon PRO W5700 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 448 GB/s · RDNA1（Navi 10，2304 流处理器，256-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 21–30 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-vega-56-8g/ — AMD RX Vega 56 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 410 GB/s · GCN 5.0（Vega 10，3584 流处理器，2048-bit HBM2） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 20–28 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/p104-100-8g/ — NVIDIA P104-100 8G（矿卡） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 320 GB/s · Pascal（GP104，256-bit GDDR5X，无显示输出） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 15–22 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-7600-8g/ — AMD RX 7600 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 288 GB/s · RDNA3（Navi 33，128-bit GDDR6 18Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9060-xt-8g/ — AMD RX 9060 XT 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 288 GB/s · RDNA4（Navi 44，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-9060-8g/ — AMD RX 9060 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 288 GB/s · RDNA4（Navi 48，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4060-ti-8g/ — NVIDIA RTX 4060 Ti 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 288 GB/s · Ada Lovelace（AD106，128-bit GDDR6 18Gbps） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7600-8g/ — AMD Radeon PRO W7600 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 288 GB/s · RDNA3（Navi 33，32CU，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 14–20 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6650-xt-8g/ — AMD RX 6650 XT 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 280 GB/s · RDNA2（Navi 23 KXT，128-bit GDDR6 17.5Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 13–19 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-4060-8g/ — NVIDIA RTX 4060 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 272 GB/s · Ada Lovelace · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 13–19 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-580-8g/ — AMD RX 580 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 256 GB/s · Polaris 20（2304 流处理器，256-bit GDDR5 8Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 12–18 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-590-8g/ — AMD RX 590 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 256 GB/s · Polaris 30（刷新版，256-bit GDDR5 8Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 12–18 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6600-xt-8g/ — AMD RX 6600 XT 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 256 GB/s · RDNA2（Navi 23 XT，128-bit GDDR6 16Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 12–18 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-3050-8g/ — NVIDIA RTX 3050 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · Ampere · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6600-8g/ — AMD RX 6600 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · RDNA2（Navi 23，128-bit GDDR6 14Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-570-8g/ — AMD RX 570 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · Polaris 20（2048 流处理器，256-bit GDDR5 7Gbps） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w6600-8g/ — AMD Radeon PRO W6600 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · RDNA2（Navi 23，1792 流处理器，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7500-8g/ — AMD Radeon PRO W7500 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · RDNA3（Navi 33，28CU，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w7400-8g/ — AMD Radeon PRO W7400 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · RDNA3（Navi 33，28CU 降 bin，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w5500-8g/ — AMD Radeon PRO W5500 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 224 GB/s · RDNA1（Navi 14，1408 流处理器，128-bit GDDR6） · AMD
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 11–15 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/mthreads-s50-8g/ — 摩尔线程 S50 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 200 GB/s · 摩尔线程架构 · 国产
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 10–14 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/t1000-8g/ — NVIDIA T1000 8G（工作站） 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 192 GB/s · Turing（TU117，896 CUDA，128-bit GDDR6） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 9–13 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/tesla-p4-8g/ — NVIDIA Tesla P4 8G 能跑什么模型
8G 显存 → 可用约 7G（Windows 88%）· 带宽 112 GB/s · Pascal（GP102） · 英伟达
能装下 21/67 个模型，其中 6 个开 8K 上下文仍算流畅。最大能跑到 Phi-4 14B（IQ3_XXS，8K 总需 8.1G，装完权重最多还能开 2048 token，受限：显存，推算 6–8 tok/s）。
8K 算流畅：MiniCPM5-2B(Q8_0)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q8_0)
能跑但紧：Qwen3-4B(Q8_0)、Gemma 3 4B IT(Q8_0)、Qwen3-8B(Q4_K_M)、Llama 3.1 8B Instruct(Q4_K_M)、GLM-4-9B 0414(Q4_K_M)、Qwen3-14B(IQ3_XXS)、Gemma 3 12B IT(IQ3_XXS)、Phi-4 14B(IQ3_XXS)、Qwen2.5-VL-7B-Instruct(Q5_K_M)、小米 MiMo-V2.6-Distill-Qwen-9B(Q4_K_M)、腾讯混元 Hunyuan-4B(Q8_0)、腾讯混元 Hunyuan-7B(Q5_K_M)、Gemma 4 12B Unified(IQ3_XXS)、IBM Granite 4.2 8B(Q4_K_M)、DeepSeek-R1-Distill-Qwen-14B(IQ3_XXS)
装不下：GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rtx-2060-6g/ — NVIDIA RTX 2060 6G 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 336 GB/s · Turing（TU106，192-bit GDDR6 14Gbps） · 英伟达
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 46–65 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 53–75 → 8K 45–62 → 9K 43–59 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/gtx-1660-super-6g/ — NVIDIA GTX 1660 SUPER 6G 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 336 GB/s · Turing（TU116，192-bit GDDR6 14Gbps） · 英伟达
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 46–65 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 53–75 → 8K 45–62 → 9K 43–59 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/gtx-1660-ti-6g/ — NVIDIA GTX 1660 Ti 6G 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 288 GB/s · Turing（TU116，192-bit GDDR6 12Gbps） · 英伟达
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 40–56 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 46–64 → 8K 38–53 → 9K 37–51 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-5600-xt-6g/ — AMD RX 5600 XT 6G 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 288 GB/s · RDNA1（Navi 10 XLE，192-bit GDDR6 12Gbps） · AMD
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 40–56 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 46–64 → 8K 38–53 → 9K 37–51 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-pro-a40-6g/ — Intel Arc Pro A40 6G（工作站） 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 192 GB/s · Xe HPG（Alchemist ACM-G11，512 Xe 核，96-bit GDDR6） · 英特尔
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 26–37 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 31–43 → 8K 25–35 → 9K 24–34 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-pro-a50-6g/ — Intel Arc Pro A50 6G（工作站） 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 192 GB/s · Xe HPG（Alchemist ACM-G11，1024 Xe 核，96-bit GDDR6） · 英特尔
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 26–37 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 31–43 → 8K 25–35 → 9K 24–34 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/intel-arc-a380-6g/ — Intel Arc A380 6G 能跑什么模型
6G 显存 → 可用约 5.3G（Windows 88%）· 带宽 186 GB/s · Xe HPG（Alchemist，8 Xe 核，GDDR6） · 英特尔
能装下 14/67 个模型，其中 4 个开 8K 上下文仍算流畅。最大能跑到 GLM-4-9B 0414（IQ3_K，8K 总需 5.3G，装完权重最多还能开 9216 token，受限：显存，推算 26–36 tok/s）。
8K 算流畅：LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-0.5B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、MiniCPM-V 4.7 1B(Q8_0)
能跑但紧：Qwen3-4B(Q5_K_M)、Gemma 3 4B IT(Q6_K)、Qwen3-8B(IQ3_XXS)、Llama 3.1 8B Instruct(IQ3_XXS)、GLM-4-9B 0414(IQ3_K)、Qwen2.5-VL-7B-Instruct(IQ4_XS)、MiniCPM5-2B(Q8_0)、腾讯混元 Hunyuan-4B(Q5_K_M)、腾讯混元 Hunyuan-7B(IQ3_K)、IBM Granite 4.2 3B(Q8_0)
装不下：Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
上下文拉长后的单流推算：Qwen3-8B（IQ3_XXS）沿 4K 30–41 → 8K 25–34 → 9K 24–33 tok/s，到 9K 就是这张卡的上限；想开到 40K 这张卡不够（要么上更大显存，要么把 KV 量化到 q8/q4）。
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/r9-290x-4g/ — AMD R9 290X 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 320 GB/s · GCN 2.0（Hawaii XT，2816 流处理器，512-bit GDDR5） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 46–64 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/r9-290-4g/ — AMD R9 290 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 320 GB/s · GCN 2.0（Hawaii Pro，2560 流处理器，512-bit GDDR5） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 46–64 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-6500-xt-4g/ — AMD RX 6500 XT 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 144 GB/s · RDNA2（Navi 24 XT，64-bit GDDR6 18Gbps） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 21–29 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/nvidia-gtx-1650-4g/ — NVIDIA GTX 1650 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 128 GB/s · Turing（TU117，896 CUDA 核，无光追/张量核心） · 英伟达
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 19–26 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/amd-rx-6400-4g/ — AMD RX 6400 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 128 GB/s · RDNA 2（Navi 24，768 流处理器，64-bit GDDR6） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 19–26 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/intel-arc-a310-4g/ — Intel Arc A310 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 124 GB/s · Xe HPG（Alchemist，4 Xe 核，GDDR6） · 英特尔
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 18–25 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-560-4g/ — AMD RX 560 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 112 GB/s · Polaris 21（1024 流处理器，128-bit GDDR5 7Gbps） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/rx-550-4g/ — AMD RX 550 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 112 GB/s · Polaris 12（640 流处理器，128-bit GDDR5 7Gbps） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a370-4g/ — Intel Arc A370 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 112 GB/s · Xe HPG（Alchemist，8 Xe 核，128-bit GDDR6） · 英特尔
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/arc-a350-4g/ — Intel Arc A350 4G 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 112 GB/s · Xe HPG（Alchemist，6 Xe 核，128-bit GDDR6） · 英特尔
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

## /card/pro-w6400-4g/ — AMD Radeon PRO W6400 4G（工作站） 能跑什么模型
4G 显存 → 可用约 3.5G（Windows 88%）· 带宽 112 GB/s · RDNA2（Navi 24，768 流处理器，64-bit GDDR6） · AMD
能装下 9/67 个模型，其中 1 个开 8K 上下文仍算流畅。最大能跑到 Qwen3-4B（IQ3_XXS，8K 总需 3.6G，装完权重最多还能开 7168 token，受限：显存，推算 16–23 tok/s）。
8K 算流畅：腾讯混元 Hunyuan-0.5B(Q8_0)
能跑但紧：Qwen3-4B(IQ3_XXS)、Gemma 3 4B IT(IQ4_XS)、MiniCPM5-2B(Q6_K)、LFM3-1.7B(Q8_0)、腾讯混元 Hunyuan-1.8B(Q8_0)、腾讯混元 Hunyuan-4B(IQ3_XXS)、MiniCPM-V 4.7 1B(Q8_0)、IBM Granite 4.2 3B(Q4_K_M)
装不下：Qwen3-8B、Llama 3.1 8B Instruct、GLM-4-9B 0414、Qwen3-14B、Gemma 3 12B IT、Phi-4 14B、GPT-OSS-20B、Qwen3-30B-A3B、Mistral Small 3.1 24B、Gemma 3 27B IT、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Seed-OSS-36B-Instruct、Llama 3.1 70B Instruct、Qwen3-235B-A22B、Qwen3.8-27B、Qwen2.5-VL-7B-Instruct、Qwen3.6-35B-A3B、Ornith-1.5-35B-A3B、Terminal-RSI-27B、AREX-2、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash、Muse Glimmer-30B、GLM-5.3、Kimi K3、Ling-3.2-flash、Ling-3.1-flash、MiniMax-M3.1-Flash、小米 MiMo-V2.6-Flash、小米 MiMo-V2.6-Distill-Qwen-9B、NVIDIA Nemotron 3 Ultra、GLM-5.3-Flash、NVIDIA Nemotron 3.5 Lightning 30B、NVIDIA Nemotron 3.5 Bolt 74B、Muse Spark Open 816B、Beam 1.0 501B、Qwen3.8-2.4T-A95B、Kolibri-1、小米 MiMo-V2.6-Pro-RL、腾讯混元 Hunyuan-7B、MiniCPM-V 4.7 35B-A3B、Kimi K3.1 Pro、Step-5-Preview、Ling-3.0-flash、Gemma 4 12B Unified、Mistral Large 4、Inkling、Inkling-Small、IBM Granite 4.2 30B、IBM Granite 4.2 8B、K-EXAONE 2.0、Tencent Hy4 preview、MiniMax-M3、Swift-1.5-Qwen3.8-27B、DeepSeek-V4.1-Flash-1017、ERNIE-5.5-Flash-Base、DeepSeek-R1-Distill-Qwen-14B
该卡单页另有"量化 × 上下文"矩阵（4K/8K/16K/32K/64K/128K，并补上模型原生上限那一档，如 Qwen3 的 40K）。速度均为推算，实测记录 14 条。

---

# 三、模型（67）

## Qwen3-4B
- Qwen3-4B (4B)
  URL: /model/qwen3-4b/
  架构: 36 层 / KV头 8 / 头维 128 / 全量KV层 36 / 滑窗 无
  KV@4K(FP16): 0.5625 G；每 1K token 约 0.14 G
  权重: Q8_0 4.25G / Q4_K_M 2.4G / IQ3_XXS 1.51G
  原生上下文上限: 40960 token
  16G 可用 14.1G 时推荐 Q8_0（权重 4.3G，8K 总需 6.4G，最多可开 40960 token，受限：模型原生上限）
  常数来源: https://huggingface.co/Qwen/Qwen3-4B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 4.3G / 8K 总需 6.4G / smooth / 最多可开 40960 token
  - Q6_K: 权重 3.3G / 8K 总需 5.4G / smooth / 最多可开 40960 token
  - Q5_K_M: 权重 2.8G / 8K 总需 4.9G / smooth / 最多可开 40960 token
  - Q4_K_M: 权重 2.4G / 8K 总需 4.5G / smooth / 最多可开 40960 token
  - IQ4_XS: 权重 2.1G / 8K 总需 4.3G / smooth / 最多可开 40960 token
  - IQ3_K: 权重 1.8G / 8K 总需 3.9G / smooth / 最多可开 40960 token
  - IQ3_XXS: 权重 1.5G / 8K 总需 3.6G / smooth / 最多可开 40960 token

各显存档位：
  - 4G：IQ3_XXS，8K 总需 3.6G，最多可开 7168 token（显存）
  - 6G：Q5_K_M，8K 总需 4.9G，最多可开 10752 token（显存）
  - 8G：Q8_0，8K 总需 6.4G，最多可开 12288 token（显存）
  - 10G：Q8_0，8K 总需 6.4G，最多可开 25600 token（显存）
  - 11G：Q8_0，8K 总需 6.4G，最多可开 32256 token（显存）
  - 12G：Q8_0，8K 总需 6.4G，最多可开 38912 token（显存）
  - 16G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 20G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 22G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 24G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 32G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 48G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 64G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 96G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 128G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 256G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 6.4G，最多可开 40960 token（模型原生上限）

入门级中文模型，8G 卡跑 Q4_K_M 大约 3K token 上下文。Qwen3 原生上下文只有 40960（约 40K），要 128K 得额外 rope 扩展，别以为填 -c 131072 就能用。

## Gemma 3 4B IT
- Gemma 3 4B IT (4B)
  URL: /model/gemma-3-4b-it/
  架构: 34 层 / KV头 4 / 头维 256 / 全量KV层 5 / 滑窗 1024
  KV@4K(FP16): 0.1914 G；每 1K token 约 0.02 G
  权重: Q8_0 4.25G / Q4_K_M 2.4G / IQ3_XXS 1.51G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q8_0（权重 4.3G，8K 总需 5.5G，最多可开 131072 token，受限：模型原生上限）
  常数来源: https://huggingface.co/google/gemma-3-4b-it/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 4.3G / 8K 总需 5.5G / smooth / 最多可开 131072 token
  - Q6_K: 权重 3.3G / 8K 总需 4.5G / smooth / 最多可开 131072 token
  - Q5_K_M: 权重 2.8G / 8K 总需 4.1G / smooth / 最多可开 131072 token
  - Q4_K_M: 权重 2.4G / 8K 总需 3.7G / smooth / 最多可开 131072 token
  - IQ4_XS: 权重 2.1G / 8K 总需 3.4G / smooth / 最多可开 131072 token
  - IQ3_K: 权重 1.8G / 8K 总需 3G / smooth / 最多可开 131072 token
  - IQ3_XXS: 权重 1.5G / 8K 总需 2.8G / smooth / 最多可开 131072 token

各显存档位：
  - 4G：IQ4_XS，8K 总需 3.4G，最多可开 13312 token（显存）
  - 6G：Q6_K，8K 总需 4.5G，最多可开 47104 token（显存）
  - 8G：Q8_0，8K 总需 5.5G，最多可开 85504 token（显存）
  - 10G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 11G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 12G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 16G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 20G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 22G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 24G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 32G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 5.5G，最多可开 131072 token（模型原生上限）

34 层里只有 5 层要全量 KV，所以长上下文比同参数量的稠密模型便宜 3 倍：4K 只花 0.19G，按参数量线性猜会猜成 0.5G。带视觉塔，能看图。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

## Qwen3-8B
- Qwen3-8B (8B)
  URL: /model/qwen3-8b/
  架构: 36 层 / KV头 8 / 头维 128 / 全量KV层 36 / 滑窗 无
  KV@4K(FP16): 0.5625 G；每 1K token 约 0.14 G
  权重: Q8_0 8.5G / Q4_K_M 4.8G / IQ3_XXS 3.02G
  原生上下文上限: 40960 token
  16G 可用 14.1G 时推荐 Q8_0（权重 8.5G，8K 总需 10.6G，最多可开 33280 token，受限：显存）
  常数来源: https://huggingface.co/Qwen/Qwen3-8B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 8.5G / 8K 总需 10.6G / tight / 最多可开 33280 token
  - Q6_K: 权重 6.6G / 8K 总需 8.7G / smooth / 最多可开 40960 token
  - Q5_K_M: 权重 5.6G / 8K 总需 7.7G / smooth / 最多可开 40960 token
  - Q4_K_M: 权重 4.8G / 8K 总需 6.9G / smooth / 最多可开 40960 token
  - IQ4_XS: 权重 4.3G / 8K 总需 6.4G / smooth / 最多可开 40960 token
  - IQ3_K: 权重 3.5G / 8K 总需 5.6G / smooth / 最多可开 40960 token
  - IQ3_XXS: 权重 3G / 8K 总需 5.1G / smooth / 最多可开 40960 token

各显存档位：
  - 4G：装不下
  - 6G：IQ3_XXS，8K 总需 5.1G，最多可开 9216 token（显存）
  - 8G：Q4_K_M，8K 总需 6.9G，最多可开 8704 token（显存）
  - 10G：Q6_K，8K 总需 8.7G，最多可开 8704 token（显存）
  - 11G：Q6_K，8K 总需 8.7G，最多可开 15360 token（显存）
  - 12G：Q6_K，8K 总需 8.7G，最多可开 22016 token（显存）
  - 16G：Q8_0，8K 总需 10.6G，最多可开 33280 token（显存）
  - 20G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 22G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 24G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 32G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 48G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 64G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 96G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 128G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 256G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 10.6G，最多可开 40960 token（模型原生上限）

16G 卡的甜蜜点：Q8_0 权重 8.5G，剩 4G 上下空间 ≈ 29K token，但 Qwen3 原生上限 40K，所以基本顶到天花板。8B 与 4B 的 KV 常数完全相同（都是 36 层 8 KV 头），差别的只是权重。

## Llama 3.1 8B Instruct
- Llama 3.1 8B Instruct (8B)
  URL: /model/llama-3.1-8b-instruct/
  架构: 32 层 / KV头 8 / 头维 128 / 全量KV层 32 / 滑窗 无
  KV@4K(FP16): 0.5 G；每 1K token 约 0.13 G
  权重: Q8_0 8.5G / Q4_K_M 4.8G / IQ3_XXS 3.02G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q8_0（权重 8.5G，8K 总需 10.5G，最多可开 37376 token，受限：显存）
  常数来源: https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 8.5G / 8K 总需 10.5G / tight / 最多可开 37376 token
  - Q6_K: 权重 6.6G / 8K 总需 8.6G / smooth / 最多可开 53248 token
  - Q5_K_M: 权重 5.6G / 8K 总需 7.6G / smooth / 最多可开 61440 token
  - Q4_K_M: 权重 4.8G / 8K 总需 6.8G / smooth / 最多可开 67584 token
  - IQ4_XS: 权重 4.3G / 8K 总需 6.3G / smooth / 最多可开 72192 token
  - IQ3_K: 权重 3.5G / 8K 总需 5.5G / smooth / 最多可开 78336 token
  - IQ3_XXS: 权重 3G / 8K 总需 5G / smooth / 最多可开 82432 token

各显存档位：
  - 4G：装不下
  - 6G：IQ3_XXS，8K 总需 5G，最多可开 10240 token（显存）
  - 8G：Q4_K_M，8K 总需 6.8G，最多可开 9728 token（显存）
  - 10G：Q6_K，8K 总需 8.6G，最多可开 9728 token（显存）
  - 11G：Q6_K，8K 总需 8.6G，最多可开 17408 token（显存）
  - 12G：Q8_0，8K 总需 10.5G，最多可开 8704 token（显存）
  - 16G：Q8_0，8K 总需 10.5G，最多可开 37376 token（显存）
  - 20G：Q8_0，8K 总需 10.5G，最多可开 66048 token（显存）
  - 22G：Q8_0，8K 总需 10.5G，最多可开 80896 token（显存）
  - 24G：Q8_0，8K 总需 10.5G，最多可开 94720 token（显存）
  - 32G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 10.5G，最多可开 131072 token（模型原生上限）

32 层 8 KV 头，4K 花 0.50G，原生 128K。中文能力不如同量级 Qwen3，但工具调用与英文生态最厚。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

## GLM-4-9B 0414
- GLM-4-9B 0414 (9B)
  URL: /model/glm-4-9b-0414/
  架构: 40 层 / KV头 2 / 头维 128 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.1563 G；每 1K token 约 0.04 G
  权重: Q8_0 9.56G / Q4_K_M 5.4G / IQ3_XXS 3.4G
  原生上下文上限: 32768 token
  16G 可用 14.1G 时推荐 Q8_0（权重 9.6G，8K 总需 10.9G，最多可开 32768 token，受限：模型原生上限）
  常数来源: https://huggingface.co/THUDM/glm-4-9b-0414/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 9.6G / 8K 总需 10.9G / tight / 最多可开 32768 token
  - Q6_K: 权重 7.4G / 8K 总需 8.7G / smooth / 最多可开 32768 token
  - Q5_K_M: 权重 6.3G / 8K 总需 7.6G / smooth / 最多可开 32768 token
  - Q4_K_M: 权重 5.4G / 8K 总需 6.7G / smooth / 最多可开 32768 token
  - IQ4_XS: 权重 4.8G / 8K 总需 6.1G / smooth / 最多可开 32768 token
  - IQ3_K: 权重 3.9G / 8K 总需 5.3G / smooth / 最多可开 32768 token
  - IQ3_XXS: 权重 3.4G / 8K 总需 4.7G / smooth / 最多可开 32768 token

各显存档位：
  - 4G：装不下
  - 6G：IQ3_K，8K 总需 5.3G，最多可开 9216 token（显存）
  - 8G：Q4_K_M，8K 总需 6.7G，最多可开 15360 token（显存）
  - 10G：Q6_K，8K 总需 8.7G，最多可开 10752 token（显存）
  - 11G：Q6_K，8K 总需 8.7G，最多可开 32768 token（模型原生上限）
  - 12G：Q6_K，8K 总需 8.7G，最多可开 32768 token（模型原生上限）
  - 16G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 20G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 22G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 24G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 32G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 48G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 64G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 96G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 128G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 256G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）
  - 512G：Q8_0，8K 总需 10.9G，最多可开 32768 token（模型原生上限）

全站 KV 最省的稠密模型：40 层但只有 2 个 KV 头，4K 只吃 0.16G。按参数量线性猜会得到 0.5G，高估 3.2 倍——同一张 12G 卡，真实可开上下文比线性猜多 3 倍。原生上限 32768。

## Qwen3-14B
- Qwen3-14B (14B)
  URL: /model/qwen3-14b/
  架构: 40 层 / KV头 8 / 头维 128 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.625 G；每 1K token 约 0.16 G
  权重: Q8_0 14.88G / Q4_K_M 8.4G / IQ3_XXS 5.29G
  原生上下文上限: 40960 token
  16G 可用 14.1G 时推荐 Q6_K（权重 11.5G，8K 总需 13.7G，最多可开 10240 token，受限：显存）
  常数来源: https://huggingface.co/Qwen/Qwen3-14B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 14.9G / 8K 总需 17.1G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 11.5G / 8K 总需 13.7G / tight / 最多可开 10240 token
  - Q5_K_M: 权重 9.8G / 8K 总需 12G / tight / 最多可开 21504 token
  - Q4_K_M: 权重 8.4G / 8K 总需 10.7G / tight / 最多可开 30720 token
  - IQ4_XS: 权重 7.4G / 8K 总需 9.7G / smooth / 最多可开 36864 token
  - IQ3_K: 权重 6.1G / 8K 总需 8.4G / smooth / 最多可开 40960 token
  - IQ3_XXS: 权重 5.3G / 8K 总需 7.5G / smooth / 最多可开 40960 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：IQ3_XXS，8K 总需 7.5G，最多可开 4608 token（显存）
  - 10G：IQ3_K，8K 总需 8.4G，最多可开 10752 token（显存）
  - 11G：IQ4_XS，8K 总需 9.7G，最多可开 8192 token（显存）
  - 12G：IQ4_XS，8K 总需 9.7G，最多可开 13824 token（显存）
  - 16G：Q6_K，8K 总需 13.7G，最多可开 10240 token（显存）
  - 20G：Q8_0，8K 总需 17.1G，最多可开 11264 token（显存）
  - 22G：Q8_0，8K 总需 17.1G，最多可开 23040 token（显存）
  - 24G：Q8_0，8K 总需 17.1G，最多可开 33792 token（显存）
  - 32G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 48G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 64G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 96G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 128G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 256G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 17.1G，最多可开 40960 token（模型原生上限）

16G 卡上跑 Q8_0（权重 14.88G）只剩 0.13G 给上下文，约 850 token，4K 必爆；这是"14B 原则上跑 Q8"这句话在 16G 上不成立的原因。甜点量化是 Q6_K。

## Gemma 3 12B IT
- Gemma 3 12B IT (12B)
  URL: /model/gemma-3-12b-it/
  架构: 48 层 / KV头 8 / 头维 256 / 全量KV层 8 / 滑窗 1024
  KV@4K(FP16): 0.5625 G；每 1K token 约 0.06 G
  权重: Q8_0 12.75G / Q4_K_M 7.2G / IQ3_XXS 4.53G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q6_K（权重 9.8G，8K 总需 11.7G，最多可开 48128 token，受限：显存）
  常数来源: https://huggingface.co/google/gemma-3-12b-it/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 12.8G / 8K 总需 14.6G / wont_fit / 最多可开 512 token
  - Q6_K: 权重 9.8G / 8K 总需 11.7G / tight / 最多可开 48128 token
  - Q5_K_M: 权重 8.4G / 8K 总需 10.2G / tight / 最多可开 71680 token
  - Q4_K_M: 权重 7.2G / 8K 总需 9G / smooth / 最多可开 91136 token
  - IQ4_XS: 权重 6.4G / 8K 总需 8.2G / smooth / 最多可开 104960 token
  - IQ3_K: 权重 5.3G / 8K 总需 7.1G / smooth / 最多可开 123392 token
  - IQ3_XXS: 权重 4.5G / 8K 总需 6.3G / smooth / 最多可开 131072 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：IQ3_XXS，8K 总需 6.3G，最多可开 18944 token（显存）
  - 10G：IQ4_XS，8K 总需 8.2G，最多可开 17920 token（显存）
  - 11G：Q4_K_M，8K 总需 9G，最多可开 19456 token（显存）
  - 12G：Q5_K_M，8K 总需 10.2G，最多可开 14336 token（显存）
  - 16G：Q6_K，8K 总需 11.7G，最多可开 48128 token（显存）
  - 20G：Q8_0，8K 总需 14.6G，最多可开 57856 token（显存）
  - 22G：Q8_0，8K 总需 14.6G，最多可开 87040 token（显存）
  - 24G：Q8_0，8K 总需 14.6G，最多可开 115200 token（显存）
  - 32G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 14.6G，最多可开 131072 token（模型原生上限）

48 层里只有 8 层要全量 KV，另外 40 层锁死在 1024 token——所以 32K 上下文只花 2.35G，线性猜会得到 4.5G。16G 卡跑 Q8_0 权重 12.75G，剩不下多少，实际推荐 Q6_K/Q5_K_M。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

## Phi-4 14B
- Phi-4 14B (14.7B)
  URL: /model/phi-4-14b/
  架构: 40 层 / KV头 10 / 头维 128 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.7813 G；每 1K token 约 0.2 G
  权重: Q8_0 15.62G / Q4_K_M 8.82G / IQ3_XXS 5.55G
  原生上下文上限: 16384 token
  16G 可用 14.1G 时推荐 Q5_K_M（权重 10.3G，8K 总需 12.9G，最多可开 14336 token，受限：显存）
  常数来源: https://huggingface.co/microsoft/phi-4/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 15.6G / 8K 总需 18.2G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 12.1G / 8K 总需 14.6G / wont_fit / 最多可开 5120 token
  - Q5_K_M: 权重 10.3G / 8K 总需 12.9G / tight / 最多可开 14336 token
  - Q4_K_M: 权重 8.8G / 8K 总需 11.4G / tight / 最多可开 16384 token
  - IQ4_XS: 权重 7.8G / 8K 总需 10.4G / tight / 最多可开 16384 token
  - IQ3_K: 权重 6.4G / 8K 总需 9G / smooth / 最多可开 16384 token
  - IQ3_XXS: 权重 5.5G / 8K 总需 8.1G / smooth / 最多可开 16384 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：IQ3_XXS，8K 总需 8.1G，最多可开 2048 token（显存）
  - 10G：IQ3_XXS，8K 总需 8.1G，最多可开 11776 token（显存）
  - 11G：IQ3_K，8K 总需 9G，最多可开 11776 token（显存）
  - 12G：IQ4_XS，8K 总需 10.4G，最多可开 9216 token（显存）
  - 16G：Q5_K_M，8K 总需 12.9G，最多可开 14336 token（显存）
  - 20G：Q6_K，8K 总需 14.6G，最多可开 16384 token（模型原生上限）
  - 22G：Q8_0，8K 总需 18.2G，最多可开 14336 token（显存）
  - 24G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 32G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 48G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 64G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 96G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 128G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 256G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）
  - 512G：Q8_0，8K 总需 18.2G，最多可开 16384 token（模型原生上限）

10 个 KV 头，4K 吃 0.78G，是同级里 KV 最贵的之一。更要命的是原生 max_position_embeddings 只有 16384——想开 32K 属于超纲使用，质量不保证。

## GPT-OSS-20B
- GPT-OSS-20B (21B, 激活 3.6B, MoE)
  URL: /model/gpt-oss-20b/
  架构: 24 层 / KV头 8 / 头维 64 / 全量KV层 12 / 滑窗 128
  KV@4K(FP16): 0.0967 G；每 1K token 约 0.02 G
  权重: Q8_0 22.31G / Q4_K_M 12.6G / IQ3_XXS 7.93G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q4_K_M（权重 12.6G，8K 总需 13.8G，最多可开 21504 token，受限：显存）
  常数来源: https://huggingface.co/openai/gpt-oss-20b/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - MXFP4: 权重 11.3G / 8K 总需 12.5G / tight / 最多可开 78848 token
  - Q8_0: 权重 22.3G / 8K 总需 23.5G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 12.6G / 8K 总需 13.8G / tight / 最多可开 21504 token
  - IQ3_XXS: 权重 7.9G / 8K 总需 9.1G / smooth / 最多可开 131072 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：IQ3_XXS，8K 总需 9.1G，最多可开 33280 token（显存）
  - 12G：IQ3_XXS，8K 总需 9.1G，最多可开 72704 token（显存）
  - 16G：Q4_K_M，8K 总需 13.8G，最多可开 21504 token（显存）
  - 20G：Q4_K_M，8K 总需 13.8G，最多可开 131072 token（模型原生上限）
  - 22G：Q4_K_M，8K 总需 13.8G，最多可开 131072 token（模型原生上限）
  - 24G：Q4_K_M，8K 总需 13.8G，最多可开 131072 token（模型原生上限）
  - 32G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 23.5G，最多可开 131072 token（模型原生上限）

24 层里只有一半要全量 KV，滑窗只有 128 token，4K 上下文只要 0.097G——是 Qwen3-32B 的 1/10。加上每 token 只激活 3.6B 参数，16G 卡上它是"又大又快"的那个例外。官方权重本身是 MXFP4，不是 FP16。

## Qwen3-30B-A3B
- Qwen3-30B-A3B (30B, 激活 3B, MoE)
  URL: /model/qwen3-30b-a3b/
  架构: 48 层 / KV头 4 / 头维 128 / 全量KV层 48 / 滑窗 无
  KV@4K(FP16): 0.375 G；每 1K token 约 0.09 G
  权重: Q8_0 31.88G / Q4_K_M 18G / IQ3_XXS 11.33G
  原生上下文上限: 40960 token
  16G 可用 14.1G 时推荐 IQ3_XXS（权重 11.3G，8K 总需 13.1G，最多可开 18944 token，受限：显存）
  常数来源: https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 31.9G / 8K 总需 33.6G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 24.6G / 8K 总需 26.4G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 21G / 8K 总需 22.8G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 18G / 8K 总需 19.8G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 15.9G / 8K 总需 17.7G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 13.1G / 8K 总需 14.9G / wont_fit / 最多可开 0 token
  - IQ3_XXS: 权重 11.3G / 8K 总需 13.1G / tight / 最多可开 18944 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_XXS，8K 总需 13.1G，最多可开 18944 token（显存）
  - 20G：IQ3_K，8K 总需 14.9G，最多可开 37888 token（显存）
  - 22G：IQ4_XS，8K 总需 17.7G，最多可开 26624 token（显存）
  - 24G：Q4_K_M，8K 总需 19.8G，最多可开 22528 token（显存）
  - 32G：Q6_K，8K 总需 26.4G，最多可开 28160 token（显存）
  - 48G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）
  - 64G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）
  - 96G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）
  - 128G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）
  - 256G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 33.6G，最多可开 40960 token（模型原生上限）

权重 13–18G，16G 卡能整个塞进显存；也可把专家留在内存、只把注意力放显存，每 token 只搬 3B 级激活权重。速度必须按激活参数算，按 30B 总量算会把结果低估 10 倍。

## Mistral Small 3.1 24B
- Mistral Small 3.1 24B (22B)
  URL: /model/mistral-small-24b/
  架构: 40 层 / KV头 8 / 头维 128 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.625 G；每 1K token 约 0.16 G
  权重: Q8_0 23.38G / Q4_K_M 13.2G / IQ3_XXS 8.31G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 IQ4_XS（权重 11.7G，8K 总需 13.9G，最多可开 9216 token，受限：显存）
  常数来源: https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 23.4G / 8K 总需 25.6G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 18G / 8K 总需 20.3G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 15.4G / 8K 总需 17.7G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 13.2G / 8K 总需 15.5G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 11.7G / 8K 总需 13.9G / tight / 最多可开 9216 token
  - IQ3_K: 权重 9.6G / 8K 总需 11.9G / tight / 最多可开 22528 token
  - IQ3_XXS: 权重 8.3G / 8K 总需 10.6G / tight / 最多可开 31232 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：IQ3_XXS，8K 总需 10.6G，最多可开 2560 token（显存）
  - 12G：IQ3_XXS，8K 总需 10.6G，最多可开 8192 token（显存）
  - 16G：IQ4_XS，8K 总需 13.9G，最多可开 9216 token（显存）
  - 20G：Q4_K_M，8K 总需 15.5G，最多可开 22016 token（显存）
  - 22G：Q5_K_M，8K 总需 17.7G，最多可开 19456 token（显存）
  - 24G：Q6_K，8K 总需 20.3G，最多可开 13312 token（显存）
  - 32G：Q8_0，8K 总需 25.6G，最多可开 24576 token（显存）
  - 48G：Q8_0，8K 总需 25.6G，最多可开 116736 token（显存）
  - 64G：Q8_0，8K 总需 25.6G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 25.6G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 25.6G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 25.6G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 25.6G，最多可开 131072 token（模型原生上限）

名字带 24B，文本塔实际约 22B（含视觉塔才是 24B），本站权重估算按 22B 算，Q4_K_M ≈ 13.2G，和实际 GGUF 文件大小对得上。按 24 算会凭空多 1.2G。

## Gemma 3 27B IT
- Gemma 3 27B IT (27B)
  URL: /model/gemma-3-27b-it/
  架构: 62 层 / KV头 16 / 头维 128 / 全量KV层 10 / 滑窗 1024
  KV@4K(FP16): 0.7188 G；每 1K token 约 0.08 G
  权重: Q8_0 28.69G / Q4_K_M 16.2G / IQ3_XXS 10.19G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 IQ3_K（权重 11.8G，8K 总需 13.8G，最多可开 11264 token，受限：显存）
  常数来源: https://huggingface.co/google/gemma-3-27b-it/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q6_K: 权重 22.1G / 8K 总需 24.2G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 18.9G / 8K 总需 20.9G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 16.2G / 8K 总需 18.2G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 14.3G / 8K 总需 16.4G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 11.8G / 8K 总需 13.8G / tight / 最多可开 11264 token
  - IQ3_XXS: 权重 10.2G / 8K 总需 12.2G / tight / 最多可开 32768 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_K，8K 总需 13.8G，最多可开 11264 token（显存）
  - 20G：IQ4_XS，8K 总需 16.4G，最多可开 24064 token（显存）
  - 22G：Q4_K_M，8K 总需 18.2G，最多可开 23040 token（显存）
  - 24G：Q5_K_M，8K 总需 20.9G，最多可开 10240 token（显存）
  - 32G：Q6_K，8K 总需 24.2G，最多可开 60928 token（显存）
  - 48G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）
  - 64G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）
  - 96G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）
  - 128G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）
  - 256G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）
  - 512G：Q6_K，8K 总需 24.2G，最多可开 131072 token（模型原生上限）

62 层里 52 层锁 1024 窗口，所以 KV 32K 才 3.0G。但 16G 卡的瓶颈是权重：Q4_K_M 权重 16.2G 已经超过整卡容量，只有 Q3 系列进得了 16G。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

## Qwen3-32B
- Qwen3-32B (32B)
  URL: /model/qwen3-32b/
  架构: 64 层 / KV头 8 / 头维 128 / 全量KV层 64 / 滑窗 无
  KV@4K(FP16): 1 G；每 1K token 约 0.25 G
  权重: Q8_0 34G / Q4_K_M 19.2G / IQ3_XXS 12.08G
  原生上下文上限: 40960 token
  16G 可用 14.1G 时推荐 IQ3_XXS（权重 12.1G，8K 总需 15.1G，最多可开 4096 token，受限：显存）
  常数来源: https://huggingface.co/Qwen/Qwen3-32B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 34G / 8K 总需 37G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 26.2G / 8K 总需 29.2G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 22.4G / 8K 总需 25.4G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 19.2G / 8K 总需 22.2G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 17G / 8K 总需 20G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 14G / 8K 总需 17G / wont_fit / 最多可开 0 token
  - IQ3_XXS: 权重 12.1G / 8K 总需 15.1G / wont_fit / 最多可开 4096 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_XXS，8K 总需 15.1G，最多可开 4096 token（显存）
  - 20G：IQ3_K，8K 总需 17G，最多可开 10240 token（显存）
  - 22G：IQ3_K，8K 总需 17G，最多可开 17920 token（显存）
  - 24G：IQ4_XS，8K 总需 20G，最多可开 12288 token（显存）
  - 32G：Q5_K_M，8K 总需 25.4G，最多可开 19456 token（显存）
  - 48G：Q8_0，8K 总需 37G，最多可开 29184 token（显存）
  - 64G：Q8_0，8K 总需 37G，最多可开 40960 token（模型原生上限）
  - 96G：Q8_0，8K 总需 37G，最多可开 40960 token（模型原生上限）
  - 128G：Q8_0，8K 总需 37G，最多可开 40960 token（模型原生上限）
  - 256G：Q8_0，8K 总需 37G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 37G，最多可开 40960 token（模型原生上限）

全站容量表的标尺模型（64 层 8 KV 头，4K 正好 1.0G）。24G 卡跑 Q4_K_M 是经典搭配；16G 卡只能 IQ3_XXS 且几乎不留上下文余量。

## DeepSeek-R1-Distill-Qwen-32B
- DeepSeek-R1-Distill-Qwen-32B (32B)
  URL: /model/deepseek-r1-distill-32b/
  架构: 64 层 / KV头 8 / 头维 128 / 全量KV层 64 / 滑窗 无
  KV@4K(FP16): 1 G；每 1K token 约 0.25 G
  权重: Q8_0 34G / Q4_K_M 19.2G / IQ3_XXS 12.08G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 IQ3_XXS（权重 12.1G，8K 总需 15.1G，最多可开 4096 token，受限：显存）
  常数来源: https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 34G / 8K 总需 37G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 26.2G / 8K 总需 29.2G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 22.4G / 8K 总需 25.4G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 19.2G / 8K 总需 22.2G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 17G / 8K 总需 20G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 14G / 8K 总需 17G / wont_fit / 最多可开 0 token
  - IQ3_XXS: 权重 12.1G / 8K 总需 15.1G / wont_fit / 最多可开 4096 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_XXS，8K 总需 15.1G，最多可开 4096 token（显存）
  - 20G：IQ3_K，8K 总需 17G，最多可开 10240 token（显存）
  - 22G：IQ3_K，8K 总需 17G，最多可开 17920 token（显存）
  - 24G：IQ4_XS，8K 总需 20G，最多可开 12288 token（显存）
  - 32G：Q5_K_M，8K 总需 25.4G，最多可开 19456 token（显存）
  - 48G：Q8_0，8K 总需 37G，最多可开 29184 token（显存）
  - 64G：Q8_0，8K 总需 37G，最多可开 87040 token（显存）
  - 96G：Q8_0，8K 总需 37G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 37G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 37G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 37G，最多可开 131072 token（模型原生上限）

架构常数和 Qwen3-32B 完全一致（底座就是 Qwen2-32B），显存算法一模一样。但它是推理模型：思考链会吞掉几千到几万 token，同样的 24G，可用"正式回答"的上下文比 Qwen3-32B 少得多。

## Seed-OSS-36B-Instruct
- Seed-OSS-36B-Instruct (36B)
  URL: /model/seed-oss-36b/
  架构: 64 层 / KV头 8 / 头维 128 / 全量KV层 64 / 滑窗 无
  KV@4K(FP16): 1 G；每 1K token 约 0.25 G
  权重: Q8_0 38.25G / Q4_K_M 21.6G / IQ3_XXS 13.59G
  原生上下文上限: 524288 token
  16G 装不下（最省的 IQ3_XXS 权重也要 13.6G），最早就 20G（IQ3_XXS）
  常数来源: https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q8_0: 权重 38.3G / 8K 总需 41.3G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 29.5G / 8K 总需 32.5G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 25.2G / 8K 总需 28.2G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 21.6G / 8K 总需 24.6G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 19.1G / 8K 总需 22.1G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 15.8G / 8K 总需 18.8G / wont_fit / 最多可开 0 token
  - IQ3_XXS: 权重 13.6G / 8K 总需 16.6G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：IQ3_XXS，8K 总需 16.6G，最多可开 12288 token（显存）
  - 22G：IQ3_K，8K 总需 18.8G，最多可开 10752 token（显存）
  - 24G：IQ3_K，8K 总需 18.8G，最多可开 17408 token（显存）
  - 32G：Q5_K_M，8K 总需 28.2G，最多可开 8192 token（显存）
  - 48G：Q8_0，8K 总需 41.3G，最多可开 11776 token（显存）
  - 64G：Q8_0，8K 总需 41.3G，最多可开 69632 token（显存）
  - 96G：Q8_0，8K 总需 41.3G，最多可开 185344 token（显存）
  - 128G：Q8_0，8K 总需 41.3G，最多可开 300032 token（显存）
  - 256G：Q8_0，8K 总需 41.3G，最多可开 524288 token（模型原生上限）
  - 512G：Q8_0，8K 总需 41.3G，最多可开 524288 token（模型原生上限）

补上"35B 档"这个空位：64 层 8 KV 头，KV 与 32B 同常数，但权重重 12%。IQ3_XXS 权重 13.2G，在 16G 卡的安全水位下（扣掉系统与开销）基本没有上下文余量——这一档在 16G 上是"理论可跑、实际别跑"。原生上下文 512K。

## Llama 3.1 70B Instruct
- Llama 3.1 70B Instruct (70B)
  URL: /model/llama-3.1-70b-instruct/
  架构: 80 层 / KV头 8 / 头维 128 / 全量KV层 80 / 滑窗 无
  KV@4K(FP16): 1.25 G；每 1K token 约 0.31 G
  权重: Q8_0 74.38G / Q4_K_M 42G / IQ3_XXS 26.43G
  原生上下文上限: 131072 token
  16G 装不下（最省的 IQ3_XXS 权重也要 26.4G），最早就 48G（IQ4_XS）
  常数来源: https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - Q4_K_M: 权重 42G / 8K 总需 45.5G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 37.2G / 8K 总需 40.7G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 30.6G / 8K 总需 34.1G / wont_fit / 最多可开 0 token
  - IQ3_XXS: 权重 26.4G / 8K 总需 29.9G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：IQ3_XXS，8K 总需 29.9G，最多可开 2048 token（显存）
  - 48G：IQ4_XS，8K 总需 40.7G，最多可开 12800 token（显存）
  - 64G：Q5_K_M，8K 总需 52.5G，最多可开 20480 token（显存）
  - 96G：Q8_0，8K 总需 77.9G，最多可开 29696 token（显存）
  - 128G：Q8_0，8K 总需 77.9G，最多可开 121856 token（显存）
  - 256G：Q8_0，8K 总需 77.9G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 77.9G，最多可开 131072 token（模型原生上限）

IQ3_XXS 权重 26.4G，单张 24G 卡装不下，48G 双卡或 32G 单卡勉强；纯 CPU/内存 offload 大约 2 tok/s，是"能跑但没实用价值"的典型。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测：API 200、gated=manual）——仓在、模型卡能看，但**权重需要登录 HF 申请授权才能下载**。所以本页给的 `huggingface-cli download` / `vllm serve` 命令要等你拿到授权才有效；不想等授权就走 Ollama 标签或第三方 GGUF 仓（本站已核的量化体积另列在重量行）。

## Qwen3-235B-A22B
- Qwen3-235B-A22B (235B, 激活 22B, MoE)
  URL: /model/qwen3-235b-a22b/
  架构: 94 层 / KV头 4 / 头维 128 / 全量KV层 94 / 滑窗 无
  KV@4K(FP16): 0.7344 G；每 1K token 约 0.18 G
  权重: Q8_0 249.69G / Q4_K_M 141G / IQ3_XXS 88.71G
  原生上下文上限: 40960 token
  16G 装不下（最省的 IQ3_XXS 权重也要 88.7G），最早就 128G（IQ3_K）
  常数来源: https://huggingface.co/Qwen/Qwen3-235B-A22B/blob/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：IQ3_K，8K 总需 105.3G，最多可开 40960 token（模型原生上限）
  - 256G：Q6_K，8K 总需 195.2G，最多可开 40960 token（模型原生上限）
  - 512G：Q8_0，8K 总需 252.2G，最多可开 40960 token（模型原生上限）

94 层但只有 4 个 KV 头，4K 才 0.73G，比 70B 稠密模型还省——KV 和参数量根本不成正比。速度按激活 22B 算而不是 235B，这是 8G 共享主机也能勉强聊天的唯一理由。

## Qwen3.8-27B
- Qwen3.8-27B (26.9B)
  URL: /model/qwen3-8-27b/
  架构: 64 层 / KV头 4 / 头维 256 / 全量KV层 16 / 滑窗 无
  KV@4K(FP16): 0.25 G；每 1K token 约 0.06 G
  权重: Q8_0 28.58G / Q4_K_M 16.14G / IQ3_XXS 10.15G
  原生上下文上限: 262144 token
  16G 装不下（最省的 IQ4_XS 权重也要 14.3G），最早就 20G（IQ4_XS）
  常数来源: https://hf-mirror.com/Qwen/Qwen3.8-27B/raw/main/config.json（抓取于 2026-11-02）

16G 档量化阶梯：
  - PTQ1_0: 权重 5.9G / 8K 总需 7.4G / smooth / 最多可开 117760 token
  - PQ2_0: 权重 7.2G / 8K 总需 8.7G / smooth / 最多可开 96256 token
  - UD-IQ3_S: 权重 12G / 8K 总需 13.5G / tight / 最多可开 16896 token
  - IQ3_S: 权重 11G / 8K 总需 12.5G / tight / 最多可开 33792 token
  - IQ4_XS: 权重 14.3G / 8K 总需 15.8G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 16.1G / 8K 总需 17.6G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 18.8G / 8K 总需 20.3G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 22.1G / 8K 总需 23.6G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：IQ4_XS，8K 总需 15.8G，最多可开 37376 token（显存）
  - 22G：Q4_K_M，8K 总需 17.6G，最多可开 36864 token（显存）
  - 24G：Q5_K_M，8K 总需 20.3G，最多可开 20480 token（显存）
  - 32G：Q6_K，8K 总需 23.6G，最多可开 83968 token（显存）
  - 48G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）
  - 64G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）
  - 96G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）
  - 128G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）
  - 256G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）
  - 512G：Q6_K，8K 总需 23.6G，最多可开 262144 token（模型原生上限）

全网问得最多的那一个，也是站内 KV 最便宜的 27B：官方 config.json 的 64 层里只有 16 层跑标准注意力（每 4 层 1 层），另外 48 层是线性注意力（Gated DeltaNet），上下文再长也不增加 KV。所以它的 KV 只有 Qwen3-32B 的四分之一——4K 花 0.25G 而不是 1.0G，同一张 24G 卡能把上下文开到六万 token 以上，而跑 32B 只够一万五。「3090 跑 27B 开 64K」那类实测背后的算术就在这里。注意一个常见的对不上：llama.cpp 读 GGUF 元数据会报 65 层 / 17 层全注意力，多的那一层是模型自带的 MTP 投机头，本站按官方 config 的 64/16 算，两种口径差 6%。官方权重只有 BF16 与 FP8；PTQ1_0 / PQ2_0 三进制档来自 PrismML 的 GGUF 仓库（5.54 / 6.70 GiB），IQ3_S 档本站按 26.9B 估 11.0G，与本地实测文件 11.5GB 对得上。原生上下文 262144，YaRN 可外推到 100 万但不算原生。自带 MTP 头意味着投机解码不用另找草稿模型，但接受率得自己测出来才能预期提速；默认开启的思考模式同样吃上下文。KV 实测参照（本站 V100 自测 2026-11-05/06，q8 KV）：128K→256K 启动常驻差 5.0 G（17297→22417 MiB，IQ3_S），其中 16 层全注意力的 q8 理论增量为 4 GiB、fp16 为 8 GiB（该区间 131072 token；若按 256K 全量口径，q8 约 8.6 GB、fp16 约 17.2 GB）——实测 5.0 GiB = q8 增量 + 约 1 G 上下文开销，fp16 增量 8 GiB 单独已超实测差值，排除。公式 0.25 G/4K 即 fp16 口径（16 层×4 KV 头×256 维×2B，与 config 推导完全一致），q8 为其一半（0.125 G/4K）；公式偏高是安全方向（不会低估显存、不会把「能跑」误判成「不能跑」），数值保留、不下调。

## Qwen2.5-VL-7B-Instruct
- Qwen2.5-VL-7B-Instruct (7B)
  URL: /model/qwen2-5-vl-7b/
  架构: 28 层 / KV头 4 / 头维 128 / 全量KV层 28 / 滑窗 无
  KV@4K(FP16): 0.2188 G；每 1K token 约 0.05 G
  权重: Q8_0 7.44G / Q4_K_M 4.2G / IQ3_XXS 2.64G
  原生上下文上限: 128000 token
  16G 可用 14.1G 时推荐 Q8_0（权重 7.4G，8K 总需 8.9G，最多可开 105984 token，受限：显存）
  常数来源: https://hf-mirror.com/Qwen/Qwen2.5-VL-7B-Instruct/raw/main/config.json（抓取于 2026-11-05）

16G 档量化阶梯：
  - Q8_0: 权重 7.4G / 8K 总需 8.9G / smooth / 最多可开 105984 token
  - Q6_K: 权重 5.7G / 8K 总需 7.2G / smooth / 最多可开 128000 token
  - Q5_K_M: 权重 4.9G / 8K 总需 6.3G / smooth / 最多可开 128000 token
  - Q4_K_M: 权重 4.2G / 8K 总需 5.6G / smooth / 最多可开 128000 token
  - IQ4_NL: 权重 3.9G / 8K 总需 5.4G / smooth / 最多可开 128000 token
  - IQ4_XS: 权重 3.7G / 8K 总需 5.2G / smooth / 最多可开 128000 token
  - IQ3_S: 权重 2.9G / 8K 总需 4.3G / smooth / 最多可开 128000 token
  - IQ3_XXS: 权重 2.6G / 8K 总需 4.1G / smooth / 最多可开 128000 token

各显存档位：
  - 4G：装不下
  - 6G：IQ4_XS，8K 总需 5.2G，最多可开 10752 token（显存）
  - 8G：Q5_K_M，8K 总需 6.3G，最多可开 20480 token（显存）
  - 10G：Q6_K，8K 总需 7.2G，最多可开 38400 token（显存）
  - 11G：Q8_0，8K 总需 8.9G，最多可开 23552 token（显存）
  - 12G：Q8_0，8K 总需 8.9G，最多可开 40448 token（显存）
  - 16G：Q8_0，8K 总需 8.9G，最多可开 105984 token（显存）
  - 20G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 22G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 24G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 32G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 48G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 64G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 96G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 128G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 256G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）
  - 512G：Q8_0，8K 总需 8.9G，最多可开 128000 token（模型原生上限）

7B 档的多模态模型（官方模型卡原文 We have three models with 3, 7 and 72 billion parameters，本条目取 7；HF 徽章显示的 8B params BF16 是把视觉塔算进去的口径，两者差约 0.5G）。config.json 实测常数：28 层全部是标准 GQA 注意力（4 个 KV 头、head_dim=128，use_sliding_window=false——sliding_window=32768 字段存在但未启用），所以每 4K 上下文的 KV ≈ 0.22 GiB，和同参数量纯文本模型一个量级，显存大头在权重和视觉输入。能力面（官方 blog 2025-01-26）：文档/表格 OCR、动态分辨率看图、1 小时级视频理解、GUI 视觉 Agent（computer use / phone use）、结构化 JSON 输出。两处口径对不上，照实写：① 官方模型卡说 config 默认 32,768 上下文、用 YaRN 扩到 131,072，但本站 2026-11-05 抓到的 config.json 里 max_position_embeddings 就是 128,000——以 config 为准记 128K；② 128000 < 131072，差一点够不到站内 long-context 标签的阈值，所以不打这个标。语料里那 3 篇 CSDN 镜像推广稿（数据冰山/三更寒天/瘦下来）已在审计中剔除（一物多稿、营销句式），本条目不引用。本地跑法注意：走 Qwen-VL 模板，llama.cpp 需要额外的 mmproj 视觉投影文件；视频输入的 token 消耗很大，图片建议限 min_pixels/max_pixels。

## Qwen3.6-35B-A3B
- Qwen3.6-35B-A3B (35B, 激活 3B, MoE)
  URL: /model/qwen3-6-35b-a3b/
  架构: 40 层 / KV头 2 / 头维 256 / 全量KV层 10 / 滑窗 无
  KV@4K(FP16): 0.0781 G；每 1K token 约 0.02 G
  权重: Q8_0 34.4G / Q4_K_M 20.6G / IQ3_XXS 12.3G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 GSQ-2bit（权重 11.4G，8K 总需 12.6G，最多可开 89088 token，受限：显存）
  常数来源: https://hf-mirror.com/Qwen/Qwen3.6-35B-A3B/raw/main/config.json（抓取于 2026-11-10）

16G 档量化阶梯：
  - Q4_K_M: 权重 20.6G / 8K 总需 21.8G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 24.6G / 8K 总需 25.8G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 27.3G / 8K 总需 28.5G / wont_fit / 最多可开 0 token
  - Q8_0: 权重 34.4G / 8K 总需 35.6G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 16.5G / 8K 总需 17.7G / wont_fit / 最多可开 0 token
  - GSQ-2bit: 权重 11.4G / 8K 总需 12.6G / tight / 最多可开 89088 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：GSQ-2bit，8K 总需 12.6G，最多可开 89088 token（显存）
  - 20G：GSQ-2bit，8K 总需 12.6G，最多可开 262144 token（模型原生上限）
  - 22G：IQ4_XS，8K 总需 17.7G，最多可开 99328 token（显存）
  - 24G：IQ4_XS，8K 总需 17.7G，最多可开 188416 token（显存）
  - 32G：Q5_K_M，8K 总需 25.8G，最多可开 136192 token（显存）
  - 48G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 35.6G，最多可开 262144 token（模型原生上限）

Qwen3.6 系列首个开源权重（2026-04-16，Apache-2.0）：35B 总参 / 激活 3B 的稀疏 MoE，官方主打 agentic coding 与多模态，口径是超前代 Qwen3.5-35B-A3B、比肩稠密 Qwen3.5-27B 与 Gemma4-31B（发布时点 35B 档最强，发布声明口径，非本站实测）。架构与站内 Ornith-1.5-35B-A3B 同底座（40 层 / 每 4 层 1 层全注意力 / 2 KV 头 × 256 维 / 262K 原生 / 256 专家激活 8 / MTP / 视觉塔），KV 每 4K 约 0.08G。带视觉塔（vision_config，配 mmproj 可看图）+ 原生 MTP（config mtp_num_hidden_layers=1）。本地部署生态（2026-11-11 按 unsloth 官方 GGUF 仓库 blob 级核到真实文件体积）：IQ4_XS 档 16.5G、Q4_K_XL 20.8G、Q8_0 34.4G、2bit GSQ 混合档 11.4G + mmproj-BF16（0.84G），单卡 24G 第三方记录可开 98K 上下文（KV q4_0，单源 C 级）；llama.cpp 需 2026-01-25 之后构建才有可用 KV cache（混合注意力修复），必须 --jinja 启用官方聊天模板。站长 5060 Ti 16G 口报实测（2026-11-11，无日志，claimed 档）：Q4 约 30 tok/s、GSQ 2bit 约 40 tok/s（文件小读得少所以比 Q4 快）、同卡 Ornith-1.5 约 30 tok/s；按带宽比例外推 4060 Ti 16G 跑 GSQ 预计约 20 tok/s（预测，未实跑，不作实测引用）。12G 卡：跑 GSQ 2bit 总显存占用约 14G，12G 单卡装不下，需 CPU offload / 内存 offload 硬撑（站长口径）；20G（3080）/22G（2080 Ti 22G）卡跑 Q4 肯定装得下（文件 20.6G，Q4_K_M 单卡 24G 内无压力）。注意：35B 总权重按总量吃显存，A3B 只降每 token 计算量，不是满血跑。

## Ornith-1.5-35B-A3B
- Ornith-1.5-35B-A3B (36B, 激活 3B, MoE)
  URL: /model/ornith-1-5-35b-a3b/
  架构: 40 层 / KV头 2 / 头维 256 / 全量KV层 10 / 滑窗 无
  KV@4K(FP16): 0.0781 G；每 1K token 约 0.02 G
  权重: Q8_0 35.2G / Q4_K_M 20.2G / IQ3_XXS 13.59G
  原生上下文上限: 262144 token
  16G 装不下（最省的 IQ4_XS 权重也要 19.1G），最早就 24G（IQ4_XS）
  常数来源: https://hf-mirror.com/ornith-ai/Ornith-1.5-35B-A3B/raw/main/config.json（抓取于 2026-11-06）

16G 档量化阶梯：
  - Q4_K_M: 权重 20.2G / 8K 总需 21.4G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 23.6G / 8K 总需 24.8G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 27.2G / 8K 总需 28.4G / wont_fit / 最多可开 0 token
  - Q8_0: 权重 35.2G / 8K 总需 36.4G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 19.1G / 8K 总需 20.3G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：IQ4_XS，8K 总需 20.3G，最多可开 50688 token（显存）
  - 32G：Q5_K_M，8K 总需 24.8G，最多可开 188416 token（显存）
  - 48G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 36.4G，最多可开 262144 token（模型原生上限）

Ornith 1.5 家族的中号 MoE：官方命名 35B-A3B（35B 总参 / 每 token 激活约 3B，256 专家选 8），本站按持有文件反推实际约 36.0B（Q4_K_M 20.22GiB ÷ 4.83bpw，HF 页面标 36B，命名 35B 是取整）。架构是 Qwen3.5 MoE 底座的混合注意力：40 层里每 4 层才有 1 层全注意力（10 层），其余 30 层线性注意力不存 KV——KV 每 4K 只花 0.08G，比 Qwen3.8-27B 的 0.25G 还便宜三分之一，256K 全量上下文的全注意力 KV 也只有约 4.7G，32G 数据卡开 2 slots × 256K 都装得下 KV（本站 V100 自测装是装下了，但日志里出现过 KV cache 顶界降批次的告警，实际余量按单并发算更稳）。多模态（视觉塔 mmproj 官方 BF16 0.9G）+ 原生 MTP 头（config mtp_num_hidden_layers=1，投机不用另找草稿）+ 默认思考模式（reasoning 模型，assistant 回合先出 think 块，吃上下文、拉低有效速度）。官方定位是代码与 Agent 场景：工具调用走 qwen3_xml 解析器。注意它和 Qwen3.8-27B 不是同一家族的平替——MoE 激活 3B 意味着短上下文 decode 的带宽开销只有稠密 27B 的约 1/10，但权重体积按 36.0B 总参算，24G 卡装 Q4 要抠 KV 余量。 2026-11-10 核到官方 GGUF 仓库（ornith-ai/Ornith-1.5-35B-A3B-GGUF）已带 mmproj-Ornith-1.5-35B-BF16.gguf，llama.cpp 看图通道可用。 官方 GGUF 仓库真实文件体积（2026-11-11 hf-mirror blob 核，ornith-ai 官方仓库，与站内持有文件同源）：Q4_K_M 20.2G、Q5_K_M 23.6G、Q6_K 27.2G、Q8_0 35.2G、mmproj-BF16 0.84G（902,822,240B）；IQ4_XS 官方仓库无此档（第三方 bartowski 有 17.98G，量化管线不同不作官方口径），按公式约 19G 估算。

## Terminal-RSI-27B
- Terminal-RSI-27B (27.8B)
  URL: /model/terminal-rsi-27b/
  架构: 64 层 / KV头 4 / 头维 256 / 全量KV层 16 / 滑窗 无
  KV@4K(FP16): 0.25 G；每 1K token 约 0.06 G
  权重: Q8_0 29.54G / Q4_K_M 16.68G / IQ3_XXS 10.49G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 IQ3_K（权重 12.2G，8K 总需 13.7G，最多可开 15360 token，受限：显存）
  常数来源: https://huggingface.co/Teriminal-RSI/Terminal-RSI-27B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 29.5G / 8K 总需 31G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 22.8G / 8K 总需 24.3G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 19.5G / 8K 总需 21G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 16.7G / 8K 总需 18.2G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 14.8G / 8K 总需 16.3G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 12.2G / 8K 总需 13.7G / tight / 最多可开 15360 token
  - IQ3_XXS: 权重 10.5G / 8K 总需 12G / tight / 最多可开 42496 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_K，8K 总需 13.7G，最多可开 15360 token（显存）
  - 20G：IQ4_XS，8K 总需 16.3G，最多可开 29696 token（显存）
  - 22G：Q4_K_M，8K 总需 18.2G，最多可开 28160 token（显存）
  - 24G：Q5_K_M，8K 总需 21G，最多可开 10240 token（显存）
  - 32G：Q6_K，8K 总需 24.3G，最多可开 71680 token（显存）
  - 48G：Q8_0，8K 总需 31G，最多可开 190976 token（显存）
  - 64G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）

基于 Qwen3.5-27B 底座（config 与 Qwen3.8-27B 同族同常数：64 层 / 16 全注意力 / 4 KV 头 / head_dim 256 / 262144 ctx）的多模态 Agent 模型，HF 张量总量 27.78B（BF16，config+API 一手核到），Apache-2.0，2026-10-21 建库。站长点名「腾讯在千问 3.8 27B 上面训练的 ISI」即指此（RL 强化 + 递归自改进定位，HF tags：terminal-agent / reinforcement-learning / recursive-self-improvement，arxiv:2610.22192）。KV 口径与 Qwen3.8-27B 完全一致：每 4K 0.25G（48 层线性注意力不存 per-token KV），24G 卡开长上下文的空间和站内 27B 主力一个量级。多模态（config 带视觉塔 image+video token），llama.cpp 需额外 mmproj 文件。站内暂无本站/他测速度，显存按容量表推算 ±30%。

## AREX-2
- AREX-2 (27.4B)
  URL: /model/arex-2/
  架构: 64 层 / KV头 4 / 头维 256 / 全量KV层 16 / 滑窗 无
  KV@4K(FP16): 0.25 G；每 1K token 约 0.06 G
  权重: Q8_0 29.11G / Q4_K_M 16.44G / IQ3_XXS 10.34G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 IQ3_K（权重 12G，8K 总需 13.5G，最多可开 17920 token，受限：显存）
  常数来源: https://huggingface.co/BAAI/AREX-2/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 29.1G / 8K 总需 30.6G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 22.5G / 8K 总需 24G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 19.2G / 8K 总需 20.7G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 16.4G / 8K 总需 17.9G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 14.6G / 8K 总需 16.1G / wont_fit / 最多可开 0 token
  - IQ3_K: 权重 12G / 8K 总需 13.5G / tight / 最多可开 17920 token
  - IQ3_XXS: 权重 10.3G / 8K 总需 11.8G / tight / 最多可开 45056 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_K，8K 总需 13.5G，最多可开 17920 token（显存）
  - 20G：IQ4_XS，8K 总需 16.1G，最多可开 33280 token（显存）
  - 22G：Q4_K_M，8K 总需 17.9G，最多可开 31744 token（显存）
  - 24G：Q5_K_M，8K 总需 20.7G，最多可开 14848 token（显存）
  - 32G：Q6_K，8K 总需 24G，最多可开 77312 token（显存）
  - 48G：Q8_0，8K 总需 30.6G，最多可开 197632 token（显存）
  - 64G：Q8_0，8K 总需 30.6G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 30.6G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 30.6G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 30.6G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 30.6G，最多可开 262144 token（模型原生上限）

智源 BAAI 的 AREX-2，官方标 base_model:finetune:Qwen/Qwen3.8-27B——就是在站内 27B 主力 Qwen3.8-27B 上做深度研究/Agent 微调的产物，架构常数与底座完全一致（config 一手核到：64 层 / 16 全注意力 / 4 KV 头 / head_dim 256 / 262144 ctx），HF 张量总量 27.36B（BF16），Apache-2.0，2026-09-29 建库。站长点名「北京资源」即指此（智源=北京 Academy of AI）。多模态（image+video）+ 定位 deep-research / Agent / self-improvement（HF tags），arxiv:2609.38288。KV 与 Qwen3.8-27B 同口径：每 4K 0.25G，显存门槛、24G 卡可开上下文与站内 27B 主力一致。与 Terminal-RSI-27B 的区别：同源底座不同微调方向（Terminal-RSI 偏 terminal/递归自改进，AREX-2 偏深度研究与 Agent 工具调用），本地跑法与显存账完全一样，选谁看任务。他测速度（2026-11-09 B-060 补）：双 RTX 3090 vLLM 0.29.0 W4A16（numsu，单源 C 级，DFlash2 开着未报接受率、不进投机对比）225.6/109.8/66.4/78.5 tok/s（1K/8K/32K/64K prompt，512-out 中位，TTFT 0.69/5.73/25.17/74.38s，128K 档 42.6）——27B 档首次有 24G 卡实测阶梯；端侧 M4 Pro 16GB MLX 4bit ~14 tps（TeksEdge X 帖，留底本）。基座 Qwen3.8-27B 对照（InferenceKey sglang：A6000 FP8 24 / INT4 41、PRO 5000 INT4 68 tok/s）只留底本不挂 AREX-2 名下。

## MiniCPM5-2B
- MiniCPM5-2B (2.5B)
  URL: /model/minicpm5-2b/
  架构: 42 层 / KV头 2 / 头维 128 / 全量KV层 42 / 滑窗 无
  KV@4K(FP16): 0.1641 G；每 1K token 约 0.04 G
  权重: Q8_0 2.66G / Q4_K_M 1.5G / IQ3_XXS 0.94G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q8_0（权重 2.7G，8K 总需 4G，最多可开 131072 token，受限：模型原生上限）
  常数来源: https://huggingface.co/OpenBMB/MiniCPM5-2B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 2.7G / 8K 总需 4G / smooth / 最多可开 131072 token
  - Q6_K: 权重 2.1G / 8K 总需 3.4G / smooth / 最多可开 131072 token
  - Q5_K_M: 权重 1.8G / 8K 总需 3.1G / smooth / 最多可开 131072 token
  - Q4_K_M: 权重 1.5G / 8K 总需 2.8G / smooth / 最多可开 131072 token
  - IQ4_XS: 权重 1.3G / 8K 总需 2.7G / smooth / 最多可开 131072 token
  - IQ3_S: 权重 1G / 8K 总需 2.4G / smooth / 最多可开 131072 token
  - IQ3_XXS: 权重 0.9G / 8K 总需 2.3G / smooth / 最多可开 131072 token

各显存档位：
  - 4G：Q6_K，8K 总需 3.4G，最多可开 10752 token（显存）
  - 6G：Q8_0，8K 总需 4G，最多可开 40960 token（显存）
  - 8G：Q8_0，8K 总需 4G，最多可开 83456 token（显存）
  - 10G：Q8_0，8K 总需 4G，最多可开 128000 token（显存）
  - 11G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 12G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 16G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 20G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 22G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 24G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 32G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 4G，最多可开 131072 token（模型原生上限）

面壁 OpenBMB 的 1-2B 档首批代表，补上站内「8G 卡 / 纯 CPU 读者」的低端空档：官方 config.json 一手核到 2,516,756,480 参 / 42 层 / GQA 16Q2KV / head_dim 128 / 131072 ctx（标准 LlamaForCausalLM 结构，无混合注意力），Apache-2.0，2026-09-07 开源。KV 每 4K 只 0.164G（2 个 KV 头，比 Qwen3-8B 的 0.56G 便宜 1/3），131K 全量上下文 KV 约 2.6G——24G 卡能开满 131K，8G/12G 卡开 4-8K 都宽裕，是站内第一个「无独显笔记本 / 旧台式机 / 树莓派」也能跑的主流档位（Q4_K_M 官方 1.56GB 权重）。定位注意：2.5B 稠密意味着 decode 速度在消费卡上比 4B/8B 慢不了多少但能力天花板低，官方自述「2B 级 SOTA 超 4B 档」是 RL + 多教师在线策略蒸馏的口径，本站未复现、按自述口径标注。官方适配 FlagOS 9 芯片清单（华为/海光/天数/昆仑芯/沐曦/摩尔线程等国产卡），想试国产卡上的小模型它是首选入口。站内暂无本站/他测速度，按容量表推算 ±30%。

## Qwen3.8-Flash-Next
- Qwen3.8-Flash-Next (125B, 激活 6B, MoE)
  URL: /model/qwen3-8-flash-next/
  架构: 48 层 / KV头 2 / 头维 256 / 全量KV层 12 / 滑窗 无
  KV@4K(FP16): 0.0938 G；每 1K token 约 0.02 G
  权重: Q8_0 132.81G / Q4_K_M 75G / IQ3_XXS 47.19G
  原生上下文上限: 262144 token
  16G 装不下（最省的 IQ4_XS 权重也要 66.4G），最早就 96G（Q4_K_M）
  常数来源: https://huggingface.co/Qwen/Qwen3.8-Flash-Next/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - IQ2_XXS: 权重 32.2G / 8K 总需 33.4G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：Q4_K_M，8K 总需 76.2G，最多可开 262144 token（模型原生上限）
  - 128G：Q6_K，8K 总需 103.7G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 134G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 134G，最多可开 262144 token（模型原生上限）

本条目要写清两笔账——权重本体 vs offload 表。① 权重本体：125B MoE 骨干（config 一手核到 48 层 / 512 专家激活 10 / 每 token 约 6B 激活 / GQA 2KV 头 / head_dim 256 / 262144 ctx），HF 张量总量 180B（BF16，config+API 核到），其中骨干约 125B；许可 Qwen Community License 1.0（非 Apache，商用受限条款见 LICENSE）。② 可 offload 的 n-gram 表：config 的 ngram_vocab_size_base 20,000,000 × ple_embed_dim 2560 = 51.2B 参数的 n-gram 嵌入表（PLE），这一整块不必须驻显存——可 offload 到系统内存甚至 SSD（「显存不够硬盘来凑」的三级 offload 路线，参考实现见 /tools/strataforge/）。两笔账分开算：Q4 档骨干约 74GB 仍需 3×24G 起；IQ2_XS 档社区实测可压到 68GB（llama.cpp 定制分支 Betelgeuse，3060 12G + 16G 内存跑通，decode 22 tok/s——社区单源口径，本站未复现）。KV 极便宜：48 层里只有 12 层全注意力（36 层线性不存 KV），每 4K 只 0.094G，262K 全量上下文 KV 约 6G，不是显存瓶颈。结论：这不是「单张消费卡」的模型，是「大内存 + 低精度 + offload」路线的门槛样本——把它收进清单是为了「125B 到底要多少硬件」这个问题有人能答，不是推荐 8G/16G 卡去跑。多模态（config 带视觉塔），官方自述 YaRN 可外推 1M 但不算原生 262K。

## DeepSeek-V4.1-Flash
- DeepSeek-V4.1-Flash (552B, 激活 8B, MoE)
  URL: /model/deepseek-v4-1-flash/
  架构: 未核实
  KV@4K(官方口径，近似): 3.5 MB；每 1K token 约 0.9 MB
  权重: Q8_0 586.5G / Q4_K_M 331.2G / IQ3_XXS 208.38G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 331.2G），最早就 512G（Q5_K_M）
  常数来源: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 387.4G，最多可开 76137411 token（模型原生上限）

这条是清单里的「门槛展示」条目，不是给消费卡的推荐。两笔账必须分开：① 权重本体 552B 骨干（config 一手核到：MoE 384 路由专家激活 6 + 1 共享 / 40 层 / MLA 多潜注意力 / 1M ctx 由 64K YaRN 16× 外推 / MIT 许可 / 2026-09-09 开源），另加 196.6B 参数的 Engram 哈希 n-gram 记忆表（config：2 张 384M × 256 维表 = 196.6B，恰好对上「552B 骨干 + 196.6B Engram」的官方口径，合计约 749B）——Engram 表是哈希查表不是 GEMM，可整块放 host 内存（vLLM 官方 recipe 即如此跑：CPU offload Engram + routed experts），这是它和「纯 749B 权重」的本质区别。② GPU 侧真正要装的是骨干 + 注意力 + 不 offload 的部分：MLA + 压缩稀疏注意力让 KV 极省——官方 README 明写 global KV **890 bytes per token**（FP4 主 KV：E2M1 + 每 16 通道一个 E4M3 scale），本轮按官方参考实现 inference/model.py 逐层复算得 890 B/token 与官方数字完全对上：主 KV 4 层（kv_source_layers [2,8,14,20]，head_dim 512 压缩 latent；2/8/14 层 2:1 压缩、20 层不压缩）= 512×(3÷2+1)×(0.5+1/16) = 720 B/token，indexer 键缓存 4 层（每个压缩位置 1 把共享键，index_head_dim 128）= 128×2.5×(0.5+1/32) = 170 B/token，滑窗 KV 是 128 槽定长、不随上下文增长；每 4K 约 0.0034 G（此前手填 0.05 G 高估约 15 倍），1M 上下文全程 KV 约 0.87 G，但权重本体 552B 的 Q8/FP8 也要 500G+——单张 24G/48G/96G 卡都装不下，门槛是多机或共享主机（官方 vLLM recipe：DGX Station GB300 244G + 60G CPU offload，或 8 卡级集群）。为什么收录：站长点名「列进清单如实标共享主机/多机门槛」——读者问「DeepSeek V4.1 Flash 能不能本地跑」需要一个诚实答案页，答案是「单卡不能，多机/共享主机可以，Engram 可 offload 省 host 内存」。本站无 arch_detail 六字段（MLA + 压缩注意力 + Engram 架构套不进标准 GQA 常数，硬填就是编），KV 按官方口径（890 B/token）线性兜底，容量表会标注这是估算。站内无本站/他测速度。**两仓现状留痕（2026-11-13 复查）**：deepseek-ai/DeepSeek-V4.1-Flash 与 deepseek-ai/DeepSeek-V4.1-Flash-1017 当前发布的是同一套权重——config.json、inference/{config.json,model.py,kernel.py} 逐字节相同，48 个分片文件名与大小、model.safetensors.index.json 的 total 与 96,085 个张量名逐项一致，safetensors 元数据 total 763,205,315,794 也相同（该数字是各 dtype 字节数之和、不是参数量，见 1017 条目留痕）；官方把这次小版本更新（README 原文 a minor update）另开了一个 1017 仓，两仓现在指向同一套权重，因此两条目参数口径必须一致（均为骨干 552B）。

## LFM3-1.7B
- LFM3-1.7B (1.7B)
  URL: /model/lfm3-1-7b/
  架构: 24 层 / KV头 4 / 头维 128 / 全量KV层 6 / 滑窗 256
  KV@4K(FP16): 0.0557 G；每 1K token 约 0.01 G
  权重: Q8_0 1.81G / Q4_K_M 1.02G / IQ3_XXS 0.64G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 1.8G，8K 总需 2.9G，最多可开 262144 token，受限：模型原生上限）
  常数来源: https://huggingface.co/LiquidAI/LFM3-1.7B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 1.8G / 8K 总需 2.9G / smooth / 最多可开 262144 token
  - Q6_K: 权重 1.4G / 8K 总需 2.5G / smooth / 最多可开 262144 token
  - Q5_K_M: 权重 1.2G / 8K 总需 2.3G / smooth / 最多可开 262144 token
  - Q4_K_M: 权重 1G / 8K 总需 2.1G / smooth / 最多可开 262144 token
  - IQ4_XS: 权重 0.9G / 8K 总需 2G / smooth / 最多可开 262144 token
  - IQ3_S: 权重 0.7G / 8K 总需 1.8G / smooth / 最多可开 262144 token
  - IQ3_XXS: 权重 0.6G / 8K 总需 1.7G / smooth / 最多可开 262144 token

各显存档位：
  - 4G：Q8_0，8K 总需 2.9G，最多可开 59392 token（显存）
  - 6G：Q8_0，8K 总需 2.9G，最多可开 217088 token（显存）
  - 8G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 10G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 11G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 12G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 16G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 20G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 22G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 24G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 32G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 2.9G，最多可开 262144 token（模型原生上限）

Liquid AI 的 LFM3 家族文本模型（**2026-10-27 官方发布、同日权重上 HF**——Liquid 官方博客 + HF 启动文 + @liquidai X 发布帖三源一致），1-2B 端侧档的第二个代表。架构是本站少见的 tri-hybrid：24 层里 13 层门控短卷积（kernel 7，不存标准 KV）+ 5 层滑窗注意力（窗口 256）+ 6 层全注意力（GQA 16Q4KV / head_dim 128），config.json 一手核到，262144 ctx（YaRN 外推的 256K 输入+输出）。KV 口径特殊——只有 6 层全注意力按 token 线性增长，5 层滑窗是固定开销，13 层卷积只留极短窗状态，所以长上下文下 KV 增长远慢于同规模稠密模型；本站按 6 层全注意力 + 滑窗固定项近似，每 4K 约 0.32G（check-data 同公式复算通过）。4-bit 下权重约 1GB（官方口径），是无独显笔记本 / 旧台式机 / 树莓派 / 手机 NPU 都能跑的端侧档，与 MiniCPM5-2B 同属「补低端空档」这批。许可是 LFM Open License v1.0（非 Apache：营收 <10M 免费，商用受限，商用前看条款）。定位偏本地 Agent（官方为 Hermes Agent / OpenClaw 等 Agent 框架 post-train，工具调用强、通用 chat 一般）。站内暂无本站/他测速度，按容量表推算 ±30%。

## Muse Glimmer-30B
- Muse Glimmer-30B (29.8B)
  URL: /model/muse-glimmer-30b/
  架构: 52 层 / KV头 2 / 头维 128 / 全量KV层 13 / 滑窗 2048
  KV@4K(FP16): 0.127 G；每 1K token 约 0.01 G
  权重: Q8_0 31.66G / Q4_K_M 17.88G / IQ3_XXS 11.25G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 IQ3_XXS（权重 11.2G，8K 总需 12.4G，最多可开 131072 token，受限：模型原生上限）
  常数来源: https://huggingface.co/meta-models/Muse-Glimmer-30B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 31.7G / 8K 总需 32.8G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 24.4G / 8K 总需 25.6G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 20.9G / 8K 总需 22G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 17.9G / 8K 总需 19.1G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 15.8G / 8K 总需 17G / wont_fit / 最多可开 0 token
  - IQ3_S: 权重 12.2G / 8K 总需 13.4G / tight / 最多可开 64512 token
  - IQ3_XXS: 权重 11.2G / 8K 总需 12.4G / tight / 最多可开 131072 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_XXS，8K 总需 12.4G，最多可开 131072 token（模型原生上限）
  - 20G：IQ4_XS，8K 总需 17G，最多可开 55808 token（显存）
  - 22G：Q4_K_M，8K 总需 19.1G，最多可开 35328 token（显存）
  - 24G：Q4_K_M，8K 总需 19.1G，最多可开 131072 token（模型原生上限）
  - 32G：Q6_K，8K 总需 25.6G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 32.8G，最多可开 131072 token（模型原生上限）

Meta Superintelligence Lab 的 Muse Glimmer-30B，2026-08-09 上 HF，Apache-2.0，多模态（image+video 视觉塔，config 一手核到）。config 常数：52 层里 39 层滑窗注意力（窗口 2048）+ 13 层全注意力，GQA 2 KV 头 / head_dim 128，131072 原生上下文，HF 张量总量 29.78B（BF16，config+API 核到，含视觉塔——权重体积按 29.8B 算就够，不要再单加视觉塔）。显存档位：4-bit 权重约 16G（官方口径 4-bit <20GB），24G 卡装 Q4 还剩 5-6G 给 KV。KV 是它最省的地方：39 层滑窗 2048 封顶 + 只有 13 层全注意力线性增长，131K 全量 KV 也只有约 1.7G——比同规模稠密模型便宜一个量级，24G 卡开 131K 都装得下 KV（瓶颈在权重不在 KV）。工具调用走自家 ATEM 协议（chat_template 一手核到，非 OpenAI 格式，第三方前端适配要留意）。站长口径（「我们三个下下来对比过」，三个 = 本模型 / Ornith-1.5-35B-A3B / Qwen3.8-27B）：Muse Glimmer 不如另外两个好用——这是定性口述、无日志，先按「站长主观评价」记录、不写成实测数据，要坐实得等社区/本站的同硬件对比日志。官方自述 DFlash 投机解码在 RTX 5090 上 74.9→233.4 tok/s，自述口径、本站未复现。站内无本站/他测速度，按容量表推算 ±30%。

## GLM-5.3
- GLM-5.3 (753B, 激活 40B, MoE)
  URL: /model/glm-5-3/
  架构: 未核实
  KV@4K(官方口径，近似): 0.37 G；每 1K token 约 0.09 G
  权重: Q8_0 800.06G / Q4_K_M 451.8G / IQ3_XXS 284.26G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 451.8G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/zai-org/GLM-5.3/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

智谱 2026-08-14 发布的开源旗舰（HF: zai-org/GLM-5.3，许可 GLM-5.3 License——自定义许可，非 MIT，以仓库 LICENSE 为准）。与 GLM-5.2 同基座，能力提升全来自后训练：官方自测编程 +50%，Terminal-Bench 3.0 等高难度 Agent 基准开源第一梯队。参数口径已核（多源一致 A 级）：HF 模型卡标 753B 总参数、NVIDIA GLM-5.3-NVFP4 卡与 Artificial Analysis / Modal 均一致 **753B 总 / 40B 激活**（知乎「754B」为约数、「7000 亿」为误传，本站以 HF 卡 753B 为准）。架构（NVIDIA 卡 + HF transformers GlmMoeDsa 文档核到）：78 层 MoE、256 路由专家 + 1 共享、每 token 激活 8、**MLA 多潜注意力 + DSA 深稀疏注意力**、原生 1M ctx（config max_position_embeddings）。本站无 arch_detail 六字段（MLA + DSA 压缩注意力套不进标准「层数×KV头×头维」GQA 常数，硬填就是编，同 DeepSeek-V4.1-Flash 先例），KV 已按 config + transformers 源码复算：78 层 MLA latent（512 latent + 64 解耦 rope）×2B + 21 个 full-indexer 层的 indexer 键缓存（128 维 ×2B；另 57 层 indexer_types=shared 复用上一层的 top-k、不建 indexer 缓存）+ 1 个 MTP 层 latent（保守计入）= 96,384 B/token → 0.37G/4K（容量表标注估算）；权重本体 753B 的 Q8 就要 700G+，单卡全装不下，门槛是多机/共享主机。收录理由：读者问「GLM-5.3 能不能本地跑」需要诚实答案——单卡不能，它的正确用法是 API 或多机集群。

## Kimi K3
- Kimi K3 (2800B, 激活 104B, MoE)
  URL: /model/kimi-k3/
  架构: 未核实
  KV@4K(官方口径，近似): 0.11 G；每 1K token 约 0.03 G
  权重: Q8_0 2975G / Q4_K_M 1680G / IQ3_XXS 1057G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 1680G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/moonshotai/Kimi-K3/blob/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

月之暗面 2026-07-20 发布的开放权重旗舰（HF: moonshotai/Kimi-K3，Kimi K3 License）。2.8 万亿总参数 / 1040 亿激活，全球参数最大的开源模型；原生视觉 + 100 万 token 上下文。架构一手核到（官方 README 架构表 + K3 技术报告 §2.1 + SGLang day-0 支持文）：93 层 = **69 KDA 线性注意力 + 24 Gated MLA**（3:1 交错，末层额外一层全局注意力）+ 注意力残差 AttnRes（config attn_res_block_size = 12）+ Stable LatentMoE（896 路由专家激活 16 + 2 共享）。KV 官方口径 **≈27KB/token**（SGLang：24 层 MLA 合计、约 1.125KB/层），与 config 复算一致——Gated MLA 缓存压缩 latent（kv_lora_rank 512 + qk_rope_head_dim 64 = 576 维 × 2B = 1152B/token/层 × 24 层 = 27648B/token），1M 上下文全程 KV ≈27.0G；69 层 KDA 只存定长递归状态（SGLang 口径 ≈54MB/请求/GPU@TP=8），不随上下文增长；每 4K ≈ 0.1055G，站内取保守上界 0.11G/4K。**分歧留痕**：HF 仓内参考实现 modeling_kimi_linear.py 逐字跑时 MLA 层缓存的是展开后每头 K/V（96 头 × (192+128) × 2B = 60KB/token/层 → 5.63G/4K），官方技术报告 §2.1.2 与 SGLang day-0 文明确生产口径是压缩 latent；站内按官方口径取 0.11G/4K，两说并存。权重本体 2.8T 即使 MXFP4 也要 TB 级——单卡毫无悬念装不下，门槛是集群。K3.1-Pro 是其同代后训练强化版（2026-11-04 放权重，已单列站内条目）。收录理由：「全球最大开源模型」是读者热搜词，答案页必须诚实：这是集群/API 级模型，不是本地卡能跑的。

## Ling-3.2-flash
- Ling-3.2-flash (560B, 激活 25B, MoE)
  URL: /model/ling-3-2-flash/
  架构: 未核实
  KV@4K(官方口径，近似): 0.3 G；每 1K token 约 0.08 G
  权重: Q8_0 595G / Q4_K_M 336G / IQ3_XXS 211.4G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 336G），最早就 512G（Q5_K_M）
  核查记录: https://huggingface.co/api/models/inclusionAI/Ling-3.2-flash（核查于 2026-11-13）；本条架构常数未核实，KV 为保守兜底值

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 393.6G，最多可开 786432 token（模型原生上限）

【未核实条目 · 2026-11-13 四处核查均未找到权重仓】蚂蚁 inclusionAI 名下的 Ling-3.2-flash：此前站内记录为「2026-11-05 发布 / 560B 总 25B 激活 / 1M ctx / MIT / 原生多模态 / HF: inclusionAI/Ling-3.2-flash」，但**今天按四个口径复核，没有一处能核到**：① HF 镜像 API `api/models/inclusionAI/Ling-3.2-flash` → **HTTP 404**，raw / resolve config → 503 / 404；② inclusionAI 全量 239 个仓库列表里**没有任何 Ling-3.2* 仓**（gated 仓也会出现在列表里——同族 Muse-Spark-Open-816B-A42B 就是 gated=manual 仍在列）；③ ModelScope `inclusionAI/Ling-3.2-flash` → **HTTP 404**；④ OpenRouter 模型列表里 inclusionai/* 只有 Ling-3.0 系列与 Ling-3.1-flash（ctx 1,000,000），**没有 3.2**。2026-11-08 那轮抓取留的日志也是 raw→401、resolve→404（HF 对 gated 与不存在的仓都可能返 401，所以单看 401 不能断「gated」）。**结论**：目前没有可核的官方发布与权重仓库。条目保留（不删数据、不改 slug、不动链接），但整体降级为「未核实」——参数 / 上下文 / 许可按旧记录留着并逐条标注未核实；release_date 按 schema「查不到就填 null」置空；KV 0.3G/4K 保留为保守兜底（若它真与 Ling-3.1-flash 同架构，实测复算是 0.05G/4K，见 Ling-3.1-flash 页），主力徽章撤下。**读者请注意**：本页的 HF 权重链接当前打不开（404）。同族目前可核的版本是 **Ling-3.1-flash**（560B/25B、63 KDA + 9 Gated MLA、MIT、权重 2026-10-13 上线），已单列。【来源标注已更正】本条在站内的「来源」标注已从「仓库 / config.json」改成「未找到可核的 config.json —— 核查记录」：此前那个链接是查证地址（点开是 404 的 API 返回），不是 config.json 文件，标成 config.json 等于把查不到的东西装成核过的来源。

## Ling-3.1-flash
- Ling-3.1-flash (560B, 激活 25B, MoE)
  URL: /model/ling-3-1-flash/
  架构: 未核实
  KV@4K(官方口径，近似): 0.05 G；每 1K token 约 0.01 G
  权重: Q8_0 566.6G / Q4_K_M 333.4G / IQ3_XXS 211.4G
  原生上下文上限: 未知 token
  16G 装不下（最省的 IQ4_XS 权重也要 295.3G），最早就 512G（Q5_K_M）
  常数来源: https://hf-mirror.com/inclusionAI/Ling-3.1-flash/raw/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 407.5G，最多可开 3538944 token（模型原生上限）

蚂蚁 inclusionAI 的 Ling 系列开放权重模型（HF: inclusionAI/Ling-3.1-flash，**MIT**）。一手核到（HF 仓 config + 官方模型卡 README + SGLang 官方 Cookbook）：**560B 总 / 25B 激活**、**63 KDA + 9 Gated MLA**（7:1 混合线性注意力）、512 路由专家激活 8 + 1 共享、4 层稠密 FFN、hidden 4096 / 64 头、FP8 E4M3 128×128 block 权重 + 动态激活量化。权重上线口径取 HF 仓创建日 2026-10-13（官方模型卡未标发布日期；仓库 lastModified 2026-11-03）。**KV 已按一手实现复算 ≈0.05G/4K**（2026-11-13）：MLA 压缩 latent 套不进标准 GQA 六字段，层配比不是推断——transformers 官方 bailing_hybrid 配置类按 layer_group_size 8 生成 layer_types（每组最后一层 full MLA、其余 KDA），72 层里 **9 层 MLA**（第 8/…/72 层）+ 63 层 KDA（只存定长递归状态、不随上下文增长）；每层 MLA 缓存压缩 latent（kv_lora_rank 512 + qk_rope_head_dim 64 = 576 维 × 2B = 1152B/token）→ 10368B/token，加 1 层 MTP（1152B/token）合计 11520B/token → 每 4K ≈ 0.0439G，取保守上界 0.05G；原生 256K 全程 KV ≈2.8G、1M 全程 ≈11.3G。**上下文口径两说并存**：官方模型卡写 1M 上下文，SGLang 官方 Cookbook 写「原生 262,144 tokens，1,048,576 需加 YaRN 外推覆盖（factor 4.0）」——站内按 config 的 max_position_embeddings 记原生 256K，1M 标为 YaRN 外推，不把外推写成原生。**权重体积有实测**：官方 FP8 checkpoint 572,120,680,768 字节 ≈ 572.1GB（HF API safetensors.total 是字节数、不是参数量——这条坑 2026-11-13 在 ERNIE 上也抓到过；按 dtype 位宽反推参数 ≈571.4B，与官方口径 560B 差约 2.0%，两说都留着）；第三方 GGUF 仓（bartowski，blob 级实测、分片求和）Q4_K_M 358.0GB / IQ4_XS 317.1GB / Q8_0 608.4GB——单卡装不下，门槛集群。**官方速度（SGLang Cookbook 自测，非本站实测，单源 C 级）**：H200 8 卡 TP8 单流 **269.2 tok/s**（TP8+EP8 239.5）、GB300 4 卡 TP4 **175.3 tok/s**（TP4+EP4 160.0，TPOT 5.22ms，NEXTN 接受长度 2.60）；300,101-token 长提示 H200 TTFT 15.4s / GB300 12.6s。**这些数字没进本站他测表**：cookbook 页面没有发布日期，按本站 2026-11-05「缺发布日期不上架」的规矩只在这里留档。**激活参数量分歧留痕**：模型卡写 25B 激活，SGLang Cookbook 写「约 17B 激活」——两个官方口径不一致，站内取模型卡 25B。**同仓另有后训练快照 Ling-3.1-flash-1019**（2026-10-19 版）：官方模型卡写 AA Intelligence Index v4.3.2 = 44（前代 41）、v5 = 30；本站 AA 2026-11-07 快照里那条 30 分对应同一快照（v5 口径），两处一致。收录理由：Ling 系 560B 门槛档目前唯一可核的开放权重版本（站内 Ling-3.2-flash 条目 2026-11-13 复核为无可核源，已降级），读者搜 Ling-3.1 会搜到。

## MiniMax-M3.1-Flash
- MiniMax-M3.1-Flash (428B, 激活 23B, MoE)
  URL: /model/minimax-m3-1-flash/
  架构: 60 层 / KV头 4 / 头维 128 / 全量KV层 60 / 滑窗 无
  KV@4K(FP16): 0.4688 G；每 1K token 约 0.12 G
  权重: Q8_0 454.75G / Q4_K_M 256.8G / IQ3_XXS 161.57G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 256.8G），最早就 512G（Q6_K）
  常数来源: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q6_K，8K 总需 352.9G，最多可开 861696 token（显存）

MiniMax（稀宇科技）2026-10-23 开源权重（HF: MiniMaxAI/MiniMax-M3.1-Flash，许可 **MiniMax Community License**——非商用自由；商用需显著标注「Built with MiniMax M3.1-Flash」，年营收超 2000 万美元需事先书面授权 api@minimax.io，否则一次性告知即可；HF 与 ModelScope 双平台）。428B/23B 激活（新浪财经标题口径「4280 亿参数、激活 230 亿」），原生多模态 MoE，主打编程/Agent/computer use/网络安全——OpenRouter 匿名实测里它是「Flash 后缀=推理性价比战争」的代表。权重 428B 的 Q4 约 210G+，单卡装不下，门槛多机/共享主机。同代 M3（428B/23B、1M）为基座版，本站不重复收。收录理由：Terminal-Bench 天梯榜常客（77 tokens/¥ 性价比），读者问「本地能不能跑」需要答案页。

## 小米 MiMo-V2.6-Flash
- 小米 MiMo-V2.6-Flash (309B, 激活 15B, MoE)
  URL: /model/mimo-v2-6-flash/
  架构: 48 层 / KV头 4（滑窗层 8） / 头维 192 / 全量KV层 9 / 滑窗 128
  KV@4K(FP16): 0.134 G；每 1K token 约 0.03 G
  权重: Q8_0 328.31G / Q4_K_M 185.4G / IQ3_XXS 116.65G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 185.4G），最早就 256G（Q5_K_M）
  常数来源: https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-RL/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：Q5_K_M，8K 总需 217.5G，最多可开 309248 token（显存）
  - 512G：Q8_0，8K 总需 329.6G，最多可开 1048576 token（模型原生上限）

小米 MiMo-V2.6 系列开放权重模型之一（HF: XiaomiMiMo/MiMo-V2.6-Flash-RL，arXiv 2610.11959，**2026-09-21 HF 上传**，许可 **MIT**；官方 mimo.mi.com + HF Collection XiaomiMiMo/mimo-v26；MiMo-V2.5 系列已于 2026-10-21 退役，V2.6 为在役版本）。**本轮已核到官方一手口径（A 级）**：309B 总 / 15B 激活（HF 卡标 309B、arXiv 2610.11959 记 310B、safetensors 元数据 310.7B 含视觉/音频塔+MTP——三说并存，本站以 HF 卡 309B 为准，原 311B 为误记已改）；48 层（39 滑窗 128 + 9 全局注意力）、256 路由专家激活 8、64 查询头、head_dim QK192/V128（不对称）、3 层 MTP。这是**真 MoE**（激活 15B 已核到，arch 已写 MoE，速度按激活算）。原生全模态（文/图/视频/音频）。**原生上下文 1M**（arXiv：32K→256K→最终 1M 分阶段真训练，config max_position 1048576）。权重 MXFP4/FP8 ~161–172G，单卡装不下，门槛多机/共享主机（2×DGX Spark 级起步）。这是本站第一条小米模型。同系列的 **MiMo-V2.6-Distill-Qwen-9B**（9B，单卡可跑）与 **MiMo-V2.6-Pro-RL**（1.02T/42B 旗舰，门槛）已单独入库，别混。

## 小米 MiMo-V2.6-Distill-Qwen-9B
- 小米 MiMo-V2.6-Distill-Qwen-9B (9B)
  URL: /model/mimo-v2-6-distill-qwen-9b/
  架构: 32 层 / KV头 4 / 头维 256 / 全量KV层 8 / 滑窗 无
  KV@4K(FP16): 0.125 G；每 1K token 约 0.03 G
  权重: Q8_0 9.56G / Q4_K_M 5.4G / IQ3_XXS 3.4G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 9.6G，8K 总需 10.8G，最多可开 115712 token，受限：显存）
  常数来源: https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 9.6G / 8K 总需 10.8G / tight / 最多可开 115712 token
  - Q6_K: 权重 7.4G / 8K 总需 8.6G / smooth / 最多可开 187392 token
  - Q5_K_M: 权重 6.3G / 8K 总需 7.6G / smooth / 最多可开 222720 token
  - Q4_K_M: 权重 5.4G / 8K 总需 6.7G / smooth / 最多可开 251904 token
  - Q4_K_S: 权重 5.3G / 8K 总需 6.5G / smooth / 最多可开 256000 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：Q4_K_M，8K 总需 6.7G，最多可开 19456 token（显存）
  - 10G：Q6_K，8K 总需 8.6G，最多可开 13312 token（显存）
  - 11G：Q6_K，8K 总需 8.6G，最多可开 43008 token（显存）
  - 12G：Q6_K，8K 总需 8.6G，最多可开 72704 token（显存）
  - 16G：Q8_0，8K 总需 10.8G，最多可开 115712 token（显存）
  - 20G：Q8_0，8K 总需 10.8G，最多可开 230400 token（显存）
  - 22G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 24G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 32G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 10.8G，最多可开 262144 token（模型原生上限）

小米 MiMo-V2.6 系列的 9B 蒸馏版（HF: XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B，model_type qwen3_5，下载量 18.9k）。V2.6 大模型（311B+）蒸馏到 Qwen3.5-9B 底座——**这是本站模型清单里少见的「新代际大模型蒸馏小杯」**：16G 显卡 Q4 可跑（权重约 5G），让用不上集群的读者也能摸到 V2.6 时代的能力。config.json 一手核到（2026-11-08）：32 层 = 24 层 Mamba-2 线性注意力 + 8 层全注意力（full_attention_interval=4），16 查询头 / 4 KV 头 / head_dim 256，max_position_embeddings 262144（256K），带 27 层视觉塔（图像+视频）。混合架构让 KV 极省——只有 8 层全注意力按 token 线性增长，每 4K ≈ 0.125G，长上下文占用远低于同规模稠密模型（24 层线性层只留固定状态）。注意：config 声明了 1 层 MTP，但发布 checkpoint 未含 MTP 权重（第三方 GGUF 用 --no-mtp 转换），实际就是 32 层。本站/他测速度均无，公式推算见 /capacity/16/。

## NVIDIA Nemotron 3 Ultra
- NVIDIA Nemotron 3 Ultra (550B, 激活 55B, MoE)
  URL: /model/nvidia-nemotron-3-ultra/
  架构: 108 层 / KV头 2 / 头维 128 / 全量KV层 12 / 滑窗 无
  KV@4K(FP16): 0.0469 G；每 1K token 约 0.01 G
  权重: Q8_0 584.38G / Q4_K_M 330G / IQ3_XXS 207.63G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 330G），最早就 512G（Q5_K_M）
  常数来源: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 386.1G，最多可开 1048576 token（模型原生上限）

NVIDIA 2026-06-04 发布的 Nemotron 3 家族旗舰（arXiv 2606.15007；HF: nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16；许可 OpenMDW-1.1；家族 2025-12 至 2026-06 分批发布，Nano 4B 为 2025-12 出窗不收）。550B/55B 激活的 LatentMoE · Mamba-2 + Attention 混合（108 层 / 2 KV 头 / head_dim 128 / 512 专家每层激活 22，config 一手核到）。**原生上下文训练到 1M**（官方技术报告 LC-Phase 在 1,048,576 token 上做 CPT，RULER 1M 实测 95%）——与 DeepSeek-V4.1-Flash 的「64K YaRN 外推」不同，这是真训练出来的 1M；注意 NIM/vLLM 默认服务上限 256K，开 1M 要显式设 `VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 --max-model-len 1048576`（默认与上限是两回事，如实标注）。Mamba 层不存 KV，混合架构让 KV 近似压到 0.08G/4K（保守近似，未逐层核）。NVIDIA 这次连训练数据和配方一起开放（GitHub NVIDIA-NeMo/Nemotron），是「开放度最高的一线大厂模型」。550B 权重 Q4 约 275G，单卡装不下，门槛集群（最低 8×B200）。收录理由：国外线窗口内唯一的一线大厂开放权重大模型（Mistral Large 4 未核实许可与日期，本轮未收）。

## GLM-5.3-Flash
- GLM-5.3-Flash (320B, 激活 18B, MoE)
  URL: /model/glm-5-3-flash/
  架构: 未核实
  KV@4K(官方口径，近似): 0.07 G；每 1K token 约 0.02 G
  权重: Q8_0 340G / Q4_K_M 192G / IQ3_XXS 120.8G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 192G），最早就 256G（Q5_K_M）
  常数来源: https://huggingface.co/zai-org/GLM-5.3-Flash（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：Q5_K_M，8K 总需 225.1G，最多可开 17554 token（模型原生上限）
  - 512G：Q8_0，8K 总需 341.1G，最多可开 6413165 token（模型原生上限）

智谱 GLM-5 系列首个原生多模态模型（z.ai 官方 2026-08-26 发布、HF: zai-org/GLM-5.3-Flash，**权重 MIT 许可**——代码在 zai-org/GLM-5 是 Apache-2.0，两者分开记，都宽松）。320B 总 / 18B 激活，45 层、288 路由专家 + 1 共享、每 token 激活 8。架构是 GLM 系列首次混合：KDA 线性注意力（局部依赖走状态）+ NoPE 稀疏 MLA（全局检索走轻量 indexer），官方称相比 GLM-5.3 注意力计算省 3.01×、KV cache 省 4.44×——所以本站 KV 已按 config + transformers 源码复算：11 个 DSA 层 MLA latent（512 latent，NoPE 无 rope）×2B + 11 个 full-indexer 层的 indexer packed 缓存（k 128 + gate 128 + valid 1 = 257 维 ×2B）+ 1 个 MTP 层 latent（保守计入）= 17,942 B/token → 0.07G/4K（34 个 KDA 线性层只存固定状态、不随 ctx 增长；仍无 arch_detail 六字段）。原生多模态（图/视频/文本），30T 多模态语料，1M ctx（model card 实测只跑到 300K，1M 是上限非已验证深度，如实标注）。FP8 原生权重 306GiB、BF16 翻倍，单卡装不下，门槛多机/共享主机。**本站已有它的真实速度参照**：benchmarks 里 datacamp-kt-glm53flash-2xpro6000-fp8-32k（2×RTX PRO 6000 96G + 350G 内存，KTransformers，~11 tok/s，32K ctx）——本轮入库后该条 model_slug 已回填。收录理由：读者问「GLM-5.3-Flash 能不能本地跑」+ 站内有实测锚点，给诚实答案页。

## NVIDIA Nemotron 3.5 Lightning 30B
- NVIDIA Nemotron 3.5 Lightning 30B (30B, 激活 3B, MoE)
  URL: /model/nvidia-nemotron-3-5-lightning-30b/
  架构: 52 层 / KV头 2 / 头维 128 / 全量KV层 6 / 滑窗 无
  KV@4K(FP16): 0.0234 G；每 1K token 约 6 MB
  权重: Q8_0 31.88G / Q4_K_M 18G / IQ3_XXS 11.33G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 18G），最早就 22G（Q4_K_M）
  常数来源: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16（抓取于 2026-11-12）

16G 档量化阶梯：
  - MXFP4: 权重 16.1G / 8K 总需 17.2G / wont_fit / 最多可开 0 token
  - FP8: 权重 30G / 8K 总需 31G / wont_fit / 最多可开 0 token
  - Q8_0: 权重 31.9G / 8K 总需 32.9G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 24.6G / 8K 总需 25.6G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 21G / 8K 总需 22G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 18G / 8K 总需 19G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：Q4_K_M，8K 总需 19G，最多可开 69632 token（显存）
  - 24G：Q4_K_M，8K 总需 19G，最多可开 366592 token（显存）
  - 32G：Q6_K，8K 总需 25.6G，最多可开 454144 token（显存）
  - 48G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）
  - 64G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）
  - 96G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）
  - 128G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）
  - 256G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）
  - 512G：Q8_0，8K 总需 32.9G，最多可开 1048576 token（模型原生上限）

NVIDIA 2026-08-11 发布的 Nemotron 3.5 家族边缘线（HF: nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B，许可 **OpenMDW-1.1**，开源权重+数据+配方）。30B 总 / 3B 激活的 Mamba-2 + MoE + Attention 混合（LatentMoE），带 MTP / DSpark / DFlash 三种推测解码。原生 1M ctx。门槛是这条 30B 新代际里唯一单卡可跑的：NVFP4 权重在 1×H100 80G 能跑满 1M（官方 HF 卡部署表），BF16 因 Mamba cache 占显存在单 H100 限 256K；消费级 24G 卡上 NVFP4 权重 ~15G 能装下但 Mamba 状态 + 上下文要另算，建议 48G 起。**这是把「新代际 MoE」带到单卡读者的关键一条**。注意它偏数据中心硬件（H100/H200/B200/GB200），纯消费 24G 卡支持有限（Ollama/llama.cpp 有本地入口，~40K 示例）。本站无本站/他测速度。

## NVIDIA Nemotron 3.5 Bolt 74B
- NVIDIA Nemotron 3.5 Bolt 74B (74B, 激活 9B, MoE)
  URL: /model/nvidia-nemotron-3-5-bolt-74b/
  架构: 88 层 / KV头 2 / 头维 128 / 全量KV层 8 / 滑窗 无
  KV@4K(FP16): 0.0313 G；每 1K token 约 8 MB
  权重: Q8_0 78.63G / Q4_K_M 44.4G / IQ3_XXS 27.94G
  原生上下文上限: 262144 token
  16G 装不下（最省的 Q4_K_M 权重也要 44.4G），最早就 64G（Q5_K_M）
  常数来源: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB（抓取于 2026-11-12）

16G 档量化阶梯：
  - IQ2_XXS: 权重 19.1G / 8K 总需 20.1G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 44.4G / 8K 总需 45.5G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：Q5_K_M，8K 总需 52.9G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 79.7G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 79.7G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 79.7G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 79.7G，最多可开 262144 token（模型原生上限）

NVIDIA 2026-10-15 发布的 Nemotron 3.5 Bolt 74B-A9B 24GB（HF: nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB，许可 **OpenMDW-1.1**）。74B 总 / 9B 激活的 Mamba-2–Transformer 混合 LatentMoE + C-RADIO v4-H 视觉编码器（图/视频/文本进，文出），从 120B Super VL 压缩而来。**关键：原生 2-bit（IQ2_XXS，2.0625 bpw）量化感知蒸馏构建，整模 24GB**——专为 24G 显存设计，能在 RTX 5090 32G / 48G 工作站卡 / RTX Spark / DGX Spark 本地跑 Agent 任务，官方称 RTX Spark 上 ~84 TPS。256K ctx。这是「74B 级 MoE 进 24G 卡」的罕见样本——24G 读者问「最大能跑什么」的答案之一。注意 2-bit 是有损构建（官方明说目的是 size 内最优而非贴 BF16 精度），质量取向见 HF 卡自报分（GPQA-D 86.43 等，厂商自测）。本站无本站/他测速度。

## Muse Spark Open 816B
- Muse Spark Open 816B (816B, 激活 42B, MoE)
  URL: /model/muse-spark-open-816b/
  架构: 未核实
  KV@4K(官方口径，近似): 0.97 G；每 1K token 约 0.24 G
  权重: Q8_0 867G / Q4_K_M 489.6G / IQ3_XXS 308.04G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 489.6G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B（抓取于 2026-11-08）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

Meta Superintelligence Labs 2026-10-15 发布的美国最强开放权重模型（HF: meta-models/Muse-Spark-Open-816B-A42B，许可 **Muse Model License**——宽松但有两条限制：① 商用产品须显著标注「Built with Muse Spark Open」② 以 API 形式对外提供服务且 12 个月营收超 2000 万美元须另行签约）。816B 总 / 42B 激活，62 层 MoE（256 专家激活 8）、128Q/16KV GQA / head_dim 64，原生多模态（图/音频/视频/文进，文出）+ 1.8B 感知编码器，1M ctx。权重 NVFP4 ~537G（4×B300）/ BF16 ~1.65TB（8×B300），单卡绝无可能，门槛多机集群——读者问「Muse Spark Open 能本地跑吗」的诚实答案页。KV 按卡标 GQA 常数保守估 0.97G/4K（62 层全注意力假设，config 未逐层核，套不进 arch_detail 就先不建）。与站内 Muse Glimmer-30B（单卡可跑的小杯）是同一 Muse 家族的大杯，别混。【权重需申请授权】该仓 **gated=manual**（2026-11-13 实测 API 200 + gated=manual）：仓在、模型卡与 license 能看，但**权重与 config 要登录申请授权才能下载**——此前站内记的「仓库 gated 503」实为这个意思（API 本身通，是内容受限）。因此 KV 0.97G/4K 仍是保守兜底、**未收口**（config 拿不到 → 逐层复算无从下手），触发条件是「拿到授权、能读到 config.json」，不是日历到期。

## Beam 1.0 501B
- Beam 1.0 501B (501B, 激活 23B, MoE)
  URL: /model/beam-1-0-501b/
  架构: 52 层 / KV头 8 / 头维 128 / 全量KV层 9 / 滑窗 512
  KV@4K(FP16): 0.2246 G；每 1K token 约 0.04 G
  权重: Q8_0 532.31G / Q4_K_M 300.6G / IQ3_XXS 189.13G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 300.6G），最早就 512G（Q6_K）
  常数来源: https://huggingface.co/reflection/Beam-1.0-501B-A23B/blob/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q6_K，8K 总需 412.2G，最多可开 1048576 token（模型原生上限）

Reflection AI 2026-10-16 开源的首个模型（HF: reflection/Beam-1.0-501B-A23B，许可 **Apache 2.0**，BF16/FP8/NVFP4 三档 + DFlash2 推测解码 drafter）。501.3B 总 / 23.4B 激活，52 层（3 dense + 49 MoE）、256 专家激活 8、Gated GQA + 滑窗注意力，纯文本、主打 coding/reasoning/长程 Agent，1M ctx，知识截止 2026-06-30。权重 NVFP4 ~294G / FP8 ~503G / BF16 ~1TB，单卡装不下，门槛多机集群（官方 TP8/EP8 8×卡）。KV 已按 config 一手核到并建 arch_detail 精确化：52 层里 9 层全注意力 + 43 层滑窗（窗口 512）/ GQA 8KV / head_dim 128，复算 0.22G/4K（原保守近似 0.3G，config 抓到后转正，原值未逐层核）。收录理由：2026 窗口内新出现的美国一线实验室开放权重模型，读者会搜，给诚实答案页。

## Qwen3.8-2.4T-A95B
- Qwen3.8-2.4T-A95B (2400B, 激活 95B, MoE)
  URL: /model/qwen3-8-2-4t-a95b/
  架构: 92 层 / KV头 4 / 头维 256 / 全量KV层 23 / 滑窗 无
  KV@4K(FP16): 0.3594 G；每 1K token 约 0.09 G
  权重: Q8_0 2550G / Q4_K_M 1440G / IQ3_XXS 906G
  原生上下文上限: 262144 token
  16G 装不下（最省的 Q4_K_M 权重也要 1440G），最早就 本站容量表覆盖不到
  常数来源: https://hf-mirror.com/Qwen/Qwen3.8-2.4T-A95B/resolve/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

阿里 2026-08-12 放权重的 Qwen3.8 家族旗舰开放权重（HF: Qwen/Qwen3.8-2.4T-A95B，许可 **Qwen3.8-Max License——自定义许可，非 Apache，以仓库 LICENSE 为准**）。2.4T 总 / 95B 激活，92 层（23×(3 Gated DeltaNet 线性 + 1 Gated Attention)）、512 路由专家激活 10 + 1 共享，纯文本、强制思考模式。与站内 Qwen3.8-27B 同架构思路（Gated DeltaNet 线性注意力为主）。**KV 已按 config 一手核到并建 arch_detail 精确化：92 层 = 23 层全注意力 + 69 层线性 / GQA 4KV / head_dim 256，复算 0.36G/4K（原保守近似 0.5G，config 抓到后转正）。原生上下文 262144**（开放权重口径）；官方卡另标可扩 ~1M（闭源 Qwen3.8-Max 默认 1M，是它基于本开放基座加了视觉/非思考/1M 默认后的版本）——按站内 Qwen3.8-27B 的同一口径，开放权重原生记 262K、1M 不另当原生。BF16 权重 ~4.9TB，单卡绝无可能，门槛多机集群。收录理由：读者搜「Qwen 最大开源模型」会给诚实答案页——这是集群/API 级，不是本地卡。

## Kolibri-1
- Kolibri-1 (78.1B, 激活 3.46B, MoE)
  URL: /model/kolibri-1/
  架构: 50 层 / KV头 4 / 头维 128 / 全量KV层 5 / 滑窗 513
  KV@4K(FP16): 0.0831 G；每 1K token 约 10 MB
  权重: Q8_0 82.98G / Q4_K_M 46.86G / IQ3_XXS 29.48G
  原生上下文上限: 262144 token
  16G 装不下（最省的 Q4_K_M 权重也要 46.9G），最早就 64G（Q5_K_M）
  常数来源: https://hf-mirror.com/Aleph-Alpha/Kolibri-1/resolve/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q4_K_M: 权重 46.9G / 8K 总需 48G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：Q5_K_M，8K 总需 55.8G，最多可开 61440 token（显存）
  - 96G：Q8_0，8K 总需 84.1G，最多可开 49664 token（显存）
  - 128G：Q8_0，8K 总需 84.1G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 84.1G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 84.1G，最多可开 262144 token（模型原生上限）

Aleph Alpha（德国）2026-10-03 开源的 MoE 推理模型（HF: Aleph-Alpha/Kolibri-1，许可 **Apache 2.0**，FP8 e4m3 权重）。78.1B 总 / 3.46B 激活，50 层全 MoE（384 路由专家激活 6 + 1 共享）、滑窗 512 + 每 5 层全注意力 GQA（48 查询头 / 4 KV 头），主打长上下文与推理效率，德英双语，显式推理模式 + 工具调用。**原生上下文 config 一手核到 = 262,144**（max_position_embeddings）；官方卡另标 1,048,576 上限并**明确建议 ≤262,144 token 以保证服务效率与复杂任务质量**——按站内『卡面/外推口径不算原生』纪律，native_ctx 记 config 权威的 262K，1M 视为扩展口径如实标注。KV 已按 config 一手核到并建 arch_detail：50 层 = 5 全注意力 + 45 滑窗 513 / GQA 4KV / head_dim 128，复算 0.083G/4K（原保守近似 0.4G，config 抓到后转正）。权重 FP8 ~78G：单卡 24G 装不下，**最低 2×A100 80G 或 1×H200**——这是本批里唯一「门槛偏可跑」的一条（不是纯集群）。收录理由：国外线窗口内新的 Apache-2.0 开放权重 MoE，读者会搜，给诚实答案页。他测（2026-11-09 B-066 补，DGX Spark 128G 双独立来源，C 级、方向一致可升 B 级待裁定）：vLLM 0.29.0 + FP8 KV 单流 **20.4 tok/s**（mARTin-B78，prefill 1402，16K/32K ctx 仅 19.9/19.6 几乎不掉）/ vLLM main + BF16 KV 单流 **50.1**（pulseandthread，158K ctx 29.2，4 并发聚合 111.6）——同硬件两引擎 **20.4 vs 50.1 两说并存不抹平**（引擎版本 + KV dtype 双变量，引用按各自来源标）。端侧 M5 Max 128G MLX 91–116 t/s（modemguides 10-04 汇总，端侧留底本不入 benchmarks）。

## 小米 MiMo-V2.6-Pro-RL
- 小米 MiMo-V2.6-Pro-RL (1020B, 激活 42B, MoE)
  URL: /model/mimo-v2-6-pro-rl/
  架构: 70 层 / KV头 8 / 头维 192 / 全量KV层 10 / 滑窗 128
  KV@4K(FP16): 0.2783 G；每 1K token 约 0.06 G
  权重: Q8_0 1083.75G / Q4_K_M 612G / IQ3_XXS 385.05G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 612G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

小米 MiMo-V2.6 系列旗舰 checkpoint（HF: XiaomiMiMo/MiMo-V2.6-Pro-RL，arXiv 2610.11959，2026-09-21 HF 上传 / 官方 09-22 博客，许可 **MIT**）。1.02T 总 / 42B 激活，70 层（60 滑窗 128 + 10 全局注意力）、384 路由专家激活 8、原生全模态（文/图/视频/音频一进）。**主打「把强化学习规模化推向自提升」**：一次混合 RL（You Only RL Once）横跨 coding/通用 Agent/视觉/网络安全，全异步 GRPO 大 batch（1568 prompts×16 rollouts），上下文最终阶段真训到 1M。1M 原生（arXiv：32K→256K→最终 1M 分阶段扩展）。BF16 ~2TB / FP8 ~510G，单卡装不下，门槛多机/共享主机。同系列 1.02T 的 **MiMo-V2.6-Flash（309B/15B）已单独入库**，别混。收录理由：1T 级国产全模态 MoE 的诚实答案页。

## 腾讯混元 Hunyuan-0.5B
- 腾讯混元 Hunyuan-0.5B (0.5B)
  URL: /model/hunyuan-0-5b/
  架构: 24 层 / KV头 8 / 头维 128 / 全量KV层 24 / 滑窗 无
  KV@4K(FP16): 0.375 G；每 1K token 约 0.09 G
  权重: Q8_0 0.53G / Q4_K_M 0.3G / IQ3_XXS 0.19G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 0.5G，8K 总需 2.3G，最多可开 137216 token，受限：显存）
  常数来源: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 0.5G / 8K 总需 2.3G / smooth / 最多可开 137216 token
  - Q6_K: 权重 0.4G / 8K 总需 2.2G / smooth / 最多可开 138240 token
  - Q5_K_M: 权重 0.4G / 8K 总需 2.1G / smooth / 最多可开 139264 token
  - Q4_K_M: 权重 0.3G / 8K 总需 2.1G / smooth / 最多可开 139776 token
  - IQ4_XS: 权重 0.3G / 8K 总需 2G / smooth / 最多可开 139776 token
  - IQ3_K: 权重 0.2G / 8K 总需 2G / smooth / 最多可开 140288 token
  - IQ3_XXS: 权重 0.2G / 8K 总需 1.9G / smooth / 最多可开 140800 token

各显存档位：
  - 4G：Q8_0，8K 总需 2.3G，最多可开 21504 token（显存）
  - 6G：Q8_0，8K 总需 2.3G，最多可开 40960 token（显存）
  - 8G：Q8_0，8K 总需 2.3G，最多可开 59392 token（显存）
  - 10G：Q8_0，8K 总需 2.3G，最多可开 79360 token（显存）
  - 11G：Q8_0，8K 总需 2.3G，最多可开 89088 token（显存）
  - 12G：Q8_0，8K 总需 2.3G，最多可开 98816 token（显存）
  - 16G：Q8_0，8K 总需 2.3G，最多可开 137216 token（显存）
  - 20G：Q8_0，8K 总需 2.3G，最多可开 175104 token（显存）
  - 22G：Q8_0，8K 总需 2.3G，最多可开 195072 token（显存）
  - 24G：Q8_0，8K 总需 2.3G，最多可开 213504 token（显存）
  - 32G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 2.3G，最多可开 262144 token（模型原生上限）

腾讯混元稠密小模型家族最小杯（HF: tencent/Hunyuan-0.5B-Instruct，**2025-08-04 开源**——Step 清单标 2026-08-04 是笔误，HF README News 2025.7.30 + 第一财经/每经/科技日报 + LICENSE 自载『Release Date: August 4, 2025』多源一致，**属旧代际**）。config.json 一手核到：24 层 / 16 查询头 / 8 KV 头 / head_dim 128 / 原生 262144（256K）。混合推理（快/慢思考可切）+ 长上下文。许可 **Tencent Hunyuan Community License**（非 MIT/Apache：地域限 EU/UK/KR 不适用、>1 亿 MAU 需另授权）。0.5B Q4 权重 ~0.3G，4G 卡 / CPU 轻松，端侧部署代表。

## 腾讯混元 Hunyuan-1.8B
- 腾讯混元 Hunyuan-1.8B (1.8B)
  URL: /model/hunyuan-1-8b/
  架构: 32 层 / KV头 4 / 头维 128 / 全量KV层 32 / 滑窗 无
  KV@4K(FP16): 0.25 G；每 1K token 约 0.06 G
  权重: Q8_0 1.91G / Q4_K_M 1.08G / IQ3_XXS 0.68G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 1.9G，8K 总需 3.4G，最多可开 183296 token，受限：显存）
  常数来源: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 1.9G / 8K 总需 3.4G / smooth / 最多可开 183296 token
  - Q6_K: 权重 1.5G / 8K 总需 3G / smooth / 最多可开 189952 token
  - Q5_K_M: 权重 1.3G / 8K 总需 2.8G / smooth / 最多可开 193536 token
  - Q4_K_M: 权重 1.1G / 8K 总需 2.6G / smooth / 最多可开 196608 token
  - IQ4_XS: 权重 1G / 8K 总需 2.5G / smooth / 最多可开 198656 token
  - IQ3_K: 权重 0.8G / 8K 总需 2.3G / smooth / 最多可开 201728 token
  - IQ3_XXS: 权重 0.7G / 8K 总需 2.2G / smooth / 最多可开 203264 token

各显存档位：
  - 4G：Q8_0，8K 总需 3.4G，最多可开 9216 token（显存）
  - 6G：Q8_0，8K 总需 3.4G，最多可开 38912 token（显存）
  - 8G：Q8_0，8K 总需 3.4G，最多可开 66560 token（显存）
  - 10G：Q8_0，8K 总需 3.4G，最多可开 96256 token（显存）
  - 11G：Q8_0，8K 总需 3.4G，最多可开 111104 token（显存）
  - 12G：Q8_0，8K 总需 3.4G，最多可开 125952 token（显存）
  - 16G：Q8_0，8K 总需 3.4G，最多可开 183296 token（显存）
  - 20G：Q8_0，8K 总需 3.4G，最多可开 240640 token（显存）
  - 22G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 24G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 32G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 3.4G，最多可开 262144 token（模型原生上限）

腾讯混元稠密小模型（HF: tencent/Hunyuan-1.8B-Instruct，**2025-08-04 开源，旧代际**——Step 清单标 2026 是笔误，多源已勘误见 Hunyuan-0.5B 条）。config.json 一手核到：32 层 / 16 查询头 / 4 KV 头 / head_dim 128 / 原生 262144（256K）。混合推理 + 长上下文 + Agent（BFCL-v3/τ-Bench 口径）。许可 **Tencent Hunyuan Community License**。1.8B Q4 ~1G，4G 卡可跑、8G 宽裕，端侧低延迟代表。

## 腾讯混元 Hunyuan-4B
- 腾讯混元 Hunyuan-4B (4B)
  URL: /model/hunyuan-4b/
  架构: 36 层 / KV头 8 / 头维 128 / 全量KV层 36 / 滑窗 无
  KV@4K(FP16): 0.5625 G；每 1K token 约 0.14 G
  权重: Q8_0 4.25G / Q4_K_M 2.4G / IQ3_XXS 1.51G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 4.3G，8K 总需 6.4G，最多可开 64000 token，受限：显存）
  常数来源: https://huggingface.co/tencent/Hunyuan-4B-Instruct（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 4.3G / 8K 总需 6.4G / smooth / 最多可开 64000 token
  - Q6_K: 权重 3.3G / 8K 总需 5.4G / smooth / 最多可开 71168 token
  - Q5_K_M: 权重 2.8G / 8K 总需 4.9G / smooth / 最多可开 74752 token
  - Q4_K_M: 权重 2.4G / 8K 总需 4.5G / smooth / 最多可开 77824 token
  - IQ4_XS: 权重 2.1G / 8K 总需 4.3G / smooth / 最多可开 79872 token
  - IQ3_K: 权重 1.8G / 8K 总需 3.9G / smooth / 最多可开 82432 token
  - IQ3_XXS: 权重 1.5G / 8K 总需 3.6G / smooth / 最多可开 83968 token

各显存档位：
  - 4G：IQ3_XXS，8K 总需 3.6G，最多可开 7168 token（显存）
  - 6G：Q5_K_M，8K 总需 4.9G，最多可开 10752 token（显存）
  - 8G：Q8_0，8K 总需 6.4G，最多可开 12288 token（显存）
  - 10G：Q8_0，8K 总需 6.4G，最多可开 25600 token（显存）
  - 11G：Q8_0，8K 总需 6.4G，最多可开 32256 token（显存）
  - 12G：Q8_0，8K 总需 6.4G，最多可开 38912 token（显存）
  - 16G：Q8_0，8K 总需 6.4G，最多可开 64000 token（显存）
  - 20G：Q8_0，8K 总需 6.4G，最多可开 89600 token（显存）
  - 22G：Q8_0，8K 总需 6.4G，最多可开 102912 token（显存）
  - 24G：Q8_0，8K 总需 6.4G，最多可开 115200 token（显存）
  - 32G：Q8_0，8K 总需 6.4G，最多可开 166912 token（显存）
  - 48G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 6.4G，最多可开 262144 token（模型原生上限）

腾讯混元稠密小模型（HF: tencent/Hunyuan-4B-Instruct，**2025-08-04 开源，旧代际**——Step 清单标 2026 是笔误，LICENSE 自载『Release Date: August 4, 2025』，多源已勘误）。config.json 一手核到（FP8/GPTQ/AWQ/Pretrain 多 repo 交叉一致）：36 层 / 32 查询头 / 8 KV 头 / head_dim 128 / 原生 262144（256K）。混合推理 + 长上下文 + Agent。许可 **Tencent Hunyuan Community License**（非 MIT/Apache）。4B Q4 ~2.4G / Q8 ~4.3G，8G 卡 Q4 可跑、16G 宽裕——是 8G 档读者「单卡长上下文」的旧代际实在选项。

## 腾讯混元 Hunyuan-7B
- 腾讯混元 Hunyuan-7B (7B)
  URL: /model/hunyuan-7b/
  架构: 32 层 / KV头 8 / 头维 128 / 全量KV层 32 / 滑窗 无
  KV@4K(FP16): 0.5 G；每 1K token 约 0.13 G
  权重: Q8_0 7.44G / Q4_K_M 4.2G / IQ3_XXS 2.64G
  原生上下文上限: 32768 token
  16G 可用 14.1G 时推荐 Q8_0（权重 7.4G，8K 总需 9.4G，最多可开 32768 token，受限：模型原生上限）
  常数来源: https://huggingface.co/tencent/Hunyuan-7B-Instruct（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q8_0: 权重 7.4G / 8K 总需 9.4G / smooth / 最多可开 32768 token
  - Q6_K: 权重 5.7G / 8K 总需 7.7G / smooth / 最多可开 32768 token
  - Q5_K_M: 权重 4.9G / 8K 总需 6.9G / smooth / 最多可开 32768 token
  - Q4_K_M: 权重 4.2G / 8K 总需 6.2G / smooth / 最多可开 32768 token
  - IQ4_XS: 权重 3.7G / 8K 总需 5.7G / smooth / 最多可开 32768 token
  - IQ3_K: 权重 3.1G / 8K 总需 5.1G / smooth / 最多可开 32768 token
  - IQ3_XXS: 权重 2.6G / 8K 总需 4.6G / smooth / 最多可开 32768 token

各显存档位：
  - 4G：装不下
  - 6G：IQ3_K，8K 总需 5.1G，最多可开 9728 token（显存）
  - 8G：Q5_K_M，8K 总需 6.9G，最多可开 8704 token（显存）
  - 10G：Q6_K，8K 总需 7.7G，最多可开 16384 token（显存）
  - 11G：Q8_0，8K 总需 9.4G，最多可开 10240 token（显存）
  - 12G：Q8_0，8K 总需 9.4G，最多可开 17408 token（显存）
  - 16G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 20G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 22G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 24G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 32G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 48G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 64G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 96G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 128G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 256G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）
  - 512G：Q8_0，8K 总需 9.4G，最多可开 32768 token（模型原生上限）

腾讯混元稠密小模型（HF: tencent/Hunyuan-7B-Instruct，**2025-08-04 开源，旧代际**——Step 清单标 2026 是笔误，多源已勘误）。config.json 一手核到（2025-07-30 首发上传）：32 层 / 32 查询头 / 8 KV 头 / head_dim 128。**上下文口径已核清（2026-11-08 复核）**：config `max_position_embeddings=32768` 是**原生位置上限**；「256K」是 `rope_scaling: dynamic (alpha=1000)` 外推宣称——同仓 tokenizer_config 的 `model_max_length` 于 2025-08-04 由 1,048,576 改为 262,144，README 宣称原生 256K，第三方（slm.expert）按 config 记 32K。按站内纪律「外推不算原生」（同 Qwen3.8-27B 的 YaRN 处理法），本站按 config 记 **32K、不打 long-context**；要跑 256K 需在框架里启用对应 RoPE scaling 参数（效果自负，本站不背书）。**更正上一轮记录**：此前怀疑「vocab 128167 区别于兄弟 120818，疑主仓挂 2025-01 旧 7B」——经查 config 上传日期（2025-07-30）与 tokenizer 更新（2025-08-04）均为家族首发时间线，**主仓就是 2025-08 家族 7B**，vocab 差异只是家族内成员不同，此怀疑撤回。许可 **Tencent Hunyuan Community License**。7B Q4 ~4.2G / Q8 ~7.5G，16G 卡可跑。

## MiniCPM-V 4.7 35B-A3B
- MiniCPM-V 4.7 35B-A3B (35.2B, 激活 3.5B, MoE)
  URL: /model/minicpm-v-4-7-35b-a3b/
  架构: 40 层 / KV头 2 / 头维 256 / 全量KV层 10 / 滑窗 无
  KV@4K(FP16): 0.0781 G；每 1K token 约 0.02 G
  权重: Q8_0 37.4G / Q4_K_M 21.12G / IQ3_XXS 13.29G
  原生上下文上限: 262144 token
  16G 装不下（最省的 Q4_K_M 权重也要 21.1G），最早就 32G（Q5_K_M）
  常数来源: https://hf-mirror.com/openbmb/MiniCPM-V-4.7-35B-A3B/resolve/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q4_K_M: 权重 21.1G / 8K 总需 22.3G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 24.6G / 8K 总需 25.8G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 28.9G / 8K 总需 30G / wont_fit / 最多可开 0 token
  - Q8_0: 权重 37.4G / 8K 总需 38.6G / wont_fit / 最多可开 0 token
  - FP8: 权重 35.2G / 8K 总需 36.4G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：Q5_K_M，8K 总需 25.8G，最多可开 134144 token（显存）
  - 48G：Q8_0，8K 总需 38.6G，最多可开 199168 token（显存）
  - 64G：Q8_0，8K 总需 38.6G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 38.6G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 38.6G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 38.6G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 38.6G，最多可开 262144 token（模型原生上限）

面壁 OpenBMB 2026-10-12 发布的 MiniCPM-V 4.7 系列 MoE 大杯（HF: openbmb/MiniCPM-V-4.7-35B-A3B，许可 **Apache 2.0**）。35.2B 总 / ~3.5B 激活（官方文档口径），256 路由专家激活 8/token，是 MiniCPM-V 系列**首个 MoE 模型**、**首个在端侧流畅运行的开源 MoE**（官方自述 iPhone 17 Pro Max 13+ tok/s，靠 Lookahead Expert Scheduling 专家预取 + 分层细粒度量化 + DSpark 投机采样）。架构：40 层（10 层全注意力 + 30 层线性注意力）/ GQA 2KV / head_dim 256 / 原生 256K ctx，共用 27 层 SigLIP canvas M-RoPE 视觉塔（支持单图/多图/视频）。KV 已按 config 一手核到并建 arch_detail：复算 0.078G/4K。权重 FP8 ~35G / Q4_K_M ~21G：单卡 24G 可跑 FP8 全量或 Q4 大上下文。收录理由：站长点名『面壁 4.7』，且是『端侧能不能跑顺 MoE』的标志性样本，读者会搜，给诚实答案页。 2026-11-10 核到官方 GGUF 仓库（openbmb/MiniCPM-V-4.7-35B-A3B-gguf）已带 mmproj-model-f16.gguf（1.12GB，另有 4x 压缩变体），llama.cpp 看图通道可用。

## MiniCPM-V 4.7 1B
- MiniCPM-V 4.7 1B (1.55B)
  URL: /model/minicpm-v-4-7-1b/
  架构: 24 层 / KV头 2 / 头维 256 / 全量KV层 6 / 滑窗 无
  KV@4K(FP16): 0.0469 G；每 1K token 约 0.01 G
  权重: Q8_0 1.65G / Q4_K_M 0.93G / IQ3_XXS 0.59G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q8_0（权重 1.6G，8K 总需 2.7G，最多可开 262144 token，受限：模型原生上限）
  常数来源: https://hf-mirror.com/openbmb/MiniCPM-V-4.7-1B/resolve/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：
  - Q4_K_M: 权重 0.9G / 8K 总需 2G / smooth / 最多可开 262144 token
  - Q5_K_M: 权重 1.1G / 8K 总需 2.2G / smooth / 最多可开 262144 token
  - Q6_K: 权重 1.3G / 8K 总需 2.4G / smooth / 最多可开 262144 token
  - Q8_0: 权重 1.6G / 8K 总需 2.7G / smooth / 最多可开 262144 token
  - FP8: 权重 1.6G / 8K 总需 2.6G / smooth / 最多可开 262144 token

各显存档位：
  - 4G：Q8_0，8K 总需 2.7G，最多可开 74240 token（显存）
  - 6G：Q8_0，8K 总需 2.7G，最多可开 231424 token（显存）
  - 8G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 10G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 11G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 12G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 16G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 20G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 22G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 24G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 32G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 2.7G，最多可开 262144 token（模型原生上限）

面壁 OpenBMB 2026-10-12 发布的 MiniCPM-V 4.7 端侧小杯（HF: openbmb/MiniCPM-V-4.7-1B，许可 **Apache 2.0**）。1.55B dense（官方文档口径），与 35B-A3B 共用同一套 SigLIP canvas M-RoPE 视觉塔（27 层 / patch 14 / 4×·16× 混合压缩）+ processor，面向 iOS/Android/HarmonyOS 端侧与低资源场景，支持单图/多图/视频。架构：24 层（6 层全注意力 + 18 层线性注意力）/ GQA 2KV / head_dim 256 / 原生 256K ctx。KV 已按 config 一手核到并建 arch_detail：复算 0.047G/4K。权重 Q4 ~1G / FP8 ~1.6G / BF16 ~3.1G：CPU 或 1-2G 显存即可跑。收录理由：≥1B 窗口内的端侧档代表，站长点名『1B/2B 都要看』，给读者端侧选型答案页。 2026-11-10 核到官方 GGUF 仓库（openbmb/MiniCPM-V-4.7-1B-gguf）已带 mmproj-model-f16.gguf（1.11GB，另有 4x 压缩变体），llama.cpp 看图通道可用。

## Kimi K3.1 Pro
- Kimi K3.1 Pro (2800B, 激活 104B, MoE)
  URL: /model/kimi-k3-1-pro/
  架构: 未核实
  KV@4K(官方口径，近似): 0.13 G；每 1K token 约 0.03 G
  权重: Q8_0 2975G / Q4_K_M 1680G / IQ3_XXS 1057G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 1680G），最早就 本站容量表覆盖不到
  常数来源: https://hf-mirror.com/moonshotai/Kimi-K3.1-Pro/resolve/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

月之暗面 2026-11-04 放权重的 Kimi K3 同代后训练强化版（HF: moonshotai/Kimi-K3.1-Pro，Kimi K3 License）。2.8 万亿总参数 / 104B 激活，与站内 Kimi K3 同基座，但**把 K3 的 24 层 Gated MLA 换成 Gated DSA 层**（官方 README 脚注：Gated DeepSeek Sparse Attention，为更高效的长上下文建模），config 一手核到：93 层 = 24 层 full Gated DSA（kv_lora_rank 512 压缩 latent + DSA indexer：index_head_dim 128 / index_num_heads 32 / index_topk 2048 / dsa_layers 就是那 24 层）+ 69 层 KDA 线性注意力 / 896 路由专家激活 16 + 2 共享 / 原生多模态（视觉塔 27 层）/ 1M ctx / **MXFP4 QAT 原生量化**（训练期量化感知，4bit 权重）。AA（英国 Artificial Analysis，第三方）Intelligence Index 2026-11-07 快照开源权重中最高（46 分，高于 GLM-5.3 的 32）。KV 保守兜底 **≈0.13G/4K**（2026-11-13 复算）：Gated DSA 套不进标准 GQA 六字段（latent 压缩不是 n_kv_heads×head_dim 形式），缓存两部分——① MLA 压缩 latent（512 + 64 = 576 维 × 2B = 1152B/token/层 × 24 层 = 27648B/token）+ ② DSA indexer 键缓存（按 DeepSeek V3.2 / GLM-5.3 / Hy4 官方实现同款口径：indexer 键各 index 头共享、128 维 × 2B = 256B/token/层 × 24 层 = 6144B/token），合计 33792B/token → 每 4K ≈ 0.1289G，取保守上界 0.13G；69 层 KDA 只存定长递归状态、不随上下文增长。**留痕**：Kimi 官方未公开 K3.1-Pro 的推理实现源码（仓内只有 config/配置类），indexer 键共享口径取自 DeepSeek V3.2 系官方实现，Kimi 若另有口径会偏大、不会偏小。权重 MXFP4 ~1.5TB / BF16 ~5.6TB：单卡装不下，门槛集群/API。收录理由：开源权重里 AA 分最高的旗舰，读者会搜，给诚实答案页（这是集群/API 级，不是本地卡）。

## Step-5-Preview
- Step-5-Preview (600B, 激活 27B, MoE)
  URL: /model/step-5-preview/
  架构: 92 层 / KV头 4 / 头维 192 / 全量KV层 23 / 滑窗 512
  KV@4K(FP16): 0.3706 G；每 1K token 约 0.07 G
  权重: Q8_0 637.5G / Q4_K_M 360G / IQ3_XXS 226.5G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 360G），最早就 512G（Q5_K_M）
  常数来源: https://hf-mirror.com/stepfun-ai/Step-5-Preview/resolve/main/config.json（抓取于 2026-11-08）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 421.6G，最多可开 448000 token（显存）

阶跃 StepFun 2026-09-20 发布 API、**官方博客自述 2026-10-15 放权重**（NVIDIA NIM 卡记 10-14，相差一天以官方为准）的旗舰开放权重模型（HF: stepfun-ai/Step-5-Preview，**StepFun Model License 1.0——自定义许可，以仓库 LICENSE 为准**）。600B 总 / 27B 激活，config 一手核到：92 层 = 23 层 full（带稀疏 GQA，topk 512 / block 8 / 稀疏只减 KV 读取）+ 69 层滑窗 512 / GQA 4KV / head_dim 192 / 352 路由专家激活 8 / 3 MTP 头 / 原生多模态（47 层 perception encoder 视觉塔）/ 1M ctx（FP8 权重）。**AA（第三方，2026-11-07 快照）Intelligence Index 29 分；官方自述 44 分、开源前三（vendor 口径）——两源分歧，站内以 AA 第三方快照 29 为准、官方 44 留痕不抹平**；官方称单任务成本为 Claude Opus 5 的 1/8。KV 已按 config 一手核到并建 arch_detail：23 稀疏 full + 69 滑窗 512，复算 0.37G/4K（稀疏使实际 KV 读取低于此 dense 上界，本站按 dense 算是保守值）。权重 FP8 ~600G / Q4 ~300G：单卡装不下，门槛多机。收录理由：国内一线实验室 6/1 后旗舰开放权重，激活占比仅 4.5%（27/600），是「高智能+低激活」样本，读者会搜。

## Ling-3.0-flash
- Ling-3.0-flash (124B, 激活 5.1B, MoE)
  URL: /model/ling-3-0-flash/
  架构: 未核实
  KV@4K(官方口径，近似): 0.04 G；每 1K token 约 0.01 G
  权重: Q8_0 131.75G / Q4_K_M 74.4G / IQ3_XXS 46.81G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 74.4G），最早就 96G（Q4_K_M）
  常数来源: https://hf-mirror.com/inclusionAI/Ling-3.0-flash/resolve/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：Q4_K_M，8K 总需 75.5G，最多可开 931840 token（模型原生上限）
  - 128G：Q6_K，8K 总需 102.8G，最多可开 1015808 token（模型原生上限）
  - 256G：Q6_K，8K 总需 102.8G，最多可开 12556288 token（模型原生上限）
  - 512G：Q6_K，8K 总需 102.8G，最多可开 35627008 token（模型原生上限）

蚂蚁 inclusionAI 2026-07-24 发布（官方博客）、权重 2026-08 开源（~08-07 为推断、未核到日级官方源，故记月级）的 Ling 系列开放权重模型（HF: inclusionAI/Ling-3.0-flash，**MIT**）。124B 总 / 5.1B 激活，config 一手核到：42 层 BailingMoeV3 混合架构（组结构 layer_group_size 6 = 5 KDA 线性 + 1 MLA full / kv_lora_rank 512 压缩 latent）/ 512 路由专家激活 8 + 1 共享 / 纯文本（非多模态，VL/Fin/Santé 是衍生型号）/ 原生 256K ctx。KV 保守兜底 **≈0.04G/4K**（2026-11-13 按 transformers 官方 bailing_hybrid 实现复算）：MLA 套不进标准 GQA 六字段，但层配比不是推断——官方配置类按 layer_group_size 6 规则生成 layer_types（每组最后一层 full MLA、其余 KDA），42 层里 **7 层 MLA**（第 6、12、18、24、30、36、42 层）+ 35 层 KDA（只存定长递归状态、不随上下文增长）；每层 MLA 缓存压缩 latent（kv_lora_rank 512 + qk_rope_head_dim 64 = 576 维 × 2B = 1152B/token）→ 8064B/token，加 1 层 MTP（1152B/token）合计 9216B/token → 每 4K ≈ 0.0352G，取保守上界 0.04G（原手填 0.1G 高估约 2.5 倍）。**留痕**：仓内自带的 modeling_bailing_moe_v3.py 本轮拉取被镜像 503 拒绝，本条按 transformers 官方同名 model_type（bailing_hybrid）实现复算；若仓内副本改为缓存展开后每头 K/V，实际占用会大得多。权重 FP8 ~124G / Q4 ~62G：单卡 24G 装不下，最低 2×A100 80G 或 1×H200（FP8 ~124G）——门槛偏可跑（不是纯集群）。收录理由：蚂蚁 Ling 系 6/1 后入门开放权重（比站内 Ling-3.2-flash 560B 更小一档），MIT 许可干净，读者会搜，给诚实答案页。注意别和站内 Ling-3.2-flash（560B/25B）混淆。他测（2026-11-09 B-066 补，4×RTX 3090 TP4 SGLang INT4 W4A16，alesha-pro 4×3090 基准库，单源 C 级）：1K 单流 **100.4 tok/s**、64K 深度单流 **101.05**（prefill 1740，MLA+KDA 混合架构长文几乎不掉速）、16 并发聚合 **295.9**、NEXTN 内置 MTP 投机 **132.2**（+31.6%；accept_length 3.09 是每步平均接受 token 数非 0–1 概率，acceptance_rate 记 null 不进投机对比）。

## Gemma 4 12B Unified
- Gemma 4 12B Unified (11.95B)
  URL: /model/gemma-4-12b-unified/
  架构: 48 层 / KV头 8 / 头维 256 / 全量KV层 4 / 滑窗 1024
  KV@4K(FP16): 0.4688 G；每 1K token 约 0.03 G
  权重: Q8_0 12.7G / Q4_K_M 7.17G / IQ3_XXS 4.51G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 Q6_K（权重 9.8G，8K 总需 11.4G，最多可开 96768 token，受限：显存）
  常数来源: https://huggingface.co/google/gemma-4-12B-it/blob/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q8_0: 权重 12.7G / 8K 总需 14.3G / wont_fit / 最多可开 1536 token
  - Q6_K: 权重 9.8G / 8K 总需 11.4G / tight / 最多可开 96768 token
  - Q5_K_M: 权重 8.4G / 8K 总需 10G / smooth / 最多可开 143872 token
  - Q4_K_M: 权重 7.2G / 8K 总需 8.8G / smooth / 最多可开 182784 token
  - IQ4_XS: 权重 6.3G / 8K 总需 7.9G / smooth / 最多可开 209920 token
  - IQ3_S: 权重 4.9G / 8K 总需 6.5G / smooth / 最多可开 257024 token
  - IQ3_XXS: 权重 4.5G / 8K 总需 6.1G / smooth / 最多可开 262144 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：IQ3_XXS，8K 总需 6.1G，最多可开 37376 token（显存）
  - 10G：Q4_K_M，8K 总需 8.8G，最多可开 9216 token（显存）
  - 11G：Q4_K_M，8K 总需 8.8G，最多可开 38400 token（显存）
  - 12G：Q5_K_M，8K 总需 10G，最多可开 29184 token（显存）
  - 16G：Q6_K，8K 总需 11.4G，最多可开 96768 token（显存）
  - 20G：Q8_0，8K 总需 14.3G，最多可开 116224 token（显存）
  - 22G：Q8_0，8K 总需 14.3G，最多可开 175616 token（显存）
  - 24G：Q8_0，8K 总需 14.3G，最多可开 230912 token（显存）
  - 32G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 48G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 64G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 14.3G，最多可开 262144 token（模型原生上限）

Google DeepMind 的 Gemma 4 家族中 12B Unified（**2026-06-03 官方发布**——ai.google.dev Gemma releases 页一手，家族其余 E2B/E4B/31B/26B-A4B 为 2026-03-31 发布、在窗口外，本站只收这个 6/1 后的）。config 一手核到：48 层里 44 层滑窗注意力（窗口 1024）+ 4 层全注意力（pRoPE，global head_dim 512），GQA 8 KV 头 / head_dim 256，262144 原生上下文，多模态（文本+图像+音频+视频 token 全在 config，音频编码器 640 维）。11.95B 参数（官方 model card 口径）。许可 Apache 2.0。显存档位：4-bit 权重约 6G，24G 卡装 Q4 还剩 15G+ 给 KV，131K 以上长文都装得下（44 层滑窗封顶，KV 增长远慢于稠密）。盘点文档（2026-11-08）标注它是「6/1 后开源窗口唯一漏收、B-028 决策包已齐待拍板」的模型——本轮按总编辑职权补入（清单完整性属自主范围）。AA 快照（2026-11-07）未收录其跑分数据（家族里的 31B 在榜 4 分，12B 未上榜），站内无他测速度，按容量表推算 ±30%。

## Mistral Large 4
- Mistral Large 4 (1050B, 激活 52B, MoE)
  URL: /model/mistral-large-4/
  架构: 未核实
  KV@4K(官方口径，近似): 0.32 G；每 1K token 约 0.08 G
  权重: Q8_0 1115.63G / Q4_K_M 630G / IQ3_XXS 396.38G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 630G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

Mistral 2026-10-06 发布 API 预览、**2026-10-29 放全权重**（HF: mistralai/Mistral-Large-4-1T-A52B，许可 **Mistral Ecosystem Open-Weight License**——MIT 改版，商用+非商用皆可，但经营 MaaS 业务须另签商业许可）。约 1T 总 / 52B 激活（官方 model card 口径；49B 激活不含 embeddings/lm_head），72 层 MoE（128 路由专家每 token 激活 4 + 1 共享）、MLA 多潜注意力（kv_lora_rank 512 压缩 latent + 解耦 rope 64，V 由 latent 派生、不单独缓存；config 一手核到。注意 num_key_value_heads=64 / head_dim=64 是 MLA config 里的历史字段，不是 GQA 头数——按 GQA 算 KV 要 4.5G/4K，1M ctx 得 1.1TB，明显不合理）。KV 已按 config + transformers 源码复算：63 个自持 latent 缓存层（kv_source_layers：第 39/43/47…71 层跨层复用第 35 层）+ 44 个 full-indexer 层的 DSA 键缓存（index_head_dim 128，单头）= 83,840 B/token → 0.32G/4K（保守上界）、indexer 块级稀疏注意力（index_n_heads 32 / topk 2048，config 有但口径未完全核清）、Pixtral 视觉塔（30 层，图进文出）、1M ctx（YaRN 外推 factor 2048，原生 512 基线 + rope scaling）、**checkpoint 内置 DSpark 投机草稿头**（3 层 dense MLA 草稿，提案 3 token 块，官方称解码吞吐最高 1.9×）。训练于 3,800 张 Grace Blackwell（Mistral 欧洲自有机房）。官方 benchmark：AA Coding Agent Index 48%（任务 token 比 GLM-5.3 少 47%）、AA Intelligence Index v5 分 26（西方开放权重最高）。权重 FP8 约 1TB（8×B300 级门槛，vLLM recipe TP8）/ 另有 NVFP4 版。与站内 Muse Spark Open 816B / Beam 1.0 501B 同属「门槛条目」——给诚实答案页，不打主力徽章。AA 快照（2026-11-07）：26（high）/ 23（medium）两档。

## Inkling
- Inkling (975B, 激活 41B, MoE)
  URL: /model/inkling/
  架构: 66 层 / KV头 8（滑窗层 16） / 头维 128 / 全量KV层 11 / 滑窗 512
  KV@4K(FP16): 0.3867 G；每 1K token 约 0.04 G
  权重: Q8_0 1035.94G / Q4_K_M 585G / IQ3_XXS 368.06G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 585G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/thinkingmachines/Inkling/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

Thinking Machines Lab（Mira Murati 的实验室）2026-07-15 发布的首个开放权重模型（官方博客 + HF thinkingmachines/Inkling，**Apache 2.0**，model card 与 HF 页双源一致）。975B 总 / 41B 激活 MoE（66 层 / 256 专家每 token 激活 6 + 2 共享，config 一手核到）、GQA 8 KV 头 / head_dim 128、滑窗 512 与全注意力混合（local_layer_ids 55 层局部 + 其余全量）、门控短卷积（sconv kernel 4）、多模态（文本/图像/音频进，hmlp 视觉编码器 4 层 + 80 维 mel 音频编码器）、1M ctx（model_max_length 1048576）、**8 层 MTP 多头预测头**（config 有 mtp_config）。预训练 45T token（文本/图/音/视频）。定位官方自述「不是当前最强，是最适合微调的开放底座」，配套 Tinker 微调平台 + SGLang/vLLM/TokenSpeed/Unsloth recipe。显存门槛：BF16 约 2TB / NVFP4 约 500GB 级（官方 NVFP4 checkpoint 另发布），单卡绝无可能——与 Muse Spark Open 816B 同档门槛条目。AA 快照（2026-11-07）：Inkling (xhigh) 12 分。家族第二档 Inkling-Small（276B/12B）同日预告、07-30 放权重，已单独入条。

## Inkling-Small
- Inkling-Small (276B, 激活 12B, MoE)
  URL: /model/inkling-small/
  架构: 42 层 / KV头 8 / 头维 128 / 全量KV层 7 / 滑窗 512
  KV@4K(FP16): 0.1777 G；每 1K token 约 0.03 G
  权重: Q8_0 293.25G / Q4_K_M 165.6G / IQ3_XXS 104.19G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 Q4_K_M 权重也要 165.6G），最早就 256G（Q5_K_M）
  常数来源: https://huggingface.co/thinkingmachines/Inkling-Small/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：Q5_K_M，8K 总需 194.5G，最多可开 1048576 token（模型原生上限）
  - 512G：Q8_0，8K 总需 294.5G，最多可开 1048576 token（模型原生上限）

Thinking Machines Lab 2026-07-30 发布的 Inkling 家族小档（官方博客 + model card 一手：Date of release July 30, 2026 / License Apache 2.0，HF thinkingmachines/Inkling-Small）。276B 总 / 12B 激活 MoE（42 层 / 256 专家激活 6 + 2 共享，config 一手核到）、GQA 8 KV / head_dim 128、滑窗 512 混合 + sconv、多模态（图文音，同 Inkling 架构缩小版）、1M ctx、8 层 MTP。训练于 NVIDIA GB300 NVL72。官方口径：在 HLE / SWE-bench Verified / Terminal-Bench 2.1 / ARC-AGI-2 上**打赢 975B 的大 Inkling**（效率更优），但 SimpleQA Verified 事实记忆回退（20.6% vs 43.9%）——官方自报数字、未复现。显存：BF16 约 600GB（4×B300 或 8×H200）/ **NVFP4 180GB 单 B300 可跑**（W4A4 需 SM100+，或双 H200 W4A16，model card 口径）——门槛比大 Inkling 低一档，但仍是多卡/多机条目。AA 快照（2026-11-07）：Inkling Small 13 分；同榜还有 Inkling 2 Small（31 分）——那是 2026-11-05 发布的**第二代**（官方博客一手：594B 总 / 17B 激活 MoE、支持图像输入、不支持音频、上下文 256K + compaction、292M 视觉塔、AA 指数 31 分），**权重尚未放出**（官方原文：先以闭权重上 Tinker，「计划在外部安全测试与红队完成后下周以 Apache 2.0 放出完整权重」，且「权重放出仍待我们与合作伙伴的进一步安全评估」——**不是无条件某个日期放出**）。**2026-11-12 复查：HF 上 thinkingmachines 组织仍只有 Inkling / Inkling-Small / 两个 NVFP4 仓，无 Inkling 2 仓**——按「无权重不收录」口径不入 models.json，只留痕于此。

## IBM Granite 4.2 30B
- IBM Granite 4.2 30B (30B)
  URL: /model/granite-4-2-30b/
  架构: 64 层 / KV头 8 / 头维 128 / 全量KV层 64 / 滑窗 无
  KV@4K(FP16): 1 G；每 1K token 约 0.25 G
  权重: Q8_0 31.88G / Q4_K_M 18G / IQ3_XXS 11.33G
  原生上下文上限: 131072 token
  16G 装不下（最省的 Q4_K_M 权重也要 18G），最早就 24G（Q4_K_M）
  常数来源: https://huggingface.co/ibm-granite/granite-4.2-30b/blob/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q8_0: 权重 31.9G / 8K 总需 34.9G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 24.6G / 8K 总需 27.6G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 21G / 8K 总需 24G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 18G / 8K 总需 21G / wont_fit / 最多可开 0 token
  - Q4_K_S: 权重 17.6G / 8K 总需 20.6G / wont_fit / 最多可开 0 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：Q4_K_M，8K 总需 21G，最多可开 1536 token（显存）
  - 24G：Q4_K_M，8K 总需 21G，最多可开 8192 token（显存）
  - 32G：Q6_K，8K 总需 27.6G，最多可开 10240 token（显存）
  - 48G：Q8_0，8K 总需 34.9G，最多可开 37888 token（显存）
  - 64G：Q8_0，8K 总需 34.9G，最多可开 95744 token（显存）
  - 96G：Q8_0，8K 总需 34.9G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 34.9G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 34.9G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 34.9G，最多可开 131072 token（模型原生上限）

IBM **2026-08-25 发布**的 Granite 4.2 家族旗舰档（IBM Research 官博一手："Granite 4.2 brings native reasoning to enterprise agents"，同批 3B / 8B / 30B + Granite Speech 5.0；HF blog + the-decoder 交叉一致）。**开放权重 Apache 2.0**——盘点文档（2026-11-08）把 Granite 4.2 误列入「闭源 API 24 个」，本轮按官方源改判（口径纠错）。config 一手核到（hf-mirror）：64 层 dense、GQA 32 Q 头 / 8 KV 头 / head_dim 128、131,072 原生 ctx（官方文档 512K 为外推口径，未进 arch_detail）、thinking/non-thinking 双模（官方 low-effort 模式）、8B/30B 经 agentic RL 训练（OpenHands 沙箱写码跑测试 + Harbor/Terminus-2 终端 agent + 实时联网搜索多跳问答）。训练 15T token、NeMo-RL + NeMo-Gym、GB200 NVL72（CoreWeave 托管）。官方自报：SWE-bench Verified 30B 57.00 / 8B 47.67，Terminal-Bench 2.1 29.24 / 20.56（vendor 口径未复现）。显存档位：Q4_K_M 约 18G（官方 GGUF 17.7G 实测文件大小），**24G 卡主力档**，12G 卡 Q4_K_S（16.7G）也紧、建议 16G+；131K 长文 KV 1G/4K（dense 全注意力，与同规模稠密持平）。AA 快照（2026-11-07）：30B 未在本站 AA 快照单列（8B/3B 各 5 分）。**他测（2026-11-09 B-066 补，单源 C 级）**：30B 首条他测 = CMP 170HX 64G 矿卡魔改 FP8（vLLM 0.32.0rc1，@Sandberg/LocalMaxxing 10-31）单流 0ctx **35.4 tok/s**（prefill 8K 2016；并发矩阵 c2 70.0 / c4 137.6 / c8 267.1 / c16 510.3 聚合；长 ctx 单流 16K 32.5 / 32K 30.0 / 64K 26.4 / 120K 21.6）——矿卡 PCIe Gen2 x4 + 2018 双路 E5 平台与消费卡档不可横比，价值是「64G 大显存便宜卡单卡全载 30B FP8 可行性」证据；8B/3B 仍按容量表推算。

## IBM Granite 4.2 8B
- IBM Granite 4.2 8B (8B)
  URL: /model/granite-4-2-8b/
  架构: 40 层 / KV头 8 / 头维 128 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.625 G；每 1K token 约 0.16 G
  权重: Q8_0 8.5G / Q4_K_M 4.8G / IQ3_XXS 3.02G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q8_0（权重 8.5G，8K 总需 10.8G，最多可开 29696 token，受限：显存）
  常数来源: https://huggingface.co/ibm-granite/granite-4.2-8b/blob/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q8_0: 权重 8.5G / 8K 总需 10.8G / tight / 最多可开 29696 token
  - Q6_K: 权重 6.6G / 8K 总需 8.8G / smooth / 最多可开 42496 token
  - Q5_K_M: 权重 5.6G / 8K 总需 7.9G / smooth / 最多可开 49152 token
  - Q4_K_M: 权重 4.8G / 8K 总需 7.1G / smooth / 最多可开 54272 token
  - Q4_K_S: 权重 4.7G / 8K 总需 7G / smooth / 最多可开 54784 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：Q4_K_M，8K 总需 7.1G，最多可开 7680 token（显存）
  - 10G：Q5_K_M，8K 总需 7.9G，最多可开 14336 token（显存）
  - 11G：Q6_K，8K 总需 8.8G，最多可开 13824 token（显存）
  - 12G：Q6_K，8K 总需 8.8G，最多可开 19456 token（显存）
  - 16G：Q8_0，8K 总需 10.8G，最多可开 29696 token（显存）
  - 20G：Q8_0，8K 总需 10.8G，最多可开 52736 token（显存）
  - 22G：Q8_0，8K 总需 10.8G，最多可开 64512 token（显存）
  - 24G：Q8_0，8K 总需 10.8G，最多可开 75776 token（显存）
  - 32G：Q8_0，8K 总需 10.8G，最多可开 122368 token（显存）
  - 48G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 10.8G，最多可开 131072 token（模型原生上限）

IBM **2026-08-25** Granite 4.2 家族中档（同批 3B/30B，IBM 官博一手，Apache 2.0 开放权重——盘点文档误列闭源，本轮改判）。config 一手核到：40 层 dense、GQA 32/8 KV / head_dim 128、131,072 原生 ctx、thinking 双模、agentic RL（同 30B 三阶段沙箱训练）。官方自报 SWE-bench Verified 47.67 / Terminal-Bench 2.1 20.56（vendor 口径）。显存档位：Q4_K_M 约 5G，**8G 卡可跑**，12G 可上 Q8（8.5G+KV）——消费卡甜点档。AA 快照（2026-11-07）：5 分。站内暂无他测速度，按容量表推算 ±30%。

## IBM Granite 4.2 3B
- IBM Granite 4.2 3B (3B)
  URL: /model/granite-4-2-3b/
  架构: 40 层 / KV头 8 / 头维 64 / 全量KV层 40 / 滑窗 无
  KV@4K(FP16): 0.3125 G；每 1K token 约 0.08 G
  权重: Q8_0 3.19G / Q4_K_M 1.8G / IQ3_XXS 1.13G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q8_0（权重 3.2G，8K 总需 4.8G，最多可开 129536 token，受限：显存）
  常数来源: https://huggingface.co/ibm-granite/granite-4.2-3b/blob/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q8_0: 权重 3.2G / 8K 总需 4.8G / smooth / 最多可开 129536 token
  - Q6_K: 权重 2.5G / 8K 总需 4.1G / smooth / 最多可开 131072 token
  - Q5_K_M: 权重 2.1G / 8K 总需 3.7G / smooth / 最多可开 131072 token
  - Q4_K_M: 权重 1.8G / 8K 总需 3.4G / smooth / 最多可开 131072 token
  - Q4_K_S: 权重 1.8G / 8K 总需 3.4G / smooth / 最多可开 131072 token

各显存档位：
  - 4G：Q4_K_M，8K 总需 3.4G，最多可开 8704 token（显存）
  - 6G：Q8_0，8K 总需 4.8G，最多可开 14336 token（显存）
  - 8G：Q8_0，8K 总需 4.8G，最多可开 36864 token（显存）
  - 10G：Q8_0，8K 总需 4.8G，最多可开 60416 token（显存）
  - 11G：Q8_0，8K 总需 4.8G，最多可开 72192 token（显存）
  - 12G：Q8_0，8K 总需 4.8G，最多可开 83968 token（显存）
  - 16G：Q8_0，8K 总需 4.8G，最多可开 129536 token（显存）
  - 20G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 22G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 24G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 32G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 48G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 4.8G，最多可开 131072 token（模型原生上限）

IBM **2026-08-25** Granite 4.2 家族小档（官方定位 edge / resource-constrained，跳过 agentic RL 只做基础 RL+对齐）。config 一手核到：40 层 dense、40 Q 头 / 8 KV 头 / head_dim 64、131,072 原生 ctx、thinking 双模。显存档位：Q8_0 约 3.5G，**8G 卡全量化档可跑**，笔记本/NPU 级部署目标。AA 快照（2026-11-07）：5 分。站内暂无他测速度，按容量表推算 ±30%。

## K-EXAONE 2.0
- K-EXAONE 2.0 (750B, 激活 37B, MoE)
  URL: /model/k-exaone-2-0/
  架构: 78 层 / KV头 8 / 头维 128 / 全量KV层 20 / 滑窗 128
  KV@4K(FP16): 0.3408 G；每 1K token 约 0.08 G
  权重: Q8_0 796.88G / Q4_K_M 450G / IQ3_XXS 283.13G
  原生上下文上限: 262144 token
  16G 装不下（最省的 Q4_K_M 权重也要 450G），最早就 本站容量表覆盖不到
  常数来源: https://huggingface.co/LGAI-EXAONE/K-EXAONE-2.0-750B-A37B/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

LG AI Research **2026-07-31 发布**（Korea Times / Korea Herald / CHOSUNBIZ 一手 + HF 上架 2026-07-29）的韩国主权 AI 旗舰——「National AI Foundation Model project」政府计划第二模型（前作 K-EXAONE 1.0 为 236B）。**750B 总 / 37B 激活 MoE**（3.2× 放大上代），config 一手核到（hf-mirror，仓库 LGAI-EXAONE/K-EXAONE-2.0-750B-A37B）：78 层 = 20 全注意力 + 58 滑窗（滑窗 128，首层 4096）混合注意力、GQA 64 Q 头 / 8 KV 头 / head_dim 128、256 路由专家 top-8 + 1 共享（noaux_tc 分组路由、sigmoid 打分）、262,144 原生 ctx、**1 层 MTP 投机头（4 步）**、swiglu_limits（末 12 层 7.0 限幅）、vocab 153,600。支持 10 语言（韩/英/西/德/日/越/法/意/波/葡）。许可 **Apache 2.0**（上代 1.0 是限制商用的自定许可，2.0 放开——技术报告 arXiv 2608.04505 写明）。官方自报（vendor 口径未复现）：24 项基准均分 70.1（上代 63.3）、AIME 2026 92.3、SWE-bench Verified 68.2（低于 Qwen3.5 76.4 / DeepSeek V4 Pro 80.6——分歧保留不抹平）、长上下文检索是相对强项。显存门槛：BF16 ~1.5TB / FP8 ~800G / NVFP4 ~420G（官方同日发布三量化 + DSpark 变体），LG 自报需两节点 H200 级——**多卡/多机门槛条目**，消费卡无他测属预期。AA 快照（2026-11-07）：8 分（id aa-k-exaone-2-0-0803，0803 = 8 月 3 日上榜）。盘点宽口径原标「日期未核、三星系」——本轮核到：日期 07-31、厂商 LG（非三星），口径纠正。

## Tencent Hy4 preview
- Tencent Hy4 preview (770B, 激活 49B, MoE)
  URL: /model/hy4-preview/
  架构: 未核实
  KV@4K(官方口径，近似): 0.37 G；每 1K token 约 0.09 G
  权重: Q8_0 818.13G / Q4_K_M 462G / IQ3_XXS 290.68G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 462G），最早就 本站容量表覆盖不到
  常数来源: https://hf-mirror.com/tencent/Hy4-preview/blob/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：装不下

腾讯 Hy（混元团队）**2026-08-28 发布 Hy4 preview 并当日开权重**（hy.tencent.com/research/hy4-preview 一手 + HF tencent/Hy4-preview「We open-source Hy4 preview and Hy4 preview-FP8 model weights」Apache 2.0 + GitHub Tencent-Hunyuan/Hy4-preview 三源）。**770B 总 / 49B 激活 MoE**，config 一手核到（hf-mirror，仓库 tencent/Hy4-preview，HF 页 Safetensors 780B params BF16）：78 层全 deepseek_sparse_attention（Gated DSA + IndexCache 跨层稀疏索引复用；indexer 32 头 / head_dim 128 / top-k 2048，indexer_types **21 处 full 位** + 57 处 shared 位——shared 层不建 indexer 缓存、复用上一层的 top-k（原写 13 处是数错，已按 config 实际值改正））、MLA（kv_lora_rank 512 / q_lora_rank 2048 / qk_rope 64 / v_head_dim 256 / GQA 8 KV 头 / head_dim 64）、iHC identity 超连接残差（hc_mult 4 流）、256 路由专家 top-8 + 1 共享、1M 原生 ctx（max_position_embeddings 1,048,576）、vocab 120,832、**1 层 MTP**（10B 总 / 0.7B 激活，官方 recipe 3 步投机）。Gated DSA + iHC 口径套不进 GQA 六字段 → 不建 arch_detail（Kimi K3.1 Pro MLA 先例），KV 保守兜底 **≈0.37G/4K**（2026-11-13 按 transformers 官方 hy_v4 实现复算）：78 层全 DSA，每层 MLA 缓存压缩 latent（kv_lora_rank 512 + qk_rope_head_dim 64 = 576 维 × 2B = 1152B/token/层 → 89856B/token）+ 21 个 full 位层的 DSA indexer 键缓存（indexer 键各头共享、128 维 × 2B = 256B/token/层 → 5376B/token；shared 层复用 top-k、不占缓存）+ 1 层 MTP（1152B/token），合计 96384B/token → 每 4K ≈ 0.3677G，取保守上界 0.37G。**两说日期核清（2026-11-09 B-059）**：preview = 08-28 开权重（本条）；**正式版 Hy4 = 2026-11-04 API 先行**（加视觉 + Computer Use，官方「我们计划开源模型权重」11-05 未放——无权重不收录只留痕，与 LongCat-2.5 口径一致；**AA Intelligence Index 35 分（2026-11-04 上榜）属正式版**，i-scoop 独立核实 preview 不在 AA 榜，本条不链 35 分避免张冠李戴）。官方自报（vendor 口径未复现）：preview 综合 82.10 → 正式版 87.69；163 名内部专家 203 任务盲评 2.99/4（胜 GLM-5.3 2.92 / Kimi K3 2.94——自家评测留痕）。显存门槛：BF16 ~1.5TB / 官方 FP8 ~780G / 社区 Sherry 量化 2.38bpw ~214G（vLLM TP8 官方 recipe，8×H200 级）——**多卡/多机门槛条目**。家族：Hy4 flash 近期发布预告不计入；Hy3 为 6/1 前旧代际。

## MiniMax-M3
- MiniMax-M3 (428B, 激活 23B, MoE)
  URL: /model/minimax-m3/
  架构: 60 层 / KV头 4 / 头维 128 / 全量KV层 60 / 滑窗 无
  KV@4K(FP16): 0.4688 G；每 1K token 约 0.12 G
  权重: Q8_0 454.75G / Q4_K_M 256.8G / IQ3_XXS 161.57G
  原生上下文上限: 1048576 token
  16G 装不下（最省的 IQ4_XS 权重也要 227.4G），最早就 512G（Q6_K）
  常数来源: https://huggingface.co/MiniMaxAI/MiniMax-M3/blob/main/config.json（抓取于 2026-11-12）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q6_K，8K 总需 352.9G，最多可开 861696 token（显存）

MiniMax（稀宇科技）**2026-06-01 正式发布**（官博 minimax.io/blog/minimax-m3 一手：API 先行，官方原文「Over the next 10 days, we will release the technical report and open-source the corresponding model weights」）——**B-061 日期核清（2026-11-09）**：权重 HF 仓库 MiniMaxAI/MiniMax-M3（+MXFP8 版）**createdAt 2026-06-02T07:49/07:50Z**（hf-mirror 搜索 API 一手），五家国产算力 Day0 通稿一致称「**06-12 正式开源**」（摩尔线程/壁仞/海光/华为云/昆仑芯）——两说并存，本条按 HF 上传日 06-01/06-02 记 release_date、两说全留痕。原闭源表「日期未核」是检索未到位（B-058 遗留），一手源核到后**改判开源**（开放权重 + 商用限制许可，与 K-EXAONE/Inkling 同款口径）。**428B 总 / 23B 激活 MoE**（model card「~428B parameters and ~23B activated」+ unsloth 文档同数），config 一手核到（hf-mirror MiniMaxAI/MiniMax-M3/config.json，model_type minimax_m3_vl，VL 结构 text_config 内）：60 层（moe_layer_freq 前 3 层 dense）、128 路由专家 top-4 + 1 共享（sigmoid 评分 + 路由 bias）、**MSA 块级稀疏注意力**（4 索引头 / index_dim 128 / topk 16 块 / 块 128 token / max 评分 / 前 3 层 dense）、GQA 64 查询头 / 4 KV 头 / head_dim 128 / hidden 6144 / 1M 原生（max_position_embeddings 1,048,576）/ vocab 200,064 / **1 层 MTP**（7 模块，官方 3 模式 thinking/adaptive/disabled）。MSA 是块级稀疏（只稀疏读、不稀疏存，KV 缓存仍按全量 GQA 记；llama.cpp 的 GGUF 路径本就回退 dense），故 2026-11-12 已按 config 六字段转正 arch_detail：60 层 / 4KV / head_dim 128，KV 0.469G/4K；MSA 稀疏使实际读取低于此值，note 声明；**llama.cpp minimax-m3 分支 MSA 未支持回退 dense**——GGUF 跑 1M ctx 显存账按 dense 算，unsloth 仓库原话留痕）。许可 **MiniMax Community License**（LICENSE 全文一手：非商用自由；商用需显著标注「Built with MiniMax M3」；年营收超 2000 万美元需事先书面授权 api@minimax.io，否则一次性告知）——非 Apache，开放权重带商用门槛。多模态（文/图/视频原生，混合模态训练）+ 编程/Agent/电脑操作，推荐 temperature 1.0 / top_p 0.95。能力分（vendor 口径留痕）：HF eval 卡 SWE-bench Verified 80.5 / MMMU Pro 78.1 / SWE-bench Pro 59；官方自报 1M ctx prefill 9× / decode 15× vs M2、每 token 算力 1/20。**AA 19 分（2026-11-07 快照）已链本条**（evals aa-minimax-m3 model_slug 补链——API 评测不代表本地 GGUF 速度）。显存门槛：BF16 ~856G / 官方 MXFP8 ~427G / 社区 UD-Q4_K_M 264G（unsloth，1-bit 最低 128G）——**多卡/多机门槛条目**。家族：M3.1-Flash（10-23 开源，428B/23B 同规模、MSA 全层覆盖 + DSpark、AA 29）是本站另一条 minimax-m3-1-flash；M2.7 为 6/1 前旧代际。站内暂无他测速度（门槛模型，按容量表推算）。

## Swift-1.5-Qwen3.8-27B
- Swift-1.5-Qwen3.8-27B (27.8B)
  URL: /model/swift-1-5-qwen38-27b/
  架构: 64 层 / KV头 4 / 头维 256 / 全量KV层 16 / 滑窗 无
  KV@4K(FP16): 0.25 G；每 1K token 约 0.06 G
  权重: Q8_0 29.54G / Q4_K_M 16.68G / IQ3_XXS 10.49G
  原生上下文上限: 262144 token
  16G 可用 14.1G 时推荐 IQ3_M（权重 12G，8K 总需 13.5G，最多可开 18432 token，受限：显存）
  常数来源: https://hf-mirror.com/ukisai/Swift-1.5-Qwen3.8-27b/raw/main/config.json（抓取于 2026-11-09）

16G 档量化阶梯：
  - Q8_0: 权重 29.5G / 8K 总需 31G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 22.8G / 8K 总需 24.3G / wont_fit / 最多可开 0 token
  - Q6_K_S: 权重 22.2G / 8K 总需 23.7G / wont_fit / 最多可开 0 token
  - Q5_K_M: 权重 19.5G / 8K 总需 21G / wont_fit / 最多可开 0 token
  - Q5_K_S: 权重 19.1G / 8K 总需 20.6G / wont_fit / 最多可开 0 token
  - Q4_K_M: 权重 16.7G / 8K 总需 18.2G / wont_fit / 最多可开 0 token
  - Q4_K_S: 权重 16.3G / 8K 总需 17.8G / wont_fit / 最多可开 0 token
  - IQ4_XS: 权重 14.8G / 8K 总需 16.3G / wont_fit / 最多可开 0 token
  - IQ4_NL: 权重 15.6G / 8K 总需 17.1G / wont_fit / 最多可开 0 token
  - IQ3_M: 权重 12G / 8K 总需 13.5G / tight / 最多可开 18432 token
  - IQ3_XXS: 权重 10.5G / 8K 总需 12G / tight / 最多可开 42496 token
  - IQ2_S: 权重 8.7G / 8K 总需 10.2G / tight / 最多可开 72192 token
  - IQ2_XS: 权重 8G / 8K 总需 9.5G / smooth / 最多可开 82944 token
  - IQ2_XXS: 权重 7.2G / 8K 总需 8.7G / smooth / 最多可开 97280 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：IQ3_M，8K 总需 13.5G，最多可开 18432 token（显存）
  - 20G：IQ4_XS，8K 总需 16.3G，最多可开 29696 token（显存）
  - 22G：Q4_K_M，8K 总需 18.2G，最多可开 28160 token（显存）
  - 24G：Q5_K_M，8K 总需 21G，最多可开 10240 token（显存）
  - 32G：Q6_K，8K 总需 24.3G，最多可开 71680 token（显存）
  - 48G：Q8_0，8K 总需 31G，最多可开 190976 token（显存）
  - 64G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 96G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 128G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 256G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）
  - 512G：Q8_0，8K 总需 31G，最多可开 262144 token（模型原生上限）

UkisAI 对 Qwen3.8-27B 的推理效率衍生：少 58.5% thinking token 同时综合分比基座高 0.35%（GPQA-D 88.59 vs 88.28；AIME 2026 96.0 vs 98.67），官方称多任务端到端 1.95× 提速；由 Swift 1.0（35 万+下载）把 RL + OPD 后训练加大而来，偏 coding/agentic（LiveCodeBench v6 81.71 vs 基座 76.76、Terminal-Bench 2.1 72.13 vs 69.21，均为官方口径）。架构常数与基座逐字一致（config.json 一手核对：64 层 / full_attention_interval 4 → 16 层全注意力 / 4 KV 头 / head_dim 256 / 262144 ctx / MTP 1 层），KV 口径与基座完全一致：每 4K 0.25G。权重 27.78B（BF16 safetensors，HF API 一手核对），带视觉塔多模态，官方 GGUF 仓库 24 档全量 + F16 mmproj（llama.cpp 需配 mmproj 才能看图）。许可 Swift Open License v1.0：年收入 <100 万美元个人/组织商用免费，超过需企业授权；基座部分仍是 Qwen Apache-2.0。给读者的实测警示（本站六工位实测 V100-32G Q4_K_M，2026-11-09：decode 16.79 t/s；No.05 七项横评）：常见题型不掉分（gsm8k 92% 与基座打平），但 minerva_math 只有 2.71% 低于随机线——「少思考」在需要完整推理链的难题上变成了「不想了」，数学推理任务别选它。他测（2026-11-09 B-066 补，llm-bench.io 社区 20 runs / 3 GPUs，IQ3_XXS-mtp 量化变体，llama.cpp 客户端口径，C 级单源聚合）：RX 7800 XT 16G 单卡 **52.8 tok/s**（9 runs，131K ctx，PP 343.5，TTFT 1675ms）/ 2×RTX 5060 16G **39.7**（PP 472.6）/ RX 6700 XT 12G **28.6**（32K ctx）——MTP 投机开着但接受率未报，不进投机对比；llama.cpp 客户端口径与 vLLM 服务端条目不可横比。本站六工位 V100-32G 16.79 t/s（verified）是 V100 代差（900GB/s），非模型问题。

## DeepSeek-V4.1-Flash-1017
- DeepSeek-V4.1-Flash-1017 (552B, 激活 8B, MoE)
  URL: /model/deepseek-v4-1-flash-1017/
  架构: 未核实
  KV@4K(官方口径，近似): 3.5 MB；每 1K token 约 0.9 MB
  权重: Q8_0 586.5G / Q4_K_M 331.2G / IQ3_XXS 208.38G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q5_K_M 权重也要 386.4G），最早就 512G（Q5_K_M）
  常数来源: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017/blob/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：装不下
  - 512G：Q5_K_M，8K 总需 387.4G，最多可开 76137411 token（模型原生上限）

DeepSeek-V4.1-Flash 的 10-17 小版本更新（README 原文「a minor update to DeepSeek-V4.1-Flash」，推理/编码/Agent/视觉基准全面提升 + 任务运行时间与输出长度缩短）——**B-064 日期核清（2026-11-09）改判开源**：原闭源表标「日期未核（1017 即 10/17 推断）」，本轮一手源双核到：DeepSeek 官方 API 文档 news 页（api-docs.deepseek.com/zh-cn/news/news261017/，2026-10-17 发布，**底部「模型开源」节直接给出 HF/ModelScope 权重链接**）+ hf-mirror 搜索 API（仓库 deepseek-ai/DeepSeek-V4.1-Flash-1017 createdAt 2026-10-17T02:40:38Z，295K downloads / 5414 likes / license:mit）。**MIT 许可**（README + LICENSE 双确认，比父条目口径更宽松地确认）。参数一手（**2026-11-13 B-120 纠错**）：本条目原写「HF API safetensors.total = 763,205,315,794 ≈ 763B 总参数」，那是个**字节口径误读**——763,205,315,794 是各 dtype 字节数之和，不是参数量：当前 48 个分片实测合计 **510,304,178,606 字节**（index 的 metadata.total_size = 510,286,023,000），分片 header 实测专家权重是 **FP4 打包**（I8 容器 + 每 32 元素一个 E8M0 scale），文件字节数本来就远小于按字节数反推的参数量。正确口径三条一手源对得上：**① 骨干 552B**——官方 README「552B backbone parameters」，本仓 config 复算 ≈551.4B（40 层 × 385 专家 × 3 × 5120 × 2304 = 545.1B 专家 + 注意力 5.1B + embedding 1.3B）；**② Engram 哈希 n-gram 记忆表 196.6B 参数**（config engram_num_embeddings [384006168, 384016682] × engram_head_dim 256 = 98.3B × 2；官方 README 亦作 Engram conditional memory (196B parameters)；实现里该表按 float8_e4m3fn 存，≈197G 可整块 host offload）——原写「76.8B」是错的，本轮已改；**③ 合计约 749B**（552B 骨干 + 196.6B Engram + 视觉/DSpark ~0.8B）。本站 params_b 取**骨干口径 552**（与父条目、qwen3-8-flash-next「125B 骨干 + 51.2B n-gram 表单列」同先例），Engram 表在 summary 与 vram_formula 里单列第二笔账。config 全文一手核到（hf-mirror resolve/main/config.json，model_type deepseek_v41 / DeepseekV41ForCausalLM）：text_config 40 层 / hidden 5120 / **MLA kv 1 头 head_dim 512**（q_lora 1280 / o_lora 1024 o_groups 8）/ **384 路由专家 top-6 + 1 共享**（sqrtsoftplus 评分 + noaux_tc）/ **仅 4 层存 KV**（kv_source_layer_ids [2,8,14,20]，compress_ratios 前 2 层 0 / 中间 18 层 ×2 / 后 20 层 ×1 / 尾部 3 层（MTP）0）/ index 32 头 topk 512 候选块选择 / **1M ctx（max_position_embeddings 1048576，由 65536 YaRN factor 16 外推，非真训 1M）**/ vocab 129,280（比父条目 129,280→同系）/ **3 层 MTP**（num_nextn_predict_layers 3）+ DSpark 模块（block 5 / markov rank 256 / 128 专家 top-3，目标层 37-39）/ vision 塔 32 层 hidden 1024 patch 14 downsample 3 max_image_tokens 1024（**image-text-to-text 多模态**，比父条目视觉能力更强）。MLA + 压缩注意力 + Engram 架构套不进 GQA 六字段 → arch_detail null（父条目 deepseek-v4-1-flash 先例），KV 近似 **0.0034G/4K**（官方 README 明写 global KV **890 bytes per token**、FP4 主 KV；本轮按官方参考实现 inference/model.py 逐层复算：主 KV 4 层（kv_source_layers [2,8,14,20]，head_dim 512；2/8/14 层 2:1 压缩、20 层不压缩）= 512×2.5×(0.5+1/16) = 720 B/token，indexer 键缓存 4 层（每个压缩位置 1 把共享键，index_head_dim 128）= 128×2.5×(0.5+1/32) = 170 B/token，合计 890 B/token 与官方数字逐位对上；两仓 config 与 inference 实现逐字节相同，父条目同口径；容量表标注估算）。**官方 README 推荐参数**：temperature 1.0 / top_p 1.0 / context 1M / max_tokens ≥256K；无 Jinja chat template（自带 encoding/ Python 参考实现 + deepseek-recipe Rust 库）。能力分（README 表格 vendor 口径留痕）：HLE w/o tools 42.6（文本子集 44.0）/ Terminal-Bench 4.0 42.3 / DeepSWE v1.1 77.0 / ProgramBench 29.1 / NL2Repo-Bench 68.2 / BabyVision 92.5——vs 父条目 36.8/31.2/74.2 全面提升，vs GPT-5.6 Sol（44.5/39.9/73.0）Terminal-Bench 反超。**AA 三档 33/29/19（max/high/non-reasoning，2026-11-07 快照）已链本条**（evals 三档 model_slug 补链）。显存门槛：骨干 552B（FP8 存约 552G；当前发布分片已把专家转 FP4 打包，48 片合计 510.3GB）+ Engram 196.6B 表（FP8 ≈197G）offload；社区 unsloth/DeepSeek-V4.1-Flash-1017-GGUF（1.3M downloads）实测字节 UD-IQ1_S 233.0G / UD-IQ1_M 250.4G / UD-IQ2_XXS 300.5G / UD-Q2_K_XL 334.8G / UD-IQ3_XXS 394.7G / UD-IQ3_S 423.6G / UD-Q3_K_XL 485.1G / UD-Q4_K_XL 500.7G / UD-Q8_K_XL 508.4G，另 dspark 目录 8.5G 独立（unsloth 原话「1-bit 需 128GB+ RAM 设备、3-bit 需 256GB、全精度 320GB」）——**多机/共享主机门槛条目，单卡装不下**（与父条目同款定位）。家族：父条目 deepseek-v4-1-flash（09-09 开源 552B/8B，站内已有）为本条直接前代；nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 官方量化变体已在 HF。**两仓现状留痕（2026-11-13 复查）**：两个仓库当前发布的是同一套权重——config.json、inference/{config.json,model.py,kernel.py} 逐字节相同，48 个分片文件名与大小、model.safetensors.index.json 的 total 与 96,085 个张量名逐项一致，safetensors 元数据 total 也完全相同；09-09 仓 lastModified 2026-10-16、1017 仓 createdAt 2026-10-17。官方把这次小版本更新（README 原文 a minor update）另开了一个 1017 仓，两仓现在指向同一套权重，因此两条目参数口径必须一致（均为骨干 552B）。站内暂无他测速度（门槛模型，按容量表推算）。

## ERNIE-5.5-Flash-Base
- ERNIE-5.5-Flash-Base (280B, 激活 14B, MoE)
  URL: /model/ernie-5-5-flash-base/
  架构: 未核实
  KV@4K(官方口径，近似): 0.1 G；每 1K token 约 0.03 G
  权重: Q8_0 297.5G / Q4_K_M 168G / IQ3_XXS 105.7G
  原生上下文上限: 未知 token
  16G 装不下（最省的 Q4_K_M 权重也要 168G），最早就 256G（Q5_K_M）
  常数来源: https://hf-mirror.com/baidu/ERNIE-5.5-Flash-Base/resolve/main/config.json（抓取于 2026-11-13）

16G 档量化阶梯：


各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：装不下
  - 10G：装不下
  - 11G：装不下
  - 12G：装不下
  - 16G：装不下
  - 20G：装不下
  - 22G：装不下
  - 24G：装不下
  - 32G：装不下
  - 48G：装不下
  - 64G：装不下
  - 96G：装不下
  - 128G：装不下
  - 256G：Q5_K_M，8K 总需 197.2G，最多可开 1159168 token（模型原生上限）
  - 512G：Q8_0，8K 总需 298.7G，最多可开 6230016 token（模型原生上限）

百度 2026-11-05 放权重的 ERNIE 5.5 系列 Base 版（百度官博 ernie.baidu.com/release/ernie-5-5-flash-base 一手 + HF baidu/ERNIE-5.5-Flash-Base 一手，智东西/IT之家/新浪/量子位多源一致）——**B-068（2026-11-09）三态复查改判开放权重**：原宽口径 C 层挂「11-05 Base 版待放量」，本轮核到 FP8 128 分片 + BF16 变体（baidu/ERNIE-5.5-Flash-Base-BF16）已上传。**权重体积一手（注意是字节口径，不是参数量）**：HF API safetensors.total = 286245697882 字节 ≈ 286.2GB——该字段是各 dtype 字节数之和，**不是参数量**（B-120 在 DeepSeek-V4.1-Flash-1017 上抓到过同型坑）；2026-11-13 用 HF API `?blobs=true` 实测 128 个分片文件合计 288434400632 字节 ≈ 268.6GiB（多出的是各分片头部与索引文件）。**参数口径用官方值**：280B 总 / 14B 激活稀疏 MoE，33.5T tokens 从零预训练。**许可全文一手核到（ERNIE 5.5 Flash Base Model License Agreement v1.0）**：Territory 排除欧盟/英国/韩国；非商用免费；商用年收入 ≤$50M 免费（需一次性邮件通知 Baidu_ERNIE@baidu.com + 产品标注「Powered by ERNIE」）；>$50M 需书面授权；禁用条款（不得用于训练其他 AI / 军用 / 高风险决策 / 深伪等）；香港法香港仲裁。开放权重带商用门槛，按 MiniMax Community License 同款口径收录。**config 全文一手**（hf-mirror resolve/main/config.json，model_type ernie5_5_moe）：43 层全 MoE（n_routed_experts 512 + 1 共享，top-10 路由）/ hidden 4096 / 64 头 / **hybrid_mla_attention mqa_dsa + kv_lora_rank 512** / compress_ratios **44 项**（43 层骨干 + 1 层 MTP）：**37 层 HCA 128× 压缩 + 7 层全层**（-2，位置 8/15/22/29/36/43/44，含 MTP 层；原写「43 项 / 38 层 / 5 层 / 位置 8·15·22·29·43」全部数错，本轮按 config 实际值改正）/ sliding_window 128 / max_position_embeddings 1048576 / **rope_scaling YaRN factor 16（original 65536）→ 1M 为外推非真训（与 DeepSeek-V4.1-Flash-1017 同款口径）** / num_nextn_predict_layers 1 + mtp_shared_last_layer=true（ECHO 复用末层 MTP 兼投机草稿）/ ECHO / VHA / Multi-Router / FlashMask-4。**MLA + HCA 压缩注意力套不进 GQA 六字段 → arch_detail null**（DeepSeek-V4.1-Flash-1017 / Ling-3.0-flash 先例），KV 仍留保守兜底 **≈0.1G/4K**（MLA 单潜 512 + 37 层 HCA 128× 压缩，实际 KV 远低于同规模稠密，容量表标注估算）。**留痕（2026-11-13）**：ERNIE-5.5 的 model_type（ernie5_5_moe）官方实现不在 transformers 里（models/__init__.py 只有 ernie / ernie4_5 / ernie4_5_moe / ernie4_5_vl_moe），HF 仓内也没有任何 .py 源码，HCA「128× 压缩」的缓存结构拿不到一手依据 → **不猜、不改值**，保持保守。**官方同尺寸 SOTA 对照**（vendor 口径留痕）：DeepSeek-V4-Flash-Base / Hy3-preview-Base / MiMo-V2.5-Base。**AA 快照（2026-11-07）未上榜**（evals 无条目），不新增 evals 行、不编分。显存门槛：FP8 ~286G——**多卡/多机门槛条目，单卡装不下**（门槛模型惯例：诚实答案页，不打主力徽章）。站内暂无他测速度（开源仅 4 天，按容量表推算）。

## DeepSeek-R1-Distill-Qwen-14B
- DeepSeek-R1-Distill-Qwen-14B (14B)
  URL: /model/deepseek-r1-distill-14b/
  架构: 48 层 / KV头 8 / 头维 128 / 全量KV层 48 / 滑窗 无
  KV@4K(FP16): 0.75 G；每 1K token 约 0.19 G
  权重: Q8_0 14.88G / Q4_K_M 8.4G / IQ3_XXS 5.29G
  原生上下文上限: 131072 token
  16G 可用 14.1G 时推荐 Q6_K（权重 11.5G，8K 总需 14G，最多可开 8704 token，受限：显存）
  常数来源: https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B/blob/main/config.json（抓取于 2026-11-10）

16G 档量化阶梯：
  - Q8_0: 权重 14.9G / 8K 总需 17.4G / wont_fit / 最多可开 0 token
  - Q6_K: 权重 11.5G / 8K 总需 14G / tight / 最多可开 8704 token
  - Q5_K_M: 权重 9.8G / 8K 总需 12.3G / tight / 最多可开 17920 token
  - Q4_K_M: 权重 8.4G / 8K 总需 10.9G / tight / 最多可开 25600 token
  - IQ4_XS: 权重 7.4G / 8K 总需 9.9G / smooth / 最多可开 30720 token
  - IQ3_K: 权重 6.1G / 8K 总需 8.6G / smooth / 最多可开 37888 token
  - IQ3_XXS: 权重 5.3G / 8K 总需 7.8G / smooth / 最多可开 42496 token

各显存档位：
  - 4G：装不下
  - 6G：装不下
  - 8G：IQ3_XXS，8K 总需 7.8G，最多可开 3584 token（显存）
  - 10G：IQ3_K，8K 总需 8.6G，最多可开 8704 token（显存）
  - 11G：IQ3_K，8K 总需 8.6G，最多可开 13824 token（显存）
  - 12G：IQ4_XS，8K 总需 9.9G，最多可开 11776 token（显存）
  - 16G：Q6_K，8K 总需 14G，最多可开 8704 token（显存）
  - 20G：Q8_0，8K 总需 17.4G，最多可开 9216 token（显存）
  - 22G：Q8_0，8K 总需 17.4G，最多可开 18944 token（显存）
  - 24G：Q8_0，8K 总需 17.4G，最多可开 28160 token（显存）
  - 32G：Q8_0，8K 总需 17.4G，最多可开 67072 token（显存）
  - 48G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）
  - 64G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）
  - 96G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）
  - 128G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）
  - 256G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）
  - 512G：Q8_0，8K 总需 17.4G，最多可开 131072 token（模型原生上限）

R1 的 14B 蒸馏版（Qwen2 底座，与 32B 蒸馏版同架构、层数与宽度不同：48 层 / 40 头 / 8 KV 头 / head_dim 128 / 原生 131072 上下文，config 2026-11-10 经 hf-mirror 镜像直读核实，huggingface.co 当日直连超时）。KV 4K 约 0.75G（复算 2×48×8×128×2×4096/1024³=0.750）。Q4_K_M 权重 8.4G，12G 显存可完整驻留。同样是推理模型：思考链吃上下文，12G 上可用「正式回答」上下文比同显存非推理模型少。

---

# 四、新手常见问题（40）

### 能不能跑一个模型，到底只看显存吗？
看三样：显存决定装不装得下，内存决定装不下时能不能凑合，算力决定跑得多快。显存是唯一没有替代品的。

装模型像往抽屉里放东西：权重（模型参数本身）必须先放，剩下的空间才给上下文用。显存满了，框架就把一部分层挪到内存里，这叫 offload——能跑，但内存带宽只有显存的 1/10 到 1/15，速度会断崖式下跌。

所以判断顺序是：① 权重大小 vs 可用显存 ② 剩下的显存够不够你要的上下文 ③ 卡的带宽决定每秒能出多少字。显存不够，加钱也换不到速度；带宽不够，只是慢，不是不能用。

本站容量表里写的『可用显存』不等于显卡标称容量：Windows 桌面会先吃掉 0.5–1.5GB，所以 16G 卡按 88% 即约 14.1G 算，Linux 按 95% 算。很多『别人 16G 能跑我不能跑』的差别就在这里。

来源：https://gpuvram.cloud/faq/what-really-decides-it/

### 量化是什么？Q4_K_M、Q8_0、IQ3 这些名字什么意思？
量化就是把每个参数用更少的比特存下来，模型变小变快，质量按档位往下掉。Q8 几乎无损，Q4 是主流甜点位，Q3 已经能听出变笨。

模型权重原始是 16 比特（FP16/BF16）。量化到 4 比特，文件直接小 3/4，显存读取量也小 3/4，所以速度大约同比例变快——这是本地跑大模型最重要的一个免费午餐。

名字里的规律：Q4/Q5/Q6/Q8 是数字越大越接近原始质量；后缀 _K_M / _K_S 是同代的两种规模（M 稍大稍好）；IQ2/IQ3/IQ4 是新一代的『智能量化』，同样比特下质量更好但计算稍慢；MXFP4 是 OpenAI gpt-oss 的官方原生格式。

换算成显存有个粗算式：权重 GB ≈ 参数量(B) × 每参数字节数 ÷ 8。本站用的每参数字节数：Q8_0 是 8.5、Q6_K 是 6.56、Q5_K_M 是 5.6、Q4_K_M 是 4.8、IQ4_XS 是 4.25、IQ3_XXS 是 3.02。注意 Q8_0 是 8.5 而不是 8.0——多出来的是每块的缩放信息，这就是『14B 跑 Q8 要 14.9G』而不是 14G 的原因。

新手常犯的错是『显存装得下就选最大量化』。更实用的顺序是：先保证留出你要的上下文，再在剩下的空间里挑质量最高的档。

来源：https://gpuvram.cloud/faq/what-is-quant/

### 上下文（ctx）到底是什么？8K 能装多少字？
上下文是模型一次能『看见』的总字数预算，输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。

token 是模型的最小单位，不完全等于字。粗略对照：英文 1 token ≈ 4 个字母 ≈ 0.75 个词；中文 1 个汉字大约 1.2–1.8 token（不同模型的词表差别很大，中文模型通常更省）。所以 8K 上下文放中文大约 4000–5500 字，放英文大约 6000 词。

关键容易被忽略的一点：这 8K 是『你说的话 + 系统提示词 + 它已经答过的内容 + 它正在生成的内容』的总和。多轮聊天里，上下文是一路涨上去的，涨满就会截断最早的内容或者报错。这就是『明明装得下，聊到二十轮就崩』的成因。

本站表格里 8K 上下文那一列写的是『这 8192 个 token 吃多少显存』，不是『8K 能装多少字』——后者就是上面那 4000–5500 字。另外还要扣掉模板开销：聊天格式包装、系统提示词，通常 200–500 token（本站数据里这一项标了『未核实』，是估算）。

还有一点：模型本体有原生上限。Qwen3 系列是 40960（约 40K），GLM-4-9B 是 32768，Phi-4 只有 16384；Gemma 3、Llama 3.1、gpt-oss、Seed-OSS 是 128K 起。显存够 ≠ 能开那么大，把 -c 填超过原生上限属于超纲使用，质量不保证。

来源：https://gpuvram.cloud/faq/what-is-context/

### KV cache 是什么？为什么上下文那么吃显存？
KV cache 是为了不重复计算而存下来的历史注意力数据，它随上下文线性增长，长对话和长文档的显存大户就是它。

模型生成每个新字都要回看前面所有字。为了避免每步都重算一遍，框架把前面各层的 Key/Value 张量存住，这就是 KV cache。它的大小 = 2 × 层数 × KV头数 × 每头维度 × 精度字节 × 上下文长度，所以是严格线性的：上下文翻倍，KV 翻倍。

精确算法和参数量关系不大，真正决定的是层数和 KV 头数。本站按 config.json 实算出来的对照：Qwen3-32B（64 层 / 8 KV 头 / 头维 128）4K 上下文正好 1.0G；Qwen3-8B 和 Qwen3-4B 都是 36 层 8 头，所以 KV 完全一样，都是 0.56G/4K；GLM-4-9B 只有 2 个 KV 头，4K 只要 0.16G；而 gpt-oss-20B 一半层用 128 token 的滑窗，4K 只要 0.10G。

反例很有教育意义：如果按参数量线性猜 KV，会把 GLM-4-9B 猜成 0.5G（高估 3.2 倍）、把 gpt-oss 猜成 0.5G（高估 5 倍）、把 Qwen3-4B 猜成 0.25G（低估 2.3 倍）。这三个错会直接把『我这张 12G 卡能开多大上下文』的结论改写成另一个故事。

省 KV 有两个开关：① KV 量化（llama.cpp 的 -ctk q8_0 / q4_0），Q8 几乎不掉质量就能省一半，Q4 省四分之三；② 选带滑窗架构的模型，比如 Gemma 3 系列 48 层里只有 8 层要全量 KV。本站容量表顶部给了 KV 精度的切换控件，切一下就能看到结论怎么变。

来源：https://gpuvram.cloud/faq/what-is-kv/

### tok/s 是多少才够用？我是不是需要很快？
中文阅读速度约 5–8 tok/s，所以 15 tok/s 以上就跟得上你阅读；25–40 是舒服，60 以上你反而读不过来。只有批量生成才需要追求高速。

tok/s 是解码阶段每秒吐出的 token 数，也就是『一个字一个字往外蹦』的速度。要区分两个数：首 token 延迟（TTFT，按回车到第一个字出现）由提示词处理速度决定，读长文档时它可能等你十几秒，但一旦开始吐字就正常了。

参考线：8–12 tok/s 能用于偶尔问答，你会觉得慢；15–25 日常聊天舒服；30–60 阅读跟不上但适合多轮；60+ 只在批量跑数据、生成代码文件、做离线任务时有意义。

速度主要由『每 token 需要从显存读多少字节』决定，所以带宽是主瓶颈：公式大致是 tok/s ≈ 带宽 × 效率系数 ÷ 每 token 读取字节数。本站给 5080（960GB/s）和 4060Ti（288GB/s）跑同一个 8B Q4 的估算差 3 倍多，就是这个原因，而不是前者『算力更强所以快』。

注意本站对单流解码设了经验上限（带宽 ≥800GB/s 的卡设 200 tok/s，其余 140）。因为纯带宽公式对小模型会算出 400–500 这种不可能的数——实际会被采样、反分词、层间串行拖住。这个上限是工程估值，等实测数据回填后会继续校准。

来源：https://gpuvram.cloud/faq/what-is-toks/

### 稠密模型和 MoE 有什么区别？为什么 30B-A3B 可能比 14B 还快？
MoE 每次只激活一小部分参数，所以它『显存按总量算、速度按激活量算』。30B-A3B 每 token 只读约 3B 权重，能比 14B 稠密模型快 3 倍。

稠密（dense）模型每一层都要全部参数参与计算。MoE（混合专家）把每层的 FFN 拆成很多个『专家』，路由器每个 token 只挑几个专家算。名字里的 A3B / A22B 就是 Active 激活参数量：Qwen3-30B-A3B 总参数 30B、每 token 激活 3B；Qwen3-235B-A22B 总 235B、激活 22B。

关键差别在算速度时用哪个数：显存占用必须按总参数（所有专家都得在机器里待着），但速度按激活参数（每 token 只搬这些字节）。用总量算速度会把 235B-A22B 估成 0.7 tok/s，而真实值是 20–40 tok/s 量级——错 30 倍。本站速度引擎对 MoE 一律按激活参数折算。

MoE 还有一个独门用法：把专家权重放在内存、把注意力层放在显存。这样 16G 卡能『用上 30B 级模型』，代价是每 token 要跨 PCIe 搬数据，速度大约 25–35 tok/s（本站按内存带宽 55GB/s 的一半效率估）。稠密模型不能这么玩，因为它每个 token 都要读全部权重。

MoE 的弱点：同总参数下它比稠密模型更吃内存（专家多、文件大），而且指令遵循质量有时不如同参数稠密模型。别只盯着『A3B 好快』。

来源：https://gpuvram.cloud/faq/dense-vs-moe/

### 我内存大（64G/128G），是不是就能跑大模型？
能跑，但会很慢。内存带宽只有显存的 1/10 到 1/15，稠密模型 offload 之后普遍掉到 1–5 tok/s。大内存的正确用法是给 MoE 放专家。

显存带宽参考：RTX 4060 Ti 16G 是 288GB/s，5080 是 960GB/s；消费级双通道 DDR5 内存实测有效约 50–60GB/s（本站取 55）。差了 5–19 倍。所以『内存装得下』和『内存跑得动』是两件事。

稠密模型 offload 的直观后果：Llama 3.1 70B 用 IQ3_XXS 权重 26.4G，一张 24G 卡放不下，剩下的放内存，每 token 要从内存搬十几个 GB，实测口径大约 2 tok/s——一句话等 30 秒。这种状态本站标为『能跑但没实用价值』。

反过来说，大内存 + 一张 16G 卡跑 MoE 是很实在的组合：Qwen3-30B-A3B 的 30B 权重放内存、注意力放显存，能到 25–35 tok/s 的日常可用速度。这是 2025 之后本地跑大模型最划算的一条路线，前提是你有 48G 以上内存。

混合模式在 llama.cpp 里靠 --n-cpu-moe（把专家放内存）或 -ot（指定层放 CPU）实现；Ollama 会自动分配但你看不到细节，所以想要这个玩法建议用 llama.cpp 或 LM Studio 的手动模式。

来源：https://gpuvram.cloud/faq/ram-vs-vram/

### 本地跑的小模型，和在线的 GPT / Claude / 通义比差在哪？值不值？
差距主要在长逻辑链、冷门知识、多轮指令遵循；优势在隐私、离线、无限量、可调参、零调用成本。把本地模型当『不会上网的熟练工』最不容易失望。

预期管理很重要：16G 显存能跑的天花板大约是 14B 稠密或 30B 级 MoE，它的水平大致相当于在线服务两三年前的旗舰，而不是今天的旗舰。写代码、总结文档、改语气、翻译、结构化抽取这些『格式活』完全够用；需要引用外部事实、超长推理链、复杂工具编排的活会明显吃亏。

本地独有价值：① 数据不出机器（病历、合同、内部代码）② 断网可用 ③ 没有次数/Token 计费，可以一晚上跑两万条数据 ④ 能改 temperature、能自己塞系统提示词、能换任意开源权重。

本地主要代价：首次下载要几十 GB 流量与硬盘；知识有截止日期且没有联网搜索；同样的任务可能要你多写提示词才稳定；出问题没人帮你，只能查故障排查。

务实建议：把本地模型用于『批量、私密、格式固定』的任务，在线大模型用于『需要判断力和知识』的任务。这个站不评判该用哪一边，只帮你算本地这一边装不装得下。

来源：https://gpuvram.cloud/faq/local-vs-chatgpt/

### 我该配多大的显存？给一条按容量而不是按型号的阶梯
8G 只能玩 4B–8B 且上下文紧；16G 是本地第一台最省事的容量点；24G 能认真用 32B；48G 起才谈得上 70B。别买 8G 新卡。

本站刻意不做导购、不给链接，只给容量阶梯（数字都按 Windows 88% 水位、Q4_K_M、要留 8K 上下文这个前提）：

8G（可用约 7.0G）：4B/8B 的 Q4_K_M 能跑，Q8 装不下；8B Q4 权重 4.8G 加开销只剩约 1.2G 给上下文，约 8K 出头就到顶。中文 4B 是这张卡的甜点位，8B 属于『凑合能用』。二手 8G 卡便宜才买，新卡不划算。

12G（约 10.6G）：8B Q8 有肉（权重 8.5G 但只剩 1.1G ≈ 8K 内），实际甜点位是 8B 的 Q6_K 或 Q5_K_M，或 12B 的 Q4_K_M（权重 9.84G 会挤，12B 建议 Q4_XS 以下）。

16G（约 14.1G）：本站问得最多的一档，也是『第一台』的最佳容量点。8B Q8 剩 4.6G ≈ 33K 上下文（但 Qwen3 原生只到 40K，基本顶格）；14B 的甜点位是 Q6_K 而不是 Q8（Q8 只剩 0.13G ≈ 850 token，4K 必爆）；12B 同理建议 Q6_K；27B/32B 只能 Q3 系列且上下文极紧；MoE 走内存放专家则很舒服。详见 16G 容量表。

24G（约 21.1G）：32B Q4_K_M 权重 19.2G 已经装不进 24G 的水位线，得退到 IQ4_XS（17.0G）或 Q5_K_S 以下；24B 的 Q4/Q5 很舒服。这一档是『认真用 32B』的最低容量。

32G（约 28.2G）：32B Q5_K_M 权重 22.4G 加开销剩约 4.8G ≈ 19K 上下文，是 32B 最舒服的容量点。

48G（约 42.2G）：70B 的 IQ4_XS（36.4G）加开销剩 4.8G，能开约 15K，是 70B 可用的最低起点。70B Q4_K_M（42G）在 48G 卡上装不下（水位后只剩 42.2G 且还要留 KV）。

128G 及以上：属于 70B Q8、235B-A22B 的领域，通常靠多卡或大内存 offload，本站共享主机类目里有相关数据。

最后一条经验：预算有限时，显存 > 带宽 > 算力。同样是 16G，288GB/s 和 960GB/s 的速度差 3 倍，但 8G 和 16G 的差别是『能不能装下』。

来源：https://gpuvram.cloud/faq/gpu-budget-ladder/

### 16G 显存到底能干什么？（最常被问的一档）
能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K，能勉强跑 27B–36B 的 Q3 但上下文几乎没有，用 MoE 放内存可以跑 30B 级还很流畅。

这是本站第一张容量推算表，直接给结论（Windows 88% 水位，可用约 14.1G，扣 1G 框架开销）：8B Q8_0 权重 8.5G，剩 4.6G，可开约 33K token，是 16G 上质量与上下文兼得的最佳组合；14B Q6_K 权重 11.48G，剩 1.6G ≈ 10.7K；14B Q8_0 权重 14.88G，只剩 0.13G ≈ 850 token —— 所以『14B 原则上跑 Q8』在 16G 上不成立，甜点位是 Q6_K。

12B（Gemma 3 12B）Q8_0 权重 12.75G，剩 0.33G ≈ 2.4K，同样出局；Q6_K 权重 9.84G 剩 3.3G，得益于它 48 层里只有 8 层要全量 KV，可开上下文比 14B 还多。

27B/32B/36B 这一档在 16G 上是『理论可跑、实际别跑』：27B Q4_K_M 权重 16.2G 直接超过整卡容量；IQ3_M 权重 11.6G 剩 1.5G ≈ 6K；32B IQ3_XXS 权重 12.1G 剩 1.0G ≈ 3.6K；36B IQ3_XXS 权重 13.6G 加开销已经顶到水位线，装不下。

16G 上真正的隐藏冠军是 MoE：gpt-oss-20B（21B 总/3.6B 激活，KV 4K 只要 0.097G）MXFP4 权重约 11.3G，剩 1.8G 且几乎不涨，速度快；Qwen3-30B-A3B 权重 13–18G，整卡塞不下就走内存放专家，25–35 tok/s 很流畅。

完整表格、每档 KV 精度切换、8K/16K 两列都在 16G 容量推算表里。

来源：https://gpuvram.cloud/faq/vram-16g-can-do/

### 『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对？
方向对，但要按显存档位落地。4B–9B 跑 Q8 确实合适；12B–14B 在 16G 上 Q8 会把上下文挤光，Q6_K 才是甜点；27B+ 在 16G 上 Q4 根本塞不进去。

这条经验法则的本质是『量化档应该由剩余显存决定，不是由模型大小决定』。同一个 14B，在 24G 卡上跑 Q8 很舒服，在 16G 卡上就只能 Q6_K，在 8G 卡上只能 Q3。所以把规则写成『14B 原则上跑 Q8』会在 16G 用户身上失效。

带数字的落地版：Q8_0 权重 = 参数量 × 1.0625。8B→8.5G、12B→12.75G、14B→14.88G。16G 卡水位后可用 14.1G，再扣 1G 框架开销，剩 13.1G 给『权重 + KV』。所以 14B 跑 Q8 需要 14.88G > 13.1G，权重本身就超了；12B 跑 Q8 剩 0.33G 给 KV，约 2.4K token，日常聊天两三轮就顶满。

『27B/32B 属于 Q4 或 Q3』也要修正：27B Q4_K_M 权重 16.2G、32B Q4_K_M 权重 19.2G，在 16G 卡上连权重都放不下，谈不上 Q4。这一档在 16G 上只有 Q3 系列，而且上下文余量 3–6K，属于演示性质。真要跑 27B+，24G 起。

『再大 16G 肯定跑不进去』这句要加一个例外：MoE。gpt-oss-20B、Qwen3-30B-A3B 这类总参数 20–30B 的 MoE 在 16G 上不但能进，还比 14B 稠密模型快。判断能不能进 16G 的正确依据是『权重大小』和『每 token 读取量』这两个独立的数，不是参数量。

来源：https://gpuvram.cloud/faq/quant-vs-size-rule/

### Mac（M 系列统一内存）能不能跑本地大模型？
能，靠统一内存装得下很大的模型，但带宽只有同级独显的 1/3 到 1/2，所以『能跑很大但很慢』。买 Mac 跑大模型要按带宽而不是内存大小做决定。

Apple 的统一内存让 CPU 和 GPU 共享同一条内存池，带宽对整块芯片是固定的。这意味着 64G 的 Mac 能装下 70B 的 Q4，但读权重的带宽决定了速度上限，通常同价位独显方案的 1/3 到 1/2。

本站的估算引擎按『显存带宽』建模，Mac 的映射口径和独显不同（还需要在系统设置里调 GPU 可用内存上限），所以本站不给 Mac 的容量表结论，只提示两点：① 统一内存不等于显存，速度上限是带宽给的 ② MLX 生态比 GGUF 快，同一台 Mac 上换框架能差 30–50%。

Mac 适合的场景：写作为主的长上下文（Prompt caching 复用 KV，长对话首 token 快）、离线便携、不想折腾驱动。不适合：追求 tok/s、批量跑数据、跑需要 CUDA 的周边工具链。

来源：https://gpuvram.cloud/faq/mac-unified-memory/

### 站里那些『魔改卡』『共享主机』是什么？能买吗？
魔改卡是把显存/BIOS 改大的非官方卡（如 3070 改 16G、4060Ti 改 20G），风险在驱动与稳定性；共享主机是别人机房里的卡按时租。本站把它们单列，就是不混进官方型号里。

本站显卡库的品牌字段有六个：英伟达、AMD、英特尔、国产、魔改、共享主机。前四类是官方在售/官方规格；『魔改』指显存颗粒被换成更大容量或功耗墙被动过的卡，规格标的是改后容量，官方驱动更新可能失效，显存长期高温也更容易出 ECC 类问题。

之所以单列而不是合并，是因为估算口径会不一样：同一颗 3070 核心，官方 8G 版带宽 448GB/s，改 16G 后带宽不变但能装下更大的模型，速度估算一样、可用模型完全不一样。混在一起会让数据失去意义。

共享主机类目记录的是按时租用的机房卡（本站口径按本地机器处理，因为它实际提供的就是一张卡 + 一块盘）。它的价值是『让你花几小时验证 48G/128G 才划算的模型是不是真值得升级』。

本站不做导购，不给任何购买链接和店铺，也不判断某张具体卡值不值。要不要承担魔改风险，请自己权衡；我们只保证把这类卡和官方卡分开标注、不假装它们是同一种东西。

来源：https://gpuvram.cloud/faq/mining-modded-cards/

### 从 0 到跑通第一个模型，具体要走几步？
五步：确认驱动 → 装一个框架 → 下载一个 GGUF → 用命令行起服务 → 打开网页界面聊天。卡住的位置 90% 在第二、三步。

第一步，确认显卡驱动够新。Windows 看 NVIDIA 控制面板的版本，或直接命令行 nvidia-smi（能看到卡名和显存总量就说明驱动装了）。llama.cpp 的 CUDA/ROCm/Vulkan 后端各有版本要求，报错 unrecognized error code 基本都是这里。

第二步，选一个框架。怕麻烦用 LM Studio（图形界面，一键下载）；想看懂原理、想精确控制显存用 llama.cpp（下载预编译压缩包，解压即用，但命令行参数要自己写）；想被生态带着走用 Ollama（一条命令拉模型，但它会替你决定量化档和放不放显存）。

第三步，下载模型文件。新手建议从 Qwen3-4B 或 Qwen3-8B 的 Q4_K_M 开始（约 2.5G / 4.8G），选 GGUF 格式。下载前先确认硬盘剩余空间和你的网络流量预算。

第四步，起服务。llama.cpp 的图形用法是 llama-server，关键两个参数是 -c（上下文长度）和 -ngl 99（把所有层放显存）。LM Studio 里对应 Chat Context Length 和 GPU Offload 滑块。

第五步，打开 http://localhost:8080（llama.cpp 自带网页界面）或者用任意聊天客户端接上 API 地址。到这里就算跑通了。

跑不通的常见原因集中在本站故障排查的『起不来』和『装不下』两个分类里，报错原文可以直接搜索。

来源：https://gpuvram.cloud/faq/first-run-5-steps/

### 模型文件去哪下载？GGUF、safetensors、MLX 有什么区别？
本地跑选 GGUF（llama.cpp/Ollama/LM Studio 通用）；训练/微调选 safetensors；Mac 选 MLX。国内网络不畅用镜像站，但一定要核对文件大小和哈希。

格式和框架是绑定的：GGUF 是为 CPU/GPU 混合推理设计的单文件格式，量化档就写在文件名里（比如 xxx-Q4_K_M.gguf），是本地跑唯一需要的格式。safetensors 是分片的原始精度权重，动辄上百 GB，要自己转量化。MLX 是 Apple 的格式。

常见下载位置：Hugging Face（官方模型仓库 + 大量第三方量化版）、ModelScope 魔搭（国内访问快）、以及量化作者的个人仓库。同一个模型会有很多人做的不同量化版本，选哪个不是玄学：优先选量化说明里附了困惑度（perplexity）对比的那份。

务必核对两件事：① 文件大小是否和页面标的一致（下载被截断是『加载时报错』和『输出乱码』的常见原因）② 有条件就校验 SHA256。别从二手网盘链接拿权重，改名和篡改都发现不了。

国内镜像能提速，但要注意镜像仓库的版本可能滞后，尤其是刚更新的模型；本站数据里的架构常数全部取自 config.json，如果你下的镜像里 config 和官方不一致，模型的 KV 常数就得重新核。

来源：https://gpuvram.cloud/faq/where-to-download/

### llama.cpp、Ollama、LM Studio、vLLM 我该用哪个？
想控制显存和参数用 llama.cpp；想一条命令搞定用 Ollama；想要图形界面用 LM Studio；想要高并发服务很多人用 vLLM。新手第一站推荐 LM Studio。

llama.cpp：C++ 写的推理引擎，几乎所有本地格式的底层。优点是参数完全可控（-ngl 决定放几层到显存、-ctk 决定 KV 量化、--n-cpu-moe 决定专家放内存），速度上限最高。缺点是命令行，报错信息要自己读。本站的速度估算模型就是按它的行为建的。

Ollama：包了一层 llama.cpp，加模型仓库和 API，一条 ollama run qwen3:8b 就能跑。代价是它替你选量化档、替你分配显存，出问题不容易看清。想省心和想精细是互斥的。

LM Studio：图形界面，能下载、能调滑块、能起本地服务、自带聊天窗口。适合第一次跑的人，也适合不想记参数的人。精细度低于 llama.cpp 但高于 Ollama。

vLLM：面向高并发服务，把显存全吃满做批处理，个人单轮对话不是它的场景。你只有一个人问问题时，vLLM 反而可能比 llama.cpp 慢。

本站模型页给出的命令都以 llama.cpp / Ollama / vLLM 三种为主，其中 vLLM 直接吃 Hugging Face 仓库名（数据里的 hf_repo 字段是核实过的），Ollama 标签是本站按库内命名习惯整理的，实际以 ollama pull 结果为准。

来源：https://gpuvram.cloud/faq/which-framework/

### 要占多少硬盘？要不要 SSD？
模型文件本身 2–40GB 一个，装三五个就上百 GB；建议至少留 200GB 空闲并且必须是 SSD，机械盘会让加载从几秒变成几分钟。

单个 GGUF 的大小约等于权重占用（本站容量表里的『权重』列）：8B Q4_K_M 约 4.8G，14B Q6_K 约 11.5G，32B Q4_K_M 约 19.2G，70B IQ3_XXS 约 26.4G。加上下载缓存和留档对比的版本，实际占用要乘 2。

SSD 的意义在加载速度：模型启动时要从盘读全部权重进内存/显存，SATA SSD 约 0.5GB/s、NVMe 约 3–7GB/s，机械盘约 0.15GB/s。26G 的 70B 模型在 NVMe 上十几秒加载完，在机械盘上要近三分钟。跑起来之后磁盘就不参与了，所以机械盘影响的是启动而不是 tok/s。

如果内存放专家（MoE 大内存玩法），磁盘影响会更明显：系统内存吃紧时会开始用页面文件，那就是在磁盘上模拟内存，速度会崩。所以大内存玩法请配合快速磁盘和真实的足够内存。

顺带一个坑：Windows 上路径带中文或空格会让某些预编译二进制直接闪退，建议把模型统一放在纯英文路径下。

来源：https://gpuvram.cloud/faq/disk-space-need/

### Windows 还是 Linux？差别有多大？
同样硬件下 Linux 大约能多用 10% 显存（没有桌面合成器吃那块），驱动/权限要额外折腾。新手建议先 Windows 跑通，再决定值不值得换。

本站容量表默认按 Windows 口径：16G 可用约 14.1G（88%）。原因是 WDDM 显示模型下，桌面合成器和浏览器会长期占住 0.5–1.5GB 显存，模型拿不到。Linux 桌面大约占 5–10%，无头（不接显示器）能到 95%。

这 10% 的差别在临界点上会翻盘：14B Q6_K 在 Windows 16G 上剩 1.6G ≈ 10.7K 上下文，在 Linux 上剩 2.8G ≈ 19K。所以同一张卡、同样量化，两个系统的『能开多大上下文』结论不同。切换页面顶部的系统口径就能看到重算结果。

Linux 的额外好处：显存占用能用 nvidia-smi 看得很清楚、容器化方便、没有自动更新重启打断长任务。代价：驱动安装、权限组、ROCm 的坑、以及和 Windows 软件生态的兼容成本。

别忽略第三种：Windows + WSL2。显存 overhead 和原生 Windows 接近（不会帮你找回那 10%），但命令行体验接近 Linux，适合『想在 Windows 上用 Linux 工具链』的人。

来源：https://gpuvram.cloud/faq/windows-vs-linux/

### 主要用中文，该选哪个模型？
中文优先看 Qwen3 系列和 GLM-4-9B；要看图用 Gemma 3；只要英文推理用 Phi-4。词表对中文友好程度会直接影响同样上下文能装多少汉字。

中文能力与参数量无关地与词表、训练语料相关。Qwen3 全系列中文都强，GLM-4-9B 的中文和工具调用在小尺寸里口碑很好，且它只有 2 个 KV 头，4K 上下文只要 0.16G——同样 12G 显存，它能开的上下文比 Qwen3-14B 多出一大截。

Gemma 3 中文一般但多模态和长上下文架构很聪明（滑窗让 32K 只花 2.3G），如果任务是『看长文档 + 英文为主』很合适。Phi-4 推理与数学强，但只有 16K 原生上下文且中文较弱，做中文任务容易翻车。

选完模型还要选量化档：中文任务对低比特量化更敏感（同量化下中文质量下降通常比英文明显），所以如果你必须在 Q4 和 Q3 之间为质量挣扎，优先加显存或选更小参数的模型，而不是压到 Q3 以下。

本站模型清单里每个模型的 KV 常数都取自官方 config.json 并附了链接，参数量取官方命名口径（例如 Mistral Small 3.1 24B 的文本塔实际约 22B，本站按 22B 估算，因为这样算出来的 Q4 权重和真实 GGUF 文件才对得上）。

来源：https://gpuvram.cloud/faq/which-model-chinese/

### 不花钱让本地模型变快的 5 个开关
① -ngl 拉满 ② 限制上下文 ③ KV 量化 ④ 开 flash attention ⑤ 关掉没用的多模态塔。前两个通常就够。

第一优先：确认所有层都在显存。llama.cpp 的 -ngl 99 是全放；如果它自动少放了几层（比如显存临界），每 token 就有几层要从内存搬，速度可能腰斩。判断方法是看启动日志的 offload 行数，以及 nvidia-smi 的显存占用是不是接近你给的预算。

第二：上下文不要虚高。-c 决定 KV 预留多少空间，设成 32K 而实际只用 2K 不会让模型变慢，但会让显存吃紧从而逼出 offload。按实际需求设（聊天 8K 通常够，读文档再加）。

第三：KV 量化。-ctk q8_0 -ctv q8_0 把 KV 减半，质量损失几乎听不出来；长上下文场景可以上 q4_0 再省一半。这直接换回 offload 空间或更长上下文，本站容量表有 KV 精度切换控件可以预览效果。

第四：flash attention（llama.cpp 的 -fa，Ollama 里是 FUSE 相关设置）。上下文越长收益越大，长文档场景能提 10–30%。

第五：用纯文本量化版而不是带视觉塔的完整版。多模态模型的视觉塔在纯文本任务里白占几个 GB 显存和一份带宽。

最后一个非开关的认知：如果你用的是 MoE，速度不该按总参数量预估（本站引擎已经按激活参数算了）。很多人以为『30B 就该像 30B 一样慢』，然后把自己的正常速度当成故障来排查。

来源：https://gpuvram.cloud/faq/free-speed-switches/

### 文档比显存允许的上下文还长怎么办？
三条路：换滑窗架构模型、把 KV 量化到 q4、或者分块检索只把相关段落塞进去。别指望把 -c 调到 128K 就解决了。

先看显存账。以 16G 卡（可用约 14.1G）跑 14B Q6_K（权重 11.48G）为例，剩 1.6G，能开约 10.7K token；同一张卡跑 GLM-4-9B Q8（权重 9.56G）剩 3.5G，因为只有 2 个 KV 头，能开超过 22K。想读更长的文档，先考虑换 KV 便宜的模型，这比换卡便宜。

第二个杠杆是 KV 量化。把 -ctk/-ctv 设 q4_0，KV 直接变 1/4，上面 14B Q6_K 的 1.6G 余量等效变成 6.4G 可用，能开的上下文翻 4 倍。代价是长程细节召回会有损失，重要场景请自己 A/B 测一下。

第三个杠杆是别把全文塞进去。分块检索（先按关键词/小模型筛出相关几段，只把这几段放进上下文）是工程做法，它把『上下文长度』问题变成了『检索质量』问题。多数读文档的需求，8K 精准上下文比 64K 全文效果好。

注意模型原生上限这一硬约束：Phi-4 只有 16K，GLM-4-9B 只有 32K，Qwen3 系列是 40K。显存够也不能超过它；想开超过原生上限需要额外的 rope 缩放设置，属于超纲使用，本站不给这类结论。

来源：https://gpuvram.cloud/faq/long-doc-beyond-context/

### 为什么有的模型开长上下文特别便宜？
因为层数、KV 头数、每头维度这三个数决定 KV，和参数量不成比例。滑窗架构更把大部分层的 KV 锁死在固定窗口里。

本站核实过的四个极端对照（每 4K 上下文的 KV，FP16）：gpt-oss-20B 0.10G、GLM-4-9B 0.16G、Gemma 3 12B 0.56G、Qwen3-14B 0.63G、Phi-4 0.78G、Qwen3-32B 1.00G。注意 GLM-4-9B 参数量比 Gemma 3 4B 大，KV 却更省；而 Qwen3-4B 参数量只有 32B 的 1/8，KV 是它的 56%。

差别来自结构：KV = 2 × 层数 × KV头数 × 头维 × 精度字节 × token 数。GPT 系列的 gpt-oss 只有 24 层、8 头、头维 64，还有一半层用 128 token 滑窗，所以三个因子全都小。GLM-4-9B 40 层但只有 2 个 KV 头（MQA 风格），所以极省。

滑窗混合是另一种省法：Gemma 3 12B 有 48 层，但只有 8 层需要全量 KV，另外 40 层的 KV 永远锁在 1024 token。所以它的 KV 增长斜率只有同级稠密模型的 1/6，32K 上下文时是 2.35G，而按参数量线性猜会得到 4.5G。

实用结论：同一个显存预算下想开更长上下文，优先选『层数少、KV 头少、带滑窗』的模型，而不是无脑选参数量小的。参数量决定权重，结构决定 KV，两件事互相独立。

来源：https://gpuvram.cloud/faq/context-kv-cheap/

### 站里的『实测』『推算』『声称』分别是什么意思？
实测=有来源链接且我们核过；推算=本站公式算出来的，误差可到 ±20%；声称=厂商或提交者自说自话。三类的可信度完全不同，看数字前先看标签。

这是本站最重要的一条约定，也是它和数据堆砌型站点唯一的区别。三级口径定义：① 实测（带可点开的外部链接、有人核对过内容与你的硬件一致）② 推算（本站由显存带宽/参数量/KV 公式导出，页面上会写明是估算）③ 声称（厂商宣传、用户自述、未经核实的转载）。

推算的已知误差范围：权重误差主要来自量化块的附加开销，约 ±5%；速度误差更大，因为真实运行还受 CPU、内存时序、驱动、框架版本影响，本站对单流速度还额外设了经验上限，综合看 ±20% 是乐观值，offload 场景可能偏差更多。

本站目前的实测数据量是 14 条，都在排行榜 /rank/ 里那一块：11 条是「本站实测」——本机跑出来的，每条带日志路径可以逐格核对，卡只有 1 张（NVIDIA Tesla V100 32G（数据卡））；3 条是「站长口报」——站长当面给的真机数，无日志无外链，标 claimed 档、未本站复现。另有第三方他测 102 条、官方跑分 99 条（官方分数不是本地速度，另算）；另有 42 条本站自跑的条目以 benchmarks 档留在 V100 卡页的「他测汇总」表里（同样带日志路径，徽章是「本站实测」），不并进上面这 14 条。覆盖仍然很窄：只有 2 张卡有本站自己的数（NVIDIA Tesla V100 32G（数据卡）、NVIDIA RTX 5060 Ti 16G），其余所有卡的速度数字仍然属于『推算』。我们宁可把这一点写明白，也不想用一堆看起来很专业但没有来源的数字撑场面。

架构常数这一层是核实过的：66 个收录模型里有 54 个已按对应 Hugging Face 仓库的 config.json 建了架构常数（层数/KV 头数/头维/滑窗/原生上下文上限），数据文件里每条都带仓库名和抓取日期，你可以自己点开对。剩下 12 个是 MLA 多潜注意力、压缩稀疏注意力这类套不进「层数×KV头×头维」六字段的架构，本站不硬填（硬填就是编数字），KV 走保守兜底并在摘要里写明依据。参数量取官方命名口径，不完全等于文件实际参数量。

来源：https://gpuvram.cloud/faq/three-calibers/

### 为什么你的数字和别人测的不一样？
四个常见原因：系统水位不同、KV 精度不同、有没有留够上下文、以及 MoE 按总量还是按激活量算。本站把前三个都做成了可切换控件。

第一个最常碰到的：可用显存口径。按整卡 16G 算，和按 Windows 88%（14.1G）算，『14B 能开多大上下文』的结论会从约 21K 变成约 10.7K，差一倍。本站默认按 88%，因为这是 Windows 桌面的真实情况，但页面上可以切到满容量对比。

第二个：KV 精度。默认按 FP16 算，如果你实际用了 -ctk q8_0，同一份权重能开的上下文接近翻倍；用 q4_0 翻四倍。本站容量表顶部有 KV 精度切换，切一下所有结论重算。

第三个：算的是权重还是权重加上下文。很多『我这卡能跑 32B』的说法只验证了权重装得下，没说还能开多少上下文——19.2G 的 32B Q4 塞进 24G 卡之后只剩约 1G，4K 都勉强。本站容量表把『8K』『16K』分成两列单独判定，就是为了不让这种含糊混过去。

第四个：MoE 的速度基准。按 30B 总量算 Qwen3-30B-A3B 会得到个位数的 tok/s，按 3B 激活算会得到上限被钳住的几十。两种算法都『没错』，但描述的完全不是一件事。本站一律按激活参数，并标明是否把专家放内存。

如果你发现本站某个数字和公认数据差距很大，那不是『你测错了』，很可能是本站口径写错了或者常数取错了。这种情况请在反馈里告诉我们是哪一页哪一行，我们改，并保留修订记录。

来源：https://gpuvram.cloud/faq/why-numbers-differ/

### 我能怎么帮这个站补数据？
最有效的一件事：把你的一次真实运行结果按固定格式发过来（显卡、模型、量化、上下文、框架、tok/s、出处链接）。一条顶十条。

本站现在缺的不是想法而是实测样本。排行榜已有 14 条（11 条本站自测带日志 + 3 条站长口报），但只落在 2 张卡上（NVIDIA Tesla V100 32G（数据卡）、NVIDIA RTX 5060 Ti 16G），66 个模型里也只有一小部分有速度实测；容量表绝大部分还是公式推出来的。任何一条真实数据都能立刻校准一个速度区间，价值远高于新增一个模型条目。

一条有用的记录需要七个字段：显卡完整型号（含显存容量，魔改卡请注明）、模型与量化档、实际上下文长度、框架和版本、实测 tok/s（建议跑 3 次取中位而不是最好看的一次）、是否全部在显存里（以及 offload 了几层）、以及来源链接（帖子/截图/仓库 issue 都算）。缺来源链接的只能标成『声称』级，可信度会自动降一档。

提交入口在排行榜页的『上传实测』。本站是纯静态站点，没有服务器接收表单，所以目前的流程是：填完表单复制结构化内容，通过页面上写的联系方式发给站长，由站长核对来源链接后入库。这个流程笨，但保证了每条数据都有人核对。

另一个更省事的贡献方式：把你看到的带数字的外部测试贴链接发给我们，我们按引用类条目整理进故障排查与排行榜，并保留原链接和作者信息。本站不搬运他人文章全文，只引用事实与数据。

来源：https://gpuvram.cloud/faq/how-to-help/

### 开了投机解码能快多少？为什么别人 40 tok/s，我只有 18？
投机解码不是稳赚：小模型先猜几个 token，大模型一次性验证，猜中才快。提升完全取决于接受率，常见是一到三成，接受率低时反而更慢——别把别人的倍数当成你的。

正常解码是一个 token 一个 token 往外吐，每吐一个就要把全部权重读一遍，所以瓶颈在带宽而不是算力。投机解码的思路是：拿一个小草稿模型连着猜后面几个 token，再让大模型一次并行把这批都验一遍。验对了就等于一次读权重出了好几个字，自然就快。

关键变量是接受率（draft acceptance rate）：草稿猜的 token 里有多少被大模型采纳。代码、模板化改写、固定套路的翻译，重复度高，接受率能到六七成，快三成很常见；开放创作、多语言混杂、推理链长且发散的文本，接受率可能只有两三成，这时大模型要不断推翻重猜，不仅不涨还可能变慢。所以『我开了投机快一倍』这句话，如果没报接受率和任务类型，等于没说。

成本也别忘了：草稿模型自己要占显存和内存带宽，两个模型之间还要来回传数据。小显存卡上，这一份开销可能就是压垮 8K 上下文的最后一根稻草；多轮长对话里 KV 已经很大，验证批次的成本也会抬高。

本站的容量表和单卡专辑里的速度一律是『未开投机』的单流口径，这样才能横向比较。你手上如果真有同一张卡、同一模型、开与不开各跑几次的数字，那就是本站最缺的东西：按排行榜页那个带七个字段的格式发过来，我们把它标成实测并且注明接受率。

来源：https://gpuvram.cloud/faq/speculative-decoding/

### 评测里的 tok/s 是单流还是并发？为什么同一张 4090 有人报 30、有人报 400？
单流是你一个人对话时每秒出几个字；并发是同时服务很多人时每秒总共出几个字。后者能高一个数量级，两种数字放在一起比一定是误导。

单流（一个请求、batch=1）是个人本地使用的真实体感，它几乎只由『带宽 ÷ 每 token 要读的字节』决定，因为每出一个字都得把权重完整扫一遍，中间大量时间在等内存而不是等计算。

并发（batch=N）是把 N 个人的请求搭成一批同时算。权重读一次可以服务整批人，所以总吞吐能接近线性地往上叠——一张报 30 tok/s 单流的卡，开 32 路并发报到 400 tok/s 总吞吐完全正常。但每一路分到手只有 12 tok/s，体感反而更慢：单个人看到的第一个字要等更久，出字也更卡。

这就是网上速度数字最容易混的地方。评测视频和厂商页很少标明自己是哪一种，有些还会在标题写『每秒 400 token』而实际是服务多人的总吞吐。看到 tok/s 先反问三件事：几个人在用、一次报的是总吞吐还是你的体感、报没报首 token 延迟（prefill）。

本站容量表与单卡专辑里的数字全部是单流口径，他测汇总表永远把单流与并发分开列（并强制标注批大小），就是因为把并发吞吐写进单流榜里，得出的排名一定是假的。

来源：https://gpuvram.cloud/faq/single-vs-batch/

### 都是 27B 的 Qwen3.8-27B、Terminal-RSI、AREX-2，我该下哪个？
三个是同一个底座的不同微调，显存档位完全一样，差别只在训练方向：要通用对话选底座 Qwen3.8-27B，要终端 Agent / 递归自改进选 Terminal-RSI，要深度研究 / 工具调用选 AREX-2。

先说清一个前提：这三个不是三个平行的模型，是同一个底座的不同微调。站内 Qwen3.8-27B（2026-09）是底座，Terminal-RSI-27B（2026-10-21 建库，HF 标签 terminal-agent / reinforcement-learning / 递归自改进）和 AREX-2（2026-09-29 建库，HF 标签显式写了 base_model:finetune:Qwen/Qwen3.8-27B）都是在它上面训出来的。『同底座』这个判断是本站按官方 config.json 的常数完全一致（64 层 / 16 层全注意力 / 4 KV 头 / head_dim 256 / 262144 上下文）加上 HF 的 base_model 标签推出来的——是强推断、不是 100% 官方背书，所以三条模型页的 summary 里都如实写了。

因为底座一样，显存的账完全一样，这也是选它俩最容易误会的地方：Q4 权重都约 16G，KV 每 4K 都 0.25G（48 层线性注意力不存 KV），原生上下文都 262K，24G 卡装 Q4 之后能开几十 K。所以『选哪个』从来不是显存问题，是任务问题——显存上它俩和底座一模一样，没有谁更省。

按任务分：要一个什么都能聊、中文强、最稳的通用底座，下 Qwen3.8-27B；要写终端脚本、做递归自改进类的 Agent，下 Terminal-RSI-27B（HF 定位就是 terminal-agent + 强化学习）；要做深度研究、大量工具调用，下 AREX-2（HF 定位是 deep-research / Agent）。三个都带视觉塔（多模态），用 llama.cpp 跑要另外配 mmproj 视觉文件。

一句诚实话：这三条站内目前都没有本站或他测的本地速度，速度一律按容量表推算 ±30%，别把任何一条的『快』当实测。到底哪个在你的任务上更快，要等本站跑分或社区的同一硬件对比日志才能定，现在谁都说不了。

来源：https://gpuvram.cloud/faq/which-27b-variant/

### 站里说『显存不够硬盘来凑』，那个 n-gram 表 / Engram 表到底是什么？能真省显存吗？
那是模型里一整块哈希查表（n-gram / Engram 记忆），不是普通权重——查表不是矩阵乘法，可以整块卸到内存甚至 SSD，显存只装骨干。代价是查表走 PCIe 比显存慢，能跑但更慢，本站没测这套的速度。

先把两种 offload 分清，别混。站内讲的第一种是 MoE 专家 offload（见『内存大能不能跑大模型』那条）：把不用的专家放内存，llama.cpp 里靠 --n-cpu-moe。本文讲的是另一种——模型里有一整块『哈希查表』（n-gram 记忆 / Engram 记忆），它查的是 n-gram 片段对应的一行参数，是查表不是矩阵乘法，所以可以整块卸到内存甚至 SSD，显存只留骨干。这是 2026 这一代新模型（Flash-Next、DeepSeek-V4.1-Flash）能比上代更省显存的关键。

站内有两条带这种表，数字都是从官方 config.json 核到的、不是估的：Qwen3.8-Flash-Next 带 51B 的 n-gram PLE 表（config：20M 词 × 2560 维 = 51.2B，恰好对上官方说的『125B 骨干 + 51B 表』）；DeepSeek-V4.1-Flash 带 196.6B 的 Engram 表（config：2 张 384M × 256 维，恰好对上官方『552B 骨干 + 196.6B Engram』）。表是单独一块，和骨干分开装。

怎么省、代价是什么：Flash-Next 的 125B 骨干 Q4 还要约 75G，得是多卡；但那 51B 的表整块卸到内存/SSD 之后，显存压力降一大截——社区有 IQ2_XS 整包压到 68G、一张 3060 12G 配 16G 内存跑通 decode 22 tok/s 的记录（单源、本站未复现）。DeepSeek 那 196B Engram 同理可以 host offload，官方 vLLM recipe 就是 CPU 卸 Engram + routed experts 来跑，但它的 552B 骨干本身单卡装不下，是多机/共享主机门槛，不是一张卡的事。

『显存不够硬盘来凑』准确的意思是：把不必须常驻显存的那块表卸出去，能装下；但查表每一步都要走 PCIe/内存，比全在显存里慢——它是『装得下』的解，不是『跑得快』的解。本站目前没有这套 offload 的实测 tok/s，上面所有速度数字都是社区或官方自述口径，别当本站实测。

来源：https://gpuvram.cloud/faq/offload-table-to-disk/

### 站里的数据多久更新一次？价格是什么时候的？
价格是带日期的快照不是现价；架构常数随官方 config 核过就算准。页面上每个数都能点到出处和日期。

先说最容易被误读的一条：站里的价格是**快照**，不是今天的价。站内价格表现在有 74 条快照，每条都带来源、发布日期和抓取日期，页面上以「全新/二手 + 快照日期」并排显示——同一天不同口径（挂牌价、成交价、在售中位价）会并列存在，本站不合并、不取中位数、不预测。

价格波动有多大，看同一张卡的几条快照就明白：RTX 3090 二手 2026-09-15 是 4200–4800 元（广东水神），2026-11-03 记「5300 起」，2026-11-12 的闲鱼在售中位价又是 9288 元（报价区 8488–10000）——三个口径差着近一倍，本站并列不合并。RTX 4090 二手 2026-03-14 还是 9000–10000，2026-11-10 已经记到 21694。所以「某卡现在值多少钱」这种问题，本站只能给带日期的快照，给不了现价。

架构常数是另一类时效：66 个收录模型里有 54 个已按官方 config.json 核过层数 / KV 头数 / 头维 / 滑窗 / 原生上下文上限，数据文件里每条都带仓库名和抓取日期（2026-11-02 到 2026-11-12 不等）。只有官方改架构才会失效，所以它比价格稳定得多。

实测数据只增不改：本站自测 11 条（每条带本机日志路径，可逐格核对）、他测 102 条、官方跑分 99 条（2026-11-07 的榜面快照，数值照抄、不复现）。价格类标快照日期，官方跑分标榜面日期，架构常数标抓取日期——三种日期含义不同，别混着用。

想自己核：每条数据都带链接或日志路径，点开就能对。发现哪条过期或错了，告诉本站是哪页哪一行，改了会留修订记录。

来源：https://gpuvram.cloud/faq/data-freshness/

### 站里的数据可信度怎么分级？我该信哪一档？
编辑口径分三级：A 多源交叉一致或本站复测、B 多源方向一致、C 单一来源待复核。页面上每个数字旁边的徽章就是这一档。

编辑口径三级：A 级 = 多源交叉一致，或本站复测验证过；B 级 = 多源方向一致但数值有差异；C 级 = 只有一个来源，必须标「单源，待复核」。两条来源打架时并列保留、注明各自出处，本站不取平均强行统一。

读者在页面上看到的标签是同一件事的另一套叫法：排行榜里「本站实测」= 本机跑出来的、有日志路径可逐格核对；「站长口报」= 站长当面给的真机数，无日志无外链，标 claimed 档、未本站复现；卡页他测表里五种徽章——本站实测 / 本站已复现 / 他测·本站未复现 / 口径不全·不进对比 / 无链接·不进对比——缺口径的行只展示，不进对比、不进中位数。

举个具体的例子：NVIDIA Tesla V100 32G（数据卡） 是全站唯一有本站自测的卡——11 条自测记录（全部落在这张卡上）加 42 条带日志的上下文扫描条目；同卡的他测数字只作参考。而卡规格本身（显存 / 带宽）以官方规格页为准，规格与档位来自本站调研汇总，卡页标的是「C 级单源，待复核」。

怎么用：先看标签再看数字；没有标签的推算速度（±20%）只当区间；单源数字（C 级）当线索不当结论；「本站实测」那几行带日志路径，可以要求逐格核对。

为什么不把这些揉成一个总评分：把不同口径的数字揉成一个分数，等于把来源问题藏起来。本站宁可给你一堆带标签的数，也不给一个看起来权威的排名。

来源：https://gpuvram.cloud/faq/abc-grade/

### 官方跑分（比如 AA 指数）为什么不等于本地速度？
两码事：官方跑分测的是模型在 API 上的智力水平，本站实测测的是你这张卡每秒吐多少 token。别拿分数换算速度。

站内有三类容易混的数字：① 官方跑分 99 条（Artificial Analysis Intelligence Index 等，2026-11-07 的榜面快照，数值照抄、未复现）；② 他测 102 条（别人真机跑的 tok/s，带卡 / 量化 / 上下文 / 框架 / 单流或并发）；③ 本站自测 11 条（本机跑、带日志）。前两类都不是「你在这张卡上」的速度。

官方跑分回答的是「这个模型答得好不好」，本地 tok/s 回答的是「这张卡每秒能吐几个字」。中间的桥梁只有参数量、量化、显存与带宽——官方跑分里没有一张卡、没有一个 tok/s，所以换算不了。

举个容易误解的例子：Inkling 2 Small 在 AA 指数上是 31 分（2026-11-07 榜面），那是 API 口径；站内 Inkling Small 的 AA 指数是 13 分。这两个分数都不能换算成「你 24G 卡能跑多少 tok/s」——跑得快慢取决于 KV 与带宽，跟智力分数不是一回事。

想知道「这个模型在我这张卡上多快」，只有两条路：查本站的实测表（他测 + 本站实测），或者用本站公式推算（页面标「推算」，误差 ±20%）。官方分数高不代表它省显存，也不代表它跑得快——有的高分工单跑时每 token 要读很多 KV。

也要小心反向误读：官方跑分是榜面快照，会过期；版本口径有疑问时本站两条并存并注明出处——比如 Inkling 2 官方博客写的是 256K + compaction，官方跑分榜写的是 1M，本站不替官方选一个。

来源：https://gpuvram.cloud/faq/official-eval-vs-local-speed/

### AMD 的 RX 卡能跑本地大模型吗？比 N 卡差在哪？
能跑，但生态窄一截：量化格式与框架支持比 CUDA 少，AMD 走 ROCm，部分 vLLM 路径与新量化直接没有。显存优先选 AMD，生态优先选 N 卡。

结论先行：AMD 卡在本站库里有 54 张，显存档从 4G 到 48G 都有，本地跑模型完全可用。真正的短板不是速度而是生态——CUDA 独占的东西（NVFP4 / MXFP4 硬件量化、FlashAttention-3、vLLM 多数量化路径与新模型适配）AMD 上没有，ROCm 的覆盖要慢一拍。

站内他测里的 AMD 实测目前 3 条：AMD RX 7900 XTX 24G 跑 Qwen3-30B-A3B Q4_K_M 报 303.1 tok/s——但那是 6 路并发的聚合口径，不能当单流；AMD RX 9070 XT 16G 跑 Qwen3.8-27B UD-IQ4_XS 单流 30.8 tok/s（上下文 48K、TTFT 28.9 秒）；AMD RX 6700 XT 12G 跑 Swift-1.5 IQ3_XXS 单流 28.6 tok/s。三条都是第三方单源（C 级），只作参考。

对照 N 卡的同口径数字：NVIDIA RTX 3090 24G 单卡 TP=1 Q4_K_M 是 46.9 tok/s（ctx 32K）；NVIDIA RTX 4090 24G 上 Mimo-9B 在 1K 上下文是 145.2 tok/s。AMD 与 N 卡的差距更多来自型号代际和量化格式，不是「AMD 天生慢一半」。

怎么选：① 预算优先看显存——24G 档 AMD 有 AMD RX 7900 XTX 24G（站内 2026-11-05 二手快照 5500 元），同价位 N 卡 24G 是 NVIDIA RTX 3090 24G（二手 2026-11-03 起 5300 元）；② 想用 vLLM 跑新模型、或者要用 NVFP4 / MXFP4 这类新硬件量化，选 N 卡；③ 只用 llama.cpp + GGUF 老老实实跑 Q4 / Q8，AMD 完全够用。

一条硬提醒：AMD 上踩坑最多的不是模型，是驱动和后端——ROCm 版本要跟框架匹配，CUDA-only 的工具（某些量化脚本、预编译 attention 内核）在 AMD 上没有对应物。跑之前先在本站 /tools/ 里确认工具支不支持你的卡。

来源：https://gpuvram.cloud/faq/amd-vs-nvidia/

### 笔记本能外接显卡跑大模型吗？值得买显卡坞吗？
能跑，瓶颈在接口不在显存：TB3 外接 12G 卡实测 25 tok/s（单源）。适合已有大显存的旧卡 + 轻薄本；想要速度和 24G 以上，外接坞给不了。

结论先行：外接坞的瓶颈在 PCIe 通道与坞本身，显存还是那张卡的显存。常见外接卡是 12G–16G 档（3060 12G、4060 Ti 16G、3080 10G），跟桌面同卡容量完全一样；速度会被接口带宽压住。

站内唯一一条 eGPU 实测（第三方单源，C 级）：一台 i5-7260U + 8GB 内存的笔记本，经雷电 3 外接 NVIDIA RTX 3060 12G，Ollama 跑 Q4_K_M 全层上卡，单流 25 tok/s（6 类 prompt 各 200 token，范围 23.5-27.1），显存峰值 7843MB（占 12G 的 64%），首字延迟热态中位 2.5 秒、冷启动 35.2 秒。原文自己标注了「TB3 外接，PCIe 通道降宽可能压低绝对值」。

跟桌面同卡对照：站内同一基准库里 NVIDIA RTX 3090 24G 单卡 Q4_K_M 是 46.9 tok/s（ctx 32K），而 3060 的卡带宽 360GB/s 对 936GB/s——外接那台的绝对值低，主要来自 PCIe 通道宽度和宿主内存（8GB），不是模型本身。

价格账：站内 2026-09-15 那条快照里有一份现成的「迷你主机 + 显卡坞」方案——二手零刻 SER6 Pro 不到 1500 元 + 天钡 EG02 显卡坞一千出头 + 二手 3090 四千到五千，落在 7000–8000 元。外接坞的溢价主要买的是「不占桌面、能换卡」，不是性能。

什么情况值得买：① 已经有 3060 / 3080 / 4070 这类卡，别让它吃灰；② 轻薄本需要偶尔跑个 7B–14B；③ 临时验证一个模型要不要上这台机器。什么情况别买：想要 24G 以上显存（外接坞里几乎没有 24G 的卡）、想要 30+ tok/s 的日常体验、或者机器内存小于 16GB（权重放内存那套玩法直接卡死）。

来源：https://gpuvram.cloud/faq/laptop-egpu-dock/

### 二手卡还是全新卡？本地跑大模型怎么选？
二手显存卡性价比明显更高（3090 二手 2026-11-03 起 5300、4090 二手 2026-11-10 21694），代价是无保修与成色不明；预算够就全新，预算卡死就二手 + 验卡。

结论先行：跑本地大模型买的是显存和带宽，不是型号新旧，所以二手是性价比最高的路——前提是你能接受无保修和成色不确定。

站内快照（带日期，别当现价）：NVIDIA RTX 3090 24G 二手 2026-11-03 记「5300 起」、2026-11-05 参考价 5499；2026-11-12 的闲鱼在售中位价是 9288 元（报价区 8488–10000）——同一个月不同口径差着近一倍，本站并列不合并。NVIDIA RTX 4090 24G 二手 2026-11-10 是 21694，而 2026-03-14 的快照还是 9000–10000。数据卡便宜得多：NVIDIA Tesla V100 32G（数据卡） 2026-11-12 在售中位 4900 元（报价区 4690–5000），NVIDIA Tesla P40 24G（数据卡） 2026-11-03 整机拆分单卡 1150 元。

二手的三个坑：① 矿卡与长期高负载卡的老化；② 无保修，坏了只能换；③ 显存颗粒被换、矿卡改固件是真实存在的风险，只能靠验卡软件（GPU-Z 看显存颗粒与 BIOS、烤机看显存报错）自己筛，本站不替卖家背书。

全新也不是稳赚：价格会波动——NVIDIA RTX 5090 32G 2026-10 的渠道快照是 35000–54000 元，2026-11-11 华强北现货口径 48500 元。高溢价档位买的是「现在能买到」，不是「更划算」。

怎么决策（按显存档）：16G 档二手几乎是唯一解；24G 档里 NVIDIA RTX 3090 24G 二手 5300 起、NVIDIA RTX 4090 24G 二手 21694、AMD RX 7900 XTX 24G 二手 5500（2026-11-05），若只跑 27B Q4，NVIDIA RTX 3090 24G 二手最划算；若要 30B 以上或长上下文，优先大显存卡——魔改卡另有专属风险条目，先读那条再买。

来源：https://gpuvram.cloud/faq/used-vs-new-gpu/

### 多卡到底怎么拆层？加第二张卡值不值？
两种拆法：llama.cpp 拆层（默认，层分给不同卡，带宽可相加）与 vLLM 张量并行（切矩阵，通信吃 PCIe）。加卡最稳的收益是「装得下更大的模型」，速度翻倍要看互联。

先分清两种多卡：① **拆层（layer split）**——llama.cpp 的默认行为，`--split-mode layer` 把不同的层放到不同卡上，权重读取带宽可以相加；用 `--tensor-split` 指定比例。② **张量并行（tensor parallel）**——vLLM 的 `--tensor-parallel-size N`，把一个矩阵切开分到多卡，每层都要通信，互联不够快就白搭。

速度不会翻倍，站内实测给了几组对照：① NVIDIA RTX 3090 24G 单卡 TP=1 Q4_K_M 46.9 tok/s（ctx 32K），同一基准库目录横切的 TP2 / TP4 单流是 76.4 / 78.7——加卡从 1 张到 2 张涨一截，从 2 张到 4 张几乎不再涨。② 2×3090 NVLink 跑 MiniCPM-V-4.7-35B int4，TP2 plain 单流 172.2 tok/s；同样两张 3090 但走 PCIe 互联，Qwen3.8-27B AWQ 32K 只有 45 tok/s。③ 2×P100 16G（无 NVLink、无 P2P，第二张卡挂在芯片组后走 PCIe 3.0 x4）跑 Qwen3.8-27B UD-Q6_K，plain decode 31.1 tok/s，开 MTP 后 54 tok/s。

上下文越长，多卡的差距越难看：同一条 2×3090 PCIe 的曲线，32K 是 45 tok/s，524K 掉到 6 tok/s，作者标「稳定」。KV 是每层每 token 都摊的，加卡不改变这个斜率。

加卡最实在的收益是容量：站内 2×NVIDIA RTX 5070 Ti 16G TP2 跑 Qwen3.8-27B NVFP4，64K 上下文单流 64 tok/s，每卡显存明细是权重 11.3 GiB + KV 1.51 GiB + CUDA graphs 0.14 + 激活 1.43，合计 14.4/15.47 GiB——这是「消费级 24G 总显存跑新代际 27B」的代表配置。另一头，4×3090 TP4 跑 Ling-3.0-flash INT4 单流 100.43 tok/s，16 并发聚合 295.94 tok/s（折合每请求 18.5 tok/s）——单流和聚合不是一回事，别混用。

怎么配（按目的）：① 只是想装下更大的模型 → 拆层最省事，两张同卡容量直接相加；② 想更快 → 看互联有没有 NVLink，没有 NVLink 的 PCIe 多卡通常不如换一张大卡；③ 笔记本别指望外接多卡提速，通道更窄；④ 上手顺序：先用一张卡把模型跑通，再加第二张，先试 llama.cpp 的 `--split-mode layer --tensor-split 1,1`，再考虑 vLLM 的 TP。

来源：https://gpuvram.cloud/faq/multi-gpu-layer-split/

### 首次部署要不要上 Docker？
不要。先在宿主机裸跑通一个模型（llama.cpp 单文件二进制），再容器化。容器解决的是环境隔离与可复现，不会让模型跑得更快。

结论先行：首次部署先裸机。Docker 的收益是「环境隔离、可复现、多人访问同一个服务」，不是速度；新手在容器里排错（CUDA 看不到卡、版本对不上、挂载路径错）的时间成本远大于收益。

容器确实是主流部署方式，本站他测条目里就有不少跑在容器里：Unraid + Docker（驱动 580 / CUDA 12）、Docker CUDA-devel 容器、DGX Spark 上的 vLLM 容器镜像（spark-vllm-docker）——共 7 条条目的系统口径写着 Docker。也就是说它没问题，只是不该是你的第一步。

上容器要准备的东西：① NVIDIA Container Toolkit（容器内才有 GPU）；② 镜像与驱动要匹配（容器里的 CUDA runtime 不必跟宿主完全一致，但驱动得够新）；③ 模型文件用挂载（-v）而不是打进镜像；④ Windows 上是 Docker Desktop + WSL2 的 GPU 直通路径，和 Linux 原生不是一回事。

什么时候容器是对的：同一台机器要跑多套互不干扰的版本（不同 CUDA、不同 PyTorch）、要把推理服务标准化部署给多个人用、要可复现地重装一次环境。

排查顺序建议：先在宿主机用官方预编译包跑通（llama.cpp 的单文件二进制最省事），确认卡、驱动、模型文件都正常，再搬进容器；容器里出的问题优先怀疑版本与挂载，而不是模型。

来源：https://gpuvram.cloud/faq/need-docker/

### 驱动和 CUDA 版本怎么选？要自己装 CUDA 吗？
不用自己装 CUDA。驱动装新一点，框架用官方预编译包；CUDA 版本只有自编扩展时才需要管。站内他测最常见的口径是驱动 580 + CUDA 12。

结论先行：普通用户只要三样——最新稳定版驱动、框架官方预编译包、模型文件。CUDA Toolkit 本身不用装（驱动里已经有 runtime），PyTorch 的 pip 包也自带 CUDA runtime。

什么时候才需要关心 CUDA 版本：自己编译带 CUDA 扩展的项目、需要和特定框架版本对齐（老项目锁 cu118 / cu121）、或在报 CUDA 版本的错配错误。站内他测条目里最常见的系统口径是「驱动 580 / CUDA 12」（8 条条目这么写），但那是作者环境，不是要求你跟。

驱动版本的原则：越新越好，但有两个例外——一是老卡（如 Pascal 架构的 P100 / P40）在新驱动上可能被砍支持，这时要回退到仍支持该架构的版本；二是生产环境别追最新，等一个版本跑稳了再升。

典型症状对照：装完 nvidia-smi 正常但框架报找不到 CUDA → 版本错配或容器缺 toolkit；nvidia-smi 直接报错 → 驱动没装好或没重启；跑起来特别慢且显存占用异常 → 先看是不是走了 CPU offload（看启动日志的 offload 行数）。

遇到「起不来」的报错，去本站故障排查按报错原文搜（驱动不匹配、框架版本混装、环境变量把卡藏起来了各有各的症状）；把 nvidia-smi 输出、框架版本、启动命令贴出来，比描述「跑不起来」有用得多。

来源：https://gpuvram.cloud/faq/driver-and-cuda/

### 温度、top-p、重复惩罚这些参数到底怎么调？
温度管随机性（0 = 贪心、最稳）、top-p 管候选范围、重复惩罚管复读。它们只影响输出分布，不影响显存占用和速度——换参数不会让模型跑得更快。

结论先行：这三个参数只改输出分布，不改显存、不改速度。先把量化档和上下文定下来，再调采样。

温度（temperature）：0 是贪心解码，每步选概率最高的词，同一输入同一输出、可复现；越高越随机。日常聊天 0.7–0.9，代码补全与结构化抽取 0–0.3，做基准测试固定 0——站内那组 NVIDIA RTX 4090 24G 的 ExLlamaV3 实测就是 temperature 0，六档 needle 全部 PASS。

top-p（核采样）：只从累计概率前 p 的候选里挑，p=1 是全放开；和温度一起用，一般 top-p 0.9 配温度 0.7–0.9。小模型通常把 top-p 收到 0.9 以下更稳。

重复惩罚（repeat penalty）与频率 / 存在惩罚：抑制复读。调过头会伤数学与代码——数字、公式、变量名本来就该重复出现，惩罚太狠会改写答案。经验值是 1.05–1.1，别往 1.3 以上调。

thinking / 推理模式另说：开了之后模型会先写一长串思考过程，这部分 token 照样算进上下文预算、照样占 KV，还会让首字延迟变长。本站的排查条目里专门有一条「thinking 吃掉 token 预算」。

来源：https://gpuvram.cloud/faq/sampling-params/

### 为什么刚开始聊得挺快，聊久了就变慢？
因为每生成一个 token 都要把历史 KV 重读一遍，KV 随上下文线性增长。同一台 4090 实测：1K 上下文 145.2 tok/s，64K 掉到 111.3 tok/s。

结论先行：变慢不是「机器老了」，是 KV 越存越多——每生成一个新 token，模型要把全部历史 KV 重读一遍，注意力的工作量随上下文线性增长。

站内有一组同配置实测（第三方单源，C 级）把这条曲线量了出来：NVIDIA RTX 4090 24G + ExLlamaV3 跑 Mimo-9B，单流 decode，1K 上下文 145.2 tok/s，4K 144.1，8K 140.5，16K 137.3，32K 127.2，64K 111.3 tok/s（KV FP16、无投机解码、无 CPU offload，每档都跑了 needle 正确性校验）。

本站自测的 NVIDIA Tesla V100 32G（数据卡） 上下文扫描同向：Qwen3.8-27B Q4_K_M 从 512 token 的 16.47 tok/s 一路掉到 256K 的 4.8 tok/s；Ornith-1.5-35B-A3B Q4_K_M 从 93.4 掉到 22.99。上下文越长，每 token 越贵——这是结构决定的，不是调参能解决的。

三个能立刻做的动作：① 长对话开新会话，别让历史无限累积；② KV 量化（llama.cpp 的 -ctk q8_0 -ctv q8_0 减半、q4_0 减到四分之一）；③ 换 KV 便宜的架构（层数少、KV 头少、带滑窗的模型）。注意 KV 量化会略微增加注意力开销，收益主要在「装得下」而不是「跑更快」。

区分两种慢：一种是「越聊越慢」（KV 越来越重，本条讲的），另一种是「越用越慢」（显存碎片、温度墙、后台任务，属于故障排查里的另一条）。别把两者混为一谈。

来源：https://gpuvram.cloud/faq/why-long-chat-slow/

---

# 五、模型优化（52 个项目，star 由 GitHub API 自动同步）

### llama.cpp（ggml-org/llama.cpp）
分类：推理框架 · 一句话：C/C++ 写的 LLM 推理引擎，GGUF 生态的地基——消费卡跑大模型最通用的第一站。
能干什么：用 C/C++ 实现的 LLM 推理引擎，不需要装 CUDA 工具链就能跑，支持 NVIDIA / AMD / Metal（Mac）/ CPU / Vulkan。GGUF 量化格式随它普及，成为本地模型权重的通用载体。核心组件：llama-cli 单次推理、llama-server 提供 OpenAI 兼容 API、llama-bench 跑速度基线，多卡用层切分跑大模型。市面上绝大多数「消费卡跑大模型」教程都以它为基础。
怎么干：
1. 编译或用发行版预编译二进制 / 包管理器安装
2. 下载模型的 GGUF 量化权重（Q4_K_M 是常见首选取档）
3. llama-server 起 OpenAI 兼容服务，llama-cli 做单次推理
4. 多卡用层切分（--tensor-split 指定各卡分配的层）
5. llama-bench 出速度基线——本站 /rank/#upload 投稿实测的标准格式
本站怎么用：本站容量表与单卡页的「框架命令」主要以它为默认路径写。读者问「16G 能不能跑 27B」时，先看本站 /capacity/ 的量化档与显存口径，再用它实际部署。投稿实测时框架字段写 llama.cpp（带版本号），口径才完整。
显存口径：权重显存口径与本站 /capacity/ 同源：权重 = 参数量 × 每参数字节（位宽表）÷ 8，另加 KV 与约 1G 框架开销。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 134,549 / fork 25,508（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/ggml-org/llama.cpp
来源：https://gpuvram.cloud/tools/llama-cpp/

### llama-cpp-python（abetlen/llama-cpp-python）
分类：推理框架 · 一句话：llama.cpp 的 Python 封装：pip 一装，Python 脚本里直接加载 GGUF 模型。
能干什么：llama.cpp 的 Python 封装库：把 C++ 推理引擎包成 Python API，pip 安装即可。适合「把本地模型嵌进 Python 服务」的场景——评测脚本、数据管道、自动化任务里直接加载 GGUF 权重做批量推理，不用写 C++ 也不依赖 HTTP 服务。GPU 层数（n_gpu_layers）等关键参数都能直接控制。
怎么干：
1. pip install llama-cpp-python（需要本地编译环境，或用预编译 wheel）
2. Llama.from_pretrained 加载 GGUF 权重，n_gpu_layers 控制 GPU 层数
3. 单次生成 / 流式生成 / 批量 prompt 都走同一 API
4. 评测脚本里用它复现「同卡同量化」的基准，再和官方跑分对账
本站怎么用：本站数据团队做批量抽数与口径核对时的 Python 入口；他测投稿若用这个绑定库，框架字段写「llama-cpp-python」并带版本号，与 llama.cpp 本体分开统计（口径不混）。
显存口径：显存口径与 llama.cpp 本体一致（同一套 GGUF 权重与层切分逻辑）。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 10,678 / fork 1,490（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/abetlen/llama-cpp-python
来源：https://gpuvram.cloud/tools/llama-cpp-python/

### ipex-llm（intel/ipex-llm）
分类：推理框架 · 一句话：Intel 的本地 LLM 推理与微调加速库：iGPU / NPU / Arc 独显的主要路线。
能干什么：Intel 官方（LLM-Intelligence 团队）的本地 LLM 加速库：面向 Intel 硬件——核显（iGPU）、NPU、Arc 独显——加速 LLaMA、Mistral、Qwen、DeepSeek 等模型的推理与微调，低精度内核（INT8 等）让消费级机器跑得动更大模型；也支持 AMD / NVIDIA CUDA 后端。解决「手里不是 N 卡，也想在本机跑模型」的路线问题。
怎么干：
1. pip install intel-extension-for-llm
2. 用 LLM 类加载模型（接口贴近 transformers 习惯）
3. 按目标硬件选内核：Intel iGPU / NPU 或 CUDA
4. 低精度（INT8 等）推理进一步压显存，代价是精度按项目文档评估
本站怎么用：本站显卡库里有核显 / NPU / 国产卡档位，这个工具是它们的代表性推理路线；后续这类卡页写「框架支持」时可引用它。他测投稿若来自 Intel 平台，框架字段写 ipex-llm（带版本），不与 N 卡数据混在同一对比组。
显存口径：低精度档（INT8 等）的每参数字节与 N 卡量化档名称不同，入库时按实际权重文件大小核对，不套用位宽表的 Q 档名。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 8,843 / fork 1,433（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/intel/ipex-llm
来源：https://gpuvram.cloud/tools/ipex-llm/

### Ollama（ollama/ollama）
分类：推理框架 · 一句话：本地跑开源模型的一行命令入口（ollama run qwen3）——绝大多数教程与第三方界面的后端就是它。
能干什么：把「下载模型 + 起推理服务」压成一条命令（ollama run <模型名>）的本地模型运行器：模型库（ollama.com/library）按标签管理量化档（如 qwen3:14b、qwen3:14b-fp8），自带 OpenAI 兼容 API，CPU / NVIDIA / AMD / Metal 都支持，消费级机器装本地模型最省心的路线。本站他测数据里相当一部分（含 Qwen3-14B FP8 那几条）的框架就是它。
怎么干：
1. 官网安装程序（Windows / macOS / Linux）
2. ollama pull <模型>:<标签> 按量化档下载权重
3. ollama run 交互式对话，或 ollama serve 起 OpenAI 兼容 API
4. OLLAMA_ 前缀环境变量调上下文长度（OLLAMA_CONTEXT_LENGTH）等参数
本站怎么用：本站 /faq/which-framework/ 与部署路径的默认推荐后端：先按 /capacity/ 选量化档，ollama 的标签名直接对档位（-q4_K_M / -fp8 等）。用 Ollama 跑出的实测投稿时，framework_version 必须写明版本号（ollama --version）——此前 3 条 FP8 他测正卡在「未报版本号」不进对比，别重复这个坑。
显存口径：量化档标签与位宽表对应关系：-q4_K_M ≈ 4.8bpw、-q8_0 ≈ 8.5bpw、-fp8 = 8.0bpw（2026-11-07 本站位宽表已补 FP8 档）。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 186,816 / fork 19,053（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/ollama/ollama
来源：https://gpuvram.cloud/tools/ollama/

### vLLM（vllm-project/vllm）
分类：推理框架 · 一句话：高吞吐 LLM 推理引擎（PagedAttention 出处）：要并发、要吞吐、24G 及以上档位的主力。
能干什么：高吞吐 LLM 推理与 serving 引擎：PagedAttention 把 KV cache 按页管理，显存利用率与并发吞吐显著优于朴素实现（这是它区别于 llama.cpp 的核心路线）。面向「一个服务同时接很多请求」的场景——多用户本地服务、网关、批量任务。对单流交互场景它的优势不明显，个人对话场景 llama.cpp / Ollama 更顺。FP8 / INT8 量化路线在 Hopper / Ada 卡上常见。
怎么干：
1. pip install vllm（要求 NVIDIA 卡 + 较新 CUDA 驱动；也支持 TPU / AMD）
2. vllm serve <模型名> 起 OpenAI 兼容服务，--gpu-memory-utilization 调显存水位
3. 批量任务用 Python 接口的 LLM 类
4. 量化路线：--quantization 选 fp8 / awq / gptq 等档
本站怎么用：24G / 32G 及以上档位、以及「多用户 / 高并发」查询的对应框架。口径提醒：vLLM 吞吐是**并发口径**，与单流 tok/s 不是同一个数——投稿实测时 stream 字段要写 clear（single 还是并发 + batch 数），本站对比只收口径完整的条目（这正是它此前 3090 双卡那条只展示不进对比的原因）。
显存口径：显存按 --gpu-memory-utilization 切给 KV，与本站「水位」概念同向：给得越满上下文越大，但留给系统/其他进程越少。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 96,838 / fork 24,743（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/vllm-project/vllm
来源：https://gpuvram.cloud/tools/vllm/

### SGLang（sgl-project/sglang）
分类：推理框架 · 一句话：高性能 serving 框架（RadixAttention）：多轮对话 / 树形分支场景的 KV 前缀复用是其招牌。
能干什么：高性能 LLM / 多模态 serving 框架：RadixAttention 用基数树自动复用请求间的公共前缀 KV（多轮对话、few-shot 批量、agent 分支场景不重算前缀），另有 RadixAttention + 调度器组合带来的高吞吐。定位与 vLLM 同档（服务侧），单流个人使用场景仍优先 llama.cpp / Ollama。
怎么干：
1. pip install sglang（要求较新的 CUDA / GPU 驱动）
2. python -m sglang.launch_server --model <模型> 起 OpenAI 兼容服务
3. 多轮 / 批量任务直接用其前端 DSL（SGL 语言）写 prompt 流
4. 量化档同样走 --tp-size / 量化参数组合，按卡档位选
本站怎么用：「多用户服务 / agent 后端」类查询的第三选项（llama.cpp 单流、Ollama 入门、vLLM / SGLang 吞吐）。口径纪律同 vLLM：吞吐数字必须带并发与 batch 口径才进对比；单流数字与 llama.cpp 同台时才可比。
显存口径：前缀复用会占额外 KV 显存（缓存的公共前缀也驻留显存），与「按 1 个用户算的容量」不同——服务场景显存规划要比单流估算宽裕。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 38,797 / fork 10,418（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/sgl-project/sglang
来源：https://gpuvram.cloud/tools/sglang/

### unsloth（unslothai/unsloth）
分类：模型微调 · 一句话：最流行的 LoRA / QLoRA 微调工具包：训练提速与省显存（项目自述），微调完直接出 GGUF。
能干什么：开源的 LLM / VLM 微调与量化工具包，以 LoRA / QLoRA 训练提速与省显存著称（具体倍数是项目自述口径，本站未复测）。支持 Qwen、Llama、Gemma、DeepSeek 等主流开源模型，提供本地 Web UI，微调完可直接导出 GGUF 量化权重——「微调 → 量化 → 部署」一条链在它里面能走完。
怎么干：
1. pip install unsloth（依赖 PyTorch / CUDA 环境）
2. 按官方 notebook 模板配模型与 LoRA 超参（rank / alpha / 目标模块）
3. 4bit QLoRA 起训：消费卡（8–16G 档）微调中小模型的主路径
4. 训练完合并权重，导出 GGUF 供 llama.cpp 部署
5. 本地 UI 模式下不用写代码也能走完训练流程
本站怎么用：读者「想在自家卡上微调一个自己的小模型」时的首选起点。链路接法：先用本站 /capacity/ 估算「微调后部署」的显存够不够，再训练，最后把自测数字投到 /rank/#upload——微调用显存和推理用显存是两笔账，别混。提速 / 省显存的具体倍数若被读者引用，按「项目自述」口径标注。
显存口径：微调显存 ≠ 推理显存：还要算激活值与优化器状态；部署阶段回到本站容量表的口径。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 79,400 / fork 7,400（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/unslothai/unsloth
来源：https://gpuvram.cloud/tools/unsloth/

### llmfit（AlexsJones/llmfit）
分类：推理框架 · 一句话：Rust 命令行：一条命令告诉你某模型在哪些硬件上跑得动，并集成社区实测榜。
能干什么：Rust 写的命令行工具：覆盖数百个模型与提供商，一条命令回答「我的硬件跑不跑得动这个模型」——给出显存需求与可行量化档。特色是集成 LocalMaxxing 社区实测榜（真实硬件提交的 tok/s、TTFT、峰值显存），也支持本地跑 llama-bench 并把结果提交回社区榜。定位是「工具 + 数据源」组合。
怎么干：
1. 下载预编译或 cargo 安装
2. llmfit <模型名> 查显存需求与可行档
3. 查看该「卡 × 模型」的社区实测数据
4. 本地 llama-bench 跑出数字后提交社区榜
本站怎么用：它的社区实测榜与本站 /rank/ 定位相近（社区提交、带硬件口径），可作为他测交叉核对的素材源——引用时保留原提交环境与日期，标「社区自述值」，不合并进本站 A/B/C 分级（那是另一套来源纪律）。显存估算对 MoE 区分总参数 / 激活参数，与本站口径方向一致。
显存口径：显存估算含 MoE 总参数 / 激活参数区分，与本站容量表口径方向一致；具体数字若有差异，按「两来源并置、不取平均」处理。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 38,952 / fork 2,520（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/AlexsJones/llmfit
来源：https://gpuvram.cloud/tools/llmfit/

### bitsandbytes（bitsandbytes-foundation/bitsandbytes）
分类：显存优化与量化 · 一句话：PyTorch 生态的 k-bit 量化事实标准：8bit / 4bit，「小卡跑大模型」HF 路线的地基。
能干什么：PyTorch 生态的基础量化库：提供 8-bit 与 4-bit（NF4 / FP4）量化加载，是 Hugging Face transformers + PEFT 组合里「先量化再跑」最常见的底层。不单独提供推理服务，而是嵌在模型加载路径里——加载时声明 8bit / 4bit，权重就按低精度驻留显存。QLoRA 微调的「4bit 底座」就是它。
怎么干：
1. pip install bitsandbytes（要求 CUDA 环境）
2. transformers 加载模型时传 load_in_8bit / load_in_4bit
3. 4bit 档位常见为 NF4（正态浮点 4bit）
4. 4bit + LoRA（即 QLoRA）做微调
本站怎么用：他测投稿里框架写「transformers + bitsandbytes」时，量化档名是 NF4 / INT8，与 llama.cpp 的 Q4_K_M / Q8_0 不是一一映射——入库时框架与量化字段按原文如实写，位宽表按本站口径对账（NF4 约 4.5bpw 含 scale，不能直接套 Q4 的 4.8）。
显存口径：4bit(NF4) 约 0.5B/参数、8bit 约 1B/参数，量级与本站 Q4 / Q8 档一致，精确 bpw 以实现为准（NF4 严格说 4.5bpw 含 scale）。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 8,538 / fork 948（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/bitsandbytes-foundation/bitsandbytes
来源：https://gpuvram.cloud/tools/bitsandbytes/

### AutoGPTQ（AutoGPTQ/AutoGPTQ）
分类：显存优化与量化 · 一句话：易用的 GPTQ 量化包（4bit / 8bit），transformers 生态老牌路线——但更新已明显放缓。
能干什么：GPTQ 算法的量化工具包：用少量校准数据把模型量化到 4bit / 8bit（动态量化，按权重分布逐列定 scale），API 简单，与 transformers 生态无缝衔接。它是 PyTorch 生态里「4bit 量化跑大模型」的老牌路线之一。注意：2026-11-07 快照显示其最近一次推送停在 2025-04，项目活跃度低——新项目选型时建议把它当存量格式支持（很多老模型权重就是 GPTQ 格式），而非首选开发路线。
怎么干：
1. pip install auto-gptq
2. GPTQModel API：载入校准数据 → 量化 → 导出
3. 量化后的权重再加载推理，或直接对接现有服务
4. 存量 GPTQ 格式权重的加载与转换
本站怎么用：读者拿到「.safetensors GPTQ 格式」的老权重时，这是对应的量化路线页面；GPTQ 4bit 档与本站 Q4 档量级相同但 bpw 不完全一致（含 scale），入库对账按实际文件大小。
显存口径：GPTQ 4bit 约 0.5B/参数含 scale；与位宽表对账以实际文件为准，不猜 bpw。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 5,068 / fork 547（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/AutoGPTQ/AutoGPTQ
来源：https://gpuvram.cloud/tools/autogptq/

### SageAttention（thu-ml/SageAttention）
分类：显存优化与量化 · 一句话：清华的量化 Attention 内核（ICLR/ICML/NeurIPS 2025）：注意力加速 2–5 倍（项目自述）。
能干什么：量化注意力内核（SageAttention 系列，ICLR 2025 / ICML 2025 / NeurIPS 2025 Spotlight）：对注意力矩阵计算做量化，相比 FlashAttention 宣称 2–5 倍加速（项目自述区间），端到端指标无损（项目自述）。它优化的是「算得快不快」（prefill 与 attention 部分），不改显存占用——和 KV 量化（省显存）是两条正交的线。需要特定 GPU 架构与 CUDA 版本，有官方兼容表。
怎么干：
1. pip install sageattention
2. 按项目文档核对 GPU 架构与 CUDA 版本兼容表
3. 在模型推理 / 训练里替换 attention 实现
4. 用项目自带的基准脚本对比 FlashAttention 加速比
本站怎么用：本站长尾页覆盖「跑得快」的链：显存装不下 → 容量表；速度慢 → 框架选择 / KV 量化 / 投机解码。量化 attention 属于「算子级提速」，本站 FAQ 已有投机解码条目，它补的是 kernel 层这一格。加速倍数属项目自述，若读者实测后投稿，按本站口径入库。
显存口径：主要提速、不改显存口径；KV 侧省显存见 /faq/what-is-kv/。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 4,007 / fork 554（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/thu-ml/SageAttention
来源：https://gpuvram.cloud/tools/sageattention/

### Model-Optimizer（NVIDIA/Model-Optimizer）
分类：显存优化与量化 · 一句话：NVIDIA 官方模型优化库：量化 / 蒸馏 / 剪枝 / 投机解码一体，TensorRT-LLM 生态标准前置。
能干什么：NVIDIA 统一模型优化库：量化（含 FP8 / INT4 等档）、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 技术集于一体，是 TensorRT-LLM / NIM 生态的标准前置工具——先用它压缩模型，再交给部署栈跑。FP8 路线在消费卡（Ada / Hopper 架构）上也越来越常见。
怎么干：
1. pip install nvidia-modelopt
2. API 选量化方案（FP8 / INT4 等）+ 校准数据
3. 导出压缩后的模型
4. 对接 TensorRT-LLM 部署（数据中心场景为主）
本站怎么用：站内已有 3 条 FP8 他测（RTX 4090 跑 qwen3-14b-fp8 系列）正属这条「FP8 路线」生态；后续 FP8 条目入库时，Model-Optimizer 是框架字段的可能来源之一。FP8 = 8.0 bpw 已入本站位宽表（2026-11-07 补档）。
显存口径：FP8 档 = 8.0 bpw（纯 8bit 浮点，区别于 Q8_0 的 8.5 含 fp32 scale）；具体实现的文件大小与理论值可能有差，对账以实际文件为准。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 5,597 / fork 805（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/NVIDIA/Model-Optimizer
来源：https://gpuvram.cloud/tools/nvidia-model-optimizer/

### OmniQuant（OpenGVLab/OmniQuant）
分类：显存优化与量化 · 一句话：ICLR 2024 Spotlight 量化方法：低比特（4bit 以下）也能训得动的校准方案，属研究型参考实现。
能干什么：OmniQuant（ICLR 2024 Spotlight）：针对低比特量化（4bit 及以下）「训不动、掉点狠」的问题，学习逐通道缩放因子与裁剪阈值（可学习 affine 参数）做校准，让低比特量化在有限算力下也可行。官方仓库提供主流开源 LLM 的脚本与预校准参数。定位是「研究结论 + 参考实现」，不是开箱即用的部署工具。
怎么干：
1. clone 仓库，按文档装依赖
2. 准备校准数据集
3. 跑仓库脚本做低比特量化（需要一定算力与时间）
4. 对照仓库提供的预校准参数（部分模型可直接用）
本站怎么用：读者在论文或模型卡里看到 OmniQuant 量化档时的参考入口。对普通用户它不是首选（LLM 部署场景下开箱工具更省事），它的价值是让「为什么这个低比特档没掉点」有出处可查。
显存口径：4bit 及以下档与位宽表对账以实际文件大小为准。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 969 / fork 93（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/OpenGVLab/OmniQuant
来源：https://gpuvram.cloud/tools/omniquant/

### LlamaFactory（hiyouga/LlamaFactory）
分类：模型微调 · 一句话：最广泛使用的开源微调统一框架（ACL 2024）：100+ 模型、LoRA / QLoRA / 全参、带 WebUI。
能干什么：覆盖 100+ LLM 与 VLM 的统一高效微调框架（ACL 2024 论文）：全参 / LoRA / QLoRA / 预训练 / 对齐（DPO 等）一套配置走完，带 WebUI 可视操作，中文社区微调开源模型的最流行选择之一。模型模板（chat template）覆盖主流开源模型，数据格式统一。
怎么干：
1. git clone 后按 README 装依赖（PyTorch / CUDA）
2. 起 WebUI（python src/llamafactory/webui.py），或写 YAML 配置训练
3. 选模板 + 量化档（QLoRA 走 4bit 底座）+ 训练方式
4. 训练完在 WebUI 里评测（内置常用评测集）
本站怎么用：读者「自家卡微调垂直小模型」的中文社区主路径：LlamaFactory + QLoRA。链路接法同 unsloth——先按本站 /capacity/ 估算部署显存，再训练，自测数字投 /rank/#upload。
显存口径：微调显存含激活值与优化器状态，比推理高；部署阶段回到容量表口径。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 快照值），商用无限制。
快照：star 76,022 / fork 9,366（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/hiyouga/LlamaFactory
来源：https://gpuvram.cloud/tools/llamafactory/

### QLoRA（论文仓库）（artidoro/qlora）
分类：模型微调 · 一句话：QLoRA 论文官方仓库（NeurIPS 2023）：4bit 量化底座 + LoRA 微调，单卡 A100 微调 65B（论文口径）。
能干什么：QLoRA 论文的官方代码仓库（NeurIPS 2023）：核心思想是把底座模型冻在 4bit 量化（NF4）状态，只训练 LoRA 适配器——微调显存大幅下降，论文报告单张 A100 可微调 65B 模型（论文口径，本站未复测）。仓库内容以按模型组织的 notebook 为主，属于「方法 + 参考实现」，不是开箱工具。
怎么干：
1. 按仓库内各模型 notebook 逐步走（以 LLaMA 系 notebook 为范本）
2. 底座 4bit 加载（bitsandbytes NF4）+ LoRA 适配器训练
3. 训练完合并 / 导出，回到推理路径部署
本站怎么用：「QLoRA 是什么」的权威出处页：今天开箱工具（unsloth / LlamaFactory）都已内置 QLoRA，读者追问原理与原始口径时引这里。论文里的显存数字是 A100 环境，消费卡迁移时按本站容量表重新估算。
显存口径：4bit 底座 + LoRA：显存 ≈ 4bit 权重 + 适配器 + 激活，具体数字随序列长度变化，论文数字不直接套消费卡。
许可：可商用（MIT）——MIT（GitHub API 快照值），宽松许可，商用无限制。
快照：star 11,068 / fork 874（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/artidoro/qlora
来源：https://gpuvram.cloud/tools/qlora/

### Open WebUI（open-webui/open-webui）
分类：前端与分发 · 一句话：最流行的本地模型 Web 界面：Ollama / OpenAI API 兼容，装完即「本地 ChatGPT 体验」。
能干什么：用户友好的 AI Web 界面：后端兼容 Ollama 与 OpenAI API 服务（llama-server 等也行），自带对话界面、模型管理、RAG 文档问答、多用户与权限。解决「模型跑起来了，但想要一个像样的界面」这一步——本地部署里使用面最广的前端。
怎么干：
1. 官方一行命令部署（Docker 或 pip），默认端口起服务
2. 后端指向 Ollama 或任意 OpenAI 兼容端点（如 llama-server）
3. 在界面里配置 RAG 文档 / 模型显示名 / 提示词预设
4. 多用户场景开账号与权限
本站怎么用：读者「跑起来之后怎么用」的默认答案：本站 /faq/which-framework/ 推荐 Ollama 做后端，本页补「前端界面」这一环。商用注意：对外提供产品化服务时品牌条款要遵守（见 license_note）。
显存口径：界面本身不占显存（纯前端 + 轻量后端），显存完全由后端框架与模型决定。
许可：可商用（有条件）（NOASSERTION）——GitHub API 识别为 NOASSERTION（非标准许可）。已核仓库 LICENSE 原文（2026-11-07）：v0.6.6（2025-05-05）起为 Open WebUI License = BSD-3-Clause + 公平使用品牌条款（30 天 50 个以上终端用户的大规模部署不得移除 / 更改 Open WebUI 品牌，另有书面许可与企业许可例外）；v0.6.5 及以前代码保持纯 BSD-3。商用可用，注意品牌条款。
快照：star 158,506 / fork 23,044（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/open-webui/open-webui
来源：https://gpuvram.cloud/tools/open-webui/

### llamafile（mozilla-ai/llamafile）
分类：前端与分发 · 一句话：llama.cpp + Cosmopolitan 的单文件可执行体：模型与引擎打成一个 .llamafile，下载即跑。
能干什么：把 llama.cpp 与 Cosmopolitan Libc 融合成单文件可执行程序：一个 .llamafile 文件内嵌模型权重 + 推理引擎，下载后直接运行（CPU / CUDA / Metal / Vulkan，跨 macOS、Linux，Windows 走 WSL 或项目提供的二进制）。解决「环境装不上 / 不想装环境，但想让模型跑起来」的问题。官方还提供一批预构建 llamafile（各档量化模型，随附模型各自的许可说明）。
怎么干：
1. 从官方 / HuggingFace 仓库下载预构建 .llamafile
2. macOS / Linux 直接执行（首次先 chmod +x）
3. Windows 用 WSL 或项目提供的原生二进制
4. 自建：按其文档把模型打进单文件分发
本站怎么用：对应「下载」环节的最省事选项：读者不想装环境时，单文件路线比编译 llama.cpp 低门槛。注意预构建文件里模型的许可各不相同（以官方模型表的许可列为准），分发时别混。
显存口径：显存口径与 llama.cpp 一致（同一套 GGUF 权重与运行时）。
许可：可商用（NOASSERTION）——GitHub API 识别为 NOASSERTION（非标准许可）。已核 README 原文（2026-11-07）：llamafile 项目本体 Apache 2.0，其对 llama.cpp / whisper.cpp 的改动为 MIT（与上游保持兼容可回馈）。商用可用。
快照：star 26,625 / fork 1,678（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/mozilla-ai/llamafile
来源：https://gpuvram.cloud/tools/llamafile/

### Strata (strataforge)（huzjie/strataforge）
分类：显存优化与量化 · 一句话：把 125B 稀疏 MoE 跑进 12GB 游戏机的「显存分层」参考实现：GPU/内存/SSD 三级专家调度 + 投机解码 + 五档低比特量化（项目自述口径）。
能干什么：把「显存装不下的大 MoE」拆成三层放：GPU 只放注意力 + 路由 + 最热的约 4000 个专家，RAM 放全量专家并由 CPU 就地算冷尾，SSD 放 n-gram 查找表；再叠一个小 MTP 头的投机解码做批量验证（项目自述端到端 1.6–1.8 倍加速、输出逐字节不变）。配套 Q2_0 / IQ2_XS / IQ3_XXS / IQ3_S / Coder 五档低比特量化驱动内存预算与速度估算。**必须说清的性质：这是一个零依赖纯 Python 的「参考实现」，配的是一个确定性可训练 mock 后端，README 明说「先把策略跑通、验证、再对接真 ggml 内核」——它演示的是分层放置策略与量化经济学，不是可直接喂权重的生产引擎。** 项目自述目标：12GB 显存 + 64GB 内存的游戏机跑 Qwen3.8-Flash-Next（125B、24,576 专家稀疏 MoE）90+ token/s。
怎么干：
1. pip install -e .（零依赖，纯 Python，托管 Python 3.13 也能跑）
2. python -m strataforge doctor 自检：5 后端 + 一次生成 + 内存预算核对
3. python -m strataforge bench 出吞吐 / prefill / 投机 / 命中率 / 内存（mock 模型）
4. python -m strataforge serve --port 8080 起 OpenAI + Anthropic 兼容服务
5. 对照 recipes/ 的硬件配方（gpu_12gb / low_ram / multi_gpu 等）选专家分层与量化档
本站怎么用：本站「显存装不下大 MoE」这条链的新入口：Q4 装不下 → 降 Q3（站长 11-07 口径）→ 还不够 → 用内存/SSD 分层把冷专家 offload 出去，而不是硬堆显存。Strata 正是「MoE 装不下就用内存跑（慢一点也跑）」路线的可读参考实现，本站拿它的分层策略与五档量化经济学当讲解素材（标注项目自述），**不把它列成「装完就能跑 125B 的生产工具」**——它是策略样板，真实部署仍需 llama.cpp 等真实内核。
显存口径：本站容量表算的是「权重整体驻留单卡显存」，Strata 的口径不同：GPU 只驻注意力 + 路由 + 热专家，冷专家走 RAM/SSD，所以「12GB 显存跑 125B」在它的分层模型里成立、在纯显存公式里不成立。五档位宽（2.0 / 2.3 / 3.0 / 3.4 / 3.2 bpw）与本站位宽表同源但属 mock 估算值，对账以真实 ggml 产物为准；其 94 / 79 / 62 / 53 / 55 tok/s 为 mock 模型自述，不是任何真实硬件的实测。
许可：可商用（MIT）——MIT（GitHub API 2026-11-07 快照值），宽松许可，商用无限制。仓库 2026-10-11 新建，star/fork 快照值为 0（非缺失，是项目太新尚未积累）。
快照：star 0 / fork 0（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/huzjie/strataforge
来源：https://gpuvram.cloud/tools/strataforge/

### Strata（Niko1221/Strata）
分类：推理框架 · 一句话：把 125B 的 Qwen3.8-Flash-Next 塞进 12G 消费卡的推理引擎：专家分层放 GPU/内存/SSD，Windows / Linux 一键装，本地起 OpenAI / Anthropic 兼容 API。
能干什么：消费卡跑超大 MoE 的「显存分层」引擎：注意力 + 路由 + 最热专家放显卡，冷专家放内存由 CPU 就地算，再大的走 SSD，三层叠起来把 125B 的 Qwen3.8-Flash-Next（每 token 激活约 6B 的稀疏 MoE）装进 12GB 显存的机器。它不是 llama.cpp 的替代品，是 MoE 大模型的专门部署路径——README 附的项目自述实测（RTX 5070 12G + 64G 内存，ISTA-DAS Q2_0 档）：短上下文对话约 94 tok/s、128K 上下文 76 tok/s、32K prompt 预读 2650 tok/s，速度不慢。也跑 DeepSeekV4.1-Flash-1017（12G 卡 + 46G+ 内存 + 约 260G 硬盘）与 Qwen3.6-35B-A3B。带桌面 App（Win/Linux/Mac 各一个安装包）和终端两条路，`strata launch` 交互式选模型、`--plan` 先打印计划不动手。支持 NVIDIA 20/30/40/50 系、AMD Radeon、Intel Arc、Apple Silicon、Ryzen AI Max；可选图片输入（24G 以下卡走 CPU 看图、不吃显存）。`strata connect` 把它接到 Claude Code / Codex CLI / OpenCode 等 Agent 工具（走 OpenAI / Anthropic 兼容 API）。
怎么干：
1. Windows：irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex；Linux / Mac 用对应 install.sh
2. 装完跑 strata launch，向导让你按内存选量化档（Q2_0 最快 / IQ3_S 质量最好），--plan 先预览计划不下载
3. 125B 的门槛看内存不看显存：Q2_0 需约 37.6G RAM+VRAM（项目自述），64G 内存的机器全档都装得下
4. 需要本地 API 就常驻 strata launch 起的 OpenAI / Anthropic 兼容服务，或装桌面 App 直接聊天
5. 接 Agent 工具：strata connect 打印 Claude Code / Codex / OpenCode 等的配置步骤
6. DeepSeekV4.1-Flash 路线：12G 卡 + 46G+ 内存 + 257G+ 硬盘，strata launch --family deepseek41
本站怎么用：本站读者最常问的「小卡能不能跑大模型」里，MoE 大模型这一支以前只能答「装不下」。Strata 把口径改了：显存不够时冷专家下放到内存 / 硬盘，12G 卡跑 125B 成立——但前提是把内存账也算上（本站容量表公式只算权重 + KV 单卡驻留，它的 RAM+VRAM+SSD 三层口径必须分开写，别混进容量表）。读者拿本站 /capacity/ 查到「单卡装不下」的 MoE 模型时，这条是下一步的官方入口。本站不实测（没有对应硬件），它 README 的 tok/s 全部按「项目自述」标注。
显存口径：与 /capacity/ 不同口径：本站容量表 = 权重 + KV + 1G 开销整体驻留单卡显存；Strata = GPU 只放注意力 + 路由 + 热专家，冷专家走 RAM / SSD，所以「12G 显存跑 125B」在它的分层模型里成立、在本站纯显存公式里不成立。两者并存不冲突，引用时各标各的口径。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 43,549 / fork 4,787（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Niko1221/Strata
来源：https://gpuvram.cloud/tools/strata/

### OpenClaw（openclaw/openclaw）
分类：Agent 工具 · 一句话：跑在自己电脑上的开源 AI 助理（Agent）：接 WhatsApp / Telegram / Discord / iMessage 等 20+ 渠道，模型可换成本地模型，状态与凭证全在自己硬件上。
能干什么：一个本地 Gateway 把「AI 助理」从云端拉回你自己的设备：消息从你已在用的渠道进来（WhatsApp、Telegram、Discord、Slack、iMessage 等 20+，外加 macOS / iOS / Android / Windows 原生 App），大脑可以换成任意模型供应商或本地模型（llama.cpp / Ollama 这类），状态、记忆、凭证全部落在自己硬件上——官方口径「无隐藏上报，默认只有一天的版本检查」。Agent 能力按插件扩展：工具、技能（skills）、ClawHub 插件市场，官方文档自己标注了安全边界（入站消息按不可信输入处理、DM 渠道默认配对审批、工具沙箱可选）。一个 Gateway 既能当单机的个人助理，也能当多人共享的共享实例，差别只在配置。
怎么干：
1. macOS / Linux / WSL2：curl -fsSL https://openclaw.ai/install.sh | bash；Windows：iwr -useb https://openclaw.ai/install.ps1 | iex
2. 或 npm install -g openclaw（Node 24.16+），再 openclaw onboard --install-daemon 走初始化向导
3. onboard 会自动验证模型接入、建工作区、配 Gateway；openclaw gateway status 看状态，openclaw dashboard 开控制台
4. 接渠道按 docs 的 channels 页配 WhatsApp / Telegram / Discord 等；陌生发信人默认要 openclaw pairing approve 审批
5. 想换本地模型：模型供应商是插件，按 model-providers 文档配成本地 OpenAI 兼容端点即可
本站怎么用：本站的「显卡 → 模型」是应用链的前两环，Agent 是第三环：本地模型跑起来之后最真实的一个用法，就是把它当 Agent 的大脑。OpenClaw 证明本地模型当 Agent 后端是可行路径——它的模型层是插件，接到本站 /capacity/ 里能跑的那个本地模型就行。读者配完本地模型不知道拿它干什么的，这类工具就是答案的一部分。本站不实测、不背书渠道稳定性，只把它作为「本地模型的应用出口」列进来。
显存口径：它自己不占显存（Gateway 是 CPU 侧的控制平面），显存账全在它接的模型上——按本站 /capacity/ 查你接的那个模型在卡上的档位即可。渠道与插件的内存占用另算，不进本站显存公式。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 394,412 / fork 82,886（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/openclaw/openclaw
来源：https://gpuvram.cloud/tools/openclaw/

### Open Lovable（firecrawl/open-lovable）
分类：Agent 工具 · 一句话：把任意一个网站克隆成一个现代 React 应用：贴一个网址，AI 分析结构后生成带 TypeScript / Tailwind 的完整代码库，代码归你。
能干什么：贴一个 URL，它用 Firecrawl 把目标网站的页面抓下来，交给 AI 分析结构与样式，再生成一个能跑的 React 代码库：组件、样式、文件结构都按现代实践（TypeScript + Tailwind）生成，几分钟出一个可改的起点。定位很明确——不是像素级截图复刻，是「看懂这个站的结构后用你自己的代码重建」；代码生成完归你所有，可以改、可以发、可以商用。也支持聊天式迭代（继续对话让它改页面）。
怎么干：
1. git clone https://github.com/firecrawl/open-lovable.git && pnpm install
2. .env.local 里填 FIRECRAWL_API_KEY（必需）+ 任选一家 LLM key（Gemini / Anthropic / OpenAI / Groq）
3. 沙箱选 Vercel（默认，vercel link 拿 OIDC token）或 E2B 二选一
4. pnpm dev 起本地，贴网址开始克隆，之后在聊天里继续迭代
本站怎么用：它是「大模型干什么用」的一个具体样本：把「生成前端代码」这件事做成了一个能贴网址就跑的产品。对本站读者（本地模型爱好者）的意义是——这类应用背后要跑的是长上下文、多工具调用的模型，本站 /capacity/ 里 24G / 32G 档位的卡正好接得住它的 LLM 那一侧（代码生成侧用云端或本地模型都行，抓取侧是 Firecrawl 云服务）。把它列进来，是给「本地模型跑 Agent / 编码工具」这条链补一个看得见摸得着的例子。本站未实测其生成质量，不评价克隆相似度。
显存口径：无本地显存门槛（它本身跑云端 LLM / 沙箱）；若把它的代码生成侧接到本地模型，按本站 /capacity/ 查你选的那个模型的档位即可。
许可：可商用（有条件）（MIT）——MIT（GitHub API 2026-11-10 实时值），代码本身宽松可商用；但它依赖 Firecrawl 抓取服务（需 API key）与所选 LLM（Gemini / Claude / OpenAI / Groq），服务条款与费用在第三方侧。
快照：star 28,905 / fork 5,517（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/firecrawl/open-lovable
来源：https://gpuvram.cloud/tools/open-lovable/

### ComfyUI（Comfy-Org/ComfyUI）
分类：图像/视频生成 · 一句话：最强的节点式扩散模型工作台：画图/改图/跑视频模型都走它的节点图，本地出图的通用底座。
能干什么：把 Stable Diffusion 系（SDXL / FLUX / SD3）和开源视频模型（Wan、HunyuanVideo）做成一张可拖拽的节点图：每一步（采样器、调度器、VAE、LoRA、控制网）都是一个节点，想要什么效果连什么线，配方（workflow）可以保存成 JSON 分享。它自己不绑死任何一个模型——模型文件放 models 目录就能用，新模型（尤其 FLUX 和开源视频模型）基本都优先适配它。
怎么干：
1. git clone 后 pip install -r requirements.txt，python main.py 起本地网页（默认 8188 端口）
2. 把模型权重放 models/checkpoints（图）、models/diffusion_models（FLUX 系）等目录
3. 按官方 workflows 或社区分享图连接节点，Start 出图；视频模型同理走对应工作流
本站怎么用：「本地出图/出视频」是本站读者显存问题最重的一支——比聊天模型更吃显存，而且读者问得最多（FLUX 到底要多少 G、视频模型能不能跑）。本站容量表的权重+KV 公式是为聊天模型设计的，扩散模型要单独立账（模型权重 + 潜空间激活），本页的显存口径单独说明，不套聊天模型公式。
显存口径：扩散模型显存账与 /capacity/（聊天模型）不同套：经验口径 SDXL 约 8G 够、FLUX-dev fp8 约 12–16G、开源视频模型（Wan/HunyuanVideo）24G+——这是社区通用口径非本站实测，具体以模型卡与你的实测为准。8G 卡跑 SD1.5/SDXL 轻量是稳妥区。
许可：可商用（有条件）（GPL-3.0）——GPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部商用可；分发修改版需以 GPL 开源。非 OSI 宽松许可，SaaS 不强制开源。
快照：star 146,524 / fork 17,463（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Comfy-Org/ComfyUI
来源：https://gpuvram.cloud/tools/comfyui/

### GPT4All（nomic-ai/gpt4all）
分类：前端与分发 · 一句话：在任意设备上本地跑 LLM 的桌面应用：装好就能下模型、就能聊，给不想折腾命令行的人。
能干什么：一个装完就能用的本地模型桌面 App：内置模型商店（直接下 Nomic 自家与现代化的 GGUF）、聊天界面、文件问答（把本地文档喂给模型）。面向「不想碰终端」的入门用户，Windows / macOS / Linux 都有安装包。底层是可换的本地引擎，不依赖云端。
怎么干：
1. 官网下对应系统安装包
2. 打开后在 App 里直接下载一个模型（或导入自己的 GGUF）
3. 直接聊天，或把文档加进去做本地问答
本站怎么用：它是「不想装 Ollama/llama.cpp 的入门者」的替代入口——和 Ollama 功能重叠但更开箱即用。读者问「有没有不用命令行的本地方案」时指这里。显存门槛和任何 GGUF 方案一样：按 /capacity/ 查你选的模型档位即可。
显存口径：与 Ollama / llama.cpp 同口径：显存 = 权重 + KV + 开销，按 /capacity/ 查所选模型档位。它本身是 GUI 壳，额外占用很小。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 77,355 / fork 8,259（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/nomic-ai/gpt4all
来源：https://gpuvram.cloud/tools/gpt4all/

### Jan（janhq/jan）
分类：前端与分发 · 一句话：100% 离线跑的 ChatGPT 替代品（桌面 App）：聊天 + 知识库 + 应用，数据不出本机。
能干什么：一个强调「离线、私有」的本地模型桌面应用：聊天、文档知识库问答、工作区（apps）三类玩法，全部在本机跑，不依赖任何云 API。支持对接本地模型文件，界面比命令行友好得多。用 Rust 写，主打隐私——你的数据、记忆、设置都在自己电脑上。
怎么干：
1. 官网下载安装包（Win/macOS/Linux）
2. 首次启动选一个本地模型或导入 GGUF
3. 聊天 / 上传文档建知识库 / 配 apps 三个入口直接用
本站怎么用：定位和 GPT4All / LM Studio 同类——「本地、离线、GUI」三件套。读者在「不想碰终端、要离线、要能喂自己文档」三个条件同时满足时，Jan 和 GPT4All 是两个主要选项。显存按 /capacity/ 查所选模型。
显存口径：同 GGUF 方案口径：显存 = 权重 + KV + 开销，按 /capacity/ 查所选模型档位。知识库的文档切分与向量存在内存/本地库，不额外吃显存。
许可：可商用（NOASSERTION）——Apache-2.0（LICENSE 原文 2026-11-10 经 jsDelivr CDN 直读仓库文件核到；raw.githubusercontent 对本仓库持续超时，改走 cdn.jsdelivr.net/gh/janhq/jan@main/LICENSE）：宽松许可，商用无限制（保留许可条款；项目请求在用户可见文档中保留署名）。此前标「未知」系原文多次拉取超时，现已核到。
快照：star 45,692 / fork 3,171（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/janhq/jan
来源：https://gpuvram.cloud/tools/jan/

### Whisper（openai/whisper）
分类：Agent 工具 · 一句话：开源语音转写：把说话/录音转成文字，模型小到能在 2G 显存甚至 CPU 上跑。
能干什么：大规模弱监督训练出来的语音识别模型族（tiny / base / small / medium / large / turbo）：丢一段音频进去，出来就是文字。特点是抗噪、跨语言、能标时间戳，turbo 档又快又准。它不占多少显存（large 也就 2G 量级，小档几百 MB），是「本地多模态」里最轻的一块——本地语音助手、会议转写、字幕生成都用它。
怎么干：
1. pip install -U openai-whisper（或装 faster-whisper 提速版）
2. whisper audio.mp3 --model turbo 出文本
3. 要 API 就起本地服务，或接进你的应用当转写后端
本站怎么用：本站主战场是「大模型吃显存」，Whisper 正好是反面教材——多模态里最省显存的一环，专门给读者一个「本地语音不贵」的参照。本地语音助手链（转写 Whisper → 对话 本地 LLM → 合成 TTS）里它是固定一环。
显存口径：显存很轻：tiny/base 几百 MB、small 约 1G、large/turbo 约 2G，CPU 也能跑（慢一些）。不占 /capacity/ 的主模型显存档，两者可共存。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 112,605 / fork 13,655（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/openai/whisper
来源：https://gpuvram.cloud/tools/whisper/

### RAGFlow（infiniflow/ragflow）
分类：Agent 工具 · 一句话：Agent 原生的 RAG 引擎：把一堆文档喂成知识库，本地或自托管，带引用溯源。
能干什么：一个把「一堆 PDF/Word/网页」变成可问答知识库的 RAG 引擎：文档解析（尤其擅长复杂排版/PDF 表格）、切分、向量化、检索、生成全链路自带，回答带引用溯源（哪句话来自哪份文档哪一段）。Agent 原生——能接工具、做多轮检索。可自托管，模型端点可指向本地 LLM，也能接在线 API。
怎么干：
1. Docker Compose 一键起（docker compose up -d）
2. 在网页端建知识库、传文档、选解析方式
3. 问答时可把生成端点指成本地模型（Ollama / vLLM 等）
本站怎么用：「本地模型 + 自己的文档」是读者落地最多的一步——聊天是起点，喂文档才是生产力。RAGFlow 是这条链的知识库侧。注意它要连一个 embedding 模型 + 主模型：embedding 常驻显存，主模型按 /capacity/ 查档位，两者显存要加起来算。
显存口径：总账 = 主模型（按 /capacity/ 档位）+ embedding 模型常驻（常见 0.5–1.5G 级）+ 检索向量内存。16G 档是「本地 RAG 比较舒服」的常见起点，8G 档用小 embedding + 小主模型也能跑。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值），商用无限制（保留许可与专利授权条款）。
快照：star 94,093 / fork 11,314（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/infiniflow/ragflow
来源：https://gpuvram.cloud/tools/ragflow/

### Khoj（khoj-ai/khoj）
分类：Agent 工具 · 一句话：可自托管的「第二大脑」：把网页、文档、笔记汇成一个能问、能自动做事的个人 AI。
能干什么：一个可自托管的个人 AI 助手：把你收藏的网页、本地文档、笔记统一成可检索的知识源，用自然语言问、它带引用答；还能建自定义 Agent、定时跑自动化、做深度研究。模型端点可接任何在线或本地 LLM（GPT / Claude / Gemini / Llama / Qwen / Mistral），接本地模型就纯本地跑。
怎么干：
1. Docker 或 pip 自托管起一个实例
2. 接上你的模型端点（本地 Ollama/vLLM 或在线 API）
3. 导入文档/网页建知识源，开始问答、建 Agent、配自动化
本站怎么用：和 RAGFlow 同属「喂文档」链，但 Khoj 更偏「个人第二大脑」（笔记+网页+文档混合、带 Agent 自动化），RAGFlow 更偏「企业知识库引擎」。读者想在个人层面把本地模型当随身助手，Khoj 是代表。接本地模型时显存按 /capacity/ 查所选主模型。
显存口径：接本地模型时显存 = 主模型（按 /capacity/ 档位）+ embedding 常驻。纯接在线 API 则本地无显存门槛（但就不是本地隐私方案了）。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地使用基本无影响。
快照：star 38,118 / fork 2,546（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/khoj-ai/khoj
来源：https://gpuvram.cloud/tools/khoj/

### AnythingLLM（Mintplex-Labs/anything-llm）
分类：Agent 工具 · 一句话：本地优先的 Agent 全家桶：聊天、知识库、Agent 一个应用打包，装完就能用。
能干什么：一个「本地优先」的 Agent 桌面应用：把聊天、文档知识库、Agent、向量库、embedding 全打包进一个应用，装完直接用，不用自己拼 Ollama + Chroma + 前端。口号是「别再租你的智能了，自己拥有」——模型端点可指本地（Ollama 等）也可指在线 API，知识库数据留在本机。
怎么干：
1. 官网下载安装包
2. 首次设置选一个本地模型后端（Ollama）或 API
3. 建工作区、传文档、开始问答 / 建 Agent
本站怎么用：它是「本地 Agent 全家桶」里最省事的入口——和 Jan / GPT4All 相比，AnythingLLM 更强调 Agent + 知识库一体化。读者想要「一个 App 搞定本地模型 + 喂文档 + Agent」时指这里。显存按所接本地模型 /capacity/ 档位。
显存口径：显存 = 所接本地模型（按 /capacity/ 档位）+ 内置向量/embedding（内存为主）。它自己不额外吃多少显存，重在「把链路打包好」。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 68,225 / fork 7,701（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Mintplex-Labs/anything-llm
来源：https://gpuvram.cloud/tools/anything-llm/

### Cherry Studio（CherryHQ/cherry-studio）
分类：前端与分发 · 一句话：国产维护的桌面 AI 工作台：多模型、多助手、绘画、翻译、知识库，一个客户端收口。
能干什么：一个功能很全的桌面 AI 工作台（国产团队维护、中文友好）：同时接多家模型（在线 + 本地 Ollama/llama.cpp）、多助手、内置绘画（Stable Diffusion）、翻译、知识库、快捷词。它的价值是「一个客户端把散落的本地 + 在线模型都管起来」，界面完成度高，适合当主力日常入口。
怎么干：
1. 官网下载安装包
2. 设置里加模型（在线 key 或本地 Ollama 地址）
3. 开助手 / 建知识库 / 用内置绘画，各功能独立可用
本站怎么用：它是「本地 + 在线混合使用」的收口器——读者既有本地大模型（本站主战场）又偶尔想用在线 API 时，Cherry Studio 比单接一个 Ollama 更实用。接本地模型时显存按 /capacity/ 查所选模型；内置绘画走扩散模型另算显存（见 ComfyUI 口径）。
显存口径：接本地模型时显存按 /capacity/ 查所选档位；内置 SD 绘画是扩散模型，显存另算（经验口径 8G 起，非本站实测）。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地使用基本无影响。
快照：star 53,460 / fork 5,214（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/CherryHQ/cherry-studio
来源：https://gpuvram.cloud/tools/cherry-studio/

### LobeChat（lobehub/lobehub）
分类：前端与分发 · 一句话：高完成度的聊天前端：助手市场、插件、TTS/STT、知识库，接本地或在线模型都行。
能干什么：一个完成度很高的聊天前端（LobeHub 出品）：内置助手市场、模型广场、插件、语音（TTS/STT）、知识库、上下文管理，界面是同类里最「产品化」的之一。模型端点可接本地（Ollama / OpenAI 兼容）也可接在线 API，适合当个人主力聊天入口。
怎么干：
1. Docker 自托管或 npm 起一个实例
2. 设置里配模型端点（本地 Ollama 地址或在线 API）
3. 用助手市场 / 插件 / 知识库，按需启用
本站怎么用：和 Cherry Studio 同属「高完成度聊天前端」，LobeChat 更偏开源可自托管、扩展生态（插件/助手市场）强。读者想要「好看、能扩展、能接本地模型」的聊天界面时指这里。接本地模型显存按 /capacity/ 查所选档位。
显存口径：纯前端，显存 = 所接本地模型（按 /capacity/ 档位）。接在线 API 则本地无显存门槛。
许可：可商用（有条件）（NOASSERTION）——LobeHub Community License（基于 Apache-2.0，已核 LICENSE 原文 2026-11-10）：不改源码可商用（含前后端）；开发并分发衍生作品需向出品方购商业授权。
快照：star 85,170 / fork 16,259（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/lobehub/lobehub
来源：https://gpuvram.cloud/tools/lobe-chat/

### KoboldCpp（LostRuins/koboldcpp）
分类：推理框架 · 一句话：单文件零安装的本地推理：一个 exe 拖个 GGUF 就能跑，弱机/纯 CPU 也友好。
能干什么：把「跑一个 GGUF 模型」压成一件事：下载一个单文件可执行（无安装、无依赖），把一个 GGUF 权重丢给它就能出文字 + 起本地 WebUI + OpenAI 兼容 API。对 CPU / 弱独显特别友好——GPU 没有或不够时它会自动把部分层放 CPU，是「机器比较老、显存很少」场景的实用选项，跑创作向（角色扮演/故事）的社区用它多。
怎么干：
1. 下载对应系统的单文件可执行（无安装步骤）
2. 命令行指定 GGUF 文件路径启动（或拖进去）
3. 开 WebUI 或 OpenAI 兼容端口直接用
本站怎么用：它是「显存不够 / 没有独显」那档读者的兜底推理路径——和 llama.cpp 同属 GGUF 生态但更傻瓜（单文件零装）、CPU 回退更省心。读者机器偏老、想先跑起来再说时指这里。显存 / 内存口径与 llama.cpp 同源：按 /capacity/ 查模型档位，放不下时它走 CPU 层offload。
显存口径：同 GGUF 口径（权重 + KV + 开销）；独显不够时自动把部分层放到 CPU（变慢但能跑），口径见 /capacity/ 的 offload 说明。单文件零依赖是它和 llama.cpp 的最大区别。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地使用基本无影响。
快照：star 12,299 / fork 821（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/LostRuins/koboldcpp
来源：https://gpuvram.cloud/tools/koboldcpp/

### SillyTavern（SillyTavern/SillyTavern）
分类：前端与分发 · 一句话：进阶玩家本地聊天前端：人设/卡面/扩展生态极丰富，接任意本地或在线后端。
能干什么：一个面向进阶玩家的本地 LLM 前端：主打「人设 + 卡面 + 扩展」生态——海量社区人设卡、UI 皮肤、扩展插件，多角色对话、语音、翻译等玩法齐全。它本身不跑模型，是纯前端壳，后端接任意 OpenAI 兼容端点（本地 Ollama/llama.cpp 或在线 API）。创作向（角色扮演/小说）社区用得最多。
怎么干：
1. 下载发布包解压，运行启动脚本
2. 设置里配后端端点（本地 Ollama/llama.cpp 地址或 API）
3. 导入社区人设卡/扩展，开始多角色对话
本站怎么用：它是「本地模型 + 创作玩法」的代表前端——读者用本地模型做角色扮演/小说/多角色时，SillyTavern 是生态最全的壳。本站按红线只收 SFW 生产力向，不引导任何越狱/NSFW 卡面，这里只介绍其作为本地前端的技术价值。纯前端，显存全在后端模型（按 /capacity/ 查）。
显存口径：纯前端壳，自身不占显存；显存 = 所接后端模型（按 /capacity/ 档位）。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地使用基本无影响。
快照：star 35,569 / fork 6,699（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/SillyTavern/SillyTavern
来源：https://gpuvram.cloud/tools/sillytavern/

### LM Studio (lms CLI)（lmstudio-ai/lms）
分类：推理框架 · 一句话：LM Studio 的命令行入口：装过 LM Studio 桌面版的人，一条 lms 命令就能脚本化跑模型。
能干什么：LM Studio 桌面应用的命令行（CLI）侧：如果你已经在用 LM Studio 那个「装完就能下模型就能聊」的 GUI，lms 让你能在终端里脚本化地查模型、跑推理、起服务。它是「GUI 友好 + 命令行可控」两条腿里的命令行那条，省得每次都点界面。
怎么干：
1. 装了 LM Studio 桌面版后自带 lms（或单独装）
2. lms ls 看本地模型、lms run 跑一个、lms server 起 OpenAI 兼容服务
3. 脚本里调 lms 做批量 / 自动化
本站怎么用：给「喜欢 LM Studio 的 GUI 但偶尔要脚本/自动化」的读者一个出口。注意：LM Studio 桌面 App 本身是闭源商业软件，这里是它的开源 CLI 组件——介绍以 CLI 能力为准。显存按所接模型 /capacity/ 档位。
显存口径：同 GGUF / 本地推理口径：显存 = 所接模型（按 /capacity/ 档位）+ 开销。CLI 本身额外占用极小。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值），宽松许可，商用无限制。
快照：star 5,423 / fork 474（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/lmstudio-ai/lms
来源：https://gpuvram.cloud/tools/lmstudio/

### text-gen-webui (textgen)（oobabooga/textgen）
分类：前端与分发 · 一句话：老牌本地 LLM 桌面/Web 界面：文本、看图、工具调用、OpenAI 兼容 API 都有，100% 私有。
能干什么：一个历史很久的本地 LLM 桌面/Web 应用：从最早一批「本地跑 ChatGPT 替代品」做到现在，功能覆盖文本对话、视觉（看图）、工具调用，并起 OpenAI/Anthropic 兼容 API 给别的应用用。主打 100% 私有、本地跑。对喜欢「一个带界面的本地全家桶」的老用户熟悉度高。
怎么干：
1. 按官方 README 装（Python 环境）
2. 下载/指向一个本地模型
3. 开 WebUI 聊天，或起 OpenAI 兼容端口给其他应用用
本站怎么用：它是「本地全家桶」里的老资历——和 Jan/GPT4All 同类但更偏 WebUI/极客向。读者想要「带界面 + 能起 API 给别的应用当后端」的本地方案时这是一个选项。显存按所接模型 /capacity/ 档位。
显存口径：显存 = 所接本地模型（按 /capacity/ 档位）+ 开销；起兼容 API 不额外吃显存。视觉（看图）会额外占一点。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地使用基本无影响。
快照：star 47,739 / fork 5,974（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/oobabooga/textgen
来源：https://gpuvram.cloud/tools/textgen/

### Tabby（TabbyML/tabby）
分类：Agent 工具 · 一句话：自托管的私有代码补全：像 Copilot 一样补代码，但模型和数据都跑在你自己机器上。
能干什么：一个自托管的 AI 代码补全服务：接在编辑器（VS Code 等）里，像 Copilot 一样在你打字时补全代码，但模型推理、你的代码全留在自己机器/内网，不出门。支持用本地模型做补全，团队场景（代码不出公司）价值明显。开源核心 + 企业目录（open-core）。
怎么干：
1. Docker 起一个 Tabby 实例（自托管）
2. 配一个本地补全模型端点
3. 编辑器装对应插件、指向 Tabby 地址，开始补全
本站怎么用：「本地模型当代码助手」的具体落地——读者有本地大模型又想当私有 Copilot 用，Tabby 是代表。和 OpenClaw/Cline 这类「Agent 级编码」不同，Tabby 是「补全级」（行内补全，不是自主改整个仓库）。接本地模型显存按 /capacity/ 查所选补全模型（补全模型通常较小，8G 档够用常见）。
显存口径：补全模型通常较小（几 B 级量化），常见 8G 档够；具体按 /capacity/ 查你选的那个补全模型档位。
许可：可商用（有条件）（NOASSERTION）——Open-core（已核 LICENSE 原文 2026-11-10）：核心 Apache-2.0 可商用；ee/ 企业目录单独许可。
快照：star 33,936 / fork 1,797（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/TabbyML/tabby
来源：https://gpuvram.cloud/tools/tabby/

### Cline（cline/cline）
分类：Agent 工具 · 一句话：VS Code 里的自主编码 Agent：给它一个任务，它自己读改文件、跑命令、一步步做完。
能干什么：一个装在 VS Code 里的自主编码 Agent：你用自然语言给个任务（「把这段重构成异步」「加个测试」），它自己读相关文件、改代码、跑命令、看报错、再改，一步步把活干完，全程在编辑器里可见可控。可接在线大模型，也能接本地模型当大脑——接本地时显存就是那个模型的账。
怎么干：
1. VS Code 装 Cline 插件
2. 配模型端点（在线 key 或本地 OpenAI 兼容端点）
3. 给一个编码任务，看它一步步执行、逐步确认
本站怎么用：「本地模型当编码 Agent」的代表入口（另一个是 OpenClaw 的全渠道助理）。读者有本地大模型、想在编辑器里让 AI 帮忙改代码，Cline 是最常见的起点。注意它要能 tool-calling 的模型——按 /capacity/ 查你选的那个模型档位，且上下文别开太小（Agent 要来回读文件，上下文吃显存）。
显存口径：显存 = 所接模型（按 /capacity/ 档位）。Agent 场景上下文要留够（来回读写文件），别只按最小档配——见 /capacity/ 的上下文档位。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值），商用无限制（保留许可与专利授权条款）。
快照：star 71,569 / fork 7,919（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/cline/cline
来源：https://gpuvram.cloud/tools/cline/

### aider（Aider-AI/aider）
分类：Agent 工具 · 一句话：终端里的 AI 结对编程：命令行 + git 集成，给个任务它改文件、自动提交，可接本地模型。
能干什么：一个在终端里跑的 AI 结对编程工具：你在命令行描述任务，它改代码文件、自动 git 提交、能查报错再修，支持「把整个仓库喂给它」做仓库级修改。模型可换（在线或本地 OpenAI 兼容端点），接本地模型时显存就是那个模型的账。和 Cline（VS Code 图形）相比，aider 更偏纯终端/脚本流。
怎么干：
1. pip install aider-chat
2. 配模型（在线 key 或本地 OpenAI 兼容端点）
3. 在仓库目录里 aider，给任务，它改文件并自动提交
本站怎么用：「本地模型 + 终端编码 Agent」的代表——不喜欢 IDE 插件、习惯命令行的人选 aider。和 Cline 的区别就是终端 vs 编辑器界面。接本地模型显存按 /capacity/ 查所选模型；同样要 tool-calling 能力 + 够用的上下文。
显存口径：显存 = 所接模型（按 /capacity/ 档位）；仓库级修改要模型有 tool-calling + 较大上下文，别按最小档配。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值），商用无限制（保留许可与专利授权条款）。
快照：star 50,095 / fork 5,160（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Aider-AI/aider
来源：https://gpuvram.cloud/tools/aider/

### LocalAI（mudler/LocalAI）
分类：推理框架 · 一句话：开源本地 AI 引擎：聊天、视觉、语音、图像、视频全模型类型走一个服务器，OpenAI 兼容 API 直接替换，无 GPU 也能跑。
能干什么：一个把「跑任何模型」做成一个服务器的开源引擎：LLM、视觉、语音转写/合成、图像生成、视频，全部走同一套 OpenAI / Anthropic / ElevenLabs 兼容 API——原来连云端接口的应用，把 base_url 改到本地就能用。架构是「小核心 + 按需拉后端」：llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等 60+ 后端各自独立，模型需要哪个才拉哪个，不装用不上的。硬件覆盖 NVIDIA（CUDA）、AMD（ROCm）、Intel（oneAPI）、Apple Silicon（Metal）、Vulkan、纯 CPU。还带多用户（API key、配额、角色）、可保存 Agent 的会话（工具调用 / MCP / 文件 / Telegram 连接器）、从签名目录装 Add-ons（Studio、Talk、Voice、Face 等）。
怎么干：
1. Docker 一条命令起服务器（NVIDIA 示例：docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13；CPU 去掉 --gpus 换 latest 镜像）
2. local-ai run llama-3.2-1b-instruct:q4_k_m 拉一个模型跑起来（支持官方模型库、HuggingFace、Ollama 仓库、YAML 配置多种来源）
3. 现有应用把 OpenAI 兼容端点指到本地 8080 端口即可；或用自带 WebUI / 终端 Agent 直接玩
本站怎么用：它是本站读者的「全模态本地中枢」：Ollama / llama.cpp 是「本地跑文本模型」的轻路径，LocalAI 把图像、语音、视觉也收进同一个服务器，还自带 OpenAI/Anthropic API 直替换和多用户。读者想「一个服务器跑遍本地模型全家、还让现有应用少改代码」时，它是比 Ollama 更重的选项——后端按需拉，磁盘占用会随用的模型膨胀。文本模型的显存按 /capacity/ 查所选档位。
显存口径：引擎本身不占显存，占显存的是它跑的模型：文本模型按 /capacity/ 档位算（走 llama.cpp 后端时与单独用 llama.cpp 同口径）；图像/视频生成后端显存需求另算，明显高于文本模型。支持纯 CPU，弱机可跑但慢。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值，Search API 现查；核心 repos API 当日限流），宽松许可，商用无限制。
快照：star 50,342 / fork 4,596（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/mudler/LocalAI
来源：https://gpuvram.cloud/tools/localai/

### LightRAG（HKUDS/LightRAG）
分类：Agent 工具 · 一句话：轻量知识图谱 RAG 框架：把文档建成实体-关系图，双级检索答跨文档问题，比纯向量 RAG 更准、LLM 开销更低。
能干什么：一个轻量级的知识图谱 RAG 框架（EMNLP 2025），定位是 Microsoft GraphRAG 的高效替代。双层架构同时管知识图谱和向量：建库时让 LLM 从文档里抽实体-关系建图，查询时双级检索——local 模式抓具体实体细节、global 模式抓跨文档主题关系，再混上传统向量检索（naive / hybrid / mix 五档可选）。它不靠社区报告和多跳推理，把索引和查询阶段的 LLM 调用次数压得明显更低（延迟和 token 成本都省）。支持增量更新、删文档后自动重建受影响图谱；解析引擎多（MinerU / Docling / 自带原生解析，原生引擎能处理文档里的图片、表格、公式）；四种切块策略；存储后端可换（默认内存版只适合小规模测试，生产推荐 PostgreSQL，也支持 MongoDB / OpenSearch / Neo4j / Milvus 等）。带 WebUI + REST API 服务器；可按角色（抽取 / 查询 / 关键词 / 视觉）分别配不同模型——官方给本地部署的参考是抽取角色至少 Qwen3-30B-A3B 级（项目自述口径）。
怎么干：
1. uv tool install "lightrag-hku[api]"（或 pip install "lightrag-hku[api]"）
2. 把 env.example 拷成 .env，配 LLM 与 embedding（本地可全指向 Ollama/vLLM），跑 lightrag-server 起 WebUI + API（也可 docker compose up）
3. WebUI 传文档建图谱，然后用 local/global/hybrid/naive/mix 不同查询模式问答；生产环境把存储切到 PostgreSQL 等后端
本站怎么用：栏目里 RAGFlow 是「产品化知识库引擎」、Khoj 是「个人第二大脑」，LightRAG 是「图谱 RAG 算法框架」这一档——读者想搞清楚「RAG 检索到底怎么做的」、或者要在开源算法上自己拼知识库（接本地模型）时，它是当前代表。注意它的索引阶段要用 LLM 抽实体-关系，官方对本地模型的门槛建议比一般聊天重（见显存口径），不是「随便塞个小模型」就能跑的。
显存口径：总账比一般 RAG 重：抽取角色要用能干实体抽取的 LLM（官方建议本地部署至少 Qwen3-30B-A3B 级——项目自述口径，未本站复现；该模型 Q4 量化权重按参数量×精度粗估约 18G 量级，属本站估算非项目数据，实际以 /capacity/ 所选模型档位为准）+ embedding 模型常驻（官方推荐 bge-m3 类）；查询角色可配更强模型。若抽取走在线 API、查询走本地，本地显存压力可显著降低。默认内存存储只够小规模，数据集大要切生产存储。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值，Search API 现查；核心 repos API 当日限流），宽松许可，商用无限制。
快照：star 40,674 / fork 5,774（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/HKUDS/LightRAG
来源：https://gpuvram.cloud/tools/lightrag/

### Stable Diffusion WebUI (AUTOMATIC1111)（AUTOMATIC1111/stable-diffusion-webui）
分类：图像/视频生成 · 一句话：老牌本地文生图 WebUI：txt2img/img2img/高清修复/训练 LoRA 全在一个网页里，社区扩展最多，NVIDIA/AMD 都能装。
能干什么：本地跑 Stable Diffusion 系模型最经典的一个网页界面：文生图、图生图、局部重绘（inpainting）、外扩（outpainting）、高清修复一键出大图、注意力语法（给提示词某部分加权）、批量处理、种子管理、训练 embeddings/hypernetworks/LoRA，还有 GFPGAN/CodeFormer 修脸、RealESRGAN 放大等一整套后处理。它的生态优势是扩展（extension）最多——社区几万个扩展几乎都以它为默认目标。注意：它主要面向 Stable Diffusion 1.5/2 一代的玩法，SDXL/FLUX/视频模型的新玩法社区已普遍转向 ComfyUI 这类节点式界面（见本站另一条）。项目最近一次推送停在 2026-03-02，更新节奏明显放缓，但仍是存量用户最多的本地出图入口。
怎么干：
1. Windows+NVIDIA：官网 v1.0.0-pre 的 sd.webui.zip 解压后跑 update.bat 再 run.bat（或用仓库 webui-user.bat 自动装 Python 依赖）
2. Linux：git clone 后跑 webui.sh；AMD 卡按其 wiki 的 ROCm 流程装
3. 把 SD 模型权重放 models/Stable-diffusion，网页里选模型开始出图；装扩展走 Extensions 页
本站怎么用：读者问「本地画图要多少显存」的老答案就出自这里：项目 README 自述支持 4G 显存卡（也有 2G 能跑的社区报告，针对 SD1.5 一代模型），这是本站「本地出图门槛」的参照点之一。新玩家若主要玩 SDXL/FLUX/视频，本站建议先看 ComfyUI 那条；SD WebUI 适合想要「成熟功能+最多扩展」的 SD1.5 工作流。
显存口径：显存账（项目自述 + 社区口径，非本站实测）：SD1.5 约 4G 可跑（README 自述，2G 有社区报告）、SDXL 约 8G 起、更大模型看量化。出图类显存消耗与聊天模型不同套——权重 + 潜空间激活，峰值比稳态高，按你选的模型档位另算，别直接套 /capacity/ 的聊天模型公式。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值，Search API 现查）：自用/内部可；提供网络服务或分发修改版需开源。对纯本地出图使用基本无影响。
快照：star 165,306 / fork 31,149（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/AUTOMATIC1111/stable-diffusion-webui
来源：https://gpuvram.cloud/tools/sd-webui/

### Headroom（headroomlabs-ai/headroom）
分类：Agent 工具 · 一句话：给 AI Agent 装的「上下文压缩层」：工具输出/日志/RAG 片段/对话历史进 LLM 前先压一遍，答案不变、输入 token 少 21–57%。
能干什么：一个跑在本地的上下文压缩中间件，专门治「Agent 烧 token」：它压的是模型要读的东西——工具输出、日志、RAG 检索片段、文件、对话历史，按内容类型路由到不同压缩器（JSON 用 SmartCrusher、代码用 AST 感知的 CodeCompressor、文本用自训的 Kompress 小模型）。项目自述的四个真实 Agent 场景基准：代码搜索省 21%、SRE 排障省 57%、代码库探索省 42%、issue 分诊省 30%；重复性强的 JSON/日志能省 90%+，纯散文几乎不省。接入方式四种：Python/TS 库一行 compress()、零代码改动的本地代理（headroom proxy）、一条命令包现有编码 Agent（headroom wrap claude/codex/cursor/copilot/aider/cline 等十几款）、MCP server。压缩可逆——原文缓存在本地（CCR），模型要全文时自己调 headroom_retrieve 取回；跨 Agent 共享一份记忆；headroom learn 能从失败会话里挖教训写回 CLAUDE.md 这类指令文件。压缩全程本地跑、数据不出机器，延迟开销亚毫秒级（项目自述 10K token 输入 p50 0.21ms）。
怎么干：
1. uv tool install --python 3.13 "headroom-ai[all]"（或 pip install；TS 只用 npm 库）
2. 选一种接法：headroom proxy --port 8787 起代理（零改动）/ headroom wrap claude 包一个编码 Agent / 自己代码里 from headroom import compress 内联用
3. headroom doctor 体检，headroom dashboard 看实时省了多少 token
本站怎么用：它把本站反复回答的「上下文吃显存」问题在输入侧做了一道减法：上下文窗口有限、长工具输出挤占上下文，压缩后同样窗口装得下更多有效信息——对本地小模型尤其有意义（窗口小、每一 token 都贵）。读者用 Cline/aider/OpenClaw 这类编码 Agent 时，这是「不改代码、加一层就省 token」的选项。注意它省的是输入 token，模型本身还是你配的那个（本地或在线）。
显存口径：自身几乎不占显存：基础压缩进程内跑、无需下大模型；[ml] 特性会带 PyTorch（Kompress 模型较小），纯 CPU 也够。它不跑主模型，显存账全在你配的那个 LLM 上（本地模型按 /capacity/ 档位）。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值，Search API 现查），商用无限制（保留许可与专利授权条款）。
快照：star 79,490 / fork 6,220（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/headroomlabs-ai/headroom
来源：https://gpuvram.cloud/tools/headroom/

### nanobot（HKUDS/nanobot）
分类：Agent 工具 · 一句话：超轻量个人 Agent 框架（HKUDS 出品）：浏览器/终端/Telegram/微信/Slack 全渠道接入，能读写文件、跑命令、定时任务、长期记忆，模型随便换。
能干什么：一个主打「小核心、可读、自托管」的个人 AI Agent 框架（Python，约几千行核心）：你在浏览器 WebUI、终端 TUI、或 Telegram / Discord / Slack / 微信 / 邮件 / Mattermost 等渠道跟它说活，它能读 PDF/Word/Excel/PPT 并做摘要、跑 shell 命令、联网搜索/抓取、接 MCP 工具、定时自动化、生成图片、把任务委派给子 Agent；带会话历史与长期记忆（Dream 机制把偏好沉淀进 MEMORY.md），还能跑跨多轮会话的长时目标（/goal）。模型自由：接任何 OpenAI 兼容端点——本地 Ollama / vLLM / llama.cpp 都行，也接在线 API，支持多模型预设与回退。WebUI 里能看 Agent 的推理、工具调用、文件 diff，支持多会话并排工作台。
怎么干：
1. 一键装：Windows 跑 irm .../install.ps1 | iex（或 macOS/Linux 的 install.sh），或 uv tool install nanobot-ai
2. nanobot webui 开浏览器工作台，在 Settings → Models 配一个模型端点（本地 Ollama 或在线 key）
3. 先读个文件试试（「读 notes.txt 写个摘要到 summary.md」），再按需接 Telegram/微信渠道、配定时任务
本站怎么用：栏目里 Agent 工具的「轻量派」代表：OpenClaw 是全渠道重家伙，nanobot 是「核心小、代码读得动、自己魔改」的那一档——读者想要一个跑在自己机器上、能接本地模型、还能塞进聊天软件的随身 Agent，它的门槛最低。接本地模型时显存按 /capacity/ 查你选的那个模型；Agent 场景上下文要留够（它要来回读文件和工具输出）。
显存口径：框架本身不吃显存（Python 网关 + 前端），显存全在你配的主模型上：本地模型按 /capacity/ 档位，且 Agent 场景别按最小上下文配——它读文件、跑工具，上下文占用比纯聊天高。接在线 API 则本地零显存。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值，Search API 现查；核心 repos API 当日限流），宽松许可，商用无限制。
快照：star 50,045 / fork 8,734（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/HKUDS/nanobot
来源：https://gpuvram.cloud/tools/nanobot/

### graphify（Graphify-Labs/graphify）
分类：Agent 工具 · 一句话：Claude Code 的 /graphify 技能：把任意文件夹（代码+PDF+截图+白板照片）建成可查询的知识图谱，项目自述查询省 71.5 倍 token。
能干什么：一个装在 Claude Code 里的技能：对任意文件夹敲 /graphify，它读代码（tree-sitter AST + 调用图）、文档、PDF（引文挖掘）、甚至截图/流程图/白板照片（用 Claude 视觉抽取概念），连成一张知识图谱，产物是一组可长期用的文件——graph.html 交互图、Obsidian 库、agent 可爬的 wiki、GRAPH_REPORT.md（god nodes/意外关联/建议问题）、graph.json 持久图 + SHA256 缓存（重跑只处理变更文件）。每条边标 EXTRACTED / INFERRED / AMBIGUOUS，让你分清「图里找到的」和「猜的」。可以 /graphify query / path / explain 直接问图，--watch 监听文件变更自动同步（代码保存即时重建），git post-commit hook 每次提交后自动重建。项目自述：在 Karpathy 仓库+论文+图片的混合语料上，单次查询比直接读原始文件省 71.5 倍 token。技术栈 NetworkX + Leiden 社区发现 + tree-sitter + vis.js，无服务器、本地跑图本身。注意：概念抽取依赖 Claude（云端模型），所以它是「图在本地、抽取用 Claude」的混合方案，不是纯本地。
怎么干：
1. 装 Claude Code，然后 pip install graphifyy && graphify install（包名临时叫 graphifyy，命令仍是 graphify）
2. 在任意目录的 Claude Code 里敲 /graphify .（或 /graphify ./raw 指定文件夹，--mode deep 加激进的推断边）
3. 用 /graphify query "什么连接了 X 和 Y?" 问图；要 agent 可导航就 --wiki；要 MCP 就 --mcp
本站怎么用：它把「给编码 Agent 喂代码库」这件事从「每次重新读文件」变成「查一次建好的图」——和本站 /capacity/ 反复讲的「上下文有限，别浪费在重复读文件上」是同一思路，只是用图谱而不是压缩。适合代码库大、文档杂（论文/截图混着放）的读者。注意它的抽取环节走 Claude 云端：代码结构和调用图是本地 AST（不花钱不出门），但文档/图片的概念抽取要 Claude 订阅或 API——纯本地诉求强的读者要心里有数。
显存口径：本地部分不吃显存：AST/图构建/社区发现全在 CPU（Python）。花钱/出门的部分是 Claude 抽取（云端），与本地显卡无关。接本地模型做抽取不在其设计内（目前依赖 Claude 视觉与 LLM）。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值，Search API 现查），商用无限制（保留许可与专利授权条款）。
快照：star 146,756 / fork 14,076（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Graphify-Labs/graphify
来源：https://gpuvram.cloud/tools/graphify/

### Local Deep Research (LDR)（LearningCircuit/local-deep-research）
分类：Agent 工具 · 一句话：全本地深度研究助手：给一个问题，它自己搜网页/论文/你的文档，多引擎交叉检索后写带引用的报告，可完全本地跑。
能干什么：一个本地优先的 agentic 研究工具：你提一个复杂问题，它自己决定搜什么——跨网页（SearXNG/Brave/Google）、学术（arXiv/PubMed/Semantic Scholar）、你本地文档库多引擎检索，交叉合成成带引用的报告（快速摘要 30 秒~3 分钟 / 详细研究 5~15 分钟 / 完整报告 10~30 分钟，项目口径）。核心是 langgraph-agent 策略：LLM 自主决定用哪个引擎、搜几轮、何时收手。研究中的来源可一键下载进本地加密知识库（SQLCipher AES-256，每用户独立库），越用越厚。模型随便换：本地 Ollama / LM Studio / llama.cpp 的 OpenAI 兼容端点都行，也接在线 API；搜索源可配，且带出站范围控制（Adaptive/Public only/Private only/Strict）——Private only 强制本地模型、只查本地源。无遥测、无埋点，Docker 镜像有 Cosign 签名。还带 MCP server（Claude Desktop/Code 直接调研究）、订阅式研究摘要（按主题定时推送）。
怎么干：
1. 最快路径：下载仓库的 docker-compose.yml 跑 docker compose up -d（自带 Ollama + SearXNG，GPU 环境加 gpu override 文件）
2. 开 http://localhost:5000，注册账号（密码即解密密钥，不存储），配一个模型端点（本地 Ollama 默认 localhost:11434）
3. 选研究模式提问；来源下载进 Library 后用「文档分析」在本地库上再问
本站怎么用：栏目里「本地模型能干什么」的边界案例：深度研究是最吃模型能力的场景，而这个项目自己报的数据正好是本站读者要的参照——项目自述在单张 RTX 3090 上跑 Qwen3.6-27B（Ollama 本地）做到 SimpleQA 95.7%（n=300）、xbench-DeepSearch 77%（n=100，项目自述基准，未本站复现，样本小且有 LLM 判卷噪声，项目自己也标注了）。换句话说：24G 档的卡 + 27B 级模型，「本地深度研究」是可用的；8~12G 档小模型做这个场景会明显吃力（检索轮次一多、上下文一长就顶不住）。
显存口径：研究主体是主模型推理：项目自述基准用 Qwen3.6-27B 在 RTX 3090（24G）上跑，本地模型按 /capacity/ 查所选档位，且深度研究是多轮 agentic 调用——上下文要开大，显存比同模型的纯聊天占用更高。搜索/检索/加密库本身不吃显存（CPU+磁盘）。CPU 也能跑（要求 AVX），慢但可用。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值，Search API 现查；核心 repos API 当日限流），宽松许可，商用无限制。
快照：star 9,567 / fork 916（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/LearningCircuit/local-deep-research
来源：https://gpuvram.cloud/tools/local-deep-research/

### Mem0（mem0ai/mem0）
分类：Agent 工具 · 一句话：给 AI Agent 装长期记忆的一层：记住用户偏好、跨会话持续学习，可自托管也可库内嵌，Python/TS 都有 SDK。
能干什么：一个专门做「记忆」的中间件层：你的 Agent/应用每次对话后把消息丢给 mem0.add()，它自动从对话里抽取事实、去重、更新记忆库；下次对话前 mem0.search() 把相关记忆捞出来拼进上下文——Agent 从此记得用户偏好、历史决定、跨会话状态（用户级/会话级/Agent 级三层记忆）。检索是混合的：语义向量 + BM25 关键词 + 实体匹配多路并行融合，2026-04 的新算法还加了时间感知（问「现在用什么」和「去年用什么」取不同的记忆）。三种形态：pip 库（最轻，测试/原型）、自托管服务器（docker compose，带 Dashboard、鉴权、API key）、托管平台（零运维，YC 公司出品）。默认配 OpenAI 的 LLM 和 embedding，但支持换任意 LLM/embedding——配本地模型端点即可本地跑抽取。自带 CLI、Agent Skills（给 Claude Code/Codex/Cursor 等教它怎么接 mem0）。
怎么干：
1. pip install mem0ai（库形态）或 cd server && docker compose up -d（自托管服务器，带管理台）
2. 代码里：memory.add(messages, user_id) 存对话、memory.search(query, filters={user_id}) 捞记忆，拼进 system prompt
3. 把 LLM/embedding 配置指向本地端点（Ollama/OpenAI 兼容）即本地化；或用 mem0 CLI 直接命令行存取
本站怎么用：「让本地 Agent 有记性」的最小组件：OpenClaw/nanobot 这类框架自带记忆，但如果你自己搭 Agent（或想让现有应用有记忆），Mem0 是这一层最成熟的现成件。显存账很轻——它只干「抽取+检索」，抽取用 LLM（可指本地）、向量库在内存/磁盘。注意项目 README 里那组 92.5/94.4 的跑分是托管平台口径（README 原话：开源 SDK 方向相似但数字不同），别当成本地版的承诺。
显存口径：本身不跑主模型，显存开销两处：记忆抽取用的 LLM（可指本地模型，按 /capacity/ 档位；用在线 API 则本地零开销）+ embedding 模型（README 推荐 gte-Qwen2-1.5B 级，约 1~3G 量级，可本地常驻）。向量库存内存/磁盘，按记忆量算内存不算显存。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值，Search API 现查），商用无限制（保留许可与专利授权条款）。
快照：star 68,885 / fork 8,194（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/mem0ai/mem0
来源：https://gpuvram.cloud/tools/mem0/

### OpenMontage（OpenMontageInc/OpenMontage）
分类：图像/视频生成 · 一句话：开源 agentic 视频生产系统：把你的 AI 编码助理变成视频工作室，12 条生产管线、100+ 工具，从调研到成片一条流水线，零 API key 也能出片。
能干什么：一个 agent-first 的端到端视频生产系统：没有传统意义上的「主程序编排」——你的 AI 编码助理（Claude Code / Cursor / Codex / Copilot / Windsurf）本身就是编排器，读 YAML 管线清单 + Markdown 导演技能，调 100+ 个 Python 工具，自己调研、写脚本、生成资产、剪辑、合成，每个创意决策停下来等你批准。12 条现成管线：动画讲解、动态图形、虚拟人口播、电影感预告片、长视频切短剧、纪录片蒙太奇（从 Archive.org/NASA/Wikimedia 免费真实素材库检索剪辑）、混合、本地化配音、播客切片、屏幕演示、真人出镜。写脚本前会先跑 15-25+ 次联网调研把内容坐实（反幻觉）。零 key 也能出片：Piper 免费离线 TTS 配音 + 免费开放素材 + Remotion/HyperFrames 本地渲染 + FFmpeg 后期，README 给的示范片成本最低 $1.33（走云端生成时）。有 GPU 还能解锁本地视频生成（wan2.1/2.2、Hunyuan、CogVideo、LTX 等本地模型，make install-gpu 装）。带预算治理：执行前估成本、设花费上限、每个动作可设审批阈值。
怎么干：
1. git clone 后 make setup（要 Python 3.10+ / FFmpeg / Node 22+，外加一个 AI 编码助理）
2. 把项目开进你的编码助理，直接说「做一个 60 秒讲神经网络怎么学习的动画」
3. 真实素材路线就说「做一个纪录片蒙太奇，只用真实素材」；配了 fal/Kling/Veo 等 key 就走 AI 生成路线；.env 里 key 全是可选的，有几个用几个
本站怎么用：它把「本地模型出视频」和「Agent 自动化」两条线接起来了：本站 /tools/comfyui/ 讲的是「手动跑视频模型」，OpenMontage 讲的是「让 Agent 替你跑完整个制作流程」——而且视频生成模型可以换成你本地的 wan/Hunyuan/CogVideo（显存账见下），其余环节（配音/字幕/剪辑）全本地。读者有本地视频模型 + 一个编码 Agent，这是把两者串起来做成片的现成框架。云端生成的钱它管着（预算上限+审批），本地的显存它替你排管线。
显存口径：本地视频生成路线的显存账按你选的那个视频模型算：wan2.1-1.3b 小档、wan2.2-5b / cogvideo-5b / hunyuan 等中档（社区口径 8-12G 起，具体看量化与分辨率，非本站实测）——本站 /capacity/ 是聊天模型口径，视频模型要按模型卡另算；14b 级要 16G+。纯云端生成路线本地不吃显存（只跑 Agent 和渲染，Remotion/FFmpeg 以 CPU+内存为主）。
许可：可商用（有条件）（AGPL-3.0）——AGPL-3.0（GitHub API 2026-11-10 实时值，Search API 现查）：自用/内部可；提供网络服务或分发修改版需开源。个人本机出片无影响；拿它做对外视频服务需评估开源义务。
快照：star 80,018 / fork 10,756（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/OpenMontageInc/OpenMontage
来源：https://gpuvram.cloud/tools/openmontage/

### Crawl4AI（unclecode/crawl4ai）
分类：Agent 工具 · 一句话：LLM 友好的开源爬虫：把网页变成干净 Markdown / 结构化 JSON，Playwright 驱动，自托管免费，RAG 和 Agent 抓数据的常用入口。
能干什么：一个给 AI 应用抓网页用的开源爬虫库（Python，Playwright 驱动）：给个 URL，回来的是干净、可直接喂 LLM 的 Markdown（广告/导航/脚本剥掉），或者用 CSS 选择器/LLM 提示抽结构化 JSON（不带 LLM 也能按选择器抽）；支持 JS 重页面、自有浏览器 profile、批量爬、渐进式爬整站（从入口页自动发现链接逐层爬）、深度爬（同一页跟链接继续挖）。可以 pip 库内嵌到你的 Python 进程、Docker 起自己的服务器、或用它家的托管 Cloud API（免费 1000 credits/月）。带 MCP server 可直接接 Claude Code / Cursor / Codex——给编码 Agent 装上「上网搜+抓」的手脚。注意：它有商用托管云，但仓库本体是 Apache-2.0 完整开源，自托管免费、不强制用它家云；商用分发时项目要求保留署名（badge 或一行文字）。
怎么干：
1. pip install -U crawl4ai 然后 crawl4ai-setup（一次性装浏览器）
2. Python 里 AsyncWebCrawler 跑一个 URL 拿 result.markdown；要结构化就传 strategy 用 CSS 选择器或 LLM 提示
3. 整站/深度爬用其 CrawlConfig 的 limit 与模式；要接 Agent 就起 MCP server 或 Docker 自托管服务器
本站怎么用：它是「本地模型 + 实时信息」这条链的抓取环节：本地模型的知识有截止日期，Agent 要上网查现状，crawl4ai 就是把网页变成模型能读的干净文本的那一层（对应 RAGFlow/Local Deep Research 这类工具里的「检索源」）。自托管跑在本地，数据不出门；抓回来喂给本地 LLM 时显存按 /capacity/ 查主模型——爬虫本身不吃显存（Playwright 在内存/磁盘）。
显存口径：自身不占显存：爬虫是 CPU/内存活（浏览器实例吃内存，并发开大注意内存不是显存）。整条链的显存账在你配的 LLM 上：本地模型按 /capacity/ 档位。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值，Search API 现查），商用无限制（保留许可与专利授权条款）。项目 README 要求分发时保留署名（badge 或一行文字）。
快照：star 87,283 / fork 9,102（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/unclecode/crawl4ai
来源：https://gpuvram.cloud/tools/crawl4ai/

### LangChain（langchain-ai/langchain）
分类：Agent 工具 · 一句话：Agent 工程平台（原 LLM 应用框架）：模型/工具/向量库的标准接口 + 海量集成，Python/JS 双语言，生态里还有 LangGraph 编排和 Deep Agents。
能干什么：一个写 LLM 应用/Agent 的框架（Python + JS/TS）：核心价值是「标准接口」——init_chat_model 一行换模型（OpenAI/Anthropic/本地任何 OpenAI 兼容端点都能指）、统一的 embeddings/向量库/工具/检索器接口，几百个第三方集成（模型商、向量库、数据源）即插即用，换模型不改架构。现在定位已从「链式拼接框架」转成「Agent 工程平台」，生态分三层：LangChain 本体（组件与集成）、LangGraph（低层 Agent 编排，可控工作流/状态机）、Deep Agents（高层，自带规划/子 Agent/文件系统能力的现成 Agent）。配套 LangSmith（商用）做 eval/观测/调试。注意：它是框架不是模型、不占你显卡——跑的是什么模型由你配，本地模型接进来就是本地跑。
怎么干：
1. uv add langchain，from langchain.chat_models import init_chat_model 一行接模型（本地就指 Ollama/vLLM 的 OpenAI 兼容端点）
2. 要编排复杂 Agent 工作流上 LangGraph；要「规划+子 Agent+文件」开箱即用的高层 Agent 用 Deep Agents
3. 检索/RAG 用其 retriever + 向量库集成（Chroma/Milvus/PGVector 等都能接）
本站怎么用：它是「自己搭本地模型应用」读者的标准脚手架：本站收的 nano 级工具（mem0 记忆、crawl4ai 抓取、LightRAG 检索）很多都以 LangChain 为集成目标。读者从「用现成应用」走到「自己拼应用」这一步，LangChain 是最常见的第一块积木。纯框架，显存账全在你配的模型（本地按 /capacity/ 档位）。
显存口径：框架本身不占显存（Python/JS 库）。它调用的模型与检索组件才是显存/内存账：本地模型按 /capacity/ 档位，向量库存内存/磁盘。接在线 API 则本地零显存。
许可：可商用（MIT）——MIT（GitHub API 2026-11-10 实时值，Search API 现查；核心 repos API 当日限流），宽松许可，商用无限制。
快照：star 149,421 / fork 25,114（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/langchain-ai/langchain
来源：https://gpuvram.cloud/tools/langchain/

### Milvus（milvus-io/milvus）
分类：Agent 工具 · 一句话：高性能开源向量数据库：十亿级向量的相似检索，GPU 加速可选，有 pip 即用的轻量版（Milvus Lite）和分布式集群版，RAG 的生产级存储层。
能干什么：一个为规模而生的开源向量数据库（Go + C++，LF AI & Data 基金会项目，Zilliz 是主要贡献方）：存向量 + 标量字段（文本/JSON 等），做高效的近似最近邻（ANN）相似检索。支持主流索引类型（HNSW / IVF / FLAT / SCANN / DiskANN，含量化变体与 mmap），CPU/GPU 硬件加速（GPU 走 NVIDIA CAGRA），亿级向量 + 数万 QPS 的分布式水平扩展（K8s 原生、存算分离），也有单机 Standalone 和 pip 即装的 Milvus Lite（本地文件型，MilvusClient("demo.db") 一行起，适合快速起步/本地开发）。特性还有：元数据过滤、范围检索、稀疏向量全文检索（BM25/SPLADE/BGE-M3）与混合检索、冷热分层存储、多租户（库/集合/分区级隔离）、RBAC + TLS。生态接 LangChain/LlamaIndex/HuggingFace 等，Zilliz Cloud 是它的官方托管（开源项目本体 Apache-2.0 可自托管）。
怎么干：
1. 最快：pip install -U pymilvus，MilvusClient("demo.db") 直接用本地 Lite 版建集合插向量做检索
2. 单机服务器：Docker 起 Standalone；生产规模：K8s 起分布式集群（官方 Helm）
3. pymilvus 建 collection（指定维度）→ 灌 embedding 向量 → search 传查询向量取 topK，带标量字段过滤
本站怎么用：它是「本地 RAG 上生产」的存储层答案：RAGFlow/Khoj/LightRAG 这些 RAG 工具默认用内置或小规模存储，文档量一大（几十万 chunk 起步）就需要真正的向量库——Milvus 是 Apache-2.0 里规模能力最完整的那一档，且 Milvus Lite 让你在同一套 API 下从本地文件库平滑升级到集群。它自己不做推理，纯存储/检索：显存默认不吃（CPU 检索），上 GPU 索引（CAGRA）才会用显存，那也只在「十亿级向量 + 高 QPS」场景才值得开。
显存口径：默认 CPU 检索，不占显存；内存账 = 热数据向量 + 索引（DiskANN/mmap 可把冷数据压到磁盘）。GPU 索引（CAGRA）才用显存，显存需求与向量规模/维度相关（十亿级 768 维量级通常要多卡 GPU——项目口径，按官方 benchmark 文档查你那个规模，非本站实测）。小数据集（百万级以内）单机 CPU + DiskANN/mmap 完全够。
许可：可商用（Apache-2.0）——Apache-2.0（GitHub API 2026-11-10 实时值，Search API 现查），商用无限制（保留许可与专利授权条款）。
快照：star 46,649 / fork 4,328（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/milvus-io/milvus
来源：https://gpuvram.cloud/tools/milvus/

### Dyad（dyad-sh/dyad）
分类：Agent 工具 · 一句话：本地开源的 AI 应用构建器：v0 / Lovable / Bolt 的本地版——说一句话它给你建一个 Web 应用，跑在你自己机器上，代码归你。
能干什么：一个跑在本地的 AI 应用构建器（App builder）：用自然语言描述你想要的 Web 应用，它生成代码并给你一个能跑的应用——定位就是「Lovable / v0 / Bolt，但跑在你自己机器上」：快、私有、无锁定。模型接入走 BYOK（Bring Your Own Keys，用你自己的 AI API key，不绑死任何一家供应商）。跨平台（Mac / Windows），官网直接下载安装包、不用注册。注意两点：①它是「生成应用代码」的构建器，不是聊天机器人，交付物是代码（归你）；②README 对模型侧只承诺 BYOK 在线 key，没有明确写明支持本地模型——想接本地端点请先看它的文档/实测，别按本站没验证过的话下单。
怎么干：
1. 官网 dyad.sh 下载对应平台（Mac/Windows）安装包，不用注册
2. 装好后配置你自己的模型 API key（BYOK，供应商任选）
3. 用自然语言描述想要的 Web 应用，生成后拿走代码（代码归你）
本站怎么用：站长首批点名要的「把结构变成网站」那类（open-lovable）的本地化兄弟项目：open-lovable 是网页服务（贴网址→克隆成 React，走 Firecrawl），dyad 是装在本地的构建器（描述→建应用，BYOK）。读者想要「AI 帮我搭个小网站/小应用，跑在我机器上、代码是我的」时，这两条放在一起比。它本身不跑大模型，不吃你显卡的显存——钱花在模型 key 上（除非它后续支持本地端点，届时显存按 /capacity/ 查那个模型）。
显存口径：本身不占显存：构建器是前端/IDE 类进程（吃内存不吃显存），模型推理在它配的 key 背后（在线服务）。README 未承诺本地模型支持——接本地端点是否可行需自行验证，若可行则显存账在那个模型上（按 /capacity/ 档位）。
许可：可商用（有条件）（NOASSERTION）——Open-core（已核 LICENSE 原文 2026-11-10）：主体（src/pro 之外）Apache-2.0，商用无限制；src/pro 目录单独适用 Fair Source License（FSL 1.1，source-available）。API 返回 NOASSERTION 即因这种混合许可。
快照：star 22,277 / fork 2,814（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/dyad-sh/dyad
来源：https://gpuvram.cloud/tools/dyad/

### AgenticSeek（Fosowl/agenticSeek）
分类：Agent 工具 · 一句话：100% 本地的 Manus 替代：会自己上网浏览、写代码跑代码、拆任务执行的全能 Agent，专为本地推理模型设计，数据不出机器。
能干什么：一个主打「全本地、零云依赖」的自主 Agent（Manus AI 的本地替代）：给它一个任务（「查 Rennes 最好的三家咖啡馆存成 txt」「写个 Go 阶乘程序」「搜文件夹里所有 JPG 按日期改名」），它自己拆步骤、分配最合适的 Agent、动手执行——自动浏览网页（搜索/读取/抽取/填表，填表仍属实验性）、自主写代码并运行（Python/C/Go/Java 等）、管理你的本地文件（WORK_DIR 内读改写，单文件上限 50MB）。模型层专为本地推理模型设计：Ollama / LM Studio / 任何 OpenAI 兼容端点（llama.cpp）都是本地 provider，API key 完全可选（README 原话：本地跑是这个项目的首要目的，硬件够就留空）。带 Web 界面（localhost:3000，token 鉴权、默认只监听 localhost）和 CLI 两种用法；语音（TTS/STT）在实验阶段。安全模型：Docker 内 Agent 代码以非特权用户跑、密钥从环境里剥掉、safe_mode 是尽力而为的命令过滤（不是沙箱）；浏览器登录导入（import_user_profile）是显式选项，默认关——开了等于把你的登录态（含密码/cookie）交给 Agent 浏览器，README 自己强调当密匙对待。
怎么干：
1. git clone 后 mv .env.example .env，把 WORK_DIR 指到你的工作目录
2. 起一个本地模型服务（README 示例 Ollama 的 deepseek-r1:14b；config.ini 设 provider_name=ollama、is_local=True）
3. start start_services.cmd full（Docker：SearXNG+redis+前端+后端，首次拉镜像较久），开 http://localhost:3000 粘贴 API token（docker compose logs backend | grep "API token"）；或 CLI 模式 uv run cli.py
本站怎么用：栏目里 Agent 工具「全本地自主执行」的代表：OpenClaw/nanobot 是「常驻助理+多渠道」，AgenticSeek 是「给一个复杂任务让它自己上网+写码+跑完」的任务型 Agent，且从头为本地模型调优（README 明确提示 prompt 优化对 DeepSeek 系效果最好、GPT 系不推荐）。它是本站「本地模型能干多重的活」的边界案例之一——项目自述的硬件门槛见显存口径。
显存口径：显存账全在主模型：项目 README 自述门槛是「至少能跑 Magistral / Qwen / DeepSeek 14B 的 GPU」（示例配置 deepseek-r1:14b；14B Q4 权重约 9–10G 属本站估算，加上 Agent 长上下文的 KV，12G 是常用线、16G 更稳——非本站实测，以 /capacity/ 所选模型档位为准）。SearXNG/redis/前后端全在 CPU+内存，不吃显存。API key 可全空（纯本地）；若改用在线模型则本地零显存。
许可：可商用（有条件）（GPL-3.0）——GPL-3.0（GitHub API 2026-11-10 实时值，Search API 现查）：自用/内部可；分发修改版需以 GPL 开源。个人本机使用无影响。
快照：star 27,657 / fork 3,110（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/Fosowl/agenticSeek
来源：https://gpuvram.cloud/tools/agentic-seek/

### Replica（albertirgi/replica）
分类：Agent 工具 · 一句话：UI 复刻 + 自动打分：丢个网站/截图/录屏给 Agent，它克隆出代码，再从布局/样式/像素/动效四维打分，不达标就改到过。
能干什么：给编码 Agent（Claude Code 等）装的一个「技能」：你指着一个真实网站、本地页面、一张截图或一段录屏，Agent 把它在你自己的代码库里重建成 UI，然后 Replica 拿原版和克隆版逐元素对比，从四个维度打分——layout（每个可见元素的盒子位置）、style（字体/字号/字重/行高/颜色/圆角/阴影等计算样式）、pixels（感知差异，抗抗锯齿）、motion（动效的分段时序与缓动曲线）。分数不达标就继续改，直到过线为止。关键点是它把「差不多就行」变成一个能量化的数字：不是看截图觉得像，而是每处差多少、改哪一处能涨几分都列出来。
怎么干：
1. npx skills add albertirgi/replica（或把 skills/replica 拷进你的 Agent 技能目录）
2. 装它唯一的依赖：npm install --prefix <技能目录>/scripts，再跑 replica.mjs doctor 自检
3. 对 Agent 说人话：「把 https://example.com 的 hero 重建到 app/page.tsx，用我们自己的文案，faithful 档」
4. Agent 自动 capture → 按 blueprint 建 → compare → 改最高的几处 → 再 compare，compare 退出码 0 就过
本站怎么用：站长定调（2026-11-13 当面）：**不立项复刻别人的网站**——对方站点的代码、设计排版有著作权，拿真实竞品站当参考去克隆属于侵权，这条明令禁止，工具说明里不写「找精美站来复刻」这类引导。它的合规用途是拿在**自己有权的内容**上做参照基准：① UI 回归——改完样式跑一遍，量化「哪些元素移了、差多少」，替代人眼比对截图；② 设计稿走查——开发实现 vs 自家设计稿的还原度打分；③ 多端一致性——同一页面在不同分辨率/浏览器下的像素漂移。它不替你设计，而是把「像不像」算成数。本地方案里它跑在 Node 20+ + Playwright 的 Chromium 上，不需要 GPU 显存，纯 CPU 就能跑。本站当前暂无 UI 自动化测试，是否引入属技术选型，未立项。
显存口径：不占显存：它驱动的是 Playwright 的 Chromium 做页面渲染与像素对比，CPU 即可；需要 Node 20+，参考是视频/GIF 时另要 ffmpeg，不需要 API key。跟 /capacity/ 的主模型显存档完全无关。
许可：可商用（MIT）——MIT（GitHub 仓库标），宽松许可，商用无限制。
快照：star 110 / fork 4（2026-11-13 由 GitHub API 自动同步，非手写死数）
仓库：https://github.com/albertirgi/replica
来源：https://gpuvram.cloud/tools/replica/

---

# 六、故障排查（24）

### CUDA out of memory / ggml: failed to allocate
分类：装不下
报错原文：CUDA out of memory. Tried to allocate 2.00 GiB | ggml_cuda_buf: ggml_backend_cuda_buffer_type_alloc_buffer: allocating ... bytes failed
现象：加载模型时报显存不足，或者加载成功但第一次生成时崩；nvidia-smi 显示显存已经顶到接近总量。
原因：权重 + KV + 框架开销三者之和超过了实际可用显存。最常见的三个具体原因是：① 按整卡容量规划而没扣系统占用的那 0.5–1.5GB ② 上下文（-c）开得比需要的大，KV 预留直接把余量吃光 ③ 浏览器/游戏/其他推理进程已经占走 1–2GB。
处理：
1. 先把上下文降到真正需要的值：聊天 8192 通常够，别默认填 32768。
2. 退一档量化：Q4_K_M → IQ4_XS → Q5_K_M 之间每档差 5–15% 权重，14B 从 Q8 退到 Q6_K 能省 3.4GB。
3. 加 KV 量化：llama.cpp 用 -ctk q8_0 -ctv q8_0 让 KV 减半，长上下文场景可上 q4_0。
4. 关掉吃显存的程序再跑（浏览器硬件加速、其他框架的常驻服务、Ollama 的旧模型没卸载）。
5. 确认 -ngl 没有把不该放内存的层留在显存之外——但这条是解决速度，不是解决 OOM。
6. 以上都不够就是容量上限到了：本站口径下 16G（可用约 14.1G）跑 27B Q4_K_M 是权重本身就超容量，不是参数没调好，见 weight-does-not-fit。
验证：重新起一次，看启动日志里打印的 KV cache 大小与各层分配数；nvidia-smi 在生成过程中稳定低于可用水位（Windows 16G 约 14.1G）且不继续上涨，就算过了。
适用：llama.cpp / Ollama / vLLM 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/cuda-out-of-memory/

### 刚装上好好的，聊十几轮就崩或开始忘事
分类：装不下
报错原文：Requested tokens ... exceeds context size ... | llama_new_context_with_model: context size ... too small
现象：前几轮正常，越聊越慢，然后要么报错退出，要么模型开始『忘记』你最早说的话，或者答话重复。
原因：上下文是『输入 + 系统提示词 + 历史对话 + 正在生成的部分』的总和，它是一路涨上去的。容量表告诉你的是总预算，不是每轮的预算。涨满之后有的框架截断最早的内容（表现为忘事），有的直接报错（表现为崩溃）。
处理：
1. 确认你的上下文预算够不够：按本站推算，16G 卡跑 14B Q6_K 剩约 1.6G，可开约 10.7K token，中文大约 6000–8000 字的总预算——多轮聊天很容易用完。
2. 开启历史截断/滚动窗口：把保留轮数限制在 6–12 轮，或者只保留最近 N token。
3. 系统提示词能短则短：一个 2000 字的 system prompt 会直接从你的预算里扣掉，每一轮都扣。
4. 长任务改为『分段总结再汇总』，不要指望一个 16K 窗口装下整本书。
5. 如果任务确实需要长记忆：选 KV 便宜的模型（GLM-4-9B 只有 2 个 KV 头，4K 花 0.16G；gpt-oss-20B 一半层用 128 token 滑窗，4K 花 0.097G），或者把 KV 量化到 q4_0。
验证：连续聊 20 轮不报错且框架日志里没有 exceeds context size；如果你能看 token 计数，让它停在预算的 70% 以下再触发截断比较安全。
适用：全部 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/context-full-crash/

### 参数调到最低还是装不下：权重本身就超容量
分类：装不下
现象：换最小量化、降上下文、关所有程序，还是加载失败或者只跑 1–2 tok/s。
原因：有些组合不是『调参能救』的，而是权重大小已经超过可用显存。本站按 Windows 88% 水位算出的 16G 硬墙例子：27B Q4_K_M 权重 16.2G > 整卡 16G；32B Q4_K_M 权重 19.2G；36B IQ3_XXS 权重 13.6G 加 1G 开销已经顶到 14.1G 水位线，等于零上下文；70B 任何档都进不了单张 16G。
处理：
1. 先算账再折腾：权重 GB = 参数量 × 每参数字节 ÷ 8。Q4_K_M 是 4.8，Q8_0 是 8.5（不是 8.0）。可用显存 = 显存 × 0.88（Windows）。
2. 确实要在 16G 上跑 27B+，只有两条路：降到 Q3 系列并接受 3–6K 上下文的演示级体验，或者换 24G 以上。
3. MoE 是唯一能绕开这堵墙的架构：专家权重放内存，注意力放显存。Qwen3-30B-A3B 在 16G + 48G 内存上能到 25–35 tok/s，而稠密 30B 同条件只能个位数。
4. 如果只是想『试试大模型长什么样』：用共享主机按小时租一张 48G/128G，比冲动买卡便宜得多，本站共享主机类目就是为这个场景准备的。
验证：看加载日志的『分配到显存的层数 / 总层数』：如果只有少数层进了显存，说明你在跟物理上限对抗，不是配置问题。
适用：全部 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/weight-does-not-fit/

### no CUDA devices / unrecognized error code / hipErrorNotFound
分类：起不来
报错原文：unrecognized error code | ggml_backend_cuda_registrar: no devices found | hipErrorNotFound | HSA runtime error
现象：二进制直接不认显卡，日志里一句 no devices 或者满屏 unrecognized error code；CPU 后端能跑但速度是个位数。
原因：驱动与预编译包的 GPU 后端版本对不上。llama.cpp 的 CUDA 构建会绑定某个 CUDA 主版本；NVIDIA 驱动低于该版本所需最低驱动时，GPU 枚举直接失败。AMD 侧 ROCm 版本与显卡支持列表的匹配更严格。
处理：
1. 先确认驱动本身没问题：命令行执行 nvidia-smi，能列出卡和显存才算装了驱动。
2. 把驱动升到当前分支的最新版（不要只信 Windows 自动推送的那一版）。
3. 重下与你驱动匹配的后端构建；拿不准就先用 Vulkan 版（跨厂商、对驱动要求宽松，但速度通常低于 CUDA 版）。
4. AMD 用户先核对你的卡是否在 ROCm 官方支持列表里，不在的话用 Vulkan 版而不是硬凑。
5. 以上都对还失败，检查是否插了多张卡或有核显输出：某些机器上需要显式指定设备序号。
验证：重新起服务，日志开头应出现设备名与显存总量，并且能看到层被分配到 CUDA（不是全 CPU）。
适用：llama.cpp / Ollama / LM Studio 取决于构建 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/driver-mismatch/

### Windows 双击 exe 一闪就没（无任何报错）
分类：起不来
现象：命令行窗口闪一下就关闭，或者双击毫无反应，任务管理器里也看不到进程。
原因：三个高频原因：① 存放路径含中文或空格，某些预编译二进制解析参数时会挂 ② 缺 VC++ 运行库（提示 vcruntime140.dll / msvcp140.dll 丢失）③ 其实它正常退出了，只是你把命令写在双击里，执行完就关窗，你没看到输出。
处理：
1. 把整个程序与模型目录移到纯英文无空格路径（例如 D:\llm\），这是最常被忽略的一条。
2. 装 Microsoft Visual C++ 可再发行组件包（x64），缺 dll 就是这个。
3. 不要双击运行：从命令行（PowerShell）里进目录再执行，这样所有输出都能看见，退出原因也看得见。
4. 确认下的是对应后端的构建包（CPU 版永远不会用到显卡；CUDA 版需要驱动）。
5. 被杀毒软件或系统拦截时也表现为闪退，看拦截记录或临时放行再试。
验证：命令行执行后能看到加载进度滚动（正在分配 KV、正在把层放入显存），并最终打印监听地址。
适用：llama.cpp 预编译包 全版本 / Windows
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/windows-instant-exit/

### 加载时报大小对不上 / missing tensor / 输出乱码
分类：起不来
报错原文：gguf_load: tensor ... data pointer out of range | llama_model_load: error loading model: invalid magic
现象：模型加载失败，或者勉强加载成功但输出完全不通顺的乱码、乱吐训练数据。
原因：文件不完整或被改名/拼接错误。下载中断、镜像仓库与官方版本不一致、网盘二次传输丢字节都会造成这个。另一种是下错了格式（把 safetensors 或某种特殊量化当成通用 GGUF 用）。
处理：
1. 核对文件大小：和仓库页面标的字节数逐一比对，差几 MB 就是断了。
2. 有条件就校验 SHA256（仓库页面的 LFS SHA256 或量化作者给出的哈希）。
3. 重新下载时不要用断点续传的第三方下载器拼文件，宁可重头下一次。
4. 确认文件名里的量化档与模型仓库匹配（有些作者会同时放 IQ4_XS 和 Q4_K_M，两者字节数不同）。
5. 换另一个量化作者的同一模型版本试一次：能加载说明原文件确实坏了。
验证：加载日志无 error，并且用同一提示词跑两次，输出稳定（坏文件常表现为每次乱码方式不同）。
适用：llama.cpp / Ollama / LM Studio 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/gguf-truncated/

### 速度只有估算的一半：层没有全部进显存
分类：速度不对
现象：本站容量表推算 30 tok/s，实际只有 8–15；显存看起来没满；模型能正常回答。
原因：框架只把一部分层放进了显存，剩下的每生成一个 token 都要从内存读一遍。内存带宽约 55GB/s，而 16G 级显卡带宽 288–960GB/s，差 5–17 倍，所以哪怕只漏两层都可能明显掉速。Ollama 会自动决定这个比例，且不一定告给你。
处理：
1. llama.cpp：显式加 -ngl 99（把所有层放显存），然后看日志确认 offloaded N layers 的 N 等于模型总层数。
2. LM Studio：把 GPU Offload 拉到底，并看它是否标红提示超出显存。
3. Ollama：先用 OLLAMA_FLASH_ATTENTION=1 等环境变量，或改用 llama.cpp 手动跑一次做对照，才能确认是不是分配问题。
4. 总层数在本站模型页的架构常数里（例如 Qwen3-8B 是 36 层，Qwen3-32B 是 64 层，Gemma 3 27B 是 62 层），对照日志就知道漏了几层。
5. 如果拉不满就是显存不够：回到容量表重选量化档，别用 offload 硬凑。
验证：日志里 offload 层数 = 模型总层数；速度应回到本站估算区间内（±20% 属正常）。
适用：llama.cpp / Ollama / LM Studio 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/ngl-not-full/

### 按回车主卡很久，但开始吐字之后就正常
分类：速度不对
现象：第一次提问要等 10–60 秒才出第一个字，之后 tok/s 正常；长文档提问等待更夸张。
原因：这是预填充（prompt eval）阶段：模型要把整段输入过一遍并建立 KV cache，它是计算密集的，而且和上下文长度的关系近似平方（注意力部分）。它和 decode 速度是两个完全不同的指标，本站表里给的 tok/s 只描述后者。
处理：
1. 开 flash attention（llama.cpp 的 -fa，或框架里的对应开关），长输入的预填充能快 10–30%。
2. 缩短输入：把系统提示词从 2000 字压到 300 字，收益直接体现在首字延迟上。
3. 复用会话而不是每次重放全部历史（支持 prompt cache 的框架会明显受益）。
4. 确认预填充也在 GPU 上：如果大部分层在内存，预填充会比 decode 更惨。
5. 接受一个事实：读 5 万 token 的文档，任何本地方案都要等，这不是故障。
验证：首字延迟下降到你可以接受的水平；本站没有把 TTFT 纳入估算，所以这个数只能实测，不能从表里读。
适用：全部 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/first-token-slow/

### MoE 模型快得离谱或慢得离谱：你在用总参数量估速度
分类：速度不对
现象：30B-A3B 跑出 100+ tok/s 让你怀疑测速坏了；或者 235B-A22B 只跑到 20 tok/s 让你以为配置出错。
原因：MoE 每个 token 只激活一小部分专家，所以速度按激活参数量决定，而显存按总参数量决定。Qwen3-30B-A3B 总 30B 但每 token 只激活 3B（约 1/10）；Qwen3-235B-A22B 总 235B 激活 22B。拿总量算速度会低估 10 倍；拿总量算显存反而是对的。
处理：
1. 分开两个数：显存/内存占用看总参数量，速度看激活参数量。
2. 确认专家权重放在哪：全部在显存最快；放内存大约 25–35 tok/s（本站按内存带宽 55GB/s 的一半效率估算）；这个信息在 llama.cpp 的 --n-cpu-moe 参数与日志里。
3. 别把本站的上限钳制当 bug：本站对单流解码设了经验上限（高带宽卡 200 tok/s，其余 140），因为纯带宽公式对小激活模型会算出四五百这种不可能的数。
4. 如果速度比激活参数估算还快很多，先怀疑测的是不是缓存复读或者输出被截断了。
验证：把实测 tok/s 和『带宽 × 0.7 ÷ 每 token 激活权重的 GB 数』对一下，量级对得上就是正常状态。
适用：llama.cpp / Ollama 支持 MoE 的近期版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/moe-speed-misread/

### 输出乱码、复读、突然说另一种语言
分类：输出质量怪
现象：模型输出符号乱码、同一段话反复循环、把训练里的其他内容吐出来，或者中文进去英文/日文出来。
原因：最常见是聊天模板（chat template）用错了：不同模型的对话包装格式不同，用错模板等于把乱序标记喂进去。其次是非原生量化组合（某些极低端化在部分架构上会明显退化）、文件损坏、以及采样参数太极端（temperature 过高、repeat penalty 设成负数）。
处理：
1. 确认框架用的是模型自带的模板：llama.cpp 默认读文件里的模板，Ollama/LM Studio 需要你选对模型版本而不是随便一个 Modelfile。
2. 换一档量化对照：如果 Q3 系列乱码而 Q4 正常，就是量化太激进，不是配置问题。
3. 采样参数回到保守值：temperature 0.7、top_p 0.9、repeat_penalty 1.0–1.15 先跑一次。
4. 排除文件损坏：按 gguf-truncated 那条核文件大小和哈希。
5. 多语言模型要显式在提示词里指定输出语言，它们默认会跟随训练语料的分布。
验证：同一段输入换模板/换量化后输出正常且两次一致（temp=0 时应当完全一致，这是判断『是量化问题还是随机性问题』的最快方法）。
适用：全部 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/gibberish-output/

### 上下文一长就开始答非所问
分类：输出质量怪
现象：短对话很聪明，塞进长文档后开始忽略你的问题、只复述开头结尾、或者把文档中间的信息当成没有。
原因：两件事叠加：模型本身对长上下文中间部分的利用能力就弱（社区通称 lost in the middle），加上你把预算塞满后，模型的有效注意力被稀释。本地小模型这一点比在线旗舰明显得多。
处理：
1. 把关键问题和你最关心的段落放在输入的开头或结尾，不要埋在中间。
2. 不要『整本书丢进去问一句话』：先检索/筛出相关 3–5 段，8K 精准输入通常比 64K 全文问得好。
3. 分批总结再汇总（map-reduce 式），每批只做局部摘要。
4. 换对长上下文友好的结构：Gemma 3 系列的滑窗混合（48 层里只有 8 层要全量 KV）让同样显存能开更长；GLM-4-9B 因只有 2 个 KV 头也便宜。
5. 接受预期管理：16G 显存这个量级的模型，长文档能力本来就有限，见『本地小模型和在线差距在哪』。
验证：同一段材料，改成筛选后 8K 输入 vs 全文 40K 输入各问一次，比较回答是否命中；本站建议把这类对比结果提交回来当实测数据。
适用：全部 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/quality-drops-long/

### 刚起来很快，跑久了越来越慢
分类：越用越慢
现象：同一模型同一参数，第一次跑 30 tok/s，两小时后掉到 10 以下；或者跨天不用后重启才恢复。
原因：四类原因：① 上下文真的涨满了（每轮都在增加 KV，decode 要读的 KV 变多）② 散热到温度墙，GPU 降频 ③ 内存/显存碎片与框架泄漏，长时间驻留后分配效率下降 ④ 其他程序陆续占了显存。
处理：
1. 先看是不是①：开新会话再测一次速度，如果立刻回到正常，那就是历史累积的 KV，属于物理现象不是故障；处理办法见 context-full-crash。
2. 查频率与温度：nvidia-smi --query-gpu=name,memory.used,temperature.gpu,clocks.sm --format=csv -l 2，跑一段时间后对照 clocks 是否下降。
3. 长时间任务定时重启服务，这是当前本地推理工具链下最省事的做法（别指望框架永远不泄漏）。
4. 确保散热风道：笔记本和小型主机最容易撞温度墙。
5. 看显存占用是否随时间上涨（占用上涨 + 速度下降 = 泄漏或缓存堆积）。
验证：重启服务并开新会话后速度恢复；如果只有重启才恢复，请在反馈里告诉我们是哪个框架哪个版本，这是本站最想收集的实测线索之一。
适用：llama.cpp / Ollama 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/long-run-slow/

### nvidia-smi 显示已经占了 1–2GB，模型装不下
分类：框架环境
现象：明明什么都没做，显存已经被用掉 1–2GB；或者关掉浏览器/游戏后仍然没释放干净。
原因：桌面合成器、浏览器硬件加速、其他框架的常驻服务（Ollama 会保留上一个模型在显存里一段时间）、以及上一个进程异常退出没释放。这正是本站容量表按 88% 而不是 100% 算的原因。
处理：
1. 查是谁占的：任务管理器『性能→GPU→进程』或 nvidia-smi 的进程列表。
2. 浏览器关掉硬件加速，或者跑长任务时干脆不开浏览器标签页。
3. Ollama 用户：设 OLLAMA_KEEP_ALIVE 控制模型驻留时间，避免旧模型和新模型同时占显存。
4. 进程异常退出后显存没释放，重启该服务或（最干脆）注销/重启一次。
5. 规划时直接按本站默认水位算，别按标称容量算——16G 当 16G 用是本站最常见的翻车点。
验证：nvidia-smi 的 used 在你起模型前接近 0（或你知道那部分是谁占的、多大），起模型后总占用不超过可用水位。
适用：全部 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/vram-already-occupied/

### 同一个模型在 Ollama 和 llama.cpp 上速度/显存差很多
分类：框架环境
现象：Ollama 跑得比手动 llama.cpp 慢一大截，或者显存占用更高；同一个 GGUF 两边结论不一样。
原因：两个框架默认值不同：量化档（Ollama 可能给你下了个更小的 tag 而不是你以为的档）、KV 缓存是否量化、flash attention 是否开、offload 策略、以及内嵌的 llama.cpp 版本落后于上游。这些差异全部会体现成数字差。
处理：
1. 先确认两边用的是同一个文件：对比大小和哈希，Ollama 的 tag 和你手动下的 GGUF 经常不是同一个量化档。
2. 把关键参数对齐再比：-ngl 99、-fa、-ctk/-ctv 是否在两边都开。
3. 查各自内嵌的 llama.cpp 版本（Ollama 页面会写它用的上游版本），差距大时结论别硬比。
4. 要精细控制显存就用 llama.cpp 或 LM Studio 手动模式，把 Ollama 当『够用就行』的路径。
5. 提交实测数据时请务必写明框架与版本——本站数据模型里 framework 是必填字段，就是为了能分开统计这件事。
验证：同一文件、同一参数、同一上下文长度下两边 tok/s 差距缩小到 15% 以内，说明差异主要来自配置而不是硬件。
适用：Ollama / llama.cpp / LM Studio 跨版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/framework-version-mix/

### 魔改卡（改大显存/数据卡）驱动更新后识别异常
分类：框架环境
报错原文：Microsoft Basic Display Adapter | Display driver plugin failed to init device
现象：改过显存的卡原本正常，官方驱动升级后变成基础显示适配器、掉驱动、或者显存识别回原容量；也可能间歇性崩溃并伴随显存报错。
原因：魔改卡的容量与 BIOS 不在厂商官方配置表里，驱动安装程序按硬件 ID 匹配时会走非预期分支；换驱动版本就可能失配。本站把它们单列为『魔改』而不是混进官方型号，正是因为这个风险与官方卡根本不同。
处理：
1. 固定驱动版本：确认能用的那一版后关闭驱动自动升级（Windows Update 的设备推送要单独禁）。
2. 需要升级驱动时先在可回退条件下测：准备 DDU 干净卸载 + 旧版安装包，别在唯一一台工作机上直接试。
3. 出现间歇性显存报错时，把量化档降一级、上下文降一档再测：温度或颗粒余量不足的卡在高占用下更容易出错，这属于硬件风险而不是软件配置。
4. 关键任务别只依赖一张魔改卡，本站不给它任何『稳定』结论。
5. 记录并回报你的『卡 + 驱动版本 + 能用的最低/最高 CUDA 组合』，这类信息对社区价值极高，本站愿意收录并署名来源。
验证：驱动升级前后各跑一次同一模型同一参数，显存识别与速度一致才算通过。
适用：全部（与 GPU 后端相关） 驱动相关 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/modded-card-driver/

### 装下了但只有 1–3 tok/s：offload 不是慢一点，是慢一个数量级
分类：速度不对
现象：模型完整加载成功、能正常回答，但每秒只出 1–3 个字，感觉像卡住。
原因：大部分层被放到内存里了。稠密模型每个 token 都要读全部权重，内存带宽约 55GB/s vs 显存 288–960GB/s，再叠加层间串行的等待损耗。本站例子：70B 的 IQ3_XXS 权重 26.4G 落在 24G 卡之外，offload 出去的部分决定了速度大约 2 tok/s。
处理：
1. 先接受一个判断：稠密模型靠 offload 凑容量，绝大多数情况没有实用价值，不要试图用参数调优救它。
2. 真正能救的是量化退档或换更小模型：把 70B 换成 32B，速度回到两位数。
3. 想留在大模型上就用 MoE：专家放内存（--n-cpu-moe）比整层 offload 好得多，因为每 token 只需要搬激活那部分。
4. 确认瓶颈在内存带宽而不是磁盘：如果内存吃满触发了页面文件，速度会再掉一个量级，此时加内存条是唯一解。
5. 共享主机是另一条路：按小时租一张够大的卡做验证，比买卡便宜。
验证：把日志里的 GPU 层数/总层数记下来，与本站容量表的判定对照：如果超过一半层在内存，1–3 tok/s 就是符合物理的预期结果，不是故障。
适用：llama.cpp / Ollama / LM Studio 全版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/offload-too-slow/

### 微调训练 CUDA out of memory（QLoRA/LoRA 显存爆）
分类：装不下
报错原文：CUDA out of memory; Tried to allocate... (previous allocation for ...)
现象：权重本身不大，用 LoRA/QLoRA 微调跑几个 step 就 OOM。
原因：训练峰值显存远高于推理：除基座权重外，还要存激活值、梯度和优化器状态。batch_size、gradient_accumulation、序列长度、激活检查点都直接拉高峰值。
处理：
1. 减小 micro-batch_size，用 gradient_accumulation_steps 补偿回等效大 batch；
2. 用 4-bit 量化（QLoRA/nf4）+ bitsandbytes 降基座显存；
3. 降序列长度 seq_len（激活显存随长度显著增长）；
4. 开激活检查点（gradient checkpointing）以时间换显存；
5. 用 bf16 而非 fp16（fp16 易溢出触发 OOM）
验证：跑通若干 step 且 loss 下降，nvidia-smi 显存占用稳定不一路递增到爆。
适用：TRL / PEFT / Unsloth 取决于库版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/finetune-oom/

### LoRA/微调 Loss 不降或发散
分类：框架环境
现象：微调几十步 loss 不降反而涨，或模型输出几乎不变。
原因：学习率过高、LoRA rank/alpha 不当、目标模块没选对（只微了没用的层）、数据集标签或格式错误、未正确接入优化器状态。
处理：
1. 降学习率或用 warmup/cosine 调度器，常见起始 1e-4~2e-4 偏大；
2. 检查 lora_rank/alpha 与目标模块（attention 投影）是否正确挂载；
3. 确认数据集标签/格式正确、损失函数对应任务；
4. 用 bf16 训练避免 fp16 溢出致 loss 发散
验证：loss 呈下降趋势且验证集指标改善，而非震荡或发散。
适用：TRL / PEFT 取决于库版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/finetune-loss-not-decaying/

### 设了 CUDA_VISIBLE_DEVICES 却没生效 / 指定卡不工作
分类：框架环境
报错原文：no CUDA devices
现象：机器有多张卡，指定了设备号却报 no devices，或跑到了错的卡。
原因：CUDA_VISIBLE_DEVICES 从 0 开始重编号'可见卡'；设成空串或越界索引会让框架看不到任何卡；多卡/魔改卡驱动不匹配也会只认一张。
处理：
1. 确认变量不是空串/越界：export CUDA_VISIBLE_DEVICES=0（或 0,1）；
2. 先用 nvidia-smi 看真实卡是否被识别，驱动/显存异常先查驱动；
3. 多卡用框架的设备选择参数，避免只靠环境变量；
4. 魔改卡/矿卡查驱动与显存一致性，异常驱动会报 unrecognized error
验证：nvidia-smi 显示指定卡在线，框架日志出现 CUDA device 而非 no devices。
适用：llama.cpp / Ollama / PyTorch 取决于驱动版本 / Windows,Linux
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/env-cuda-visible-devices/

### Ollama 上下文被限 4096 / OLLAMA_CONTEXT_LENGTH 不生效
分类：装不下
报错原文：context length capped at 4096
现象：Ollama 默认上下文卡在 4096，设了 OLLAMA_CONTEXT_LENGTH 不生效或一放大就 OOM。
原因：Ollama 对小于 24GB 显存卡默认限 4096；环境变量需在 ollama serve 前设置且重启服务才生效；Docker 环境下须在容器内设置；上下文翻倍≈显存占用翻倍。
处理：
1. export OLLAMA_CONTEXT_LENGTH=16384，然后在当前用户/服务里重启 ollama serve；
2. Docker 环境下把变量传进容器（--env 或 compose 的 environment）；
3. 确认显存足够：上下文翻倍≈显存占用翻倍，显存不够设大也 OOM；
4. API 调用可在每请求带 context 参数临时覆盖
验证：ollama 服务重启后上下文超过 4096，长文本能完整进入而非被截。
适用：Ollama >= 0.3.x / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/env-ollama-context-length/

### 模型下载慢到放弃 / Connection timed out / 下到一半就断
分类：框架环境
报错原文：Connection timed out | Connection reset by peer | Aborted (7.5MB of 2.3GB bytes fetched) | The read operation timed out | HTTP ERROR 429
现象：从 Hugging Face / GitHub / Ollama 拉模型时卡住、跑到百分之几十就断线，或者全程只有几 KB/s 几乎不动；换个多线程下载器又报 Connection reset。
原因：国内直连 Hugging Face / GitHub 的 CDN 常被运营商 QoS 限速甚至间歇性阻断，而浏览器默认单线程会把这个限速放大到难以忍受。这是网络环境问题，不是你的卡、驱动或模型文件有问题。
处理：
1. 换镜像站：国内常用 hf-mirror.com（同步 Hugging Face 仓库）或 ModelScope 魔搭；把 URL 的 huggingface.co 前缀换成镜像前缀，Ollama 可用环境变量 HF_ENDPOINT=https://hf-mirror.com 指向镜像。
2. 用官方 CLI + hf_transfer 多线程：pip install huggingface-cli[hub] 后加 --use_hf_transfer，官方报告可从单线程几十 KB/s 提到数百 MB/s，来源里列了具体步骤。
3. 挂代理时确认代理对下载域名生效（而不是只对网页生效），HTTP_PROXY / HTTPS_PROXY 设对即可，别只对浏览器设。
4. 断点续传要谨慎：网盘或断点续传拼出来的文件容易缺字节，宁可从头重下；下完按仓库标的字节数校验，差几 MB 就是断了。
5. 实在又不敏感时间就挂定时任务半夜下，或用镜像站的批量下载接口。
验证：下载能一口气跑到 100% 且不中途 Aborted；用仓库页标的字节数 / SHA256 对一遍，字节一致才算下完整。
适用：Ollama / llama.cpp / HuggingFace CLI / LM Studio 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/download-blocked-slow/

### 手机/另一台电脑访问家里跑的模型：连接被拒
分类：框架环境
报错原文：Connection refused | Failed to connect | ECONNREFUSED | cannot reach host
现象：服务在自己那台电脑上跑得好好的，同一局域网的手机/另一台电脑却连不上；有人加了 --host 0.0.0.0 还是连不上。
原因：llama-server / Ollama 默认只监听 127.0.0.1（本机回环），不把服务暴露到局域网；要暴露得显式绑定 0.0.0.0、用对端口、并在防火墙放行对应端口。macOS 的防火墙弹窗对后台无界面服务有时根本不弹，关掉 firewall 也不一定生效。
处理：
1. 显式绑所有接口：llama-server 用 --host 0.0.0.0 --port 8080；Ollama 用环境变量 OLLAMA_HOST=0.0.0.0 再重启 ollama serve。
2. 用局域网 IP 而不是 localhost：手机访问 http://192.168.x.x:8080（那台电脑的 IP），先在电脑上 ping 通确认在同一网段。
3. 放行防火墙端口：Windows 网络与防火墙→高级设置→入站规则放开对应端口；Ollama 默认 11434，llama.cpp 常见 8080。
4. 绑定时别写成具体 IP：--host 192.168.x.x 这种写法 IP 一换就失效，用 0.0.0.0 更稳。
5. 安全红线：只放在局域网内，别把端口映射到公网——没鉴权的服务暴露在公网上会被滥用。
验证：在同一局域网的另一台设备上用 http://<电脑IP>:<端口> 能连上并返回正常响应；本机 localhost 仍可用，公网应连不上。
适用：llama.cpp / Ollama / LM Studio 全版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/lan-access-refused/

### ollama run 同一个 latest，今天下载的和昨天不一样
分类：框架环境
现象：同一个 ollama run qwen:latest，昨天和今天加载的模型感觉不一样：体积变了、速度变了、或者输出质量变了。你以为模型坏了或更新出 bug，其实是 Ollama hub 默认量化档会变。
原因：Ollama 的 latest 标签不锁死量化档，它指向 hub 当前推荐的量化格式，会随 hub 更新与 Ollama 主版本升级而变。同是 4-bit，老式的 q4_0（遗留格式）与 q4_K_M（K-quant）在质量和体积上都有差异——同一个名字在不同时间实际指向不同文件。
处理：
1. 锁死具体 tag 而不是用 latest：ollama pull qwen:<具体量化tag> 或明确到某次版本，避免 hub 默认档变动。
2. 对比文件大小和哈希：ollama show qwen 看规格，下新文件前和旧文件比字节数，不一样就是 hub 换了档。
3. 理解 latest 语义：latest 指向 hub 当前推荐档，会随作者/平台更新而变，不是历史快照。
4. 想复现昨天的效果就记录当时的确切 tag 或 SHA，别依赖 latest。
验证：ollama show <模型> 看当前 tag/量化/字节数，和你期望的版本一致；锁定具体 tag 后同一文件多次拉起结果相同。
适用：Ollama 跨版本 / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/ollama-tag-changed/

### 模型“回”了但内容是空的 / 只蹦出几个字就断（思考模型）
分类：输出质量怪
报错原文：{"choices":[{"message":{"content":""},"finish_reason":"length"}]}
{"response":"","thinking":"Okay, the user is asking for...","done_reason":"length"}
现象：调用没报错、状态码正常，但返回的正文是空的，或只蹦出「Based」这种一两个字就断了。尤其发生在思考/推理型模型上（Qwen3 的 -thinking 变体、DeepSeek-R1 类、任何会先写思考块再答的模型）：reasoning / thinking / reasoning_content 字段里一大段思考，正文却是空的。重试时好时坏——短问题正常、一换长一点的题就空。
原因：思考模型在给出可见答案前，会先生成一段隐藏的推理（reasoning）。关键在于：这段推理和正文**共用同一份输出 token 预算**（llama.cpp 的 n_predict、Ollama 的 num_predict、OpenAI 兼容端点的 max_tokens），而模型不会给正文留余量。推理一旦把预算吃光，生成就在第一个可见字之前停了。响应本身格式完好、也算“成功”（HTTP 200、无 error），所以很容易被当成“模型坏了 / 不肯回答”。其实有三种状态：① 空（推理吃掉 100% 预算，一个字都没剩下）② 截断（答案开了头被切半）③ 完整（finish_reason=stop）——只有②看起来像“正常但不对劲”，①最容易被误判为故障。
处理：
1. 先把输出预算抬到思考模型“想完再说话”够用：思考模型 max_tokens / num_predict 至少给到 2048，复杂推理 4096 起。参照系：llama.cpp 官方讨论里一台本地 RTX 3000 实测，问「2+2」光内部思考就烧掉约 420 token，可见答案只有 “four” 一个词——预算卡在 50 必然空。
2. 不需要深度思考的场景，直接关思考（省 token、省时间）：llama.cpp 用 --reasoning-budget 给思考单独封顶（用完强制收尾、正文照常出，不会把正文截断）；Ollama 用**原生 /api/chat 顶层参数** `think:false` 关闭。
3. 注意 Ollama 的 OpenAI 兼容端点 /v1 会**忽略** think 参数（0.30 起 `reasoning_effort:"none"` 才生效）——这是最坑的一个不对称：同一个模型走 /api/chat 能关思考，走 /v1 关不掉、照样烧预算出空回复。你的客户端如果强制走 /v1，就发 `reasoning_effort:"none"`。
4. 别把空回复当成“模型的回答”：代码里判 `finish_reason=="length" && content 为空` 时，去读 reasoning_content / thinking 字段。预算被思考吃光时，思考是满的、答案是空的——读那个字段一眼就能看出这是预算问题、不是配置或权重坏了，也就不会去瞎改量化/模板。
5. 别用一个全局 max_tokens 默认值同时伺候思考模型和普通模型：一个够思考模型想完还答的预算，喂普通模型是浪费；一个贴普通模型的预算，留思考模型一句都说不出来。按模型分开设默认值。
验证：同一条“问 2+2”，把 max_tokens 从触发空回复的小值抬到 2048/4096（或用上面方法关掉思考）后重跑：正文有内容、finish_reason 变成 stop，且「思考字段长度 + 正文长度」不再逼近预算上限。
适用：llama.cpp / Ollama / 任何把思考与正文共用一份输出预算的推理栈 全版本（思考型模型通用行为） / Windows,Linux,macOS
复现状态：本站未复现（按日志语义推导或改写整理，不能当成已验证方案）
来源：https://gpuvram.cloud/troubleshoot/thinking-eats-token-budget/

---

# 七、口径与版权
- 三级口径：实测（带来源链接）/ 推算（公式）/ 声称（未核）。未复现的排查条目一律标"本站未复现"。
- 他测速度只有在口径完整（量化 / 上下文 / 框架与版本 / 单流或并发 / KV 精度 / 投机接受率 / 来源链接）时才参与对比；并发吞吐与单流体验不做直接比较。
- 文字内容均为本站撰写，转载请注明出处链接；事实数据均标注 config.json 或厂商规格页来源。
- 本站不复制论文正文、不镜像权重、不提供下载链接、不做导购排序、不放购买链接。