站内搜索

389 个条目：显卡 156 张 · 模型 67 个 · 容量表 17 档 · 常见问题 40 条 · 工具 0 个 · 故障排查 24 条。可以搜报错原文（out of memory）、口语问题（16G 能跑什么）、或型号别名（3070 16g）。

常见容量：8G 10G 11G 12G

全站目录（无脚本也可用）

这份目录是服务端渲染的，也给搜索引擎和 AI 引擎读。按类型列出本站全部页面。

显卡

NVIDIA RTX 5090 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 1792 GB/s · 英伟达 · 显存与
NVIDIA RTX 5080 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 960 GB/s · 英伟达 · 16G
NVIDIA RTX 4090 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 1008 GB/s · 英伟达 · 24G
NVIDIA RTX 3090 Ti 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 1008 GB/s · 英伟达 · 带宽与
NVIDIA RTX 3090 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 936 GB/s · 英伟达 · 上代大显
NVIDIA RTX 3080 10G — 能跑什么模型、能开多大上下文、大概多快：10G 显存（可用约 8.8G）· 760 GB/s · 英伟达 · 带宽高但
NVIDIA RTX 2080 Ti 11G（原厂） — 能跑什么模型、能开多大上下文、大概多快：11G 显存（可用约 9.7G）· 616 GB/s · 英伟达 · 原厂 11
NVIDIA RTX 5060 Ti 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 448 GB/s · 英伟达 · 16G
NVIDIA RTX 4060 Ti 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 288 GB/s · 英伟达 · 16G
NVIDIA GeForce RTX 3060 Ti 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · 8GB GDDR
NVIDIA RTX 3060 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 360 GB/s · 英伟达 · 曾经的
NVIDIA Tesla P40 24G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 480 GB/s · 英伟达 · 百元级
NVIDIA Tesla P100 16G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 732 GB/s · 英伟达 · 16G
NVIDIA Tesla V100 16G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 900 GB/s · 英伟达 · Volt
NVIDIA Tesla V100 32G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 900 GB/s · 英伟达 · 32G
NVIDIA Tesla T4 16G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 320 GB/s · 英伟达 · 70W
NVIDIA Quadro RTX A4000 16G（专业卡） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 448 GB/s · 英伟达 · 半高单风
AMD RX 7900 XTX 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 960 GB/s · AMD · 纸面带宽
AMD RX 7900 XT 20G — 能跑什么模型、能开多大上下文、大概多快：20G 显存（可用约 17.6G）· 800 GB/s · AMD · 20G
AMD RX 7900 GRE 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 578 GB/s · AMD · 16G
AMD Radeon RX 7800 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 624 GB/s · AMD · 16GB
AMD Radeon RX 6800 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 640 GB/s · AMD · 16GB
AMD Radeon RX 6700 10G — 能跑什么模型、能开多大上下文、大概多快：10G 显存（可用约 8.8G）· 400 GB/s · AMD · 10GB
AMD RX 6800 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 512 GB/s · AMD · 上代 1
AMD Instinct MI50 32G（数据卡） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 1024 GB/s · AMD · HBM
Intel Arc A770 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 560 GB/s · 英特尔 · 16G
Intel Arc A750 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 512 GB/s · 英特尔 · 8G 入门，跑
Intel Arc B580 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 456 GB/s · 英特尔 · 新架构
摩尔线程 MTT S80 16G（国产） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 448 GB/s · 国产 · 国产桌面大
NVIDIA RTX 2080 Ti 22G（魔改） — 能跑什么模型、能开多大上下文、大概多快：22G 显存（可用约 19.4G）· 616 GB/s · 魔改 · 中文圈传奇
NVIDIA RTX 3080 20G（魔改） — 能跑什么模型、能开多大上下文、大概多快：20G 显存（可用约 17.6G）· 760 GB/s · 魔改 · 20G 版
NVIDIA RTX 4090 48G（魔改） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 1008 GB/s · 魔改 · 显存翻倍
NVIDIA RTX 3070 16G（魔改） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 448 GB/s · 魔改 · 8G 原厂
Apple M4 Max 128G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：128G 显存（可用约 112.6G）· 546 GB/s · 共享主机 · 1
Apple M4 Pro 48G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 273 GB/s · 共享主机 · 48G
Apple M3 Max 48G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 400 GB/s · 共享主机 · 统一内
Apple M1 Max 64G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：64G 显存（可用约 56.3G）· 400 GB/s · 共享主机 · 老款
AMD Ryzen AI Max+ 395 / Strix Halo 128G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：128G 显存（可用约 112.6G）· 256 GB/s · 共享主机 · 2
NVIDIA RTX 4090D 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 1008 GB/s · 英伟达 · 409
NVIDIA RTX Pro 4000 Blackwell SFF 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 288 GB/s · 英伟达 · Blac
NVIDIA DGX Spark 128G — 能跑什么模型、能开多大上下文、大概多快：128G 显存（可用约 112.6G）· 273 GB/s · 英伟达 · 12
NVIDIA RTX A5000 24G — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 560 GB/s · 英伟达 · Ampe
NVIDIA RTX Pro 6000 Blackwell 96G — 能跑什么模型、能开多大上下文、大概多快：96G 显存（可用约 84.5G）· 960 GB/s · 英伟达 · 96G大
AMD RX 9070 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 576 GB/s · AMD · RDNA
NVIDIA RTX 5070 Ti 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 336 GB/s · 英伟达 · 16G显
NVIDIA RTX 4060 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 272 GB/s · 英伟达 · 8G显存入门卡，
NVIDIA RTX 4070 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 504 GB/s · 英伟达 · 12G显
NVIDIA RTX 3050 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · 英伟达 · 入门级8G卡，适
NVIDIA RTX 4080 Super 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 736 GB/s · 英伟达 · 16G显
NVIDIA Tesla P4 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 112 GB/s · 英伟达 · 70W低功耗入门
华为昇腾 910B 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 320 GB/s · 国产 · 华为昇腾旗
海光深算 K100 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · 国产GPU
摩尔线程 S50 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 200 GB/s · 国产 · 对标GTX 166
寒武纪思元 MLU370-S4 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 320 GB/s · 国产 · AI加速卡
天数智芯天垓100 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · 通用GPU
壁仞科技 Biren BR100 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · 通用智能计
沐曦集成 MetaX 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · 国产GPU
燧原科技训燧/infer燧 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · AI训练/
平头哥玄铁/含光 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 400 GB/s · 国产 · 阿里平头哥
NVIDIA RTX 3060 24G（魔改） — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 336 GB/s · 魔改 · 笔记本30
NVIDIA RTX 4080 32G（魔改） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 736 GB/s · 魔改 · 4080涡
摩尔线程 MTT S4000 48G（国产·推理加速卡） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 768 GB/s · 国产 · 国产大显存
NVIDIA RTX 3060 12G（魔改） — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 360 GB/s · 英伟达 · RTX
NVIDIA RTX 2070 16G（魔改） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 448 GB/s · 英伟达 · RTX
NVIDIA RTX 4080 SUPER 32G（魔改） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 736 GB/s · 英伟达 · 官方 4
NVIDIA GTX 1650 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 128 GB/s · 英伟达 · 4GB GD
NVIDIA RTX PRO 5000 Blackwell 48G（工作站） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 1344 GB/s · 英伟达 · 48G
Intel Arc A380 6G — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 186 GB/s · 英特尔 · 6GB GD
Intel Arc A310 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 124 GB/s · 英特尔 · 4GB GD
AMD RX 6400 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 128 GB/s · AMD · 4GB GD
NVIDIA RTX 2060 6G — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 336 GB/s · 英伟达 · Turing
NVIDIA RTX 2060 SUPER 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · Turing（T
NVIDIA RTX 2070 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · Turing（T
NVIDIA RTX 2070 SUPER 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · Turing（T
NVIDIA RTX 2080 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · Turing（T
NVIDIA RTX 2080 SUPER 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 496 GB/s · 英伟达 · Turing（T
NVIDIA RTX 3070 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · 英伟达 · Ampere（G
NVIDIA RTX 3070 Ti 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 624 GB/s · 英伟达 · Ampere（G
NVIDIA RTX 4070 SUPER 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 504 GB/s · 英伟达 · Ada
NVIDIA RTX 4070 Ti 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 504 GB/s · 英伟达 · Ada
NVIDIA RTX 4070 Ti SUPER 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 672 GB/s · 英伟达 · Ada
NVIDIA RTX 4080 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 736 GB/s · 英伟达 · Ada
NVIDIA RTX 5070 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 672 GB/s · 英伟达 · Blac
NVIDIA GTX 1660 Ti 6G — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 288 GB/s · 英伟达 · Turing
NVIDIA GTX 1660 SUPER 6G — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 336 GB/s · 英伟达 · Turing
NVIDIA GTX 1080 Ti 11G — 能跑什么模型、能开多大上下文、大概多快：11G 显存（可用约 9.7G）· 484 GB/s · 英伟达 · Pasca
NVIDIA RTX PRO 4500 Blackwell 32G（工作站） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 896 GB/s · 英伟达 · 32GB
NVIDIA P104-100 8G（矿卡） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 320 GB/s · 英伟达 · 8GB GDDR
AMD RX 580 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 256 GB/s · AMD · Polaris
AMD RX 590 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 256 GB/s · AMD · Polaris
AMD RX 5700 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · AMD · RDNA1（Na
AMD RX 5700 XT 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · AMD · RDNA1（Na
AMD RX 5600 XT 6G — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 288 GB/s · AMD · RDNA1（
AMD RX 6600 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · RDNA2（Na
AMD RX 6600 XT 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 256 GB/s · AMD · RDNA2（Na
AMD RX 6700 XT 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 384 GB/s · AMD · RDNA
AMD RX 7600 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 288 GB/s · AMD · RDNA3（Na
AMD RX 9070 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 644 GB/s · AMD · RDNA
AMD Radeon PRO W7800 32G（工作站） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 576 GB/s · AMD · 32GB
AMD Radeon PRO W7900 48G（工作站） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 864 GB/s · AMD · 48GB
AMD Instinct MI100 32G（老数据中心卡） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 1229 GB/s · AMD · 32G
Intel Arc A580 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 512 GB/s · 英特尔 · 8GB GDDR
Intel Arc B570 10G — 能跑什么模型、能开多大上下文、大概多快：10G 显存（可用约 8.8G）· 380 GB/s · 英特尔 · Battl
Intel Arc Pro B60 24G（工作站） — 能跑什么模型、能开多大上下文、大概多快：24G 显存（可用约 21.1G）· 456 GB/s · 英特尔 · 24GB
AMD RX 9070 GRE 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 432 GB/s · AMD · RDNA
AMD RX 9060 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 288 GB/s · AMD · RDNA
AMD RX 9060 XT 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 288 GB/s · AMD · RDNA4（Na
AMD RX 9060 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 288 GB/s · AMD · RDNA4（Na
AMD RX 7700 XT 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 432 GB/s · AMD · RDNA
AMD RX 7600 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 288 GB/s · AMD · RDNA
AMD RX 6950 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 576 GB/s · AMD · RDNA
AMD RX 6900 XT 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 512 GB/s · AMD · RDNA
AMD RX 6750 XT 12G — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 384 GB/s · AMD · RDNA
AMD RX 6650 XT 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 280 GB/s · AMD · RDNA2（Na
AMD RX 6500 XT 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 144 GB/s · AMD · RDNA2（
AMD RX 570 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · Polaris
AMD RX 560 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 112 GB/s · AMD · Polari
AMD RX 550 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 112 GB/s · AMD · Polari
AMD Radeon VII 16G — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 1024 GB/s · AMD · GCN
AMD RX Vega 64 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 484 GB/s · AMD · GCN 5.0（
AMD RX Vega 56 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 410 GB/s · AMD · GCN 5.0（
AMD R9 295X2 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 640 GB/s · AMD · GCN 2.0（
AMD R9 290X 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 320 GB/s · AMD · GCN 2.
AMD R9 290 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 320 GB/s · AMD · GCN 2.
NVIDIA RTX 6000 Ada 48G（工作站） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 960 GB/s · 英伟达 · Ada
NVIDIA RTX 5000 Ada 32G（工作站） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 512 GB/s · 英伟达 · Ada
NVIDIA RTX 4000 SFF Ada 20G（工作站） — 能跑什么模型、能开多大上下文、大概多快：20G 显存（可用约 17.6G）· 280 GB/s · 英伟达 · Ada
NVIDIA RTX A6000 48G（工作站） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 768 GB/s · 英伟达 · Ampe
NVIDIA T1000 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 192 GB/s · 英伟达 · Turing（T
NVIDIA RTX 5090 D 32G — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 1792 GB/s · 英伟达 · Bla
NVIDIA RTX 4060 Ti 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 288 GB/s · 英伟达 · Ada Love
AMD Radeon PRO R9700 32G（工作站） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 640 GB/s · AMD · RDNA
AMD Radeon PRO W7800 48G（工作站） — 能跑什么模型、能开多大上下文、大概多快：48G 显存（可用约 42.2G）· 864 GB/s · AMD · RDNA
AMD Radeon PRO W7700 16G（工作站） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 576 GB/s · AMD · RDNA
AMD Radeon PRO W6800 32G（工作站） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 512 GB/s · AMD · RDNA
AMD Radeon PRO W7600 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 288 GB/s · AMD · RDNA3（Na
AMD Radeon PRO W5700 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 448 GB/s · AMD · RDNA1（Na
AMD Radeon PRO W6600 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · RDNA2（Na
Intel Arc A770 8G — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 512 GB/s · 英特尔 · Xe HPG（A
Intel Arc A370 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 112 GB/s · 英特尔 · Xe HPG
Intel Arc A350 4G — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 112 GB/s · 英特尔 · Xe HPG
Intel Arc Pro B50 16G（工作站） — 能跑什么模型、能开多大上下文、大概多快：16G 显存（可用约 14.1G）· 224 GB/s · 英特尔 · Xe2（
AMD Radeon PRO W7500 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · RDNA3（Na
AMD Radeon PRO W7400 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · RDNA3（Na
AMD Radeon PRO W6400 4G（工作站） — 能跑什么模型、能开多大上下文、大概多快：4G 显存（可用约 3.5G）· 112 GB/s · AMD · RDNA2（
AMD Radeon PRO W5500 8G（工作站） — 能跑什么模型、能开多大上下文、大概多快：8G 显存（可用约 7G）· 224 GB/s · AMD · RDNA1（Na
Intel Arc Pro A40 6G（工作站） — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 192 GB/s · 英特尔 · Xe HPG
Intel Arc Pro A50 6G（工作站） — 能跑什么模型、能开多大上下文、大概多快：6G 显存（可用约 5.3G）· 192 GB/s · 英特尔 · Xe HPG
Intel Arc Pro A60 12G（工作站） — 能跑什么模型、能开多大上下文、大概多快：12G 显存（可用约 10.6G）· 384 GB/s · 英特尔 · Xe H
NVIDIA CMP 170HX 64G（矿卡魔改） — 能跑什么模型、能开多大上下文、大概多快：64G 显存（可用约 56.3G）· 1490 GB/s · 魔改 · 2021
Apple M6 32G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：32G 显存（可用约 28.2G）· 170 GB/s · 共享主机 · M6
Apple M5 Pro 64G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：64G 显存（可用约 56.3G）· 307 GB/s · 共享主机 · M5
Apple M5 Max 128G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：128G 显存（可用约 112.6G）· 614 GB/s · 共享主机 · M
Apple M5 Ultra 256G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：256G 显存（可用约 225.3G）· 1200 GB/s · 共享主机 ·
Apple M5 Ultra 512G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：512G 显存（可用约 450.6G）· 1200 GB/s · 共享主机 ·
Apple M3 Ultra 512G（统一内存） — 能跑什么模型、能开多大上下文、大概多快：512G 显存（可用约 450.6G）· 819 GB/s · 共享主机 · M

模型

Qwen3-4B — 4B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ3
Gemma 3 4B IT — 4B dense · 滑窗混合（每 6 层 1 层全注意力） · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/
Qwen3-8B — 8B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ3
Llama 3.1 8B Instruct — 8B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ3
GLM-4-9B 0414 — 9B dense · MQA（只有 2 个 KV 头） · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4
Qwen3-14B — 14B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ
Gemma 3 12B IT — 12B dense · 滑窗混合（每 6 层 1 层全注意力） · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M
Phi-4 14B — 14.7B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/
GPT-OSS-20B — 21B MoE · 32 专家 / 每 token 激活 4 · 滑窗交替（窗口 128） · 量化 MXFP4/Q8_
Qwen3-30B-A3B — 30B MoE · 128 专家 / 每 token 激活 8 · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M
Mistral Small 3.1 24B — 22B dense · GQA（文本塔） · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3
Gemma 3 27B IT — 27B dense · 滑窗混合（每 6 层 1 层全注意力） · 量化 Q6_K/Q5_K_M/Q4_K_M/IQ4_
Qwen3-32B — 32B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ
DeepSeek-R1-Distill-Qwen-32B — 32B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ
Seed-OSS-36B-Instruct — 36B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ
Llama 3.1 70B Instruct — 70B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ
Qwen3-235B-A22B — 235B MoE · 128 专家 / 每 token 激活 8 · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_
Qwen3.8-27B — 26.9B dense · GQA · 混合线性注意力（64 层里 16 层全注意力） · 量化 PTQ1_0/PQ2_
Qwen2.5-VL-7B-Instruct — 7B dense · GQA · 28 层全注意力 + 32 层视觉塔（ViT 窗口注意力）· mRoPE · 量化 Q
Qwen3.6-35B-A3B — 35B MoE · GQA · 混合线性注意力（40 层里 10 层全注意力）· 256 专家激活 8+1 共享 · 量
Ornith-1.5-35B-A3B — 36B MoE · GQA · 混合线性注意力（40 层里 10 层全注意力）· 256 专家激活 8 · 量化 Q4_
Terminal-RSI-27B — 27.8B dense · GQA · 混合线性注意力（64 层里 16 层全注意力）· 多模态 · 量化 Q8_0/Q
AREX-2 — 27.4B dense · GQA · 混合线性注意力（64 层里 16 层全注意力）· 多模态 · 量化 Q8_0/Q
MiniCPM5-2B — 2.5B dense · GQA（标准 Llama 结构，42 层全注意力） · 量化 Q8_0/Q6_K/Q5_K_M
Qwen3.8-Flash-Next — 125B MoE · 512 专家激活 10 · GQA · 混合线性注意力（48 层里 12 层全注意力）· 51B
DeepSeek-V4.1-Flash — 552B MoE · MLA 多潜注意力 · 压缩稀疏注意力（40 层仅 4 层存 KV）· Engram 哈希记忆（1
LFM3-1.7B — 1.7B dense · tri-hybrid 混合（24 层 = 13 卷积 + 5 滑窗注意力 + 6 全注意力）
Muse Glimmer-30B — 29.8B dense · GQA · 滑窗混合（52 层里 39 层滑窗 2048 + 13 层全注意力）· 多模态
GLM-5.3 — 753B MoE · MLA 多潜注意力 + DSA 深稀疏注意力（78 层 / 256 路由专家 + 1 共享 / 每
Kimi K3 — 2800B MoE · 混合注意力 93 层 = 24 Gated MLA + 69 KDA 线性（3:1 交错）· 注
Ling-3.2-flash — 560B MoE · 混合线性注意力 · 1M ctx（未核实：无可核官方源） · 量化 Q8_0/Q6_K/Q5_K_
Ling-3.1-flash — 560B MoE · 混合线性注意力 72 层 = 63 KDA + 9 Gated MLA（7:1）/ 512 专家激
MiniMax-M3.1-Flash — 428B MoE · MSA 块级稀疏注意力（全层覆盖 / GQA 64Q 4KV / top-16 块）+ DSpar
小米 MiMo-V2.6-Flash — 309B MoE · 48 层（39 滑窗 128 + 9 全局注意力）/ 256 专家激活 8 / 64 查询头 ·
小米 MiMo-V2.6-Distill-Qwen-9B — 9B dense · 混合 Mamba-2 线性注意力 + GQA（Qwen3.5-9B 系蒸馏的 V2.6 学生模型）
NVIDIA Nemotron 3 Ultra — 550B MoE · Mamba-Attention 混合（Mamba 层 + 全注意力层）· 开放权重+数据+训练配方
GLM-5.3-Flash — 320B MoE · KDA 线性注意力 + NoPE 稀疏 MLA 混合（45 层 / 288 专家 + 1 共享 /
NVIDIA Nemotron 3.5 Lightning 30B — 30B MoE · Mamba-2 + MoE + Attention 混合（LatentMoE）· MTP/DSpar
NVIDIA Nemotron 3.5 Bolt 74B — 74B MoE · Mamba-2–Transformer 混合 LatentMoE + C-RADIO v4-H 视觉
Muse Spark Open 816B — 816B MoE · 62 层 / 256 专家激活 8 / 128Q 16KV GQA / head_dim 64 +
Beam 1.0 501B — 501B MoE · 52 层（3 dense + 49 MoE）/ 256 专家激活 8 / Gated GQA +
Qwen3.8-2.4T-A95B — 2400B MoE · Gated DeltaNet 线性 + Gated Attention 混合（92 层 / 23
Kolibri-1 — 78.1B MoE · 50 层全 MoE / 384 专家激活 6+1 共享 / 45 滑窗 513 + 5 全注意力
小米 MiMo-V2.6-Pro-RL — 1020B MoE · 70 层（60 滑窗 128 + 10 全局注意力）/ 384 专家激活 8 / 原生全模态（图
腾讯混元 Hunyuan-0.5B — 0.5B dense · GQA（24 层 / 16Q 8KV / head_dim 128）· 原生 256K · 端
腾讯混元 Hunyuan-1.8B — 1.8B dense · GQA（32 层 / 16Q 4KV / head_dim 128）· 原生 256K · 端
腾讯混元 Hunyuan-4B — 4B dense · GQA（36 层 / 32Q 8KV / head_dim 128）· 原生 256K · 消费级
腾讯混元 Hunyuan-7B — 7B dense · GQA（32 层 / 32Q 8KV / head_dim 128）· 主仓 config 原生
MiniCPM-V 4.7 35B-A3B — 35.2B MoE · 原生多模态（视觉塔）· 256 专家激活 8 · GQA 2KV · 混合线性注意力（40 层里
MiniCPM-V 4.7 1B — 1.55B dense · 原生多模态（视觉塔）· GQA 2KV · 混合线性注意力（24 层里 6 层全注意力）·
Kimi K3.1 Pro — 2800B MoE · 混合注意力 93 层 = 24 Gated DSA + 69 KDA 线性（3:1 交错）/ 8
Step-5-Preview — 600B MoE · GQA 滑窗+全注意力混合（92 层 = 23 稀疏 full + 69 滑窗 512）/ 352
Ling-3.0-flash — 124B MoE · MLA 多潜注意力 + KDA 混合线性（42 层 / 组结构 5 KDA + 1 MLA）/ 5
Gemma 4 12B Unified — 11.95B dense · GQA 混合（48 层 = 44 滑窗 1024 + 4 全注意力 pRoPE）· 多模态
Mistral Large 4 — 1050B MoE · 72 层 / 128 路由专家激活 4 + 1 共享 · MLA 压缩 latent 512 +
Inkling — 975B MoE · 66 层 / 256 专家激活 6 + 2 共享 · GQA 8KV / head_dim 128
Inkling-Small — 276B MoE · 42 层 / 256 专家激活 6 + 2 共享 · GQA 8KV / head_dim 128
IBM Granite 4.2 30B — 30B dense · GQA 全注意力（64 层）· 原生推理（thinking 可开关）· agentic RL（沙
IBM Granite 4.2 8B — 8B dense · GQA 全注意力（40 层）· 原生推理（thinking 可开关）· agentic RL ·
IBM Granite 4.2 3B — 3B dense · GQA 全注意力（40 层）· 原生推理（thinking 可开关）· 端侧定位 · 量化 Q8_
K-EXAONE 2.0 — 750B MoE · 混合注意力（78 层 = 20 全注意力 + 58 滑窗 128）· GQA 8KV/head_d
Tencent Hy4 preview — 770B MoE · Gated DeepSeek Sparse Attention（78 层全 DSA + Index
MiniMax-M3 — 428B MoE · MSA 块级稀疏注意力（MiniMax Sparse Attention：4 索引头 topk 1
Swift-1.5-Qwen3.8-27B — 27.8B dense · GQA · 混合线性注意力（64 层里 16 层全注意力）· 多模态 · 量化 Q8_0/Q
DeepSeek-V4.1-Flash-1017 — 552B MoE · MLA 多潜注意力 · 压缩稀疏注意力（40 层仅 4 层存 KV，compress_ratios
ERNIE-5.5-Flash-Base — 280B MoE（43 层全 MoE，512 路由专家 top-10 + 1 共享）· hybrid_mla_atten
DeepSeek-R1-Distill-Qwen-14B — 14B dense · GQA · 量化 Q8_0/Q6_K/Q5_K_M/Q4_K_M/IQ4_XS/IQ3_K/IQ

容量表

4G 显存有哪些卡 — 4G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
6G 显存有哪些卡 — 6G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
8G 显存有哪些卡 — 8G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
10G 显存有哪些卡 — 10G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
11G 显存有哪些卡 — 11G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
12G 显存有哪些卡 — 12G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
16G 显存有哪些卡 — 16G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
20G 显存有哪些卡 — 20G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
22G 显存有哪些卡 — 22G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
24G 显存有哪些卡 — 24G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
32G 显存有哪些卡 — 32G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
48G 显存有哪些卡 — 48G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
64G 显存有哪些卡 — 64G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
96G 显存有哪些卡 — 96G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
128G 显存有哪些卡 — 128G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
256G 显存有哪些卡 — 256G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度
512G 显存有哪些卡 — 512G 显存档位站内在售/在用的卡，点卡看能跑什么模型、量化、上下文与速度

常见问题

能不能跑一个模型，到底只看显存吗？ — 看三样：显存决定装不装得下，内存决定装不下时能不能凑合，算力决定跑得多快。显存是唯一没有替代品的。
量化是什么？Q4_K_M、Q8_0、IQ3 这些名字什么意思？ — 量化就是把每个参数用更少的比特存下来，模型变小变快，质量按档位往下掉。Q8 几乎无损，Q4 是主流甜点位，Q3 已经能听
上下文（ctx）到底是什么？8K 能装多少字？ — 上下文是模型一次能『看见』的总字数预算，输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500
KV cache 是什么？为什么上下文那么吃显存？ — KV cache 是为了不重复计算而存下来的历史注意力数据，它随上下文线性增长，长对话和长文档的显存大户就是它。
tok/s 是多少才够用？我是不是需要很快？ — 中文阅读速度约 5–8 tok/s，所以 15 tok/s 以上就跟得上你阅读；25–40 是舒服，60 以上你反而读不
稠密模型和 MoE 有什么区别？为什么 30B-A3B 可能比 14B 还快？ — MoE 每次只激活一小部分参数，所以它『显存按总量算、速度按激活量算』。30B-A3B 每 token 只读约 3B 权
我内存大（64G/128G），是不是就能跑大模型？ — 能跑，但会很慢。内存带宽只有显存的 1/10 到 1/15，稠密模型 offload 之后普遍掉到 1–5 tok/s。
本地跑的小模型，和在线的 GPT / Claude / 通义比差在哪？值不值？ — 差距主要在长逻辑链、冷门知识、多轮指令遵循；优势在隐私、离线、无限量、可调参、零调用成本。把本地模型当『不会上网的熟练工
我该配多大的显存？给一条按容量而不是按型号的阶梯 — 8G 只能玩 4B–8B 且上下文紧；16G 是本地第一台最省事的容量点；24G 能认真用 32B；48G 起才谈得上
16G 显存到底能干什么？（最常被问的一档） — 能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K，能勉强跑 27B–36B 的 Q3 但上下文几乎没有，
『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对？ — 方向对，但要按显存档位落地。4B–9B 跑 Q8 确实合适；12B–14B 在 16G 上 Q8 会把上下文挤光，Q6_
Mac（M 系列统一内存）能不能跑本地大模型？ — 能，靠统一内存装得下很大的模型，但带宽只有同级独显的 1/3 到 1/2，所以『能跑很大但很慢』。买 Mac 跑大模型要
站里那些『魔改卡』『共享主机』是什么？能买吗？ — 魔改卡是把显存/BIOS 改大的非官方卡（如 3070 改 16G、4060Ti 改 20G），风险在驱动与稳定性；共享
从 0 到跑通第一个模型，具体要走几步？ — 五步：确认驱动 → 装一个框架 → 下载一个 GGUF → 用命令行起服务 → 打开网页界面聊天。卡住的位置 90% 在
模型文件去哪下载？GGUF、safetensors、MLX 有什么区别？ — 本地跑选 GGUF（llama.cpp/Ollama/LM Studio 通用）；训练/微调选 safetensors；
llama.cpp、Ollama、LM Studio、vLLM 我该用哪个？ — 想控制显存和参数用 llama.cpp；想一条命令搞定用 Ollama；想要图形界面用 LM Studio；想要高并发服
要占多少硬盘？要不要 SSD？ — 模型文件本身 2–40GB 一个，装三五个就上百 GB；建议至少留 200GB 空闲并且必须是 SSD，机械盘会让加载从
Windows 还是 Linux？差别有多大？ — 同样硬件下 Linux 大约能多用 10% 显存（没有桌面合成器吃那块），驱动/权限要额外折腾。新手建议先 Window
主要用中文，该选哪个模型？ — 中文优先看 Qwen3 系列和 GLM-4-9B；要看图用 Gemma 3；只要英文推理用 Phi-4。词表对中文友好程
不花钱让本地模型变快的 5 个开关 — ① -ngl 拉满 ② 限制上下文 ③ KV 量化 ④ 开 flash attention ⑤ 关掉没用的多模态塔。前两
文档比显存允许的上下文还长怎么办？ — 三条路：换滑窗架构模型、把 KV 量化到 q4、或者分块检索只把相关段落塞进去。别指望把 -c 调到 128K 就解决了
为什么有的模型开长上下文特别便宜？ — 因为层数、KV 头数、每头维度这三个数决定 KV，和参数量不成比例。滑窗架构更把大部分层的 KV 锁死在固定窗口里。
站里的『实测』『推算』『声称』分别是什么意思？ — 实测=有来源链接且我们核过；推算=本站公式算出来的，误差可到 ±20%；声称=厂商或提交者自说自话。三类的可信度完全不同
为什么你的数字和别人测的不一样？ — 四个常见原因：系统水位不同、KV 精度不同、有没有留够上下文、以及 MoE 按总量还是按激活量算。本站把前三个都做成了可
我能怎么帮这个站补数据？ — 最有效的一件事：把你的一次真实运行结果按固定格式发过来（显卡、模型、量化、上下文、框架、tok/s、出处链接）。一条顶十
开了投机解码能快多少？为什么别人 40 tok/s，我只有 18？ — 投机解码不是稳赚：小模型先猜几个 token，大模型一次性验证，猜中才快。提升完全取决于接受率，常见是一到三成，接受率低
评测里的 tok/s 是单流还是并发？为什么同一张 4090 有人报 30、有人报 400？ — 单流是你一个人对话时每秒出几个字；并发是同时服务很多人时每秒总共出几个字。后者能高一个数量级，两种数字放在一起比一定是误
都是 27B 的 Qwen3.8-27B、Terminal-RSI、AREX-2，我该下哪个？ — 三个是同一个底座的不同微调，显存档位完全一样，差别只在训练方向：要通用对话选底座 Qwen3.8-27B，要终端 Age
站里说『显存不够硬盘来凑』，那个 n-gram 表 / Engram 表到底是什么？能真省显存吗？ — 那是模型里一整块哈希查表（n-gram / Engram 记忆），不是普通权重——查表不是矩阵乘法，可以整块卸到内存甚至
站里的数据多久更新一次？价格是什么时候的？ — 价格是带日期的快照不是现价；架构常数随官方 config 核过就算准。页面上每个数都能点到出处和日期。
站里的数据可信度怎么分级？我该信哪一档？ — 编辑口径分三级：A 多源交叉一致或本站复测、B 多源方向一致、C 单一来源待复核。页面上每个数字旁边的徽章就是这一档。
官方跑分（比如 AA 指数）为什么不等于本地速度？ — 两码事：官方跑分测的是模型在 API 上的智力水平，本站实测测的是你这张卡每秒吐多少 token。别拿分数换算速度。
AMD 的 RX 卡能跑本地大模型吗？比 N 卡差在哪？ — 能跑，但生态窄一截：量化格式与框架支持比 CUDA 少，AMD 走 ROCm，部分 vLLM 路径与新量化直接没有。显存
笔记本能外接显卡跑大模型吗？值得买显卡坞吗？ — 能跑，瓶颈在接口不在显存：TB3 外接 12G 卡实测 25 tok/s（单源）。适合已有大显存的旧卡 + 轻薄本；想要
二手卡还是全新卡？本地跑大模型怎么选？ — 二手显存卡性价比明显更高（3090 二手 2026-11-03 起 5300、4090 二手 2026-11-10 21
多卡到底怎么拆层？加第二张卡值不值？ — 两种拆法：llama.cpp 拆层（默认，层分给不同卡，带宽可相加）与 vLLM 张量并行（切矩阵，通信吃 PCIe）。
首次部署要不要上 Docker？ — 不要。先在宿主机裸跑通一个模型（llama.cpp 单文件二进制），再容器化。容器解决的是环境隔离与可复现，不会让模型跑
驱动和 CUDA 版本怎么选？要自己装 CUDA 吗？ — 不用自己装 CUDA。驱动装新一点，框架用官方预编译包；CUDA 版本只有自编扩展时才需要管。站内他测最常见的口径是驱动
温度、top-p、重复惩罚这些参数到底怎么调？ — 温度管随机性（0 = 贪心、最稳）、top-p 管候选范围、重复惩罚管复读。它们只影响输出分布，不影响显存占用和速度——
为什么刚开始聊得挺快，聊久了就变慢？ — 因为每生成一个 token 都要把历史 KV 重读一遍，KV 随上下文线性增长。同一台 4090 实测：1K 上下文 1

工具

故障排查

CUDA out of memory / ggml: failed to allocate — 装不下 · 加载模型时报显存不足，或者加载成功但第一次生成时崩；nvidia-smi 显示显存已经顶到接近总量。
刚装上好好的，聊十几轮就崩或开始忘事 — 装不下 · 前几轮正常，越聊越慢，然后要么报错退出，要么模型开始『忘记』你最早说的话，或者答话重复。
参数调到最低还是装不下：权重本身就超容量 — 装不下 · 换最小量化、降上下文、关所有程序，还是加载失败或者只跑 1–2 tok/s。
no CUDA devices / unrecognized error code / hipErrorNotFound — 起不来 · 二进制直接不认显卡，日志里一句 no devices 或者满屏 unrecognized error cod
Windows 双击 exe 一闪就没（无任何报错） — 起不来 · 命令行窗口闪一下就关闭，或者双击毫无反应，任务管理器里也看不到进程。
加载时报大小对不上 / missing tensor / 输出乱码 — 起不来 · 模型加载失败，或者勉强加载成功但输出完全不通顺的乱码、乱吐训练数据。
速度只有估算的一半：层没有全部进显存 — 速度不对 · 本站容量表推算 30 tok/s，实际只有 8–15；显存看起来没满；模型能正常回答。
按回车主卡很久，但开始吐字之后就正常 — 速度不对 · 第一次提问要等 10–60 秒才出第一个字，之后 tok/s 正常；长文档提问等待更夸张。
MoE 模型快得离谱或慢得离谱：你在用总参数量估速度 — 速度不对 · 30B-A3B 跑出 100+ tok/s 让你怀疑测速坏了；或者 235B-A22B 只跑到 20 to
输出乱码、复读、突然说另一种语言 — 输出质量怪 · 模型输出符号乱码、同一段话反复循环、把训练里的其他内容吐出来，或者中文进去英文/日文出来。
上下文一长就开始答非所问 — 输出质量怪 · 短对话很聪明，塞进长文档后开始忽略你的问题、只复述开头结尾、或者把文档中间的信息当成没有。
刚起来很快，跑久了越来越慢 — 越用越慢 · 同一模型同一参数，第一次跑 30 tok/s，两小时后掉到 10 以下；或者跨天不用后重启才恢复。
nvidia-smi 显示已经占了 1–2GB，模型装不下 — 框架环境 · 明明什么都没做，显存已经被用掉 1–2GB；或者关掉浏览器/游戏后仍然没释放干净。
同一个模型在 Ollama 和 llama.cpp 上速度/显存差很多 — 框架环境 · Ollama 跑得比手动 llama.cpp 慢一大截，或者显存占用更高；同一个 GGUF 两边结论不一样
魔改卡（改大显存/数据卡）驱动更新后识别异常 — 框架环境 · 改过显存的卡原本正常，官方驱动升级后变成基础显示适配器、掉驱动、或者显存识别回原容量；也可能间歇性崩溃并伴
装下了但只有 1–3 tok/s：offload 不是慢一点，是慢一个数量级 — 速度不对 · 模型完整加载成功、能正常回答，但每秒只出 1–3 个字，感觉像卡住。
微调训练 CUDA out of memory（QLoRA/LoRA 显存爆） — 装不下 · 权重本身不大，用 LoRA/QLoRA 微调跑几个 step 就 OOM。
LoRA/微调 Loss 不降或发散 — 框架环境 · 微调几十步 loss 不降反而涨，或模型输出几乎不变。
设了 CUDA_VISIBLE_DEVICES 却没生效 / 指定卡不工作 — 框架环境 · 机器有多张卡，指定了设备号却报 no devices，或跑到了错的卡。
Ollama 上下文被限 4096 / OLLAMA_CONTEXT_LENGTH 不生效 — 装不下 · Ollama 默认上下文卡在 4096，设了 OLLAMA_CONTEXT_LENGTH 不生效或一放大就
模型下载慢到放弃 / Connection timed out / 下到一半就断 — 框架环境 · 从 Hugging Face / GitHub / Ollama 拉模型时卡住、跑到百分之几十就断线，或者
手机/另一台电脑访问家里跑的模型：连接被拒 — 框架环境 · 服务在自己那台电脑上跑得好好的，同一局域网的手机/另一台电脑却连不上；有人加了 --host 0.0.0.
ollama run 同一个 latest，今天下载的和昨天不一样 — 框架环境 · 同一个 ollama run qwen:latest，昨天和今天加载的模型感觉不一样：体积变了、速度变了、
模型“回”了但内容是空的 / 只蹦出几个字就断（思考模型） — 输出质量怪 · 调用没报错、状态码正常，但返回的正文是空的，或只蹦出「Based」这种一两个字就断了。尤其发生在思考/推

页面

显卡 — 英伟达 / AMD / 英特尔 / 国产，一行一条，点进去是单卡结论页
模型 — 按地区（中国/美国/其他）与参数量档（十亿/百亿/千亿/万亿）筛选，点模型看显存、上下文、量化与速度
同档横评 — 同一参数量档的模型在同一张卡上横向对比速度
实测 — 本站真机实测 tok/s，一行一个模型，点开看运行环境
常见问题（新手） — 给还没开始跑大模型的人：显存、量化、上下文、tok/s 是什么
故障排查 — 装不下、起不来、速度慢、输出怪、越用越慢的排查条目
按显存档位查卡 — 站内所有卡按显存档位分组，一档一页，点卡看完整结论
文章·组合全表 — 11 张热门显卡 × 9 个模型，量化 × 4K–256K 上下文 × 框架 × 投机解码 × 估算 tok/s
模型优化（工具与 Agent 精选） — 跑起来之后用什么工具：推理框架 / 量化 / 微调 / 前端 / Agent，star 自动同步
装机案例 — 真实用户投稿的本地 AI 装机方案：配件清单 + 整套预算 + 投稿者本机 tok/s，署名+日期齐全，非本站实测
智能管家 · 系列教程 — 从零到一台能守家的本地 AI：为什么本地、9B 还是 35B、MoE 反直觉、千元到万元装机、装系统跑通、接成管家（HA
开源项目推荐 · 好项目都在这儿 — 好的开源项目：它是什么、许可证与商用边界（AGPL / 自定义 / 混合许可证高危置顶）、适合谁；全部单源 C 级，本站
千元本地智能管家：P100 / P40 洋垃圾方案 — 投稿实测：入门版 P100 16G 约 1400 元 35B 量化 MoE 约 20 tok/s；进阶 P40 24G
关于与数据口径 — 实测/推算/声称三级口径的定义与来源链接铁律
站长手记：技术平权时代，「能做出来」不再值钱 — 一周产品验证的失败报告：小餐馆点单工具为什么不该做——AI 把「造」平权之后，判断力（该不该做/该不该买）成了唯一没被平

开源项目推荐

geo-sleuth：拿一张照片反推它哪拍的，这生意没人想得到 — C · 单源待复核 · 输一张照片，它反推"这照片在哪拍的"，还把推理过程摆给你看——天际线、海拔、街景，一层层比对。支
AnyModelBot：一个 key 打通 70+ 模型，这层"聚合"最赚 — C · 单源待复核 · 把 GPT、Claude、Gemini、Grok、DeepSeek、Kimi、GLM 这些模型塞
ffmpeg-skill：给 AI 编程助手装上一手视频剪刀 — C · 单源待复核 · 一句话：让 AI 编程助手（Claude Code、Cursor、Codex）能直接剪视频。42
logo-design-skill：让 AI 当你的外包设计师 — C · 单源待复核 · 给 AI 一套"出 Logo"的技能：设计原则、流程、SVG 工艺、测试工具，外加 1400 多
coucou：塞进 Mac 刘海里的小助手，盯紧你的 AI 编程 — C · 单源待复核 · 一个小到能塞进 Mac 刘海的小助手，实时盯着你的编程 Agent——Claude Code、C
wechat-intelligence-hub：微信情报系统，功能很香，许可证是红线 — C · 许可证高危（AGPL-3.0） · 把聊天记录变成情报：只读地存下来，可搜索，出每日简报、跟进提醒、机会追踪。微
ollama：把我那张吃显卡的本地大模型做成服务 — C · 单源待复核 · 说人话：一行命令把大模型跑在自己机器上。下载、跑本地模型（Llama、Qwen、DeepSeek
gpt-engineer：让 AI 帮你把 App"生成"出来 — C · 已停更归档 · 给 AI 一句话"帮我做个 xxx App"，它直接给你生成一整套能跑的代码，前端、后端、数据库
open-webui：百万星开源项目，一查 License 是"自定义协议" — C · 许可证高危（自定义协议） · 给本地大模型套个超好用的网页界面，ChatGPT 那样的 UI，自己部署跑模型。百
flowise：一半开源一半商业，踩坑点在 enterprise 目录 — C · 混合许可证（主体 Apache-2.0，enterprise 目录商业） · 可视化拖拽搭 LLM 应用，不用写

教程

别人家的「秘书」长什么样：Meta Muse 秘书类应用场景拆解 — 置顶案例 · 这一栏教的是把 AI 放在家里当管家。但「管家到底能干哪些事」这个概念，可以先看看别人家已经跑通的样子——
把 AI 放在家里，而不是云端 — 开篇 · 很多人第一反应是：云端 AI 那么方便，我为什么要折腾一台本地机器？这篇回答的就是这个「为什么」——也是整个系
9B 够用，还是 35B 才算真正的家庭管家？ — 选模型 · 很多人一听「本地智能管家」就想：能不能用小一点的模型？9B 显存便宜、电脑便宜、跑起来也快。装过、用过、让它
别被数字骗了：为什么 27B 比 35B 还聪明？ — MoE 原理 · 35B 比 27B 大，所以 35B 更强，对吧？不一定。这个「不一定」，恰恰是现在本地 AI 最值得
从千元 AI 主机到万元家庭智能管家：2026 本地智能配置全指南 — 装机 · 前面几篇把模型定在 35B 了。看到 35B 就慌「是不是必须上 4090、多卡工作站」？不是。2026 年本
装系统、跑引擎、把 35B 跑起来：从零到第一个字 — 部署 · 硬件选好了，下面是把这台机器真正变成管家：装系统 → 装推理引擎 → 跑 35B → 起 API。硬件、引擎、
把它拼成日常可用的家庭智能管家：Home Assistant + 语音 + 摄像头 + Agent — 集成 · 硬件、引擎、模型都定了，下面把它拼成一个能日常使用的管家。链路：Home Assistant 管设备 → 35
家庭智能管家手机接入指南：局域网、Tailscale、各 Agent 客户端怎么选 — 手机接入 · 管家搭好了，但人不在客厅怎么办？手机接入这块不是「装个 App 就完事」，难度和坑得先讲清楚。路线分三层，