NVIDIA RTX 3090 24G：能跑什么模型

24G 显存 · 可用约 21.1G（Windows 口径 88%）· 936 GB/s 带宽 · Ampere · 二手 · 后端：cuda / vulkan

上代大显存性价比标杆，NVLink 可双卡 48G。二手市场量大，买前必看 FBW/显存压力测试。

能装下37 / 67 个模型

最大能跑到Seed-OSS-36B-Instruct（IQ3_K）

单流速度上限约 200 tok/s

他测汇总25 条（口径完整 1 条）

一、这张卡能装下哪些模型

能装 / 装不下是推算，不是实测；点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。

Qwen3-4B4BQ8_0 Gemma 3 4B IT4B · 滑窗Q8_0 Qwen3-8B8BQ8_0 Llama 3.1 8B Instruct8BQ8_0 GLM-4-9B 04149BQ8_0 Qwen3-14B14BQ8_0 Gemma 3 12B IT12B · 滑窗Q8_0 Phi-4 14B14.7BQ8_0 GPT-OSS-20B21B · A3.6B · MoEQ4_K_M Qwen3-30B-A3B30B · A3B · MoEQ4_K_M Mistral Small 3.1 24B22BQ6_K Gemma 3 27B IT27B · 滑窗Q5_K_M Qwen3-32B32BIQ4_XS DeepSeek-R1-Distill-Qwen-32B32BIQ4_XS Seed-OSS-36B-Instruct36BIQ3_K Llama 3.1 70B Instruct70B装不下 Qwen3-235B-A22B235B · A22B · MoE装不下 Qwen3.8-27B26.9BQ5_K_M Qwen2.5-VL-7B-Instruct7BQ8_0 Qwen3.6-35B-A3B35B · A3B · MoEIQ4_XS Ornith-1.5-35B-A3B36B · A3B · MoEIQ4_XS Terminal-RSI-27B27.8BQ5_K_M AREX-227.4BQ5_K_M MiniCPM5-2B2.5BQ8_0 Qwen3.8-Flash-Next125B · A6B · MoE装不下 DeepSeek-V4.1-Flash552B · A8B · MoE装不下 LFM3-1.7B1.7B · 滑窗Q8_0 Muse Glimmer-30B29.8B · 滑窗Q4_K_M GLM-5.3753B · A40B · MoE装不下 Kimi K32800B · A104B · MoE装不下 Ling-3.2-flash560B · A25B · MoE装不下 Ling-3.1-flash560B · A25B · MoE装不下 MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ8_0 NVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下 GLM-5.3-Flash320B · A18B · MoE装不下 NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoEQ4_K_M NVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下 Muse Spark Open 816B816B · A42B · MoE装不下 Beam 1.0 501B501B · A23B · MoE装不下 Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下 Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0 腾讯混元 Hunyuan-1.8B1.8BQ8_0 腾讯混元 Hunyuan-4B4BQ8_0 腾讯混元 Hunyuan-7B7BQ8_0 MiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoE装不下 MiniCPM-V 4.7 1B1.55BQ8_0 Kimi K3.1 Pro2800B · A104B · MoE装不下 Step-5-Preview600B · A27B · MoE装不下 Ling-3.0-flash124B · A5.1B · MoE装不下 Gemma 4 12B Unified11.95B · 滑窗Q8_0 Mistral Large 41050B · A52B · MoE装不下 Inkling975B · A41B · MoE装不下 Inkling-Small276B · A12B · MoE装不下 IBM Granite 4.2 30B30BQ4_K_M IBM Granite 4.2 8B8BQ8_0 IBM Granite 4.2 3B3BQ8_0 K-EXAONE 2.0750B · A37B · MoE装不下 Tencent Hy4 preview770B · A49B · MoE装不下 MiniMax-M3428B · A23B · MoE装不下 Swift-1.5-Qwen3.8-27B27.8BQ5_K_M DeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下 ERNIE-5.5-Flash-Base280B · A14B · MoE装不下 DeepSeek-R1-Distill-Qwen-14B14BQ8_0

二、多少 G 显存开多少 K 上下文

行是量化档，列是上下文档位，格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B；换别的模型看同一张卡，选一下即可。

· Qwen3-32B，模型原生上下文上限 40960 token

量化	4K	8K	16K	32K	40K	64K	128K	最多可开
Q8_0 34G	36G 混跑	37G 混跑	39G 混跑	43G 混跑	45G 混跑	51G 混跑†	67G 混跑†	权重已超容量
Q6_K 26.2G	28.2G 混跑	29.2G 混跑	31.2G 混跑	35.2G 混跑	37.2G 混跑	43.2G 混跑†	59.2G 混跑†	权重已超容量
Q5_K_M 22.4G	24.4G 混跑	25.4G 混跑	27.4G 混跑	31.4G 混跑	33.4G 混跑	39.4G 混跑†	55.4G 混跑†	权重已超容量
Q4_K_M 19.2G	21.2G 混跑	22.2G 混跑	24.2G 混跑	28.2G 混跑	30.2G 混跑	36.2G 混跑†	52.2G 混跑†	3584 token（显存）
IQ4_XS 17G	19G 31–43	20G 29–40	22G 混跑	26G 混跑	28G 混跑	34G 混跑†	50G 混跑†	12288 token（显存）
IQ3_K 14G	16G 37–52	17G 34–47	19G 29–40	23G 混跑	25G 混跑	31G 混跑†	47G 混跑†	24576 token（显存）
IQ3_XXS 12.1G	14.1G 42–59	15.1G 38–53	17.1G 32–45	21.1G 25–34	23.1G 混跑	29.1G 混跑†	45.1G 混跑†	32768 token（显存）

格子里上行是总需显存（权重 + 该上下文的 KV + 1G 框架开销），下行是单流 decode 估算 tok/s；「混跑」表示超出显存、要靠内存放层，速度会明显低于同容量的全显存方案。带 ^† 的列超出该模型原生上下文，属于 rope/yarn 超纲使用，质量不保证。全部为推算，非实测。

三、别人测的 NVIDIA RTX 3090 24G 速度（他测汇总）

模型	量化	上下文	框架 / 版本	他测 tok/s	本站推算	偏差	投机与并发	口径	来源
MiniCPM-V 4.7 35B-A3B	Q5_K_M（GGUF，24.7GB）	32K	llama.cpp · 未报（flags: ngl 999, ncmoe 10, kv q8_0, np 1）	91	NaN–NaN	—	无投机 · 单流	他测·本站未复现	X 帖：First speed benchmark of MiniCPM-V 4.7 35B-A3B（@ItsmeAjayKV） AJ（@ItsmeAjayKV） · 2026-10-12
AREX-2	W4A16	1K	vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） · 2 卡（互联未报）	225.6	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01
AREX-2	W4A16	8K	vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） · 2 卡（互联未报）	109.8	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01
AREX-2	W4A16	31K	vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） · 2 卡（互联未报）	66.4	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01
AREX-2	W4A16	63K	vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） · 2 卡（互联未报）	78.5	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01
Gemma 4 12B Unified	Q4_K_M（GGUF）	32K	llama.cpp · f3e182816	46.9	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	Gemma-4-12B-it（alesha-pro/4x3090-llm-benchmarks，96 measurements 目录页，2026-06-21 批） alesha-pro · 2026-06-21
GPT-OSS-20B	未报	未报	vLLM（量化部署，原文未报具体方案） · 未报（原文无版本号）	8.3	—	缺 3 项口径	无投机 · 单流	口径不全·不进对比	亲测gpt-oss-20b-WEBUI：20B大模型在本地的惊人响应速度叶深深（CSDN） · 2026-01-22
IBM Granite 4.2 8B	FP8（ibm-granite/granite-4.2-8b-fp8 官方量化）	未报	vLLM · 0.32.0	83.9	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	granite-4.2-8b-fp8 on RTX 3090 24GB: speed test matrix（LocalMaxxing @Sandberg，llm-inference-bench v0.8.0，全矩阵） @Sandberg（LocalMaxxing 社区） · 2026-10-31
IBM Granite 4.2 8B	BF16（原始 BF16 权重 17.6G 直接 serve）	未报	vLLM · 0.32.0	44.4	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	granite-4.2-8b on RTX 3090 24GB: speed test matrix（LocalMaxxing @Sandberg，BF16 档，全矩阵） @Sandberg（LocalMaxxing 社区） · 2026-10-31
Ling-3.0-flash	W4A16	32K	SGLang · 0.0.0.dev1+g3f475ee2c（--speculative-algorithm NEXTN，33K ctx 档） · 4 卡（互联未报）	132.2	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，nextn/saturation-1024x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05
Ling-3.0-flash	W4A16	1K	SGLang · 0.0.0.dev1+g3f475ee2c（--context-length 262144 --chunked-prefill-size 8192 --tool-call-parser ling3 --reasoning-parser ling3 --enable-fp32-lm-head --disable-shared-experts-fusion） · 4 卡（互联未报）	100.43	—	缺 2 项口径	无投机 · 单流	口径不全·不进对比	alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05
Ling-3.0-flash	W4A16	64K	SGLang · 0.0.0.dev1+g3f475ee2c（--context-length 262144 --chunked-prefill-size 8192） · 4 卡（互联未报）	101.05	—	缺 2 项口径	无投机 · 单流	口径不全·不进对比	alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/depth-65536x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05
Ling-3.0-flash	W4A16	1K	SGLang · 0.0.0.dev1+g3f475ee2c（--max-running-requests 8） · 4 卡（互联未报）	295.94	—	缺 2 项口径	无投机 · 并发×16	口径不全·不进对比	alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c16） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05
MiniCPM-V 4.7 35B-A3B	int4（openbmb/MiniCPM-V-4.7-35B-A3B-int4，compressed-tensors W4A16，22.6GB）	2K	vLLM（nightly fe4df3d，PR #58674 合并后 15 commits） · 0.31.1rc1.dev296（transformers 5.19.0 / torch 2.13.0+cu129） · 2 卡 NVLink	172.2	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	tonyd2wild/MiniCPM-V-4.7-35B-A3B-2x-RTX-3090（TP2 NVLink 全基准 + 三处 day-1 修复） Tony DeAngelo（Tech2Wild / 2Wild） · 2026-10-12
Muse Glimmer-30B	Q4_K_M（GGUF）	8K	llama.cpp · build 10437（CUDA）	29.96	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	llamaperf 社区报告：Muse 30B Glimmer on RTX 3090（上游 micheledpierri.com 2026-08-20） llamaperf 社区提交（上游 micheledpierri.com） · 2026-10-02
NVIDIA Nemotron 3.5 Bolt 74B	IQ2_XXS+NVFP4+Q8_0	4K	llama.cpp · 版本未报	87.8	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	74B 的大模型，塞进了 24GB 显卡（知音探索 · B站专栏 · 2026-11-01）知音探索 · 2026-11-01
NVIDIA Nemotron 3.5 Lightning 30B	MLX 4-bit	8K	TensorFold（runtime tensorfold 1.1.6） · TensorFold 1.1.6；--no-thinking --parallel 1 --prompt-cache-gib 0.5（原文命令行）	1375.08	—	缺 1 项口径	无投机 · 并发×5	口径不全·不进对比	NVIDIA-Nemotron-3.5-Lightning-30B-A3B on RTX 3090（TensorFold MLX 4-bit，llm-benchmark.de，run-20261026-183943-5ef8b5） Mario Alka（llm-benchmark.de 社区提交） · 2026-10-26
NVIDIA Nemotron 3.5 Lightning 30B	Q4_K_M	48K	llama.cpp（server-cuda，llama-server） · b11804；-np 12 -c 49152；自动层适配（部分 CPU offload）	119.24	—	缺 1 项口径	无投机 · 并发×5	口径不全·不进对比	NVIDIA-Nemotron-3.5-Lightning-30B-A3B on RTX 3090（llama.cpp Q4_K_M，llm-benchmark.de，run-20261024-090453-c58a61） Mario Alka（llm-benchmark.de 社区提交） · 2026-10-24
Qwen3-30B-A3B	Q4_K	4K	llama.cpp（CUDA 后端） · 未报（Hardware Corner 页面未标构建号）	153.6	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	RTX 3090 Local LLM Benchmarks, Context Scaling & Supported Models 2026 Hardware Corner（gpu-llm-benchmarks 栏目，滚动更新） · 2026-11-06
Qwen3-30B-A3B	Q4_K_M	4K	llama.cpp（server-cuda，llama-server） · b11804（原文命令：llama-server -m …Q4_K_M.gguf -ngl 999 -np 12 -c 49152）	303.07	—	缺 1 项口径	无投机 · 并发×5	口径不全·不进对比	Qwen3-30B-A3B-Thinking-2507 Performance benchmark（run-20261024-084507-575220） Mario Alka（llm-benchmark.de 社区提交） · 2026-10-24
Qwen3.8-27B	W4A16	未报	vLLM（OpenAI 兼容 API） · 未报（只写了镜像变量 VLLM_IMAGE） · 2 卡（互联未报）	101.1	—	缺 4 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	两张 3090 扛 27B：Qwen3.8-27B 大模型 DFlash2 加速版生产级落地程序猿编码 · 2026-09-14
Qwen3.8-27B	W4A16	未报	vLLM（OpenAI 兼容 API） · 未报（只写了镜像变量 VLLM_IMAGE） · 2 卡（互联未报）	77.8	—	缺 4 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	两张 3090 扛 27B：Qwen3.8-27B 大模型 DFlash2 加速版生产级落地程序猿编码 · 2026-09-14
Qwen3.8-27B	AWQ 4bit	32K	vLLM · 0.6.x 分支 · 2 卡 PCIe	45	—	缺 2 项口径	无投机 · 单流/并发未说明	口径不全·不进对比	双 RTX 3090 实测：27B 模型稳定跑通 524K 超长上下文王若然 · 2026-09-16
Qwen3.8-27B	AWQ 4bit	512K	vLLM · 0.6.x 分支 · 2 卡 PCIe	6	—	缺 2 项口径	无投机 · 单流/并发未说明	口径不全·不进对比	双 RTX 3090 实测：27B 模型稳定跑通 524K 超长上下文王若然 · 2026-09-16
Qwen3.8-Flash-Next	UD-IQ3_XXS	128K	llama.cpp（unsloth PR #27742 分支，day-0 qwen4exp 支持） · unslothai/llama.cpp PR #27742（2026-08-26 day-0 fork） · 4 卡（互联未报）	43	—	缺 2 项口径	无投机 · 单流	口径不全·不进对比	Qwen3.8-Flash-Next — Full Fleet Deployment (Day-0)，tonyd2wild，2026-08-26 tonyd2wild（2Wild fleet / @Tech2Wild） · 2026-08-26

本卡共 25 条，其中 1 条口径完整。 “本站推算”给的是同量化、同上下文、单流口径下的公式区间，两边对不上才值得写进点评。多卡的条目按卡数把带宽线性相加再算，没扣通信开销——这个折算只会把本站推算算高、把他测显得低，所以拿它当“物理上限”看，不当预期值看。

上传实测数据 · 数据规则见数据口径

本卡行情（整卡价）

读者问得最多的第二问：多少钱。下面是能核对出处的整卡价快照——10 条，来自 10 篇不同的文章（10 条合起来的跨度 3000–12000 元）。日期不同、地区不同、全新二手不同，所以不合并、不取平均，照实各存一条，趋势你自己看。

最新快照：二手 ¥8,488–10,000（2026-11-12）；价 ¥8,000–12,000（2026-01-02）——各口径的日期可能不同，下表按时间全列。

来源日期	类型	报价（元）	出处
2026-11-12	二手	8488 – 10000	GeForce RTX 3090 显卡价格走势、显存与能跑的大模型（闲鱼中国大陆）（VRAMGlass（闲鱼在售报价中位价，每 6 小时更新））
2026-11-05	二手	5499	双 11 显卡推荐 2026:每一档买什么、什么价出手（硬核IT）
2026-11-03	二手	5300 – —	二手大显存行情:3090 与魔改卡价格坚挺（硬核IT）
2026-09-30	二手	4400	换显卡跑本地大模型：从RTX 4060到RTX 3090的显存升级实测（顺德韭菜星）
2026-09-29	二手	4400	本地跑大模型卡在显存？RTX 3090升级实测与量化调优指南（无可就是九头鸟）
2026-09-25	二手	— – 3000	双3090跑Qwen3.8-27B：DFlash2如何突破显存带宽瓶颈（摆摊卖爱情）
2026-09-15	二手	4200 – 4800	迷你主机+显卡坞+RTX 3090 跑 27B 大模型推理：硬件配置与电费实测（invalid s）
2026-09-15	二手	4000 – 5000	迷你主机+显卡坞+RTX 3090，低成本本地跑27B大模型（风在南方）
2026-03-14	二手	5000 – 6000	Janus-Pro-7B性能实测：RTX 4090 vs 3090生成耗时与显存对比（谢兴豪）
2026-01-02	未注明	8000 – 12000	高效低耗：消费级显卡RTX 3090运行lora-scripts完成大模型LoRA微调实测（Lrrrissss）

报价是来源文章发布时的行情，不是今日实时价；同一张表里不同月份的数字对不上是正常现象，那是行情本身在变。本站不接购物链接、不导购——要买去哪买、值不值，拿上面的区间对着本站的速度推算自己算。

同档显存的其它卡

手上有 24G 卡就点自己的型号；一行一张卡，点开就是那张卡的结论页。

NVIDIA RTX 4090 24G24G · 1008 GB/s NVIDIA RTX 3090 Ti 24G24G · 1008 GB/s NVIDIA RTX 4090D 24G24G · 1008 GB/s AMD RX 7900 XTX 24G24G · 960 GB/s NVIDIA RTX A5000 24G24G · 560 GB/s NVIDIA Tesla P40 24G（数据卡）24G · 480 GB/s Intel Arc Pro B60 24G（工作站）24G · 456 GB/s NVIDIA RTX 3060 24G（魔改）24G · 336 GB/s NVIDIA RTX Pro 4000 Blackwell SFF 24G24G · 288 GB/s

规格与数据来源

上面的显存、带宽、架构数字来自下面这些页面；口径说明逐条附后。没有可核对出处的字段，本站留空，不填一个编出来的数。

口径：规格与档位来自《显卡/闲鱼调研汇总.md》（2026-11-09 本站调研汇总，**无外链**，作者=本站调研，C 级单源待复核）；闲鱼二手价格波动大，只作量级参考，不作购买建议。官方规格来源（https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/）：核心参数（显存/带宽/架构）以该页为准；闲鱼档位仍来自《显卡/闲鱼调研汇总.md》（本机调研，无外链，C 级）。