NVIDIA Tesla V100 32G(数据卡):能跑什么模型

32G 显存 · 可用约 28.2G(Windows 口径 88%)· 900 GB/s 带宽 · Volta(HBM2) · 洋垃圾 · 后端:cuda / vulkan

32G 大显存版本,适合跑 70B Q4 级别模型。Volta 架构有 Tensor Core,但 CUDA 13+ 已移除支持,需用 CUDA 12.x 构建。二手价格约 3000-6000 元(单源待复核)。

能装下39 / 67 个模型
最大能跑到Llama 3.1 70B Instruct(IQ3_XXS)
单流速度上限约 200 tok/s
他测汇总42 条(口径完整 42 条)

一、这张卡能装下哪些模型

能装 / 装不下是推算,不是实测;点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。

Qwen3-4B4BQ8_0Gemma 3 4B IT4B · 滑窗Q8_0Qwen3-8B8BQ8_0Llama 3.1 8B Instruct8BQ8_0GLM-4-9B 04149BQ8_0Qwen3-14B14BQ8_0Gemma 3 12B IT12B · 滑窗Q8_0Phi-4 14B14.7BQ8_0GPT-OSS-20B21B · A3.6B · MoEQ8_0Qwen3-30B-A3B30B · A3B · MoEQ6_KMistral Small 3.1 24B22BQ8_0Gemma 3 27B IT27B · 滑窗Q6_KQwen3-32B32BQ5_K_MDeepSeek-R1-Distill-Qwen-32B32BQ5_K_MSeed-OSS-36B-Instruct36BQ5_K_MLlama 3.1 70B Instruct70BIQ3_XXSQwen3-235B-A22B235B · A22B · MoE装不下Qwen3.8-27B26.9BQ6_KQwen2.5-VL-7B-Instruct7BQ8_0Qwen3.6-35B-A3B35B · A3B · MoEQ5_K_MOrnith-1.5-35B-A3B36B · A3B · MoEQ5_K_MTerminal-RSI-27B27.8BQ6_KAREX-227.4BQ6_KMiniCPM5-2B2.5BQ8_0Qwen3.8-Flash-Next125B · A6B · MoE装不下DeepSeek-V4.1-Flash552B · A8B · MoE装不下LFM3-1.7B1.7B · 滑窗Q8_0Muse Glimmer-30B29.8B · 滑窗Q6_KGLM-5.3753B · A40B · MoE装不下Kimi K32800B · A104B · MoE装不下Ling-3.2-flash560B · A25B · MoE装不下Ling-3.1-flash560B · A25B · MoE装不下MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ8_0NVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下GLM-5.3-Flash320B · A18B · MoE装不下NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoEQ6_KNVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下Muse Spark Open 816B816B · A42B · MoE装不下Beam 1.0 501B501B · A23B · MoE装不下Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0腾讯混元 Hunyuan-1.8B1.8BQ8_0腾讯混元 Hunyuan-4B4BQ8_0腾讯混元 Hunyuan-7B7BQ8_0MiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoEQ5_K_MMiniCPM-V 4.7 1B1.55BQ8_0Kimi K3.1 Pro2800B · A104B · MoE装不下Step-5-Preview600B · A27B · MoE装不下Ling-3.0-flash124B · A5.1B · MoE装不下Gemma 4 12B Unified11.95B · 滑窗Q8_0Mistral Large 41050B · A52B · MoE装不下Inkling975B · A41B · MoE装不下Inkling-Small276B · A12B · MoE装不下IBM Granite 4.2 30B30BQ6_KIBM Granite 4.2 8B8BQ8_0IBM Granite 4.2 3B3BQ8_0K-EXAONE 2.0750B · A37B · MoE装不下Tencent Hy4 preview770B · A49B · MoE装不下MiniMax-M3428B · A23B · MoE装不下Swift-1.5-Qwen3.8-27B27.8BQ6_KDeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下ERNIE-5.5-Flash-Base280B · A14B · MoE装不下DeepSeek-R1-Distill-Qwen-14B14BQ8_0
二、多少 G 显存开多少 K 上下文

行是量化档,列是上下文档位,格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B;换别的模型看同一张卡,选一下即可。

· Qwen3-32B,模型原生上下文上限 40960 token
量化4K8K16K32K40K64K128K最多可开
Q8_0 34G36G 混跑37G 混跑39G 混跑43G 混跑45G 混跑51G 混跑†67G 混跑†权重已超容量
Q6_K 26.2G28.2G 混跑29.2G 混跑31.2G 混跑35.2G 混跑37.2G 混跑43.2G 混跑†59.2G 混跑†3584 token(显存)
Q5_K_M 22.4G24.4G 23–3225.4G 22–3027.4G 19–2731.4G 混跑33.4G 混跑39.4G 混跑†55.4G 混跑†19456 token(显存)
Q4_K_M 19.2G21.2G 26–3722.2G 25–3524.2G 22–3128.2G 18–2530.2G 混跑36.2G 混跑†52.2G 混跑†32768 token(显存)
IQ4_XS 17G19G 29–4220G 27–3922G 24–3426G 20–2728G 18–2534G 混跑†50G 混跑†40960 token(模型原生上限)
IQ3_K 14G16G 35–5017G 32–4519G 28–3923G 22–3025G 20–2731G 混跑†47G 混跑†40960 token(模型原生上限)
IQ3_XXS 12.1G14.1G 40–5715.1G 37–5117.1G 31–4321.1G 24–3323.1G 21–2929.1G 混跑†45.1G 混跑†40960 token(模型原生上限)

格子里上行是总需显存(权重 + 该上下文的 KV + 1G 框架开销),下行是单流 decode 估算 tok/s;「混跑」表示超出显存、要靠内存放层,速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文,属于 rope/yarn 超纲使用,质量不保证。全部为推算,非实测。

三、别人测的 NVIDIA Tesla V100 32G(数据卡) 速度(他测汇总)

模型量化上下文框架 / 版本他测 tok/s本站推算偏差投机与并发口径来源
Gemma 4 12B UnifiedQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102434.8975–106-61%无投机 · 单流本站实测本站六工位实测(gemma-4-12b-unified-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
小米 MiMo-V2.6-Distill-Qwen-9BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102453.9100–142-55%无投机 · 单流本站实测本站六工位实测(mimo-v2-6-distill-qwen-9b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
MiniCPM-V 4.7 35B-A3BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102488.91200-56%无投机 · 单流本站实测本站六工位实测(minicpm-v-4-7-35b-a3b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
MiniCPM5-2BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024143.37200-28%无投机 · 单流本站实测本站六工位实测(minicpm5-2b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Muse Glimmer-30BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102417.0530–43-53%无投机 · 单流本站实测本站六工位实测(muse-glimmer-30b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
NVIDIA Nemotron 3.5 Lightning 30BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024105.65200-47%无投机 · 单流本站实测本站六工位实测(nemotron-3-5-lightning-30b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M1Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214493.4200-53%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M4Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214490.19200-55%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M16Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214481.77200-59%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M32Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214472.53200-64%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M64Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214456.29200-72%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M128Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214438.1161–200-79%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M256Kllama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 26214422.99108–146-82%无投机 · 单流本站实测本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08
Ornith-1.5-35B-A3BQ4_K_M1Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024103.71200-48%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M4Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102499.86200-50%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M16Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102489.23200-55%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M32Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102478.6200-61%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M64Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102460.61200-70%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M128Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102441.15161–200-77%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M256Kllama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 102424.49108–146-81%无投机 · 单流本站实测本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102494.82200-53%无投机 · 单流本站实测本站六工位实测(ornith-1-5-35b-a3b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Ornith-1.5-35B-A3BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024100.46200-50%无投机 · 单流本站实测本站六工位实测(ornith-1-5-35b-a3b-q4km-b12211,llama.cpp b10635→b12211 版本对比·MoE 格,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Qwen3.8-27BUD-IQ3_S1Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)18.5945–63-66%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S4Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)17.6444–63-67%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S8Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)17.2644–62-67%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S16Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)16.0543–60-69%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S32Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)14.0940–57-71%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S64Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)11.337–51-74%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S128Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)7.9331–43-79%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BUD-IQ3_S256Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)4.8724–33-83%无投机 · 单流本站实测V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M1Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)16.4733–47-59%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M4Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)15.9933–47-60%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M8Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)15.6133–46-60%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M16Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)14.6732–45-62%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M32Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)13.231–44-65%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M64Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)10.829–40-69%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M128Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)7.725–35-74%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M256Kllama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录)4.820–28-80%无投机 · 单流本站实测V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05
Qwen3.8-27BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102416.7133–47-58%无投机 · 单流本站实测本站六工位实测(qwen3-8-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Qwen3.8-27BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102418.0833–47-55%无投机 · 单流本站实测本站六工位实测(qwen3-8-27b-q4km-b12211,llama.cpp b10635→b12211 版本对比,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Swift-1.5-Qwen3.8-27BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102416.7932–46-57%无投机 · 单流本站实测本站六工位实测(swift-1-5-qwen38-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09
Terminal-RSI-27BQ4_K_M0Kllama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 102416.8432–46-57%无投机 · 单流本站实测本站六工位实测(terminal-rsi-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09

本卡共 42 条,其中 42 条口径完整。 “本站推算”给的是同量化、同上下文、单流口径下的公式区间,两边对不上才值得写进点评。 多卡的条目按卡数把带宽线性相加再算,没扣通信开销——这个折算只会把本站推算算高、把他测显得低,所以拿它当“物理上限”看,不当预期值看。

上传实测数据 · 数据规则见 数据口径

本卡行情(整卡价)

读者问得最多的第二问:多少钱。下面是能核对出处的整卡价快照——5 条,来自 5 篇不同的文章(5 条合起来的跨度 3000–6000 元)。 日期不同、地区不同、全新二手不同,所以不合并、不取平均,照实各存一条,趋势你自己看。

来源日期类型报价(元)出处
2026-11-12二手4690 – 5000Tesla V100 32GB 显卡价格走势、显存与能跑的大模型(闲鱼中国大陆)(VRAMGlass(闲鱼在售报价中位价,每 6 小时更新))
2026-11-06二手4500 – 5200Tesla V100 32GB 价格走势(闲鱼挂牌聚合)(VRAMGlass(聚合闲鱼挂牌价,2026-11-06 03:12 更新))
2026-10-11二手3800 – 4500两张二手V100「追平5090」,数字是真的,价格已经不是了(什么值得买(汇总小红书/B站评论区喊价))
2026-09-18二手3430二手AI计算卡硬件价值调查:2026-09-17快照(guangxiangdebizi(used-ai-gpu-buying-guide 项目,AI 辅助检索整理))
2026-04-19二手3000 – 600020万预算炼丹?Tesla V100 32G算力深度评测(TrueSight)

报价是来源文章发布时的行情,不是今日实时价;同一张表里不同月份的数字对不上是正常现象,那是行情本身在变。 本站不接购物链接、不导购——要买去哪买、值不值,拿上面的区间对着本站的速度推算自己算。

同档显存的其它卡

手上有 32G 卡就点自己的型号;一行一张卡,点开就是那张卡的结论页。

NVIDIA RTX 5090 32G32G · 1792 GB/sNVIDIA RTX 5090 D 32G32G · 1792 GB/sAMD Instinct MI100 32G(老数据中心卡)32G · 1229 GB/sAMD Instinct MI50 32G(数据卡)32G · 1024 GB/sNVIDIA RTX PRO 4500 Blackwell 32G(工作站)32G · 896 GB/sNVIDIA RTX 4080 32G(魔改)32G · 736 GB/sNVIDIA RTX 4080 SUPER 32G(魔改)32G · 736 GB/sAMD Radeon PRO R9700 32G(工作站)32G · 640 GB/sAMD Radeon PRO W7800 32G(工作站)32G · 576 GB/sNVIDIA RTX 5000 Ada 32G(工作站)32G · 512 GB/sAMD Radeon PRO W6800 32G(工作站)32G · 512 GB/s海光 深算 K100 32G32G · 400 GB/s

规格与数据来源

上面的显存、带宽、架构数字来自下面这些页面;口径说明逐条附后。没有可核对出处的字段,本站留空,不填一个编出来的数。

口径:规格与档位来自《显卡/闲鱼调研汇总.md》(2026-11-09 本站调研汇总,**无外链**,作者=本站调研,C 级单源待复核);闲鱼二手价格波动大,只作量级参考,不作购买建议。官方产品页未取得(nvidia.com 对应页 404 或未上架),规格为二手渠道/社区口径,C 级单源待复核。 官方规格来源(https://www.nvidia.com/en-us/data-center/v100/):核心参数(显存/带宽/架构)以该页为准;闲鱼档位仍来自《显卡/闲鱼调研汇总.md》(本机调研,无外链,C 级)。

这条内容有帮助吗?