NVIDIA Tesla V100 32G(数据卡):能跑什么模型
32G 大显存版本,适合跑 70B Q4 级别模型。Volta 架构有 Tensor Core,但 CUDA 13+ 已移除支持,需用 CUDA 12.x 构建。二手价格约 3000-6000 元(单源待复核)。
一、这张卡能装下哪些模型
能装 / 装不下是推算,不是实测;点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。
二、多少 G 显存开多少 K 上下文
行是量化档,列是上下文档位,格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B;换别的模型看同一张卡,选一下即可。
· Qwen3-32B,模型原生上下文上限 40960 token| 量化 | 4K | 8K | 16K | 32K | 40K | 64K | 128K | 最多可开 |
|---|---|---|---|---|---|---|---|---|
| Q8_0 34G | 36G 混跑 | 37G 混跑 | 39G 混跑 | 43G 混跑 | 45G 混跑 | 51G 混跑† | 67G 混跑† | 权重已超容量 |
| Q6_K 26.2G | 28.2G 混跑 | 29.2G 混跑 | 31.2G 混跑 | 35.2G 混跑 | 37.2G 混跑 | 43.2G 混跑† | 59.2G 混跑† | 3584 token(显存) |
| Q5_K_M 22.4G | 24.4G 23–32 | 25.4G 22–30 | 27.4G 19–27 | 31.4G 混跑 | 33.4G 混跑 | 39.4G 混跑† | 55.4G 混跑† | 19456 token(显存) |
| Q4_K_M 19.2G | 21.2G 26–37 | 22.2G 25–35 | 24.2G 22–31 | 28.2G 18–25 | 30.2G 混跑 | 36.2G 混跑† | 52.2G 混跑† | 32768 token(显存) |
| IQ4_XS 17G | 19G 29–42 | 20G 27–39 | 22G 24–34 | 26G 20–27 | 28G 18–25 | 34G 混跑† | 50G 混跑† | 40960 token(模型原生上限) |
| IQ3_K 14G | 16G 35–50 | 17G 32–45 | 19G 28–39 | 23G 22–30 | 25G 20–27 | 31G 混跑† | 47G 混跑† | 40960 token(模型原生上限) |
| IQ3_XXS 12.1G | 14.1G 40–57 | 15.1G 37–51 | 17.1G 31–43 | 21.1G 24–33 | 23.1G 21–29 | 29.1G 混跑† | 45.1G 混跑† | 40960 token(模型原生上限) |
格子里上行是总需显存(权重 + 该上下文的 KV + 1G 框架开销),下行是单流 decode 估算 tok/s;「混跑」表示超出显存、要靠内存放层,速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文,属于 rope/yarn 超纲使用,质量不保证。全部为推算,非实测。
三、别人测的 NVIDIA Tesla V100 32G(数据卡) 速度(他测汇总)
| 模型 | 量化 | 上下文 | 框架 / 版本 | 他测 tok/s | 本站推算 | 偏差 | 投机与并发 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|
| Gemma 4 12B Unified | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 34.89 | 75–106 | -61% | 无投机 · 单流 | 本站实测 | 本站六工位实测(gemma-4-12b-unified-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| 小米 MiMo-V2.6-Distill-Qwen-9B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 53.9 | 100–142 | -55% | 无投机 · 单流 | 本站实测 | 本站六工位实测(mimo-v2-6-distill-qwen-9b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| MiniCPM-V 4.7 35B-A3B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 88.91 | 200 | -56% | 无投机 · 单流 | 本站实测 | 本站六工位实测(minicpm-v-4-7-35b-a3b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| MiniCPM5-2B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 143.37 | 200 | -28% | 无投机 · 单流 | 本站实测 | 本站六工位实测(minicpm5-2b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Muse Glimmer-30B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 17.05 | 30–43 | -53% | 无投机 · 单流 | 本站实测 | 本站六工位实测(muse-glimmer-30b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| NVIDIA Nemotron 3.5 Lightning 30B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 105.65 | 200 | -47% | 无投机 · 单流 | 本站实测 | 本站六工位实测(nemotron-3-5-lightning-30b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 1K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 93.4 | 200 | -53% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 4K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 90.19 | 200 | -55% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 16K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 81.77 | 200 | -59% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 32K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 72.53 | 200 | -64% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 64K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 56.29 | 200 | -72% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 128K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 38.1 | 161–200 | -79% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 256K | llama.cpp llama-server · llama.cpp b10635-fc35562ba;-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -b 4096 -ub 2048 -tb 1024 -c 262144 | 22.99 | 108–146 | -82% | 无投机 · 单流 | 本站实测 | 本站实测:Ornith-1.5-35B-A3B Q4_K_M 上下文扫频(V100-32G,llama.cpp b10635,2026-11-08) 本站(Step,同机第二只眼) · 2026-11-08 |
| Ornith-1.5-35B-A3B | Q4_K_M | 1K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 103.71 | 200 | -48% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 4K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 99.86 | 200 | -50% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 16K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 89.23 | 200 | -55% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 32K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 78.6 | 200 | -61% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 64K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 60.61 | 200 | -70% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 128K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 41.15 | 161–200 | -77% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 256K | llama.cpp llama-server(七档上下文扫频,/completion 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 1 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 262144 -b 4096 -ub 2048 -tb 1024 | 24.49 | 108–146 | -81% | 无投机 · 单流 | 本站实测 | 本站七档上下文扫频(Ornith-1.5-35B-A3B Q4_K_M,llama.cpp b12211,2026-11-09) 本站(Step,七档扫频) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 94.82 | 200 | -53% | 无投机 · 单流 | 本站实测 | 本站六工位实测(ornith-1-5-35b-a3b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Ornith-1.5-35B-A3B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 100.46 | 200 | -50% | 无投机 · 单流 | 本站实测 | 本站六工位实测(ornith-1-5-35b-a3b-q4km-b12211,llama.cpp b10635→b12211 版本对比·MoE 格,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Qwen3.8-27B | UD-IQ3_S | 1K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 18.59 | 45–63 | -66% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 4K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 17.64 | 44–63 | -67% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 8K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 17.26 | 44–62 | -67% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 16K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 16.05 | 43–60 | -69% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 32K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 14.09 | 40–57 | -71% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 64K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 11.3 | 37–51 | -74% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 128K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 7.93 | 31–43 | -79% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | UD-IQ3_S | 256K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 4.87 | 24–33 | -83% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B UD-IQ3_S 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 1K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 16.47 | 33–47 | -59% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 4K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 15.99 | 33–47 | -60% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 8K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 15.61 | 33–46 | -60% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 16K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 14.67 | 32–45 | -62% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 32K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 13.2 | 31–44 | -65% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 64K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 10.8 | 29–40 | -69% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 128K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 7.7 | 25–35 | -74% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 256K | llama.cpp(llama-server) · 0.3.0-dev build 10635 / commit fc35562ba(本机 D:\llama.cpp\llama-server.exe 追认,文件日期 2026-08-26 早于两次测试;日志未记录) | 4.8 | 20–28 | -80% | 无投机 · 单流 | 本站实测 | V100 32G × Qwen3.8-27B Q4_K_M 八档上下文坡度扫描(本站实测 · 2026-11-05) 本站(Step,同机第二只眼) · 2026-11-05 |
| Qwen3.8-27B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 16.71 | 33–47 | -58% | 无投机 · 单流 | 本站实测 | 本站六工位实测(qwen3-8-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Qwen3.8-27B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp 0.9.0-dev (build 12211, commit 7d7f02875);-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 18.08 | 33–47 | -55% | 无投机 · 单流 | 本站实测 | 本站六工位实测(qwen3-8-27b-q4km-b12211,llama.cpp b10635→b12211 版本对比,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Swift-1.5-Qwen3.8-27B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 16.79 | 32–46 | -57% | 无投机 · 单流 | 本站实测 | 本站六工位实测(swift-1-5-qwen38-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
| Terminal-RSI-27B | Q4_K_M | 0K | llama.cpp llama-server(六工位统一评测,OpenAI 兼容 chat 接口) · llama.cpp b10635-fc35562ba;-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768 -b 2048 -ub 1024 -tb 1024 | 16.84 | 32–46 | -57% | 无投机 · 单流 | 本站实测 | 本站六工位实测(terminal-rsi-27b-q4km,docs/评测规程v1_六工位.md,2026-11-09) 本站(Step,六工位统一评测) · 2026-11-09 |
本卡共 42 条,其中 42 条口径完整。 “本站推算”给的是同量化、同上下文、单流口径下的公式区间,两边对不上才值得写进点评。 多卡的条目按卡数把带宽线性相加再算,没扣通信开销——这个折算只会把本站推算算高、把他测显得低,所以拿它当“物理上限”看,不当预期值看。
本卡行情(整卡价)
读者问得最多的第二问:多少钱。下面是能核对出处的整卡价快照——5 条,来自 5 篇不同的文章(5 条合起来的跨度 3000–6000 元)。 日期不同、地区不同、全新二手不同,所以不合并、不取平均,照实各存一条,趋势你自己看。
| 来源日期 | 类型 | 报价(元) | 出处 |
|---|---|---|---|
| 2026-11-12 | 二手 | 4690 – 5000 | Tesla V100 32GB 显卡价格走势、显存与能跑的大模型(闲鱼中国大陆)(VRAMGlass(闲鱼在售报价中位价,每 6 小时更新)) |
| 2026-11-06 | 二手 | 4500 – 5200 | Tesla V100 32GB 价格走势(闲鱼挂牌聚合)(VRAMGlass(聚合闲鱼挂牌价,2026-11-06 03:12 更新)) |
| 2026-10-11 | 二手 | 3800 – 4500 | 两张二手V100「追平5090」,数字是真的,价格已经不是了(什么值得买(汇总小红书/B站评论区喊价)) |
| 2026-09-18 | 二手 | 3430 | 二手AI计算卡硬件价值调查:2026-09-17快照(guangxiangdebizi(used-ai-gpu-buying-guide 项目,AI 辅助检索整理)) |
| 2026-04-19 | 二手 | 3000 – 6000 | 20万预算炼丹?Tesla V100 32G算力深度评测(TrueSight) |
报价是来源文章发布时的行情,不是今日实时价;同一张表里不同月份的数字对不上是正常现象,那是行情本身在变。 本站不接购物链接、不导购——要买去哪买、值不值,拿上面的区间对着本站的速度推算自己算。
同档显存的其它卡
手上有 32G 卡就点自己的型号;一行一张卡,点开就是那张卡的结论页。
规格与数据来源
上面的显存、带宽、架构数字来自下面这些页面;口径说明逐条附后。没有可核对出处的字段,本站留空,不填一个编出来的数。
口径:规格与档位来自《显卡/闲鱼调研汇总.md》(2026-11-09 本站调研汇总,**无外链**,作者=本站调研,C 级单源待复核);闲鱼二手价格波动大,只作量级参考,不作购买建议。官方产品页未取得(nvidia.com 对应页 404 或未上架),规格为二手渠道/社区口径,C 级单源待复核。 官方规格来源(https://www.nvidia.com/en-us/data-center/v100/):核心参数(显存/带宽/架构)以该页为准;闲鱼档位仍来自《显卡/闲鱼调研汇总.md》(本机调研,无外链,C 级)。