常见问题 / 装与跑

驱动和 CUDA 版本怎么选?要自己装 CUDA 吗?

不用自己装 CUDA。驱动装新一点,框架用官方预编译包;CUDA 版本只有自编扩展时才需要管。站内他测最常见的口径是驱动 580 + CUDA 12。

结论先行:普通用户只要三样——最新稳定版驱动、框架官方预编译包、模型文件。CUDA Toolkit 本身不用装(驱动里已经有 runtime),PyTorch 的 pip 包也自带 CUDA runtime。

什么时候才需要关心 CUDA 版本:自己编译带 CUDA 扩展的项目、需要和特定框架版本对齐(老项目锁 cu118 / cu121)、或在报 CUDA 版本的错配错误。站内他测条目里最常见的系统口径是「驱动 580 / CUDA 12」(8 条条目这么写),但那是作者环境,不是要求你跟。

驱动版本的原则:越新越好,但有两个例外——一是老卡(如 Pascal 架构的 P100 / P40)在新驱动上可能被砍支持,这时要回退到仍支持该架构的版本;二是生产环境别追最新,等一个版本跑稳了再升。

典型症状对照:装完 nvidia-smi 正常但框架报找不到 CUDA → 版本错配或容器缺 toolkit;nvidia-smi 直接报错 → 驱动没装好或没重启;跑起来特别慢且显存占用异常 → 先看是不是走了 CPU offload(看启动日志的 offload 行数)。

遇到「起不来」的报错,去本站故障排查按报错原文搜(驱动不匹配、框架版本混装、环境变量把卡藏起来了各有各的症状);把 nvidia-smi 输出、框架版本、启动命令贴出来,比描述「跑不起来」有用得多。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

首次部署要不要上 Docker?不要。先在宿主机裸跑通一个模型(llama.cpp 单文件二进制),再容器化。容器解决的是环境隔离与可复现,不会让模型跑得更快。llama.cpp、Ollama、LM Studio、vLLM 我该用哪个?想控制显存和参数用 llama.cpp;想一条命令搞定用 Ollama;想要图形界面用 LM Studio;想要高并发服务很多人用 vLLM。新手第一站推荐 LM Studio。

延伸阅读

/troubleshoot/driver-mismatch/→/troubleshoot/framework-version-mix/→

装与跑 · 其他条目

从 0 到跑通第一个模型,具体要走几步?模型文件去哪下载?GGUF、safetensors、MLX 有什么区别?llama.cpp、Ollama、LM Studio、vLLM 我该用哪个?要占多少硬盘?要不要 SSD?Windows 还是 Linux?差别有多大?多卡到底怎么拆层?加第二张卡值不值?
← 首次部署要不要上 Docker?回到全部 40 条温度、top-p、重复惩罚这些参数到底怎么调? →
这条内容有帮助吗?