常见问题 / 装与跑
首次部署要不要上 Docker？
不要。先在宿主机裸跑通一个模型（llama.cpp 单文件二进制），再容器化。容器解决的是环境隔离与可复现，不会让模型跑得更快。
结论先行：首次部署先裸机。Docker 的收益是「环境隔离、可复现、多人访问同一个服务」，不是速度；新手在容器里排错（CUDA 看不到卡、版本对不上、挂载路径错）的时间成本远大于收益。
容器确实是主流部署方式，本站他测条目里就有不少跑在容器里：Unraid + Docker（驱动 580 / CUDA 12）、Docker CUDA-devel 容器、DGX Spark 上的 vLLM 容器镜像（spark-vllm-docker）——共 7 条条目的系统口径写着 Docker。也就是说它没问题，只是不该是你的第一步。
上容器要准备的东西：① NVIDIA Container Toolkit（容器内才有 GPU）；② 镜像与驱动要匹配（容器里的 CUDA runtime 不必跟宿主完全一致，但驱动得够新）；③ 模型文件用挂载（-v）而不是打进镜像；④ Windows 上是 Docker Desktop + WSL2 的 GPU 直通路径，和 Linux 原生不是一回事。
什么时候容器是对的：同一台机器要跑多套互不干扰的版本（不同 CUDA、不同 PyTorch）、要把推理服务标准化部署给多个人用、要可复现地重装一次环境。
排查顺序建议：先在宿主机用官方预编译包跑通（llama.cpp 的单文件二进制最省事），确认卡、驱动、模型文件都正常，再搬进容器；容器里出的问题优先怀疑版本与挂载，而不是模型。
条目性质：本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们，见关于页。
相关问题
从 0 到跑通第一个模型，具体要走几步？五步：确认驱动 → 装一个框架 → 下载一个 GGUF → 用命令行起服务 → 打开网页界面聊天。卡住的位置 90% 在第二、三步。llama.cpp、Ollama、LM Studio、vLLM 我该用哪个？想控制显存和参数用 llama.cpp；想一条命令搞定用 Ollama；想要图形界面用 LM Studio；想要高并发服务很多人用 vLLM。新手第一站推荐 LM Studio。Windows 还是 Linux？差别有多大？同样硬件下 Linux 大约能多用 10% 显存（没有桌面合成器吃那块），驱动/权限要额外折腾。新手建议先 Windows 跑通，再决定值不值得换。