AMD 的 RX 卡能跑本地大模型吗？比 N 卡差在哪？

能跑，但生态窄一截：量化格式与框架支持比 CUDA 少，AMD 走 ROCm，部分 vLLM 路径与新量化直接没有。显存优先选 AMD，生态优先选 N 卡。

结论先行：AMD 卡在本站库里有 54 张，显存档从 4G 到 48G 都有，本地跑模型完全可用。真正的短板不是速度而是生态——CUDA 独占的东西（NVFP4 / MXFP4 硬件量化、FlashAttention-3、vLLM 多数量化路径与新模型适配）AMD 上没有，ROCm 的覆盖要慢一拍。

站内他测里的 AMD 实测目前 3 条：AMD RX 7900 XTX 24G 跑 Qwen3-30B-A3B Q4_K_M 报 303.1 tok/s——但那是 6 路并发的聚合口径，不能当单流；AMD RX 9070 XT 16G 跑 Qwen3.8-27B UD-IQ4_XS 单流 30.8 tok/s（上下文 48K、TTFT 28.9 秒）；AMD RX 6700 XT 12G 跑 Swift-1.5 IQ3_XXS 单流 28.6 tok/s。三条都是第三方单源（C 级），只作参考。

对照 N 卡的同口径数字：NVIDIA RTX 3090 24G 单卡 TP=1 Q4_K_M 是 46.9 tok/s（ctx 32K）；NVIDIA RTX 4090 24G 上 Mimo-9B 在 1K 上下文是 145.2 tok/s。AMD 与 N 卡的差距更多来自型号代际和量化格式，不是「AMD 天生慢一半」。

怎么选：① 预算优先看显存——24G 档 AMD 有 AMD RX 7900 XTX 24G（站内 2026-11-05 二手快照 5500 元），同价位 N 卡 24G 是 NVIDIA RTX 3090 24G（二手 2026-11-03 起 5300 元）；② 想用 vLLM 跑新模型、或者要用 NVFP4 / MXFP4 这类新硬件量化，选 N 卡；③ 只用 llama.cpp + GGUF 老老实实跑 Q4 / Q8，AMD 完全够用。

一条硬提醒：AMD 上踩坑最多的不是模型，是驱动和后端——ROCm 版本要跟框架匹配，CUDA-only 的工具（某些量化脚本、预编译 attention 内核）在 AMD 上没有对应物。跑之前先在本站 /tools/ 里确认工具支不支持你的卡。