ipex-llm intel/ipex-llm

能干什么

Intel 官方（LLM-Intelligence 团队）的本地 LLM 加速库：面向 Intel 硬件——核显（iGPU）、NPU、Arc 独显——加速 LLaMA、Mistral、Qwen、DeepSeek 等模型的推理与微调，低精度内核（INT8 等）让消费级机器跑得动更大模型；也支持 AMD / NVIDIA CUDA 后端。解决「手里不是 N 卡，也想在本机跑模型」的路线问题。

怎么干

• pip install intel-extension-for-llm
• 用 LLM 类加载模型（接口贴近 transformers 习惯）
• 按目标硬件选内核：Intel iGPU / NPU 或 CUDA
• 低精度（INT8 等）推理进一步压显存，代价是精度按项目文档评估

本站怎么用

本站显卡库里有核显 / NPU / 国产卡档位，这个工具是它们的代表性推理路线；后续这类卡页写「框架支持」时可引用它。他测投稿若来自 Intel 平台，框架字段写 ipex-llm（带版本），不与 N 卡数据混在同一对比组。

显存口径

低精度档（INT8 等）的每参数字节与 N 卡量化档名称不同，入库时按实际权重文件大小核对，不套用位宽表的 Q 档名。