Crawl4AI unclecode/crawl4ai

能干什么

一个给 AI 应用抓网页用的开源爬虫库（Python，Playwright 驱动）：给个 URL，回来的是干净、可直接喂 LLM 的 Markdown（广告/导航/脚本剥掉），或者用 CSS 选择器/LLM 提示抽结构化 JSON（不带 LLM 也能按选择器抽）；支持 JS 重页面、自有浏览器 profile、批量爬、渐进式爬整站（从入口页自动发现链接逐层爬）、深度爬（同一页跟链接继续挖）。可以 pip 库内嵌到你的 Python 进程、Docker 起自己的服务器、或用它家的托管 Cloud API（免费 1000 credits/月）。带 MCP server 可直接接 Claude Code / Cursor / Codex——给编码 Agent 装上「上网搜+抓」的手脚。注意：它有商用托管云，但仓库本体是 Apache-2.0 完整开源，自托管免费、不强制用它家云；商用分发时项目要求保留署名（badge 或一行文字）。

怎么干

• pip install -U crawl4ai 然后 crawl4ai-setup（一次性装浏览器）
• Python 里 AsyncWebCrawler 跑一个 URL 拿 result.markdown；要结构化就传 strategy 用 CSS 选择器或 LLM 提示
• 整站/深度爬用其 CrawlConfig 的 limit 与模式；要接 Agent 就起 MCP server 或 Docker 自托管服务器

本站怎么用

它是「本地模型 + 实时信息」这条链的抓取环节：本地模型的知识有截止日期，Agent 要上网查现状，crawl4ai 就是把网页变成模型能读的干净文本的那一层（对应 RAGFlow/Local Deep Research 这类工具里的「检索源」）。自托管跑在本地，数据不出门；抓回来喂给本地 LLM 时显存按 /capacity/ 查主模型——爬虫本身不吃显存（Playwright 在内存/磁盘）。

显存口径

自身不占显存：爬虫是 CPU/内存活（浏览器实例吃内存，并发开大注意内存不是显存）。整条链的显存账在你配的 LLM 上：本地模型按 /capacity/ 档位。