我与计算机的缘分始于童年时代，当时我父亲——一位计算机科学家——给了我一台 Amstrad 电脑。这段早期经历点燃了我对技术的兴趣，促使我后来学习计算机科学，并在研究生期间专攻自然语言处理（ NLP ）。正是在那时，我初次涉足网页爬取领域，开发工具帮助研究人员整理论文、从出版物中提取信息。这段经历充满挑战，但也让我收获良多，极大地提升了我的数据提取能力。

时间来到 2023 年，我在为一个项目开发工具时，需要一个爬虫程序将网页内容转换为 Markdown 格式。在寻找解决方案的过程中，我发现了一个号称开源的工具，但它却要求用户注册账户并生成 API 密钥。更糟糕的是，它实际上是一个软件即服务（ SaaS ）产品，收费 16 美元，而且质量也达不到我的要求。挫败感油然而生，我意识到这背后是一个更普遍的问题。这种挫败感最终化为强烈的动力，我决心自己动手开发一个解决方案。仅仅几天后， Crawl4AI 就诞生了。令我惊喜的是，它迅速在网上走红，获得了数千个 GitHub 星标，并得到了全球开发者社区的积极响应。

我将 Crawl4AI 开源主要有两个原因。首先，这是我对开源社区的回馈，在我整个职业生涯中，开源社区都给予了我巨大的支持。其次，我认为数据应当是人人可以获取的资源，而不应被付费墙阻隔，或被少数公司垄断。数据的开放获取是实现人工智能（ AI ）民主化的基石，在这个愿景中，每个人都可以训练自己的模型，并真正拥有自己的信息。这个库只是一个开始，我的长远目标是，通过充满热情的社区协作，打造出全世界最优秀的开源数据提取与生成工具。

衷心感谢每一位支持、使用本项目并提供反馈的朋友。你们的鼓励是我追求更大梦想的动力。欢迎加入我们，提交问题、发起合并请求（ PRs ），或者帮忙宣传。让我们携手并肩，共同打造一个真正赋能用户、让其能够访问自身数据并重塑 AI 未来的工具。

• 🧹 **纯净 Markdown **: 生成格式规范、结构清晰的纯净 Markdown 内容。
• 🎯 **精简 Markdown **: 基于启发式算法过滤，去除冗余信息和无关内容，优化 AI 处理效果。
• 🔗 引用与参考文献: 将页面内链接转换为带编号的参考文献列表，引用格式清晰。
• 🛠️ 自定义策略: 支持用户根据特定需求创建专属的 Markdown 生成策略。
• 📚 ** BM25 算法**: 应用 BM25 算法进行内容筛选，提取核心信息，移除无关内容。

• 🤖 ** LLM 驱动提取**: 支持各类 LLMs （包括开源和商业模型）进行结构化数据提取。
• 🧱 分块策略: 实现多种分块方法（按主题、正则表达式、句子）以进行精准内容处理。
• 🌌 余弦相似度: 根据用户查询，利用余弦相似度匹配相关内容块，实现语义化提取。
• 🔎 基于 CSS 提取: 利用 XPath 和 CSS 选择器，快速实现基于预定义模式的数据提取。
• 🔧 模式定义: 允许用户自定义模式，用于从重复性结构中提取结构化 JSON 数据。

• 🖥️ 浏览器托管: 支持使用用户本地浏览器，完全控制浏览环境，有效规避反爬虫检测。
• 🔄 远程浏览器控制: 可连接至 Chrome 开发者工具协议（ Chrome Developer Tools Protocol ），支持远程、大规模数据提取。
• 👤 浏览器配置管理: 创建并管理持久化用户配置，保存登录状态、 Cookies 及浏览器设置。
• 🔒 会话管理: 保持浏览器状态，可在多步爬取任务中复用。
• 🧩 代理支持: 无缝对接各类代理服务（支持身份验证），保障访问安全。
• ⚙️ 完全浏览器控制: 可修改请求头、 Cookies 、用户代理（ User Agent ）等，实现高度定制化的爬取配置。
• 🌍 多浏览器兼容: 支持 Chromium 、 Firefox 及 WebKit 内核的浏览器。
• 📐 动态视口调整: 自动调整浏览器视窗大小以适应页面内容，确保完整渲染并捕获所有页面元素。

• 🖼️ 多媒体支持: 可提取图片、音频、视频，并支持 srcset 、 picture 等响应式图片格式。
• 🚀 动态内容爬取: 支持执行页面 JavaScript ，并能等待异步或同步操作完成，以提取动态加载的内容。
• 📸 页面截图: 支持在爬取过程中截取网页快照，方便调试与分析。
• 📂 原始数据处理: 可直接处理本地 HTML (raw:) 文件或本地路径 (file://) 文件。
• 🔗 全面链接提取: 能够提取页面内所有内部链接、外部链接以及嵌入式 iframe 中的内容。
• 🛠️ 自定义钩子: 允许在爬取流程的各个阶段定义钩子函数，实现行为定制。
• 💾 缓存机制: 支持缓存已获取数据，提升后续访问速度，避免重复请求。
• 📄 元数据提取: 可从网页中抓取结构化的元数据信息。
• 📡 ** IFrame 内容提取**: 无缝提取嵌入式 iframe 框架内的内容。
• 🕵️ 惰性加载处理: 能够等待图片完全加载完成，确保不会因惰性加载（ Lazy Load ）机制而遗漏内容。
• 🔄 全页扫描: 模拟用户滚动页面行为，加载并捕获所有动态内容，特别适用于无限滚动页面。

• 🐳 ** Docker 化部署**: 提供优化的 Docker 镜像，内置 FastAPI 服务，简化部署流程。
• 🔑 安全认证: 内建 JWT 令牌认证机制，保障 API 接口安全。
• 🔄 ** API 网关**: 提供一键部署方案，集成安全令牌认证，适用于基于 API 的工作流。
• 🌐 可扩展架构: 专为大规模生产环境设计，优化服务器性能。
• ☁️ 云平台部署: 提供适用于主流云平台的即用型部署配置。

• 🕶️ 隐身模式: 模拟真实用户行为，规避网站的反爬虫检测。
• 🏷️ 基于标签提取: 可根据自定义标签、请求头或元数据筛选内容，实现更精准的爬取。
• 🔗 链接分析: 提取并分析页面内所有链接，支持深度数据探索。
• 🛡️ 错误处理: 具备健壮的错误管理机制，确保爬取任务流畅执行。
• 🔐 ** CORS 与静态服务**: 支持基于文件系统的缓存及跨域资源共享（ CORS ）请求。
• 📖 清晰文档: 提供简洁、更新及时的用户指南，覆盖入门及高级用法。
• 🙌 社区致谢: 公开鸣谢贡献者和合并请求（ Pull Requests ），提升项目透明度。

请根据您的具体需求选择合适的安装方式：

1.5.1- 基本安装

适用于常规的网页爬取和数据抓取任务：

pip install crawl4ai
crawl4ai-setup # 配置浏览器环境

默认情况下，该命令将安装 Crawl4AI 的异步版本，并使用 Playwright 作为网页爬取引擎。

👉 提示: 安装 Crawl4AI 后， crawl4ai-setup 脚本会自动安装并配置 Playwright 。若遇到任何与 Playwright 相关的问题，可尝试以下任一方法手动安装：

1. 通过命令行安装：

   playwright install
   

2. 若上述命令无效，可尝试此更具体的命令：

   python -m playwright install chromium
   

   此方法在某些环境下可能更可靠。

1.5.2- 安装同步版本

同步版本（基于 Selenium ）已被弃用，并将在未来版本中移除。如需使用，请执行：

pip install crawl4ai[sync]

1.5.3- 开发者安装

适用于希望参与项目开发、修改源代码的贡献者：

git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # 以可编辑模式安装基础依赖

安装可选功能依赖：

pip install -e ".[torch]"           # 安装 PyTorch 相关功能
pip install -e ".[transformer]"     # 安装 Transformer 相关功能
pip install -e ".[cosine]"          # 安装余弦相似度计算功能
pip install -e ".[sync]"            # 安装同步爬取 ( Selenium ) 功能
pip install -e ".[all]"             # 安装所有可选功能

🚀 重大更新预告！ 我们正在开发全新的 Docker 实现方案，旨在提供更高效、更无缝的部署体验。当前的 Docker 配置将被弃用，并由新方案取代。

1.5.4- 当前 Docker 支持

现有的 Docker 实现将被弃用并很快替换。如果您仍需使用当前版本的 Docker ：

• 📚 已弃用的 Docker 配置指南 - 当前 Docker 实现的说明文档
• ⚠️ 注意：此配置将在下一个主要版本更新中被替换。

1.5.5- 新方案展望

我们全新的 Docker 实现将带来：

• 更优的性能和资源利用率
• 更简化的部署流程
• 与 Crawl4AI 各项功能的更好集成
• 更强的可扩展性选项

敬请关注我们的 GitHub 仓库 获取最新动态！

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
# 导入内容过滤策略
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
# 导入 Markdown 生成策略
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    # 配置浏览器行为
    browser_config = BrowserConfig(
        headless=True,  # 无头模式运行
        verbose=True,   # 输出详细日志
    )
    # 配置爬取运行参数
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED, # 启用缓存
        # 使用默认 Markdown 生成器，并配置修剪内容过滤器
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0) # 设置过滤阈值
        ),
        # 或者使用 BM25 内容过滤器（基于用户查询）
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="YOUR_QUERY_HERE", bm25_threshold=1.0) # 替换为你的查询和阈值
        # ),
    )
    
    # 创建异步爬虫实例
    async with AsyncWebCrawler(config=browser_config) as crawler:
        # 执行爬取任务
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.7.6/guide/", # 目标 URL
            config=run_config # 应用运行配置
        )
        # 打印原始 Markdown 和精简后 Markdown 的长度
        print(f"原始 Markdown 长度: {len(result.markdown.raw_markdown)}")
        print(f"精简 Markdown 长度: {len(result.markdown.fit_markdown)}")

if __name__ == "__main__":
    asyncio.run(main())

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
# 导入基于 CSS 选择器的 JSON 提取策略
from crawl4ai.extraction_strategy import JsonCssExtractionStrategy
import json

async def main():
    # 定义提取模式 (Schema)
    schema = {
        "name": "KidoCode 课程信息", # 模式名称
        "baseSelector": "section.charge-methodology .w-tab-content > div", # 基础选择器，定位包含多个课程信息的元素
        "fields": [ # 定义需要提取的字段
            {
                "name": "section_title", # 字段名：区域标题
                "selector": "h3.heading-50", # CSS 选择器
                "type": "text", # 提取类型：文本
            },
            {
                "name": "section_description", # 字段名：区域描述
                "selector": ".charge-content",
                "type": "text",
            },
            {
                "name": "course_name", # 字段名：课程名称
                "selector": ".text-block-93",
                "type": "text",
            },
            {
                "name": "course_description", # 字段名：课程描述
                "selector": ".course-content-text",
                "type": "text",
            },
            {
                "name": "course_icon", # 字段名：课程图标
                "selector": ".image-92",
                "type": "attribute", # 提取类型：属性值
                "attribute": "src" # 提取 'src' 属性
            }
        ]
    }

    # 创建提取策略实例
    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True) # 启用详细日志

    # 配置浏览器
    browser_config = BrowserConfig(
        headless=False, # 非无头模式（可见浏览器界面）
        verbose=True
    )
    # 配置运行参数
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy, # 应用提取策略
        # 需要在页面执行的 JavaScript 代码（例如：点击 Tab 切换内容）
        js_code=["""(async () => {
            const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");
            for(let tab of tabs) {
                tab.scrollIntoView(); // 滚动到视图
                tab.click(); // 点击 Tab
                await new Promise(r => setTimeout(r, 500)); // 等待内容加载
            }
        })();"""],
        cache_mode=CacheMode.BYPASS # 禁用缓存，确保执行 JS
    )
        
    # 创建爬虫实例并运行
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology", # 目标 URL
            config=run_config
        )

        # 解析提取到的 JSON 内容
        courses = json.loads(result.extracted_content)
        print(f"成功提取 {len(courses)} 个课程信息")
        # 打印第一个课程的详细信息（格式化输出）
        print(json.dumps(courses[0], indent=2, ensure_ascii=False))

if __name__ == "__main__":
    asyncio.run(main())

import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
# 导入基于 LLM 的提取策略
from crawl4ai.extraction_strategy import LLMExtractionStrategy
# 使用 Pydantic 定义数据模型 (Schema)
from pydantic import BaseModel, Field

# 定义 OpenAI 模型费用数据结构
class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description=" OpenAI 模型的名称。")
    input_fee: str = Field(..., description="该 OpenAI 模型的输入 Token 费用。")
    output_fee: str = Field(..., description="该 OpenAI 模型的输出 Token 费用。")

async def main():
    # 配置浏览器
    browser_config = BrowserConfig(verbose=True)
    # 配置运行参数
    run_config = CrawlerRunConfig(
        word_count_threshold=1, # 单词计数阈值（用于内容过滤）
        # 配置 LLM 提取策略
        extraction_strategy=LLMExtractionStrategy(
            # 可以使用 Litellm 支持的任何模型提供商，例如 ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            # 配置 LLM 模型（这里使用 OpenAI GPT-4o）
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), # 从环境变量获取 API Key
            schema=OpenAIModelFee.schema(), # 传入 Pydantic 模型的 Schema
            extraction_type="schema", # 提取类型：基于 Schema
            # 指示 LLM 如何提取信息的指令
            instruction="""请从爬取的内容中，提取所有提及的模型名称及其输入和输出 Token 的费用。
            确保不要遗漏内容中出现的任何模型。提取的单个模型应遵循以下 JSON 格式：
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}。"""
        ),            
        cache_mode=CacheMode.BYPASS, # 禁用缓存
    )
    
    # 创建爬虫实例并运行
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/', # 目标 URL
            config=run_config
        )
        # 打印 LLM 提取到的结构化内容
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())

import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_difficult_site_crawl():
    # 指定持久化用户数据目录
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True) # 确保目录存在

    # 配置浏览器，使用持久化上下文和指定的用户数据目录
    browser_config = BrowserConfig(
        verbose=True,
        headless=True, # 推荐在需要登录或有复杂反爬时设为 False 进行调试
        user_data_dir=user_data_dir, # 指定用户数据目录
        use_persistent_context=True, # 启用持久化上下文（保存 Cookies, Local Storage 等）
    )
    # 配置运行参数
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS # 禁用缓存以确保加载最新状态
    )
    
    # 创建爬虫实例并运行
    async with AsyncWebCrawler(config=browser_config) as crawler:
        # 替换为需要登录或有复杂反爬机制的网站 URL
        url = "YOUR_CHALLENGING_WEBSITE_URL" 
        
        # 首次运行时，可能需要手动登录。后续运行将使用已保存的会话。
        # 对于 Cloudflare 等防护，magic=True 可能有帮助
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True, # 尝试启用智能绕过机制
        )
        
        print(f"成功爬取 {url}")
        print(f"内容长度: {len(result.markdown)}")

# 注意：首次运行可能需要在非无头模式下手动完成登录或验证码操作。
# atexit.register(lambda: asyncio.run(test_difficult_site_crawl())) # 或者直接运行
if __name__ == "__main__":
    asyncio.run(test_difficult_site_crawl())

• [x] 0. 图爬虫：利用图搜索算法智能遍历网站，实现嵌套页面的全面提取。
• [ ] 1. 基于问题的爬虫：通过自然语言指令驱动网页内容发现和提取。
• [ ] 2. 知识优化爬虫：智能爬取策略，旨在最大化知识获取，同时最小化数据量。
• [ ] 3. Agentic 爬虫：构建能够执行复杂、多步骤爬取任务的自主系统。
• [ ] 4. 自动化 Schema 生成器：将自然语言描述转换为结构化数据提取模式。
• [ ] 5. 特定领域抓取器：为常用平台（如学术网站、电商平台）提供预配置的抓取方案。
• [ ] 6. 网页嵌入索引：为爬取的内容构建语义搜索基础设施。
• [ ] 7. 交互式实验平台 ( Playground )：提供 Web 界面，方便用户测试、比较不同策略，并集成 AI 辅助功能。
• [ ] 8. 性能监控器：提供爬虫运行状态的实时监控和分析。
• [ ] 9. 云集成：提供主流云平台的一键部署解决方案。
• [ ] 10. 赞助计划：建立结构化的项目赞助体系，提供不同层级的回馈。
• [ ] 11. 教育资源：制作 " 爬虫入门 " 系列视频教程和交互式学习材料。

• 数据资产化: 将数字足迹转化为可衡量、有价值的数据资产。
• 可靠 AI 数据源: 为 AI 系统提供源于真实人类经验的高质量数据。
• 共享经济模式: 构建一个公平的数据市场，让数据创造者受益。

1. 开源工具: 打造社区驱动的平台，实现透明、高效的数据提取。
2. 数字资产结构化: 开发工具，帮助用户组织和评估数字知识的价值。
3. 合规数据市场: 建立安全、公平的平台，促进结构化数据的合规交易与共享。

更多详情，请参阅我们的 完整使命宣言。