Crawlee 是一個用於構建可靠爬蟲的 Python 網絡爬蟲和瀏覽器自動化庫，提取數據用於AI、LLMs、RAG或GPTs。它提供了統一的接口來處理 HTTP 和無頭瀏覽器爬取任務，支持自動並行爬取，基於系統資源進行調整。Crawlee 用 Python 編寫，包含類型提示，增強了開發體驗並減少了錯誤。它具備自動重試、集成代理輪換和會話管理、可配置的請求路由、持久化 URL 隊列、可插拔的存儲選項等功能。相較於 Scrapy，Crawlee 提供了對無頭瀏覽器爬取的原生支持，擁有簡潔優雅的接口，並且完全基於標準的異步 IO。