Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

Crawl4AI 是一款开源爬虫,旨在将网页转换为干净、可供 LLM 使用的文本和结构化数据,并通过真实浏览器完成这一过程。这一事实决定了代理的适配方式:应在浏览器层配置代理,使其应用于文档以及页面触发的每一项资源、脚本和 XHR。

因此,Crawl4AI 代理是附带会话语义的浏览器级设置,而非按请求设置的选项。本指南介绍代理在架构中应处的位置、如何保持会话一致、如何控制速率而不牺牲吞吐量,以及如何避免由 LLM 支持的爬取得不偿失。


关键要点

  • Crawl4AI 驱动真实浏览器,因此代理在浏览器层配置,并应用于页面发出的每个请求,而不只是文档。
  • 需要正确设置的四个层面:浏览器、代理、提取和限流。大部分成本和大部分封锁都源于人们最后才调校的两个层面。
  • 一个会话,一个出口。浏览器上下文保留 Cookie,而其请求却从轮换地址抵达,这会自相矛盾并触发验证。
  • 渲染才是昂贵的部分,而不是带宽。只渲染真正需要的页面,其余页面直接抓取。
  • LLM 提取成本随页面体量增长,所以在 DOM 到达模型前对其进行精简,通常是管道中节省最多的一项措施。

代理应放在 Crawl4AI 运行过程的哪个位置?

放在浏览器配置中,而不是按请求设置。Crawl4AI 会启动浏览器并在其中导航,因此在浏览器上下文中设置的代理会路由该页面所做的一切。在其他位置设置会造成最糟糕的结果:文档经由一个地址抵达,而它的脚本和 API 调用经由另一个地址,这种矛盾会立即被任何检测系统识别。

这有两项实际影响。第一,凭据应放在浏览器启动配置中,爬虫可在此传入供应商提供的网关主机、端口、用户名和密码。第二,单次爬取运行应在整个期间保持单一出口,因为浏览器会在导航之间保留 Cookie 和本地存储,而它们与取得它们的地址绑定。

如果在一项任务中爬取多个站点,应为每个站点分配独立的浏览器上下文和会话,而不是在不相关的主机之间复用同一上下文。


完整配置是什么样的?4 层爬取配置模型

4 层爬取配置模型将人们常以错误顺序调校的设置分开。

层级 控制内容 常见错误
1. 浏览器 无头模式、视口、区域设置、时区、用户代理、自动化标记 美国区域设置配德国出口,或桌面视口配移动端用户代理
2. 代理 网关、凭据、国家定位、轮换会话或 sticky session 浏览器保留一个 Cookie 存储时却按请求轮换
3. 提取 转换为 markdown 或结构化输出的内容,以及是否涉及 LLM CSS 范围即可处理时仍把整个 DOM 发送给模型
4. 限流 并发数、延迟、重试、超时、缓存 最后才调校,或根本不调校,而这恰恰是导致爬取被封锁的原因

出现故障时,从第四层倒推。十有八九,开始失败的爬取并非遇到了新的防护,而是达到了之前侥幸未被限制的速率。


如何保持会话一致?

在浏览器上下文的整个生命周期内,将其绑定到一个出口,并让爬取在会话变更前完成该站点。

  • 对于跨多个页面导航的任何站点,使用 sticky session,并为每个站点设置专属会话标识符,确保状态绝不在主机之间泄漏。
  • 使区域设置与地理位置匹配。若出口位于德国,浏览器区域设置和时区也应显示为德国。
  • 按上下文持久保存 Cookie,而不是在页面之间清除:每次浏览页面都不带 Cookie 的访问者看起来不像真实访问者。
  • 在运行之间轮换,不要在运行内部轮换。为下一次爬取使用新地址是健康的;会话中途使用新地址则是矛盾。

我们的 代理轮换最佳实践指南全面介绍会话模型,同样的原则也适用于 Playwright 和 Puppeteer,它们是许多此类爬虫的底层工具。


如何避免 LLM 爬取成本过高?

减少送达模型的内容,并减少渲染。这两者靠配置,而非取巧。

限定提取范围。让爬虫指向内容容器而非整个页面。导航、页脚、Cookie 横幅和相关文章栏只会消耗 token,没有信息价值。

优先使用模式提取而非自由格式。字段已知时,CSS 或 XPath 模式具有确定性、免费且比让模型寻找字段更快;可将模型留给结构确实多变的页面。

积极缓存。重复爬取未变更页面会消耗带宽、渲染时间和 token。按 URL 缓存并设置新鲜度窗口,重新处理前先比较差异。

选择性渲染。不是每个页面都需要浏览器。若内容位于服务端渲染的 HTML 中,直接抓取会便宜一个数量级;实践中,先抓取、仅在失败时渲染的混合管道效果良好。

这四项结合起来,通常比任何代理决策更能降低有效爬取的成本。


哪种代理类型适合这类爬取?

应根据目标和会话模式匹配出口,而不是根据爬虫匹配。

目标 使用 以下情况避免使用
面向消费者的站点、多页面导航 固定会话住宅代理,每个站点一个会话 站点是开放 API 或文档时,此时数据中心代理可用且更便宜
跨多个主机的大范围浅层爬取 轮换住宅代理,每个主机一个会话 每个主机需要长时间有状态会话时,轮换会破坏它
文档、开放数据、自己的服务 数据中心代理 目标将托管网段视为自动化行为
地区特定的内容或定价 绑定到国家的住宅代理 内容在所有地区完全相同时,额外成本没有任何收益

DataImpulse 住宅代理的价格为 $1/GB,覆盖 195 个国家,支持 HTTP、HTTPS 和 SOCKS5,可轮换或保持固定会话,并包含国家定位。浏览器驱动的爬取会拉取资源和文档,因此带宽控制很重要:屏蔽不需要的图片和字体,同一预算可延伸数倍。


有哪些值得了解的限制?

代理不等于许可。阅读所爬取站点的 robots.txt 和条款,遵守它们,并在有官方 API 时优先使用。我们关于 网页抓取是否正当的概述介绍了更广泛的背景。

渲染存在上限。浏览器驱动的爬取消耗大量内存和 CPU;在笔记本电脑上看似正常的并发量会使小型容器频繁抖动。横向扩展前,先测量每 GB RAM 每分钟可处理的页面数。

LLM 提取并非免费或精确。模型会改述,偶尔会编造内容,并按页收费。针对源内容验证样本,并对必须准确的字段保持确定性提取。

封锁通常是节奏问题。若昨天还有效的爬取今天失败,先检查速率和会话处理,再购买任何东西。我们的 抓取时出现 403 Forbidden 错误指南按顺序讲解诊断方法。


常见问题

我应在 Crawl4AI 的哪里设置代理?

在浏览器配置中设置,使其应用于文档以及页面触发的每一项资源、脚本和 XHR。按请求设置会使页面通过不同地址加载自己的资源,这种矛盾会立即被检测系统识别。

我应使用轮换会话还是 sticky session?

对于爬取会导航多个页面的任何站点,使用 sticky session,因为浏览器会保留 Cookie,而它们与取得它们的地址绑定。在运行之间轮换是健康的;Cookie 存储持续存在时在会话内部轮换,才会引发验证。

如何降低由 LLM 支持的爬取中的 token 成本?

将提取范围限定在内容容器而非整个 DOM,对已知字段使用 CSS 或 XPath 模式,并将模型留给确实多变的页面;按 URL 缓存并设置新鲜度窗口,只渲染需要浏览器的页面。

Crawl4AI 需要住宅代理吗?

仅在目标有此必要时:面向消费者的站点和地区特定内容。文档、开放数据和 API 可通过数据中心出口访问,成本也更低。应按目标决定,而不是为整个爬虫设置一种出口类型。

我的爬取昨天还能运行,今天却失败了。发生了什么变化?

通常是你的速率,而不是对方的防护。降低到一个带抖动的工作线程后重新测试;若成功,原因就是节奏,按旧速率轮换也无法解决。之后才应测试不同出口类型是否会改变结果。


为每次爬取提供稳定的出口

对于浏览器驱动的爬取,绑定到一个地理位置准确出口的会话可保持状态一致。DataImpulse 住宅代理在 195 个国家提供固定会话或轮换会话,价格为 $1/GB,包含国家定位,支持 HTTP、HTTPS 和 SOCKS5。创建账户并在浏览器层接入,然后查看我们的网页抓取应用场景,了解更广泛的设置。

相关指南:爬虫为何会被封锁 · 一个具体目标:Shopify 商店 · 网页抓取代理。

最后更新:2026 年 9 月 17 日。


Share article: