HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

HTTP 状态码清单很容易找到,但专为运行爬虫的人编写的却不多。本页正是为此而写:当你的爬虫收到每个代码时它代表什么、是否值得重试,以及哪些代码指向的是你自己的配置而非目标站点。

核心思路很简单。每个响应都会告诉你四件事中的一件:继续、等待、改变你呈现出来的身份,或停止。正确理解这种映射,是区分能运行数月的爬虫和一周就耗尽地址池的爬虫的关键所在。


要点速览

  • 状态码是路由决策,不是结果。重试、退避、更换身份或停止:每个代码都恰好对应这四者之一,混淆它们正是爬虫耗尽地址池的原因。
  • 200 不等于成功。带有空数据容器的 200 意味着关卡放你通过了,但页面在客户端渲染,这是解析问题而非访问问题。
  • 407 是你的问题,403 是对方的决定。407 表示你的代理凭据有误;403 表示目标拒绝了你。它们在日志中看似相近,却需要完全相反的修复方法。
  • 429 告诉你速率,403 告诉你身份。带有 Retry-After 的 429 是协商;正文很短的 403 是裁定。
  • 绝不要盲目重试。重试 404 或 451 会浪费预算,而且在共享池中,会损害其他任务所依赖的信誉。

爬虫应如何解读状态码?4 阶段分诊规则

在编写任何处理代码前,先把每个响应归入四个阶段之一。我们称之为4 阶段分诊规则。

阶段 代码 操作
1. 继续 200, 201, 204, 206, 301, 302, 304 解析、跟随或跳过。无需修复,不过 200 仍需要内容检查
2. 等待 429, 503, 504, 408 采用带抖动的退避,遵守 Retry-After,降低并发度。目标在告诉你速率不对
3. 改变身份 403、访问本应公开时的 401、421 行动前先诊断:出口地址、TLS 与 headers 的一致性、运行环境。原样重试毫无意义
4. 停止 400, 404, 405, 410, 451,同一路径上重复出现的 403 请求有误、资源已不存在,或访问被明确拒绝。记录下来并继续处理其他任务

代价高昂的错误是把第三阶段当成第二阶段。一个被拦截的身份重试一百次,就会多产生一百个确认该分类的数据点;在共享池中,它还会降低其他任务正在使用的地址质量。


抓取中实际会出现哪些代码,它们代表什么?

代码 它对爬虫意味着什么 重试?
200 成功 通过关卡。若页面在客户端渲染,内容仍可能缺失 否,但要断言预期字段
204 无内容 有效响应,没有内容可解析。常见于跟踪和 API 端点 否
301 / 302 已移动。重定向链进入登录页或国家网关是一种信号,不是噪声 跟随,但记录最终 URL
304 未修改 你的条件请求生效,页面没有变更。这是成本最低的响应 否,并应争取获得更多此类响应
400 错误请求 你的请求格式错误,通常是查询字符串或请求头损坏 否,修复代码
401 未授权 目标要求凭据。对于公开数据,这通常表示你访问了受限路径 否
403 禁止访问 已理解但被拒绝。可能是身份、信誉或模式,也有时只是地域规则 不要原样重试
404 未找到 资源不存在,或是返回无数据页面的软 404 否
405 方法不允许 方法错误,通常是用 GET 请求了 POST 端点 否,修复代码
407 需要代理认证 你的代理凭据缺失或有误。与目标无关 否,修复配置
408 请求超时 服务器放弃等待。常见于缓慢的代理跳点 是,采用退避
410 已删除 已被有意删除。比 404 更明确 否,并从队列中移除
421 请求误导 连接被复用于其并不提供服务的主机,常见于通过代理的 HTTP/2 连接合并 是,在新连接上重试
429 请求过多 速率限制。读取 Retry-After;它是抓取中最坦诚的请求头 是,等待后重试
451 因法律原因不可用 因法律或监管原因被拦截,通常与地理位置有关 否
500 内部服务器错误 对方的故障,或你的载荷触发了故障 重试一次或两次,然后停止
502 / 504 网关错误。可能来自目标的边缘节点,也可能来自你自己的代理跳点 是,采用退避
503 服务不可用 过载或有意卸载负载,包括反机器人卸载 是,缓慢重试
520 到 526 Cloudflare 特有:源站返回无效内容、超时,或与源站的 TLS 握手失败 是,但将重复情况视为信号

哪些代码指向你的代理而不是站点?

有三个,把它们与目标端拒绝混淆会浪费数天时间。

407 需要代理认证。网关拒绝了你的凭据。检查用户名格式、密码,以及会话或国家后缀的格式是否正确。无论重试还是轮换都无济于事,因为请求从未到达目标。

路由变更后立即出现的 502 和 504。如果网关错误在你切换出口的瞬间出现、切回后又消失,通常是跳点而非源站的问题。在归咎于站点前,直接并通过第二个出口测试同一 URL。

421 Misdirected Request.很少见,且几乎总是 HTTP/2 下通过代理跨主机复用连接所致。禁用连接合并,或每条连接固定一个主机。

区分两端最快的方法是控制请求:通过同一出口抓取一个你知道很稳定的 URL,例如 IP 回显服务。如果它也失败,问题在于你的路由;如果成功,则是目标拒绝了你。我们的抓取时的 403 Forbidden 错误指南讲解了完整的隔离步骤。


真正有效的重试策略是什么?

四条规则几乎涵盖所有情形,而且刻意保持朴素。

  • 只重试第二阶段及选定的第四阶段基础设施错误。429、503、504、408,以及 500 一次或两次。绝不重试 400、404、405、410、451,也绝不原样重试 403。
  • 采用带抖动的指数退避,从约一秒开始,最长限制为一分钟。没有抖动,并行工作进程会同步重试,重现导致限制的突发请求。
  • 按字面遵守 Retry-After。如果站点告诉你等待三十秒,等五秒就是选择再次被限速。
  • 按主机使用熔断器。连续失败达到阈值后,让该主机在冷却窗口内完全停止,而不是逐渐恶化为被封禁。
情形 以下情况可重试 以下情况避免重试
带 Retry-After 的 429 你遵守指定延迟,并在之后降低并发度 你会在指定窗口内重试,这必然导致第二次限制
503 或 504 故障在许多主机上间歇性出现,表明是负载问题 一个主机持续失败:这是针对你的卸载
500 它在一个通常可用的 URL 上只发生过一次 它在相同载荷上反复出现,意味着你的请求触发了对方的故障
403 绝不要原样重试;仅在已隔离一个变量后重试 在你分别测试出口、客户端和节奏前,始终避免重试
404、410、451 绝不 始终避免:资源已不存在,或访问被作为策略拒绝

两个计数器让这一点可衡量:每主机每小时按代码统计的失败数,以及重试次数与成功请求数之比。当后者升至大约五分之一以上时,无论前者如何显示,你的请求节奏都有问题。


为什么 200 有时意味着失败?

因为通过关卡和拿到数据是不同事件。有四种情况会产生没有有用内容的 200。

客户端渲染。HTML 只是外壳,数据通过 XHR 到达。解决方法是使用浏览器引擎,或者更好的是找到页面自身调用的 JSON 端点。

软 404。站点以 200 状态提供一个友好的未找到页面。应对已知元素断言,而不是对状态码断言。

验证页面。返回 200 的中间页面,却要求客户端证明自身。通过大小和验证脚本是否存在来检测它,而不是通过状态。

地域或同意墙。返回 200 的却是 cookie 横幅或国家关卡而非内容,因此出口国家应纳入你的数据集。

实用规则是:绝不把状态码当作成功断言。对内容断言,每次运行统计行数,并在某个来源下降超过阈值时告警,而不是在它报错时才告警。


只解读代码有哪些局限?

状态码描述的是最后一跳,而不是完整情况。200 可能是验证,403 可能是国家规则而非机器人判定,502 也可能属于你自己的代理。将代码视为诊断的第一个信号,然后用正文大小、请求头和控制请求确认。

关于规则:重复拒绝是站点作出的决定,正确的回应是尊重它、查看 robots.txt 和条款,并在有官方 API 时优先使用它。个人数据会引出有关合法依据的另一问题。这是一般信息而非法律建议;请参阅网页抓取是否合法。

相邻问题可参阅:403 分诊、轮换和会话,以及检测系统如何给请求评分。


常见问题

抓取时 403 代表什么?

服务器理解了请求但拒绝了它。对爬虫而言,这通常意味着身份、信誉或请求模式问题,而不是请求损坏,有时也只是简单的地理规则。原样重试不会有任何效果:每次只更改一个变量,先从出口地址开始,然后是客户端,最后是节奏。

403 和 429 有何区别?

429 是关于速率的说明,通常带有 Retry-After header,因此修复方法是放慢速度。403 是关于你的说明,因此修复方法是改变客户端呈现的样子。把 403 当作速率限制而只是等待,正是爬虫停滞数小时却一无所获的原因。

为什么我收到 407?

你的代理凭据缺失或格式错误,因此网关在请求到达目标前就拒绝了它。检查用户名格式,包括任何会话或国家后缀、密码,以及端口是否与协议匹配。轮换和重试无法修复 407。

我应该重试 500 吗?

采用退避重试一次或两次,然后停止并记录。某个 URL 上持续出现的 500 通常意味着你的载荷触发了对方的故障,反复猛攻既无用也不礼貌。如果 500 同时出现在许多 URL 上,站点正在发生事故,整个任务应暂停。

为什么我收到 200 却没有数据?

因为通过了关卡,内容却没有到达:页面在客户端渲染,站点提供了带 200 状态的软 404 或验证中间页,或者你遇到了同意墙或地域墙。应对正文中已知元素断言,而不是对状态码断言,并在每次运行时统计行数,让无声下降变为告警。


减少拒绝始于正确的出口

当分诊指向身份而非节奏时,DataImpulse 住宅代理可在 195 个国家提供地理位置准确的出口,价格为每 GB $1,支持轮换或粘性会话,以及 HTTP、HTTPS 和 SOCKS5。创建账户,并在扩展前先测试一个目标。

相关文章:抓取时的 403 禁止访问 · 用于网页抓取的代理 · 网页抓取使用场景。

最后更新:2026 年 9 月 17 日。


Share article: