HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

HTTPステータスコードの一覧は簡単に見つかりますが、クローラーを運用する人向けに書かれたものはそう多くありません。このページでは、スクレイパーが各コードを受け取ったときの意味、再試行する価値があるか、そして対象サイトではなく自分の設定に原因があることを示すコードを説明します。

基本となる考え方は単純です。どのレスポンスも、続行する、待機する、自分が何者に見えるかを変える、停止する、という4つのうち必ず1つを指示します。この対応付けを正しく行えるかが、数か月動き続けるクローラーと、1週間でプールを消耗するクローラーを分ける大部分です。


重要ポイント

  • ステータスコードは結果ではなく、振り分けの判断です。 再試行、バックオフ、識別情報の変更、停止のいずれかに、すべてのコードが正確に対応します。これを混同することが、クローラーがアドレスプールを消耗させる理由です。
  • 200は成功を意味しません。 データコンテナが空の200は、ゲートは通過したもののページがクライアント側でレンダリングされたことを意味します。これはアクセスではなく解析の問題です。
  • 407は自分側、403は相手側の問題です。 407はプロキシ認証情報が誤っていることを示し、403は対象が拒否したことを示します。ログでは似ていますが、対処は正反対です。
  • 429はレート、403は識別情報を示します。 Retry-Afterを伴う429は交渉であり、短い本文を伴う403は判断の結果です。
  • むやみに再試行しないでください。 404や451を再試行すると予算を浪費し、共有プールでは他のジョブが頼る評価を損ないます。

スクレイパーはステータスコードをどう読むべきか: 4段階トリアージルール

処理コードを書く前に、すべてのレスポンスを4段階のいずれかに分類します。これを4段階トリアージルールと呼びます。

段階 コード 対応
1. 続行 200, 201, 204, 206, 301, 302, 304 解析、追跡、またはスキップ。修正は不要ですが、200は引き続きコンテンツ確認が必要です
2. 待機 429, 503, 504, 408 ジッターを加えたバックオフを行い、Retry-Afterに従い、同時実行数を減らします。対象はレートが不適切だと伝えています
3. 識別情報を変更 403, 公開アクセスにおける401, 421 実行前に診断します。出口アドレス、TLSとヘッダーの整合性、実行環境を確認してください。変更せずに再試行しても何も得られません
4. 停止 400, 404, 405, 410, 451, 同じパスで繰り返される403 リクエストが誤っている、リソースが消滅した、またはアクセスが判断として拒否されています。ログに記録して先へ進みます

高くつく間違いは、第3段階を第2段階として扱うことです。ブロックされた識別情報を100回再試行すれば、その分類を裏付けるデータポイントが100件増えます。共有プールでは、他のジョブが使っているアドレスの品質も低下します。


スクレイピングで実際に現れるコードと、その意味は何か

コード クローラーにとっての意味 再試行するか
200 正常 ゲートを通過しました。ページがクライアント側でレンダリングされる場合、コンテンツが不足していることがあります いいえ。ただし想定するフィールドを検証します
204 コンテンツなし 有効なレスポンスですが、解析するものはありません。トラッキングやAPIエンドポイントでよく見られます いいえ
301 / 302 移動済みです。ログインや国別ゲートウェイへ至るリダイレクトチェーンは、ノイズではなくシグナルです 追跡しますが、最終URLをログに残します
304 変更なし 条件付きリクエストが機能し、ページは変更されていません。可能な限り最も低コストのレスポンスです いいえ。これを増やすことを目指してください
400 不正なリクエスト リクエストの形式が不正です。多くは壊れたクエリ文字列またはヘッダーです いいえ。コードを修正します
401 認証が必要 対象が認証情報を要求しています。公開データでは通常、制限付きパスに到達したことを意味します いいえ
403 禁止 リクエストは理解されたうえで拒否されました。識別情報、評価、パターン、時には単純な地域ルールが原因です 変更せずには行いません
404 見つかりません リソースは消滅したか、データのないページを返すソフト404です いいえ
405 メソッド不許可 メソッドが誤っています。通常はPOSTエンドポイントにGETを送っています いいえ。コードを修正します
407 プロキシ認証が必要 プロキシ認証情報がないか誤っています。対象サイトとは無関係です いいえ。設定を修正します
408 リクエストタイムアウト サーバーが待機をあきらめました。プロキシホップが遅い場合によくあります はい。バックオフを伴います
410 消滅 意図的に削除されています。404より強い意味を持ちます いいえ。キューから取り除きます
421 誤った宛先へのリクエスト 提供していないホストに接続が再利用されました。プロキシ経由のHTTP/2接続統合で見られます はい。新しい接続で行います
429 リクエスト過多 レート制限です。Retry-Afterを読んでください。これはスクレイピングで最も率直なヘッダーです はい。待機後に行います
451 法的理由により利用不可 法的または規制上の理由でブロックされています。多くは地理的な理由です いいえ
500 内部サーバーエラー 相手側のバグ、または自分のペイロードがバグを起こした可能性があります 1回か2回行い、その後停止します
502 / 504 ゲートウェイエラーです。対象のエッジ側からも、自分のプロキシホップからも発生し得ます はい。バックオフを伴います
503 サービス利用不可 過負荷、または意図的な負荷遮断です。ボット対策としての遮断も含まれます はい。ゆっくり行います
520から526 Cloudflare固有です。オリジンが無効なものを返した、タイムアウトした、またはオリジンとのTLSハンドシェイクに失敗しました はい。ただし繰り返す場合はシグナルとして扱います

サイトではなくプロキシを示すコードはどれか

3つあります。これらを対象側の拒否と混同すると、何日も無駄になります。

407 プロキシ認証が必要。 ゲートウェイが認証情報を拒否しました。ユーザー名の形式、パスワード、セッションまたは国の接尾辞が正しい形式かを確認してください。リクエストは対象に到達していないため、再試行やローテーションをどれだけしても役に立ちません。

ルート変更直後の502と504。 出口を切り替えた直後に現れ、戻すと消えるゲートウェイエラーは、通常オリジンではなくそのホップにあります。サイトを疑う前に、同じURLを直接、そして2つ目の出口経由でテストしてください。

421 誤った宛先へのリクエスト。 まれで、ほぼ常にHTTP/2でプロキシを介したホスト間の接続再利用が原因です。接続統合を無効にするか、接続ごとに1つのホストに固定してください。

両者を最も速く切り分ける方法は、コントロールリクエストです。同じ出口から、IPエコーサービスなど、安定していると分かっているURLを取得します。それも失敗するなら問題はルートにあり、成功するなら対象が拒否しています。スクレイピング時の403 Forbiddenエラーに関するガイドでは、完全な切り分け手順を説明しています。


実際に機能する再試行ポリシーとは

ほぼすべてのケースは4つのルールで扱えます。意図的に地味なルールです。

  • 第2段階と、選んだ第4段階のインフラエラーだけを再試行します。 429、503、504、408、500は1回か2回です。400、404、405、410、451は決して再試行せず、変更していない403も決して再試行しません。
  • ジッターを加えた指数バックオフを使います。 およそ1秒から開始し、上限は1分です。ジッターがなければ、並列ワーカーが同じタイミングで再試行し、制限を引き起こしたバーストを再現します。
  • Retry-Afterには文字どおり従います。 サイトが30秒待つよう伝えているなら、5秒だけ待つことは再びレート制限を受ける選択です。
  • ホストごとにサーキットブレーカーを使います。 連続失敗がしきい値に達したら、禁止状態へ徐々に悪化させるのではなく、クールオフ期間はそのホストを完全に停止します。
状況 再試行する条件 再試行を避ける条件
Retry-Afterを伴う429 指定された遅延を守り、その後に同時実行数を下げる場合 指定された時間内に再試行する場合。2回目の制限が確実に発生します
503または504 多くのホストで断続的に失敗し、負荷が示唆される場合 1つのホストが一貫して失敗する場合。それは自分に向けた遮断です
500 通常は機能するURLで1回だけ発生した場合 同じペイロードで繰り返す場合。リクエストが相手側のバグを引き起こしています
403 変更せずには決して行わず、1つの変数を切り分けた後だけ行う場合 出口、クライアント、頻度を別々にテストするまで、常に避けます
404、410、451 決して行いません 常に避けます。リソースが消滅しているか、ポリシーとしてアクセスが拒否されています

これを測定可能にするカウンターは2つです。ホストごと・時間ごとのコード別失敗数と、再試行数対成功リクエスト数の比率です。後者が約5分の1を超えた場合、前者が何を示していてもペーシングは不適切です。


なぜ200が失敗を意味することがあるのか

ゲートを通ることとデータを取得することは別の出来事だからです。役に立つものが何もない200は、4つのケースで発生します。

クライアント側レンダリング。 HTMLは外殻で、データはXHRで到着します。解決策はブラウザーエンジンを使うか、より良い方法として、ページ自体が呼び出すJSONエンドポイントを見つけることです。

ソフト404。 サイトが、200ステータス付きの親切な未検出ページを返します。ステータスコードではなく、既知の要素を検証してください。

チャレンジページ。 クライアントに自己証明を求めながら200を返す中間ページです。ステータスではなく、サイズとチャレンジスクリプトの存在で検出してください。

地域または同意の壁。 コンテンツではなくCookieバナーや国別ゲートを返す200です。だからこそ出口の国はデータセットに含めるべきです。

実務上のルールは、ステータスコードを成功の検証として決して扱わないことです。コンテンツを検証し、実行ごとに行数を数え、エラー時ではなく、ソースの件数がしきい値を超えて減少したときにアラートを出してください。


コードだけを読むことの限界は何か

ステータスコードは最後のホップを説明するもので、全体像ではありません。200はチャレンジの場合があり、403はボット判定ではなく国別ルールの場合があり、502は自分のプロキシ側に属する場合があります。コードは診断の最初のシグナルとして扱い、続いて本文サイズ、ヘッダー、コントロールリクエストで確認してください。

ルールについては、繰り返される拒否はサイトの判断です。適切な対応はそれを尊重し、robots.txtと利用規約を確認し、公式APIがある場合はそちらを優先することです。個人データについては、適法な根拠という別の問題があります。これは法的助言ではなく一般的な情報です。Webスクレイピングは合法かをご覧ください。

関連する問題については、403のトリアージ、ローテーションとセッション、検出システムがリクエストを評価する方法を参照してください。


よくある質問

スクレイピング時の403は何を意味しますか

サーバーはリクエストを理解したうえで拒否しました。クローラーでは、通常は壊れたリクエストではなく、識別情報、評価、リクエストパターンが原因で、ときには単純な地理的ルールが原因です。変更せずに再試行しても何も得られません。出口アドレス、クライアント、頻度の順に、1回に1つの変数を変えてください。

403と429の違いは何ですか

429はレートについての通知で、通常はRetry-Afterヘッダーを伴うため、対処は速度を落とすことです。403は自分自身についての通知であるため、対処はクライアントの見え方を変えることです。403をレート制限として扱い、ただ待つだけでは、クローラーは何も学ばないまま何時間も停止します。

なぜ407が発生するのですか

プロキシ認証情報がないか形式不正のため、リクエストが対象に到達する前にゲートウェイが拒否しました。セッションまたは国の接尾辞を含むユーザー名の形式、パスワード、ポートがプロトコルに一致しているかを確認してください。ローテーションと再試行では407を修正できません。

500を再試行すべきですか

バックオフを伴って1回か2回行い、その後は停止してログに記録してください。1つのURLで持続する500は通常、自分のペイロードが相手側のバグを引き起こしていることを意味し、繰り返し送ることは無益で失礼でもあります。多くのURLで同時に500が現れるなら、サイトで障害が起きており、ジョブ全体を一時停止すべきです。

200なのにデータがないのはなぜですか

ゲートは通過したのにコンテンツが到着していないためです。ページがクライアント側でレンダリングされている、サイトが200ステータスのソフト404またはチャレンジ中間ページを返した、あるいは同意または地域の壁に到達した可能性があります。ステータスコードではなく本文内の既知の要素を検証し、実行ごとに行数を数えて、静かな減少がアラートになるようにしてください。


拒否を減らすには適切な出口から始める

トリアージが頻度ではなく識別情報を示す場合、DataImpulse residential proxiesは、195か国にわたり、1 GBあたり$1で地理情報に正確な出口を提供します。ローテーションまたはスティッキーを選べ、HTTP、HTTPS、SOCKS5に対応しています。アカウントを作成し、規模を拡大する前に1つの対象をテストしてください。

関連: スクレイピング時の403 Forbidden · Webスクレイピング用プロキシ · Webスクレイピングのユースケース。

最終更新: 2026年9月17日。


Share article: