この記事の内容
HTTPステータスコードの一覧は簡単に見つかりますが、クローラーを運用する人向けに書かれたものはそう多くありません。このページでは、スクレイパーが各コードを受け取ったときの意味、再試行する価値があるか、そして対象サイトではなく自分の設定に原因があることを示すコードを説明します。
基本となる考え方は単純です。どのレスポンスも、続行する、待機する、自分が何者に見えるかを変える、停止する、という4つのうち必ず1つを指示します。この対応付けを正しく行えるかが、数か月動き続けるクローラーと、1週間でプールを消耗するクローラーを分ける大部分です。
重要ポイント
- ステータスコードは結果ではなく、振り分けの判断です。 再試行、バックオフ、識別情報の変更、停止のいずれかに、すべてのコードが正確に対応します。これを混同することが、クローラーがアドレスプールを消耗させる理由です。
- 200は成功を意味しません。 データコンテナが空の200は、ゲートは通過したもののページがクライアント側でレンダリングされたことを意味します。これはアクセスではなく解析の問題です。
- 407は自分側、403は相手側の問題です。 407はプロキシ認証情報が誤っていることを示し、403は対象が拒否したことを示します。ログでは似ていますが、対処は正反対です。
- 429はレート、403は識別情報を示します。 Retry-Afterを伴う429は交渉であり、短い本文を伴う403は判断の結果です。
- むやみに再試行しないでください。 404や451を再試行すると予算を浪費し、共有プールでは他のジョブが頼る評価を損ないます。
スクレイパーはステータスコードをどう読むべきか: 4段階トリアージルール
処理コードを書く前に、すべてのレスポンスを4段階のいずれかに分類します。これを4段階トリアージルールと呼びます。
| 段階 | コード | 対応 |
|---|---|---|
| 1. 続行 | 200, 201, 204, 206, 301, 302, 304 | 解析、追跡、またはスキップ。修正は不要ですが、200は引き続きコンテンツ確認が必要です |
| 2. 待機 | 429, 503, 504, 408 | ジッターを加えたバックオフを行い、Retry-Afterに従い、同時実行数を減らします。対象はレートが不適切だと伝えています |
| 3. 識別情報を変更 | 403, 公開アクセスにおける401, 421 | 実行前に診断します。出口アドレス、TLSとヘッダーの整合性、実行環境を確認してください。変更せずに再試行しても何も得られません |
| 4. 停止 | 400, 404, 405, 410, 451, 同じパスで繰り返される403 | リクエストが誤っている、リソースが消滅した、またはアクセスが判断として拒否されています。ログに記録して先へ進みます |
高くつく間違いは、第3段階を第2段階として扱うことです。ブロックされた識別情報を100回再試行すれば、その分類を裏付けるデータポイントが100件増えます。共有プールでは、他のジョブが使っているアドレスの品質も低下します。
スクレイピングで実際に現れるコードと、その意味は何か
| コード | クローラーにとっての意味 | 再試行するか |
|---|---|---|
| 200 正常 | ゲートを通過しました。ページがクライアント側でレンダリングされる場合、コンテンツが不足していることがあります | いいえ。ただし想定するフィールドを検証します |
| 204 コンテンツなし | 有効なレスポンスですが、解析するものはありません。トラッキングやAPIエンドポイントでよく見られます | いいえ |
| 301 / 302 | 移動済みです。ログインや国別ゲートウェイへ至るリダイレクトチェーンは、ノイズではなくシグナルです | 追跡しますが、最終URLをログに残します |
| 304 変更なし | 条件付きリクエストが機能し、ページは変更されていません。可能な限り最も低コストのレスポンスです | いいえ。これを増やすことを目指してください |
| 400 不正なリクエスト | リクエストの形式が不正です。多くは壊れたクエリ文字列またはヘッダーです | いいえ。コードを修正します |
| 401 認証が必要 | 対象が認証情報を要求しています。公開データでは通常、制限付きパスに到達したことを意味します | いいえ |
| 403 禁止 | リクエストは理解されたうえで拒否されました。識別情報、評価、パターン、時には単純な地域ルールが原因です | 変更せずには行いません |
| 404 見つかりません | リソースは消滅したか、データのないページを返すソフト404です | いいえ |
| 405 メソッド不許可 | メソッドが誤っています。通常はPOSTエンドポイントにGETを送っています | いいえ。コードを修正します |
| 407 プロキシ認証が必要 | プロキシ認証情報がないか誤っています。対象サイトとは無関係です | いいえ。設定を修正します |
| 408 リクエストタイムアウト | サーバーが待機をあきらめました。プロキシホップが遅い場合によくあります | はい。バックオフを伴います |
| 410 消滅 | 意図的に削除されています。404より強い意味を持ちます | いいえ。キューから取り除きます |
| 421 誤った宛先へのリクエスト | 提供していないホストに接続が再利用されました。プロキシ経由のHTTP/2接続統合で見られます | はい。新しい接続で行います |
| 429 リクエスト過多 | レート制限です。Retry-Afterを読んでください。これはスクレイピングで最も率直なヘッダーです | はい。待機後に行います |
| 451 法的理由により利用不可 | 法的または規制上の理由でブロックされています。多くは地理的な理由です | いいえ |
| 500 内部サーバーエラー | 相手側のバグ、または自分のペイロードがバグを起こした可能性があります | 1回か2回行い、その後停止します |
| 502 / 504 | ゲートウェイエラーです。対象のエッジ側からも、自分のプロキシホップからも発生し得ます | はい。バックオフを伴います |
| 503 サービス利用不可 | 過負荷、または意図的な負荷遮断です。ボット対策としての遮断も含まれます | はい。ゆっくり行います |
| 520から526 | Cloudflare固有です。オリジンが無効なものを返した、タイムアウトした、またはオリジンとのTLSハンドシェイクに失敗しました | はい。ただし繰り返す場合はシグナルとして扱います |
サイトではなくプロキシを示すコードはどれか
3つあります。これらを対象側の拒否と混同すると、何日も無駄になります。
407 プロキシ認証が必要。 ゲートウェイが認証情報を拒否しました。ユーザー名の形式、パスワード、セッションまたは国の接尾辞が正しい形式かを確認してください。リクエストは対象に到達していないため、再試行やローテーションをどれだけしても役に立ちません。
ルート変更直後の502と504。 出口を切り替えた直後に現れ、戻すと消えるゲートウェイエラーは、通常オリジンではなくそのホップにあります。サイトを疑う前に、同じURLを直接、そして2つ目の出口経由でテストしてください。
421 誤った宛先へのリクエスト。 まれで、ほぼ常にHTTP/2でプロキシを介したホスト間の接続再利用が原因です。接続統合を無効にするか、接続ごとに1つのホストに固定してください。
両者を最も速く切り分ける方法は、コントロールリクエストです。同じ出口から、IPエコーサービスなど、安定していると分かっているURLを取得します。それも失敗するなら問題はルートにあり、成功するなら対象が拒否しています。スクレイピング時の403 Forbiddenエラーに関するガイドでは、完全な切り分け手順を説明しています。
実際に機能する再試行ポリシーとは
ほぼすべてのケースは4つのルールで扱えます。意図的に地味なルールです。
- 第2段階と、選んだ第4段階のインフラエラーだけを再試行します。 429、503、504、408、500は1回か2回です。400、404、405、410、451は決して再試行せず、変更していない403も決して再試行しません。
- ジッターを加えた指数バックオフを使います。 およそ1秒から開始し、上限は1分です。ジッターがなければ、並列ワーカーが同じタイミングで再試行し、制限を引き起こしたバーストを再現します。
- Retry-Afterには文字どおり従います。 サイトが30秒待つよう伝えているなら、5秒だけ待つことは再びレート制限を受ける選択です。
- ホストごとにサーキットブレーカーを使います。 連続失敗がしきい値に達したら、禁止状態へ徐々に悪化させるのではなく、クールオフ期間はそのホストを完全に停止します。
| 状況 | 再試行する条件 | 再試行を避ける条件 |
|---|---|---|
| Retry-Afterを伴う429 | 指定された遅延を守り、その後に同時実行数を下げる場合 | 指定された時間内に再試行する場合。2回目の制限が確実に発生します |
| 503または504 | 多くのホストで断続的に失敗し、負荷が示唆される場合 | 1つのホストが一貫して失敗する場合。それは自分に向けた遮断です |
| 500 | 通常は機能するURLで1回だけ発生した場合 | 同じペイロードで繰り返す場合。リクエストが相手側のバグを引き起こしています |
| 403 | 変更せずには決して行わず、1つの変数を切り分けた後だけ行う場合 | 出口、クライアント、頻度を別々にテストするまで、常に避けます |
| 404、410、451 | 決して行いません | 常に避けます。リソースが消滅しているか、ポリシーとしてアクセスが拒否されています |
これを測定可能にするカウンターは2つです。ホストごと・時間ごとのコード別失敗数と、再試行数対成功リクエスト数の比率です。後者が約5分の1を超えた場合、前者が何を示していてもペーシングは不適切です。
なぜ200が失敗を意味することがあるのか
ゲートを通ることとデータを取得することは別の出来事だからです。役に立つものが何もない200は、4つのケースで発生します。
クライアント側レンダリング。 HTMLは外殻で、データはXHRで到着します。解決策はブラウザーエンジンを使うか、より良い方法として、ページ自体が呼び出すJSONエンドポイントを見つけることです。
ソフト404。 サイトが、200ステータス付きの親切な未検出ページを返します。ステータスコードではなく、既知の要素を検証してください。
チャレンジページ。 クライアントに自己証明を求めながら200を返す中間ページです。ステータスではなく、サイズとチャレンジスクリプトの存在で検出してください。
地域または同意の壁。 コンテンツではなくCookieバナーや国別ゲートを返す200です。だからこそ出口の国はデータセットに含めるべきです。
実務上のルールは、ステータスコードを成功の検証として決して扱わないことです。コンテンツを検証し、実行ごとに行数を数え、エラー時ではなく、ソースの件数がしきい値を超えて減少したときにアラートを出してください。
コードだけを読むことの限界は何か
ステータスコードは最後のホップを説明するもので、全体像ではありません。200はチャレンジの場合があり、403はボット判定ではなく国別ルールの場合があり、502は自分のプロキシ側に属する場合があります。コードは診断の最初のシグナルとして扱い、続いて本文サイズ、ヘッダー、コントロールリクエストで確認してください。
ルールについては、繰り返される拒否はサイトの判断です。適切な対応はそれを尊重し、robots.txtと利用規約を確認し、公式APIがある場合はそちらを優先することです。個人データについては、適法な根拠という別の問題があります。これは法的助言ではなく一般的な情報です。Webスクレイピングは合法かをご覧ください。
関連する問題については、403のトリアージ、ローテーションとセッション、検出システムがリクエストを評価する方法を参照してください。
よくある質問
スクレイピング時の403は何を意味しますか
サーバーはリクエストを理解したうえで拒否しました。クローラーでは、通常は壊れたリクエストではなく、識別情報、評価、リクエストパターンが原因で、ときには単純な地理的ルールが原因です。変更せずに再試行しても何も得られません。出口アドレス、クライアント、頻度の順に、1回に1つの変数を変えてください。
403と429の違いは何ですか
429はレートについての通知で、通常はRetry-Afterヘッダーを伴うため、対処は速度を落とすことです。403は自分自身についての通知であるため、対処はクライアントの見え方を変えることです。403をレート制限として扱い、ただ待つだけでは、クローラーは何も学ばないまま何時間も停止します。
なぜ407が発生するのですか
プロキシ認証情報がないか形式不正のため、リクエストが対象に到達する前にゲートウェイが拒否しました。セッションまたは国の接尾辞を含むユーザー名の形式、パスワード、ポートがプロトコルに一致しているかを確認してください。ローテーションと再試行では407を修正できません。
500を再試行すべきですか
バックオフを伴って1回か2回行い、その後は停止してログに記録してください。1つのURLで持続する500は通常、自分のペイロードが相手側のバグを引き起こしていることを意味し、繰り返し送ることは無益で失礼でもあります。多くのURLで同時に500が現れるなら、サイトで障害が起きており、ジョブ全体を一時停止すべきです。
200なのにデータがないのはなぜですか
ゲートは通過したのにコンテンツが到着していないためです。ページがクライアント側でレンダリングされている、サイトが200ステータスのソフト404またはチャレンジ中間ページを返した、あるいは同意または地域の壁に到達した可能性があります。ステータスコードではなく本文内の既知の要素を検証し、実行ごとに行数を数えて、静かな減少がアラートになるようにしてください。
拒否を減らすには適切な出口から始める
トリアージが頻度ではなく識別情報を示す場合、DataImpulse residential proxiesは、195か国にわたり、1 GBあたり$1で地理情報に正確な出口を提供します。ローテーションまたはスティッキーを選べ、HTTP、HTTPS、SOCKS5に対応しています。アカウントを作成し、規模を拡大する前に1つの対象をテストしてください。
関連: スクレイピング時の403 Forbidden · Webスクレイピング用プロキシ · Webスクレイピングのユースケース。
最終更新: 2026年9月17日。
