Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

Crawl4AIは、WebページをクリーンでLLM対応のテキストと構造化データに変換するために作られたオープンソースのクローラーであり、そのために実際のブラウザを駆動します。この一点がプロキシの位置づけを決めます。プロキシはブラウザ層で設定し、ドキュメントと、ページが呼び出すすべてのアセット、スクリプト、XHRに適用されます。

したがってCrawl4AIのプロキシは、リクエストごとのオプションではなく、セッションの意味づけを伴うブラウザレベルの設定です。このガイドでは、スタックのどこにプロキシを置くべきか、セッションの整合性を保つ方法、スループットを損なわずにレートを制御する方法、LLMを使うクロールの費用が成果を上回らないようにする方法を扱います。


要点

  • Crawl4AIは実際のブラウザを駆動します。そのためプロキシはブラウザ層で設定され、ドキュメントだけでなくページが行うすべてのリクエストに適用されます。
  • 正しく設定すべき4層: ブラウザ、プロキシ、抽出、スロットルです。費用の大半とブロックの大半は、人が最後に調整しがちな後者2つから生じます。
  • 1セッション、1出口。Cookieを保持するブラウザコンテキストなのに、そのリクエストがローテーションするアドレスから届くのは自己矛盾であり、チャレンジを受けます。
  • 高コストなのは帯域幅ではなくレンダリングです。必要なページだけをレンダリングし、残りは通常の取得で処理してください。
  • LLM抽出のコストはページの重さに比例します。そのため、モデルに届く前にDOMを絞り込むことが、通常はパイプラインにおける最大の単独削減策です。

Crawl4AIの実行では、プロキシはどこに置くべきですか?

リクエストごとではなく、ブラウザ設定に置きます。Crawl4AIはブラウザを起動してナビゲートするため、ブラウザコンテキストに設定したプロキシが、そのページのすべての動作を経由させます。それ以外に設定すると、最悪の結果になります。ドキュメントはあるアドレス経由で届き、そのスクリプトやAPI呼び出しは別のアドレス経由で届くため、検知システムが即座に読み取る矛盾になります。

実務上の意味は2つあります。第1に、認証情報は、プロバイダーから提供されたゲートウェイホスト、ポート、ユーザー名、パスワードをクローラーが渡せるブラウザ起動設定に置きます。第2に、ブラウザはナビゲーション間でCookieとローカルストレージを保持し、それらは取得時のアドレスに結び付くため、1回のクロール実行では実行中ずっと1つの出口を維持すべきです。

1つのジョブで複数のサイトをクロールする場合は、無関係なホスト間で1つのコンテキストを再利用せず、それぞれに固有のセッションを持つ独自のブラウザコンテキストを与えてください。


完全な設定とはどのようなものですか? 4層のクロール設定モデル

4層のクロール設定モデルは、人が誤った順序で調整しがちな設定を分離します。

層 制御するもの よくある誤り
1. ブラウザ ヘッドレスモード、ビューポート、ロケール、タイムゾーン、ユーザーエージェント、自動化フラグ ドイツの出口に米国ロケールを組み合わせる、またはデスクトップのビューポートにモバイルのユーザーエージェントを使う
2. プロキシ ゲートウェイ、認証情報、国のターゲティング、ローテーションとsticky sessionの選択 ブラウザが1つのCookie jarを維持しているのに、リクエストごとにローテーションする
3. 抽出 markdownまたは構造化出力にする対象と、LLMを使うかどうか CSSのスコープで済むのに、DOM全体をモデルへ送る
4. スロットル 同時実行数、遅延、再試行、タイムアウト、キャッシュ 最後に調整する、またはまったく調整しない。これが実際にクロールをブロックさせる原因です

問題が起きたら、第4層から逆順に確認してください。失敗し始めたクロールは、10回中9回、新しい防御に当たったのではなく、それまでたまたま通っていたレートに達したのです。


セッションの整合性を保つにはどうすればよいですか?

ブラウザコンテキストを、その存続期間全体にわたって1つの出口に結び付け、セッションが変わる前にサイトのクロールを完了させます。

  • sticky sessionを使う。複数ページにわたってナビゲーションするサイトでは、ホスト間で状態が決して漏れないよう、各サイトに固有のセッション識別子を与えてください。
  • ロケールを地域に合わせる。出口がドイツにあるなら、ブラウザのロケールとタイムゾーンもドイツを示すべきです。
  • コンテキストごとにCookieを保持する。ページ間で消去するのではありません。すべてのページ閲覧でCookieなしに到着する訪問者は、訪問者らしく見えません。
  • ローテーションは実行の間に行い、実行中には行わない。次のクロールに新しいアドレスを使うのは健全ですが、セッション途中で新しいアドレスにするのは矛盾です。

プロキシローテーションのベストプラクティスに関する当社ガイドでは、一般的なセッションモデルを取り上げています。同じ原則は、この種のクローラーの多くで基盤となるPlaywrightとPuppeteerにも当てはまります。


LLMクロールの費用を高くしないにはどうすればよいですか?

モデルに届くものを減らし、レンダリングを減らします。どちらも工夫ではなく設定の問題です。

抽出範囲を絞る。クローラーをページ全体ではなくコンテンツコンテナに向けます。ナビゲーション、フッター、Cookieバナー、関連記事欄は、情報価値がなく純粋にトークンコストとなります。

自由形式よりスキーマ抽出を優先する。フィールドが分かっている場合、CSSまたはXPathのスキーマは決定論的で無料であり、モデルに探させるより高速です。構造が本当に変わるページのためにモデルを温存できます。

積極的にキャッシュする。変更のないページを再クロールすると、帯域幅、レンダリング時間、トークンを消費します。鮮度の有効期間を設けてURL単位でキャッシュし、再処理前に差分を確認してください。

選択的にレンダリングする。すべてのページにブラウザが必要なわけではありません。コンテンツがサーバーレンダリングされたHTMLにある場合、通常の取得は桁違いに低コストです。まず取得し、失敗した場合だけレンダリングする混合パイプラインは実務でよく機能します。

この4つを組み合わせると、通常、どのプロキシ選択よりも大きく、稼働中のクロールのコストを削減できます。


この種のクロールには、どのプロキシタイプが適していますか?

クローラーではなく、ターゲットとセッションパターンに出口を合わせてください。

ターゲット 使用するもの 避けるべき場合
消費者向けサイト、複数ページのナビゲーション sticky session対応のレジデンシャル、サイトごとに1セッション ターゲットがオープンAPIまたはドキュメントであり、データセンターで十分かつ低コストの場合
多数のホストにまたがる広範で浅いクロール ローテーション型レジデンシャル、ホストごとに1セッション 各ホストに長い状態維持セッションが必要で、ローテーションによってそれが壊れる場合
ドキュメント、オープンデータ、自社サービス データセンター ターゲットがホスティング範囲を自動化として扱う場合
地域固有のコンテンツまたは価格 国に固定したレジデンシャル コンテンツがどこでも同一で、追加コストに見合うものがない場合

DataImpulse residentialは、195か国で1 GBあたり$1、HTTP、HTTPS、SOCKS5に対応し、ローテーションまたはstickyを選べ、国のターゲティングも含まれます。ブラウザ駆動のクロールはドキュメントだけでなくアセットも取得するため、帯域幅の節約が重要です。不要な画像とフォントをブロックすれば、同じ予算で数倍先まで進めます。


知っておくべき制限は何ですか?

プロキシは許可ではありません。クロールするサイトのrobots.txtと利用規約を読み、これらを尊重し、存在する場合は公式APIを優先してください。Webスクレイピングが正当かどうかに関する当社の概要では、より広い枠組みを説明しています。

レンダリングには上限があります。ブラウザ駆動のクロールはメモリとCPUの負荷が高く、ノートPCでは問題なさそうな同時実行数でも、小さなコンテナでは過負荷になります。水平スケールの前に、RAM 1 GBあたりの毎分ページ数を測定してください。

LLM抽出は無料でも正確でもありません。モデルは言い換えを行い、ときには情報を作り出し、ページごとにコストがかかります。サンプルをソースと照合して検証し、正確でなければならないフィールドには決定論的な抽出を維持してください。

ブロックの原因は通常ペーシングです。昨日動いたクロールが今日失敗した場合、何かを購入する前にレートとセッション処理を確認してください。スクレイピング時の403 Forbiddenエラーに関する当社ガイドでは、診断の順序を説明しています。


よくある質問

Crawl4AIではどこにプロキシを設定しますか?

ブラウザ設定に設定します。これにより、ドキュメントと、ページが呼び出すすべてのアセット、スクリプト、XHRに適用されます。リクエストごとに設定すると、ページ自身のリソースが別のアドレス経由で読み込まれ、検知システムが即座に読み取る矛盾になります。

ローテーション型とsticky sessionのどちらを使うべきですか?

クロールが複数ページをナビゲートするサイトではsticky sessionを使います。ブラウザはCookieを保持し、それらは取得時のアドレスに結び付いているからです。実行の間にローテーションするのは健全ですが、Cookie jarが保持される間にセッション内でローテーションするとチャレンジが発生します。

LLMを使うクロールのトークンコストを減らすにはどうすればよいですか?

DOM全体ではなくコンテンツコンテナに抽出範囲を絞り、フィールドが分かっている場合はCSSまたはXPathのスキーマを使い、本当に可変的なページのためにモデルを温存してください。鮮度の有効期間を設けてURL単位でキャッシュし、ブラウザが必要なページだけをレンダリングします。

Crawl4AIにはレジデンシャルプロキシが必要ですか?

ターゲットが必要とする場合だけです。消費者向けサイトと地域固有のコンテンツが該当します。ドキュメント、オープンデータ、APIはデータセンターの出口で問題なく、低コストです。クローラー全体に1種類の出口を設定するのではなく、ターゲットごとに決めてください。

昨日は動いたクロールが今日失敗します。何が変わりましたか?

通常は相手側の防御ではなく、あなたのレートです。ジッターを加えた1ワーカーまで下げて再テストしてください。成功するなら原因はペーシングであり、従来のレートでのローテーションでは解決しません。その後に初めて、別の出口タイプで結果が変わるかをテストすべきです。


各クロールに安定した出口を与える

ブラウザ駆動のクロールでは、地域に正確な1つの出口に結び付いたセッションが、状態の整合性を保ちます。DataImpulseのレジデンシャルプロキシは、国のターゲティング込みで195か国にわたり、1 GBあたり$1でsticky sessionまたはローテーションのセッション、HTTP、HTTPS、SOCKS5を提供します。アカウントを作成してブラウザ層で接続し、より広い設定についてはWebスクレイピングのユースケースをご覧ください。

関連ガイド: クローラーがブロックされる理由 · 具体的なターゲット: Shopifyストア · Webスクレイピング用プロキシ。

最終更新: 2026年9月17日。


Share article: