In this Article
CloudflareはWeb上の非常に多くのサイトの手前で稼働しており、Bot Fight ModeやワンクリックでのAIクローラーのブロックを含むボット管理機能は、どの自動アクセスを通すかを大きく左右するようになっています。これは諸刃の剣です。不正なボットを止める一方で、受け入れたいAIクローラーや正当なテストまで意図せずブロックしてしまうことがあります。本ガイドでは、Cloudflareの制御がAIクローラーにどう影響するか、またプロキシを使ったテストで、自社サイトが市場ごとのエージェントや訪問者にどのように動作するかを検証する方法を説明します。これは、誰かの保護を回避するためではなく、QAとアクセシビリティの観点から扱います。
私はAndrii Byzovです。WebデータとサイトQAに取り組むAI-Native Fractional CMOです。関連資料：robots.txtとAIクローラー、AI検索順位トラッキング、グローバルWebサイトテスト。
重要なポイント
- Cloudflareのボット管理（Bot Fight ModeやAIクローラー制御を含む）は、CDNレイヤーでサイトに到達する自動トラフィックを判定します。
- 意図したクローラーを誤ってブロックする可能性があります。調査では、robots.txtで「許可」しているにもかかわらず、CDN側で主要なAIクローラーを意図せずブロックしているサイトが相当数見つかっています。
- CDNとrobots.txtは整合している必要があります。両者が矛盾する場合はCDN側の設定が優先され、意図したポリシーが気づかないうちに機能しなくなります。
- プロキシを使ったテストで実態を検証できます。さまざまな国の住宅IPから自社サイトを確認することで、実際の訪問者やエージェントが何を体験しているかを把握できます。
- これはQAであり、回避ではありません。目的は、自社のサイト、または許可を得たサイトのアクセシビリティと地域別の挙動をテストすることであり、他者の保護を破ることではありません。
Cloudflareのボット制御がAIクローラーとどのように相互作用するか
Cloudflareのボット管理は受信トラフィックを評価し、自動化されていると見られるアクセスに対してチャレンジを表示したり、ブロックしたりできます。Bot Fight Modeは明らかなボットを対象とし、より新しいAIクローラー制御では、サイト所有者がエッジでAIクローラーをブロックまたは許可し、アクセスを有料化することさえ可能です。問題は設定の整合性です。これらの制御はCDN側にあり、robots.txtとは別に管理されます。robots.txtでOAI-SearchBotやPerplexityBotを歓迎していても、CDNルールがそれらをブロックしていれば、クローラーは到達できません。その結果、サイトのコンテンツを一切変更していないのに、AI検索での可視性を知らないうちに失うことになります。逆のことも起こります。学習用クローラーをブロックしているつもりでも、設定ミスによって通過を許してしまう場合があります。
意図しないブロックの問題
2つのレイヤーが別々に管理されているため、設定のずれはよく起こります。大規模なCDN利用サイト群の分析では、デフォルトまたは古いボットルールだけが原因で、本来引用してくれるはずのAIクローラーをサイトが誤ってブロックしているケースが見つかっています。AI回答に表示されたい企業にとって（AI検索順位トラッキングを参照）、これは目に見えない負担です。解決策は、推測ではなく検証することです。そして検証とは、外部の訪問者やエージェントから見た場合と同じように自社サイトを確認することを意味します。
プロキシベースのテスト：自社サイトの検証
サイトの動作を確実に把握するには、自社ネットワークの外部から、ユーザーやクローラーがアクセスする地域を指定してリクエストを送ります。これはプロキシの正当なQA用途です。
- 複数国からのアクセシビリティを確認する。各ターゲット市場の住宅IP経由でページを取得し、正しく読み込まれるか、過度なチャレンジが表示されないか、適切にレンダリングされるかを確認します。これはグローバルWebサイトテストの中核です。
- 地域固有の問題を検出する。同意バナー、リダイレクト、通貨、言語、チャレンジページは地域によって異なります。ローカルIPを使うことで、現地ユーザーが実際に受け取る内容を把握できます。
- ボットポリシーを検証する。CDNでの許可・ブロック設定がrobots.txtの意図と一致していることを確認し、必要なAIクローラーを誤って締め出さないようにします。
目的を明確にしておくことが重要です。これは、自社が所有するサイト、またはテスト権限を持つサイトを対象に、自社のコンテンツがどのように配信されるかを確認するためのものであり、第三者の保護を回避するものではありません。DataImpulseの住宅プロキシは、国や都市のターゲティングに対応しており、この種のアクセシビリティおよびローカライゼーションQAに適しています。
FAQ
Cloudflare Bot Fight Modeとは何ですか？
CDNレイヤーで自動化されたトラフィックを検出し、チャレンジを提示する、またはブロックするCloudflareの機能です。新しいAIクローラー制御とあわせて、サイト所有者がAIクローラーを含むどのボットにサイトへのアクセスを許可するかを管理するのに役立ちます。
Cloudflareが、許可したいAIクローラーを誤ってブロックすることはありますか？
はい。CDNのボットルールはrobots.txtとは別に機能するため、同期がずれることがあります。分析では、robots.txtでは「allow」としているにもかかわらず、エッジで主要なAIクローラーを意図せずブロックしているサイトが見つかっています。両方のレイヤーが一致していることを確認してください。
他の国の訪問者に対して自分のサイトがどのように動作するかをテストするにはどうすればよいですか？
各ターゲット国の住宅プロキシ経由でページをリクエストします。これにより、ページが読み込まれるか、訪問者に過度なチャレンジが提示されていないか、地域固有の要素（同意、リダイレクト、通貨）がどのように表示されるかを確認できます。これはグローバルなWebサイトテストの基礎です。
これはCloudflareの回避に関する内容ですか？
いいえ。これは、自分が所有している、またはテストを許可されているサイトに対する正当なQAであり、自社コンテンツのアクセシビリティと地域別の挙動を検証するものです。第三者のボット保護を突破することが目的ではありません。
CDNルールとrobots.txtを一致させる必要があるのはなぜですか？
これらは独立して動作し、CDNはrobots.txtを上書きできます。両者が競合すると、意図したクローラーポリシーが気づかないうちに破綻します。AI検索での可視性を失ったり、ブロックするつもりだったクローラーを許可してしまったりする可能性があります。
世界中の訪問者と同じ視点でサイトをテスト
重要な市場からアクセシビリティと地域別の挙動を検証しましょう。倫理的に調達された住宅プロキシを$1/GBから利用。従量課金制で国・都市ターゲティングに対応しており、自社サイトをQAして、ボットポリシーが意図どおりに機能していることを確認できます。