In this Article
robots.txtは、クローラーにサイト内のどの部分を取得してよいかを伝える、30年以上の歴史を持つテキストファイルです。2026年現在、robots.txtは本来想定されていなかった役割を担っています。GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど数十種類のクローラーが、モデル学習やリアルタイムの質問応答のためにコンテンツを取得するAI時代のウェブにおいて、調整役を担うことです。本ガイドでは、AI時代にrobots.txtでできることとできないこと、クローラーの状況、AIボットが実際にそれに従うのか、新しいシグナル（llms.txt、Cloudflare controls）、そしてウェブスクレイピングを行う側と、スクレイピングの対象となるサイトを運営する側の双方にとって、何を意味するのかを解説します。
私はAndrii Byzovです。AIネイティブのフラクショナルCMOとして、ウェブデータパイプラインとAI検索における可視性に日々携わっています。以下では、2026年時点で実務に役立つ最新の見解を、率直な注意点とともにまとめます。法的側面については、当社のis web scraping legalガイドをご覧ください。AI検索での可視性については、当社のAI search rank tracking記事をご参照ください。
重要な事実
- robots.txt は任意であり、法律ではありません。 これは依頼にすぎず（RFC 9309として標準化）、誠実なクローラーの遵守やサーバー/CDN側の制御に依存するもので、法律ではありません。
- トレーニングと検索は、現在では別々のクローラーです。 AIの学習（GPTBot, Google-Extended, ClaudeBot）をブロックしながら、AI 検索における引用対象（OAI-SearchBot, Claude-SearchBot, PerplexityBot）としての対象資格を維持できます。
- リアルタイムのエージェント取得は、robots.txt のロジックを回避することがよくあります。 ユーザーが AI にページの読み取りを依頼した場合、その取得は厳密には「クローラー」ではないとも言えるため、robots.txt では止められない可能性があります。
- 遵守状況は bot によって異なります。 主要なクローラー（Googlebot, GPTBot, ClaudeBot）は通常robots.txtを尊重しますが、そうでない例も過去にはありました。また、ディレクティブは bot がそれを読むことを選択した場合にのみ機能します。
- 新しいシグナルも存在します: llms.txt（AIを最適なコンテンツへ誘導、導入率は約10%）に加え、CDNレイヤーではCloudflareによるAIクローラーのブロック機能やpay-per-crawlの制御もあります。
2026年におけるrobots.txtとは何か、そして何ではないのか
robots.txtはドメインのルート（/robots.txt）に置くプレーンテキストファイルで、ユーザーエージェントと、取得を控えるよう求めるパスを指定します。2022年にRFC 9309として標準化されましたが、基本的な考え方は1994年から変わっていません。つまり、これは丁寧な依頼です。誰かを認証するものではなく、ネットワークレベルでアクセスをブロックするものでもなく、それ自体に法的強制力もありません。行儀のよいクローラーはこれを読み、従います。一方、これを無視するクローラーに対して、このファイル自体が技術的な障壁になることはありません。
AI時代には、この違いが決定的です。robots.txtが制御するのは、準拠するボットに行わないよう求める内容であり、ロックではありません。実際の強制（レート制限、ブロック、ペイウォール）は、テキストファイルではなくサーバーまたはCDNで行われます。
AIクローラーの状況
AI時代のウェブには、増え続けるプレイヤーのクローラーがアクセスしています。大きな変化は、主要プロバイダーが学習用トラフィックと検索/回答用トラフィックを別々のユーザーエージェントに分けるようになったことです。
| User-agent | 運営者 | 目的 | robots.txtを尊重するか？ |
|---|---|---|---|
| GPTBot | OpenAI | モデルのトレーニング | はい（文書化済み） |
| OAI-SearchBot | OpenAI | ChatGPT検索 / 引用 | はい |
| ClaudeBot | Anthropic | モデルのトレーニング | はい |
| Claude-SearchBot | Anthropic | 検索 / 引用 | はい |
| Google-Extended | Geminiの学習を拒否するためのトークン | はい（トークンのみ） | |
| PerplexityBot | Perplexity | 検索 / 回答 | はい（文書化済み） |
| CCBot | Common Crawl | オープンデータセット（多くのモデルに供給） | はい |
| Meta-ExternalAgent | Meta | トレーニング / AI機能 | はい |
学習用と検索用のエージェントが分かれているため、サイト運営者はより細かな選択ができます。たとえばGPTBotはブロックしつつOAI-SearchBotは許可することで、モデル学習での利用を拒否しながら、AIの回答で引用される対象であり続けることができます。
AIクローラーは実際にrobots.txtに従うのか？
大手の多くは概ね従っています。これは自社のサーバーログで簡単に検証できます。Googlebot、GPTBot、ClaudeBot、PerplexityBotはユーザーエージェントを公開し、標準的なディレクティブを尊重しています。ただし、率直に言って重要な注意点が3つあります。
- 準拠はオプトインです。ディレクティブが機能するのは、ボットがそれを読み、尊重する場合に限られます。歴史的にrobots.txtを無視してきたクローラーもあり、偽装されたuser-agentは何にでも見せかけることができます。つまり、このファイルは規範であって保証ではありません。
- リアルタイムのエージェント取得はグレーゾーンです。ユーザーがChatGPTやPerplexityに特定のURLを要約するよう依頼すると、ツールはユーザーに代わってそのページを取得します。プロバイダーは多くの場合、これをクローリングではなくユーザー指示によるアクセスとして扱うため、robots.txtのトレーニング/クロール規則がサイト所有者の想定どおりに適用されない場合があります。
- CDNレイヤーが設定を上書きすることがあります。Cloudflareのネットワークに関する調査では、robots.txtで「allow」としているにもかかわらず、CDN側で主要なAIクローラーを意図せずブロックしているサイトが相当数あることが判明しました。この2つのレイヤーは一致している必要があります。
robots.txtの先へ：llms.txt、ai.txt、pay-per-crawl
robots.txtはアクセスを管理します。一方、新しいファイルであるllms.txtはナビゲーションを管理します。AIシステムを、最も価値が高く整理されたコンテンツへ誘導するためのものです。導入はまだ初期段階（ドメインの約10%）ですが、リスクの低いシグナルです。これと並行して、CDNもこの領域に参入しています。CloudflareはAIクローラーをワンクリックでブロックする機能や、パブリッシャーがAI企業にアクセス料を請求できるpay-per-crawlモデルを提供しています。議論は「許可/拒否」から「ライセンス」へ移りつつあります。2026年の要点は、robots.txtは、llms.txt、CDN制御、そして新たに登場しつつある商業条件を含むスタックの一層にすぎないということです。
ウェブスクレイピングを行う場合の意味
公開ウェブデータを収集する場合、robots.txtは回避すべき障害ではなく、プロフェッショナルとして守るべき規範として扱ってください。擁護可能で持続可能な姿勢は次のとおりです。
- robots.txtを読み、尊重する 対象のパスについてrobots.txtを確認し、crawl-delayが設定されている場合はそれに従ってください。これは、誠実で倫理的な収集の基本です。
- 公開されている読み取り専用データを収集する。ログインを迂回したり個人データをスクレイピングしたりせず、対象サイトに負荷をかけない妥当なリクエスト頻度を維持してください。（法的な整理については、is web scraping legalをご覧ください。）
- 倫理的に調達されたプロキシを使用する。 正当な収集は、クリーンで同意に基づく住宅用IPと適切なローテーションを通じて行われます。不正利用のトラフィックを隠すネットワークを通じて行うものではありません。だからこそ、ウェブスクレイピング向けプロキシと、その調達方法が重要なのです。
robots.txtが「単なるリクエスト」にすぎないとしても、それを無視してよい許可証にはなりません。攻撃的なスクレイピングの実務上のリスクには、IPブロック、CDNチャレンジ、評判面および契約上の摩擦があり、適切な運用によって、こうしたリスクは抑えられます。
サイトを運営している場合の意味
方針を明確に決めたうえで、robots.txtとCDNの設定を一致させてください。
- AI検索での可視性を高めたいですか？ 検索/回答エージェント（OAI-SearchBot, Claude-SearchBot, PerplexityBot）を許可し、引用対象としての資格を維持してください。AI経由の訪問者は、急速に成長している、意図の明確なチャネルです。
- 学習データとして提供したくないですか？ 検索エージェントは許可したまま、学習用クローラー（GPTBot, Google-Extended, ClaudeBot）をブロックしてください。
- 両方のレイヤーを検証する。 CDNがrobots.txtの意図に反して、意図せずブロック（または公開）していないか確認し、エージェントを最適なページへ誘導するためにllms.txtの利用も検討してください。
- エージェントが実際に何を見ているかをテストする。 AIの回答やクロールは地域によって異なる場合があるため、さまざまな国のIP（住宅用プロキシ経由）からサイトとAI上の可視性を確認することで、自分の環境から見える表示だけでなく、実際の状況を把握できます。
FAQ
robots.txtに法的拘束力はありますか？
いいえ。robots.txt（RFC 9309として標準化）は、適切に動作するクローラーが尊重する自主的なリクエストです。それ自体に法的効力はなく、技術的にアクセスをブロックするものでもありません。実際の制御はサーバーまたはCDN側で行われます。
AIに自社サイトを引用させつつ、学習には使わせないことはできますか？
はい。現在、プロバイダーは学習用クローラーと検索用クローラーを分けているため、AI回答で引用される対象となる検索エージェント（OAI-SearchBot, Claude-SearchBot, PerplexityBot）は許可しながら、学習用エージェント（GPTBot, Google-Extended, ClaudeBot）をブロックできます。
AIクローラーは実際にrobots.txtに従いますか？
公開情報がある主要なクローラー（Googlebot, GPTBot, ClaudeBot, PerplexityBot）は一般的に従っており、サーバーログで確認できます。ただし、遵守は任意であり、ユーザー操作によるリアルタイム取得はグレーゾーンで、偽装されたユーザーエージェントも存在します。そのため、これは保証ではなく慣行です。
llms.txtとは何ですか？必要ですか？
llms.txtは、AIシステムをサイト内の最も価値あるコンテンツへ誘導する新しいファイルです。robots.txtがアクセスを管理するのに対し、llms.txtはナビゲーションを管理します。導入はまだ初期段階（ドメインの約10%）ですが、手間が少なくリスクも低いシグナルとして追加する価値があります。
スクレイピング時にrobots.txtを尊重することは重要ですか？
はい。法的拘束力はないものの、robots.txtとcrawl-delayを尊重することは、倫理的で持続可能なスクレイピングの基本です。正当といえる範囲にとどまり、ブロック、CDNチャレンジ、評判リスクを回避するうえで役立ちます。
適切な方法で公開ウェブデータを収集
AIデータパイプラインを構築する場合も、AIが自社ブランドをどう表現しているかを監視する場合も、倫理的な収集はサイトのシグナルを尊重し、クリーンで同意に基づくIPを利用することから始まります。倫理的に調達された住宅プロキシを$1/GBから入手。従量課金制、190+か国に対応し、責任あるテストと収集を可能にする地域制御機能を備えています。