In this Article
Robots.txt adalah file teks berusia 30 tahun yang memberi tahu crawler bagian situs mana yang boleh mereka ambil. Pada 2026, file ini menjalankan tugas yang tidak pernah dirancang untuknya: mengatur web AI, tempat puluhan crawler, GPTBot, ClaudeBot, PerplexityBot, Google-Extended, dan lainnya, mengambil konten untuk melatih model serta menjawab pertanyaan secara real-time. Panduan ini membahas apa yang bisa dan tidak bisa dilakukan robots.txt di era AI, lanskap crawler, apakah bot AI benar-benar mematuhinya, sinyal yang lebih baru (llms.txt, kontrol Cloudflare), serta maknanya, baik jika Anda melakukan web scraping maupun mengelola situs yang di-scrape.
Saya Andrii Byzov, seorang AI-Native Fractional CMO yang setiap hari bekerja dengan pipeline data web dan visibilitas pencarian AI. Di bawah ini adalah pandangan praktis yang terkini pada 2026, dengan catatan penting yang jujur. Untuk aspek hukum, lihat panduan apakah web scraping legal kami; untuk visibilitas AI, baca artikel pelacakan peringkat pencarian AI kami.
Fakta Utama
- robots.txt bersifat sukarela, bukan hukum. Ini adalah permintaan (diresmikan sebagai RFC 9309), yang ditegakkan oleh kepatuhan dengan itikad baik serta oleh server/CDN, bukan oleh undang-undang.
- Pelatihan dan pencarian kini menggunakan crawler terpisah. Anda dapat memblokir pelatihan AI (GPTBot, Google-Extended, ClaudeBot) sambil tetap memenuhi syarat untuk sitasi pencarian AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
- Pengambilan oleh agen secara real-time sering melewati logika robots.txt. Ketika pengguna meminta AI membaca halaman, pengambilan itu dapat dianggap bukan sebagai “crawler”, sehingga robots.txt mungkin tidak menghentikannya.
- Kepatuhan berbeda-beda menurut bot. Crawler utama (Googlebot, GPTBot, ClaudeBot) umumnya mematuhi robots.txt; beberapa secara historis tidak mematuhinya, dan sebuah directive hanya berfungsi jika bot memilih untuk membacanya.
- Sinyal baru tersedia: llms.txt (mengarahkan AI ke konten terbaik Anda, adopsi sekitar 10%), ditambah kontrol blokir-AI dan pay-per-crawl Cloudflare di lapisan CDN.
Apa itu robots.txt, dan apa yang bukan, pada 2026
robots.txt adalah file teks biasa di akar domain (/robots.txt) yang mencantumkan user-agent dan path yang diminta agar tidak mereka ambil. File ini distandardisasi sebagai RFC 9309 pada 2022, tetapi gagasan intinya tidak berubah sejak 1994: ini adalah permintaan yang sopan. File ini tidak mengautentikasi siapa pun, tidak memblokir akses pada tingkat jaringan, dan tidak memiliki kekuatan hukum dengan sendirinya. Crawler yang berperilaku baik membacanya dan mematuhinya; crawler yang mengabaikannya tidak menghadapi hambatan teknis dari file itu sendiri.
Perbedaan itulah inti persoalan di era AI. robots.txt mengatur apa yang disetujui untuk tidak dilakukan oleh bot yang patuh, bukan sebuah kunci. Penegakan nyata (rate-limiting, pemblokiran, paywall) terjadi di server atau CDN, bukan di file teks.
Lanskap crawler AI
Web AI di-crawl oleh semakin banyak pelaku, dan perubahan pentingnya adalah setiap penyedia utama kini memisahkan traffic pelatihan dari pencarian/jawaban ke dalam user-agent yang berbeda:
| User-agent | Operator | Tujuan | Mematuhi robots.txt? |
|---|---|---|---|
| GPTBot | OpenAI | Pelatihan model | Ya (didokumentasikan) |
| OAI-SearchBot | OpenAI | Pencarian / sitasi ChatGPT | Ya |
| ClaudeBot | Anthropic | Pelatihan model | Ya |
| Claude-SearchBot | Anthropic | Pencarian / sitasi | Ya |
| Google-Extended | Token opt-out pelatihan Gemini | Ya (hanya token) | |
| PerplexityBot | Perplexity | Pencarian / jawaban | Ya (didokumentasikan) |
| CCBot | Common Crawl | Dataset terbuka (menyediakan data untuk banyak model) | Ya |
| Meta-ExternalAgent | Meta | Pelatihan / fitur AI | Ya |
Karena pelatihan dan pencarian adalah agen terpisah, sebuah situs dapat membuat pilihan yang lebih terarah: memilih keluar dari penggunaan untuk melatih model sambil tetap memenuhi syarat untuk dikutip dalam jawaban AI, misalnya memblokir GPTBot tetapi mengizinkan OAI-SearchBot.
Apakah crawler AI benar-benar mematuhi robots.txt?
Sebagian besar crawler besar mematuhinya, dan mudah untuk memverifikasinya dari log server Anda sendiri. Googlebot, GPTBot, ClaudeBot, dan PerplexityBot mendokumentasikan user-agent mereka dan mematuhi directive standar. Namun, tiga catatan penting berikut perlu diperhatikan:
- Kepatuhan bersifat opt-in. Sebuah directive hanya berfungsi jika bot membaca dan mematuhinya. Beberapa crawler secara historis mengabaikan robots.txt, dan user-agent palsu dapat mengaku sebagai apa saja, sehingga file ini adalah norma, bukan jaminan.
- Pengambilan oleh agen secara real-time adalah area abu-abu. Ketika seseorang meminta ChatGPT atau Perplexity merangkum URL tertentu, alat tersebut mengambil halaman itu atas nama pengguna. Penyedia sering memperlakukan ini sebagai akses yang diarahkan pengguna, bukan crawling, sehingga aturan pelatihan/crawl robots.txt mungkin tidak berlaku seperti yang diharapkan pemilik situs.
- Lapisan CDN dapat mengesampingkan pengaturan Anda. Riset pada jaringan Cloudflare menemukan sejumlah besar situs secara tidak sengaja memblokir crawler AI utama di CDN, sementara robots.txt mereka menyatakan “allow”. Kedua lapisan harus selaras.
Melampaui robots.txt: llms.txt, ai.txt, dan pay-per-crawl
robots.txt mengatur akses; file yang lebih baru, llms.txt, mengatur navigasi, yaitu mengarahkan sistem AI ke konten Anda yang paling bernilai dan paling bersih. Adopsinya masih awal (kira-kira 10% domain), tetapi ini merupakan sinyal berisiko rendah. Bersamanya, CDN juga mulai berperan: Cloudflare menawarkan pemblokiran crawler AI sekali klik dan model pay-per-crawl yang memungkinkan penerbit mengenakan biaya kepada perusahaan AI untuk akses, menggeser percakapan dari “allow/deny” menuju “license”. Kesimpulan untuk 2026: robots.txt adalah satu lapisan dalam tumpukan yang kini mencakup llms.txt, kontrol CDN, dan ketentuan komersial yang sedang berkembang.
Apa artinya jika Anda melakukan web scraping
Jika Anda mengumpulkan data web publik, perlakukan robots.txt sebagai norma profesional, bukan hambatan yang harus diakali. Sikap yang dapat dipertanggungjawabkan dan berkelanjutan:
- Baca dan patuhi robots.txt untuk path yang Anda akses, serta patuhi crawl-delay jika ditetapkan. Ini adalah dasar pengumpulan yang beritikad baik dan etis.
- Kumpulkan data publik yang hanya-baca, jangan melewati login atau melakukan web scraping data pribadi, dan pertahankan rate yang wajar agar tidak menurunkan kinerja situs target. (Lihat apakah web scraping legal untuk kerangka hukumnya.)
- Gunakan proxy yang bersumber secara etis. Pengumpulan yang sah menggunakan IP residential yang bersih, dengan persetujuan, serta rotation yang wajar, bukan jaringan yang menyembunyikan lalu lintas abusif. Inilah alasan mengapa proxy untuk web scraping dan cara sumbernya diperoleh sangat penting.
Fakta bahwa robots.txt “hanya sebuah permintaan” bukanlah izin untuk mengabaikannya. Risiko praktis dari scraping agresif meliputi pemblokiran IP, challenge CDN, serta gesekan reputasional dan kontraktual, yang semuanya dapat dihindari dengan praktik yang baik.
Apa artinya jika Anda mengelola situs
Buat keputusan dengan sengaja, lalu pastikan robots.txt dan CDN Anda selaras:
- Ingin visibilitas pencarian AI? Izinkan agen pencarian/jawaban (OAI-SearchBot, Claude-SearchBot, PerplexityBot) agar Anda tetap memenuhi syarat untuk sitasi. Pengunjung yang dirujuk AI adalah channel dengan intent tinggi yang berkembang pesat.
- Tidak ingin digunakan untuk pelatihan? Blokir crawler pelatihan (GPTBot, Google-Extended, ClaudeBot) sambil tetap mengizinkan agen pencarian.
- Verifikasi kedua lapisan. Periksa bahwa CDN Anda tidak secara diam-diam memblokir (atau membuka akses ke) sesuatu yang dimaksudkan oleh robots.txt Anda, dan pertimbangkan llms.txt untuk mengarahkan agen ke halaman terbaik Anda.
- Uji apa yang benar-benar dilihat agen. Karena jawaban dan crawl AI dipersonalisasi berdasarkan geo, memeriksa situs serta visibilitas AI Anda dari IP di berbagai negara (melalui proxy residential) menunjukkan gambaran nyata, bukan hanya tampilan dari lokasi Anda.
FAQ
Apakah robots.txt mengikat secara hukum?
Tidak. robots.txt (distandardisasi sebagai RFC 9309) adalah permintaan sukarela yang dipatuhi crawler berperilaku baik. File ini tidak memiliki kekuatan hukum dengan sendirinya dan tidak memblokir akses secara teknis. Penegakan nyata terjadi di server atau CDN.
Bisakah saya mengizinkan AI mengutip situs saya, tetapi tidak melatihnya?
Ya. Penyedia kini memisahkan crawler pelatihan dan pencarian, sehingga Anda dapat memblokir agen pelatihan (GPTBot, Google-Extended, ClaudeBot) sambil mengizinkan agen pencarian (OAI-SearchBot, Claude-SearchBot, PerplexityBot) yang membuat Anda memenuhi syarat untuk sitasi jawaban AI.
Apakah crawler AI benar-benar mengikuti robots.txt?
Crawler utama yang didokumentasikan (Googlebot, GPTBot, ClaudeBot, PerplexityBot) umumnya mematuhinya, dan Anda dapat memverifikasinya di log server. Namun, kepatuhan bersifat opt-in, pengambilan real-time yang dipicu pengguna adalah area abu-abu, dan user-agent palsu memang ada. Jadi, ini adalah norma, bukan jaminan.
Apa itu llms.txt dan apakah saya memerlukannya?
llms.txt adalah file yang lebih baru yang mengarahkan sistem AI ke konten Anda yang paling bernilai. robots.txt mengatur akses, sedangkan llms.txt mengatur navigasi. Adopsinya masih awal (sekitar 10% domain), tetapi ini adalah sinyal berupaya rendah dan berisiko rendah yang layak ditambahkan.
Apakah mematuhi robots.txt penting saat melakukan web scraping?
Ya. Meskipun tidak mengikat secara hukum, mematuhi robots.txt dan crawl-delay adalah dasar web scraping yang etis dan berkelanjutan. Hal ini menjaga Anda pada jalur yang dapat dipertanggungjawabkan serta menghindari pemblokiran, challenge CDN, dan risiko reputasi.
Kumpulkan data web publik dengan cara yang tepat
Baik Anda membangun pipeline data AI maupun memantau cara AI merepresentasikan brand Anda, pengumpulan yang etis dimulai dengan menghormati sinyal situs dan menggunakan IP yang bersih serta telah mendapat persetujuan. Dapatkan proxy residential bersumber etis mulai $1/GB, pay-as-you-go, di 190+ negara, dengan kontrol geo untuk menguji dan mengumpulkan data secara bertanggung jawab.