Dalam artikel ini
Daftar kode status HTTP mudah ditemukan, tetapi daftar yang ditulis khusus untuk orang yang menjalankan crawler tidak semudah itu. Halaman ini adalah daftar tersebut: arti setiap kode saat scraper Anda menerimanya, apakah layak diulang (retry), dan kode mana yang menunjuk ke konfigurasi Anda sendiri, bukan ke target.
Gagasan dasarnya sederhana. Setiap respons memberi tahu Anda untuk melakukan salah satu dari empat hal: lanjutkan, tunggu, ubah identitas yang Anda tampilkan, atau berhenti. Memetakan hal ini dengan benar adalah faktor utama yang membedakan crawler yang berjalan selama berbulan-bulan dari crawler yang menghabiskan pool alamat dalam waktu seminggu.
Fakta Utama
- Kode status adalah keputusan perutean, bukan hasil. Ulangi (retry), mundur (back off), ubah identitas, atau berhenti: setiap kode dipetakan ke salah satu dari empat tindakan tersebut, dan kesalahan mencampuradukkannya adalah alasan mengapa crawler menghabiskan pool alamat.
- 200 bukan berarti berhasil. Kode 200 dengan wadah data kosong berarti gerbang meloloskan Anda, tetapi halaman dirender di sisi klien, yang merupakan masalah parsing (mengurai), bukan masalah akses.
- 407 adalah masalah Anda, 403 adalah masalah mereka. 407 berarti kredensial proxy Anda salah; 403 berarti target menolak Anda. Keduanya terlihat mirip di log tetapi memerlukan perbaikan yang berlawanan.
- 429 memberi tahu soal laju (rate), 403 memberi tahu soal identitas. 429 dengan Retry-After adalah negosiasi; 403 dengan body pendek adalah putusan final.
- Jangan pernah mengulang (retry) secara membabi buta. Mengulang kode 404 atau 451 hanya membuang anggaran (budget) dan, pada pool bersama, merusak reputasi yang menjadi andalan pekerjaan lain.
Bagaimana scraper harus membaca kode status? Aturan triase 4 tahap
Kelompokkan setiap respons ke dalam salah satu dari empat tahap sebelum menulis kode penanganan apa pun. Kami menyebutnya aturan triase 4 tahap.
| Tahap | Kode | Tindakan |
|---|---|---|
| 1. Lanjutkan | 200, 201, 204, 206, 301, 302, 304 | Urai (parse), ikuti, atau lewati. Tidak ada yang perlu diperbaiki, meskipun 200 tetap perlu diperiksa kontennya |
| 2. Tunggu | 429, 503, 504, 408 | Mundur (back off) dengan jitter, patuhi Retry-After, kurangi konkurensi. Target sedang memberi tahu bahwa laju (rate) Anda salah |
| 3. Ubah identitas | 403, 401 pada akses yang bersifat publik, 421 | Diagnosis sebelum bertindak: alamat exit, koherensi TLS dan header, runtime. Mengulang tanpa perubahan tidak akan menghasilkan apa-apa |
| 4. Berhenti | 400, 404, 405, 410, 451, 403 berulang pada path yang sama | Request-nya salah, sumber daya sudah tidak ada, atau akses ditolak sebagai keputusan yang disengaja. Catat di log dan lanjutkan |
Kesalahan yang mahal adalah memperlakukan tahap tiga seperti tahap dua. Identitas yang diblokir dan diulang seratus kali hanya menghasilkan seratus titik data tambahan yang menegaskan klasifikasi tersebut, dan pada pool bersama hal ini menurunkan kualitas alamat yang sedang dipakai pekerjaan lain.
Kode mana saja yang benar-benar muncul dalam scraping, dan apa artinya?
| Kode | Artinya bagi crawler | Diulang? |
|---|---|---|
| 200 OK | Gerbang berhasil dilewati. Konten mungkin tetap tidak ada jika halaman dirender di sisi klien | Tidak, tetapi lakukan assert pada field yang diharapkan |
| 204 No Content | Respons valid, tidak ada yang perlu diurai. Umum terjadi pada endpoint pelacakan dan API | Tidak |
| 301 / 302 | Dipindahkan. Rantai pengalihan (redirect) menuju halaman login atau gateway negara tertentu adalah sinyal, bukan gangguan | Ikuti, tetapi catat URL akhirnya di log |
| 304 Not Modified | Conditional request Anda berhasil dan halaman tidak berubah. Respons yang paling murah yang bisa didapat | Tidak, dan usahakan mendapat lebih banyak respons seperti ini |
| 400 Bad Request | Request Anda tidak terbentuk dengan benar, sering kali karena query string atau header yang rusak | Tidak, perbaiki kodenya |
| 401 Unauthorized | Target memerlukan kredensial. Pada data publik, ini biasanya berarti Anda mengenai path yang dibatasi (gated) | Tidak |
| 403 Forbidden | Dipahami dan ditolak. Bisa karena identitas, reputasi, atau pola, dan terkadang hanya aturan geografis biasa | Tidak jika tanpa perubahan |
| 404 Not Found | Sumber daya sudah tidak ada, atau soft 404 yang mengembalikan halaman tanpa data | Tidak |
| 405 Method Not Allowed | Verb yang salah, biasanya endpoint POST yang diakses dengan GET | Tidak, perbaiki kodenya |
| 407 Proxy Authentication Required | Kredensial proxy Anda hilang atau salah. Tidak ada hubungannya dengan target | Tidak, perbaiki konfigurasinya |
| 408 Request Timeout | Server berhenti menunggu. Sering disebabkan oleh hop proxy yang lambat | Ya, dengan backoff |
| 410 Gone | Dihapus dengan sengaja. Lebih tegas daripada 404 | Tidak, dan hapus dari antrean |
| 421 Misdirected Request | Koneksi digunakan ulang untuk host yang tidak dilayaninya, terlihat pada HTTP/2 coalescing melalui proxy | Ya, pada koneksi baru |
| 429 Too Many Requests | Batas laju (rate limit). Baca Retry-After; ini adalah header paling jujur dalam scraping | Ya, setelah menunggu |
| 451 Unavailable For Legal Reasons | Diblokir karena alasan hukum atau regulasi, sering kali bersifat geografis | Tidak |
| 500 Internal Server Error | Bug di pihak mereka, atau payload Anda yang memicunya | Satu atau dua kali, lalu berhenti |
| 502 / 504 | Kesalahan gateway. Bisa berasal dari edge milik target atau dari hop proxy Anda sendiri | Ya, dengan backoff |
| 503 Service Unavailable | Kelebihan beban atau sengaja membuang beban (shedding), termasuk shedding anti-bot | Ya, secara perlahan |
| 520 hingga 526 | Khusus Cloudflare: origin mengembalikan sesuatu yang tidak valid, mengalami timeout, atau TLS handshake dengan origin gagal | Ya, tetapi perlakukan pengulangan sebagai sinyal |
Kode mana yang menunjuk ke proxy Anda, bukan ke situs?
Ada tiga, dan mengacaukannya dengan penolakan dari sisi target membuang-buang waktu berhari-hari.
407 Proxy Authentication Required. Gateway menolak kredensial Anda. Periksa format username, kata sandi, dan apakah akhiran session atau country Anda sudah terbentuk dengan benar. Mengulang (retry) atau rotasi sebanyak apa pun tidak akan membantu, karena request tidak pernah sampai ke target.
502 dan 504 segera setelah perubahan rute. Kesalahan gateway yang muncul tepat saat Anda beralih exit, dan hilang ketika Anda kembali ke exit sebelumnya, biasanya berasal dari hop, bukan dari origin. Uji URL yang sama secara langsung dan melalui exit kedua sebelum menyalahkan situs.
421 Misdirected Request. Jarang terjadi, dan hampir selalu disebabkan oleh penggunaan ulang koneksi antar-host melalui proxy pada HTTP/2. Nonaktifkan connection coalescing atau tetapkan satu host per koneksi.
Cara tercepat untuk memisahkan kedua kemungkinan ini adalah dengan control request: ambil (fetch) URL yang Anda tahu stabil, seperti layanan IP echo, melalui exit yang sama. Jika itu juga gagal, masalahnya ada pada rute Anda; jika berhasil, target sedang menolak Anda. Panduan kami tentang kesalahan 403 Forbidden saat scraping membahas seluruh urutan isolasi ini.
Kebijakan retry seperti apa yang benar-benar efektif?
Empat aturan ini mencakup hampir semua kasus, dan memang sengaja dibuat sederhana.
- Hanya ulangi (retry) tahap dua dan sebagian kesalahan infrastruktur di tahap empat. 429, 503, 504, 408, 500 satu atau dua kali. Jangan pernah 400, 404, 405, 410, 451, dan jangan pernah 403 tanpa perubahan.
- Exponential backoff dengan jitter, dimulai sekitar satu detik dan dibatasi maksimal satu menit. Tanpa jitter, worker paralel akan mengulang secara serempak dan mereproduksi lonjakan (burst) yang menyebabkan pembatasan tadi.
- Patuhi Retry-After secara harfiah. Jika sebuah situs meminta Anda menunggu tiga puluh detik, menunggu lima detik saja sama saja dengan memilih untuk dibatasi lajunya (rate limit) lagi.
- Gunakan circuit breaker per host. Setelah mencapai ambang batas kegagalan berturut-turut, hentikan host tersebut sepenuhnya selama periode jeda (cool-off) daripada membiarkannya perlahan berujung pada ban.
| Situasi | Gunakan retry saat | Hindari retry saat |
|---|---|---|
| 429 dengan Retry-After | Anda mematuhi jeda yang ditentukan dan menurunkan konkurensi setelahnya | Anda mengulang di dalam jendela waktu yang ditentukan, yang justru memastikan terjadinya pembatasan kedua |
| 503 atau 504 | Kegagalan bersifat sesekali di banyak host, menandakan beban tinggi | Satu host gagal secara konsisten: itu adalah shedding yang ditujukan pada Anda |
| 500 | Terjadi sekali pada URL yang biasanya berfungsi normal | Terjadi berulang pada payload yang sama, yang berarti request Anda memicu bug di pihak mereka |
| 403 | Jangan pernah tanpa perubahan; hanya setelah satu variabel berhasil diisolasi | Selalu, sampai Anda menguji exit, client, dan laju (pace) secara terpisah |
| 404, 410, 451 | Jangan pernah | Selalu: sumber daya sudah tidak ada atau akses ditolak sebagai kebijakan |
Dua penghitung (counter) membuat hal ini terukur: jumlah kegagalan per kode per host per jam, dan rasio retry terhadap request yang berhasil. Ketika angka kedua naik melebihi kira-kira satu banding lima, laju (pacing) Anda salah, apa pun yang ditunjukkan oleh angka pertama.
Mengapa 200 terkadang berarti kegagalan?
Karena berhasil melewati gerbang dan berhasil mendapatkan data adalah dua peristiwa yang berbeda. Ada empat kasus yang menghasilkan 200 tanpa isi yang berguna sama sekali.
Rendering di sisi klien. HTML hanyalah kerangka kosong dan data datang melalui XHR. Solusinya adalah menggunakan browser engine, atau yang lebih baik, menemukan endpoint JSON yang dipanggil oleh halaman itu sendiri.
Soft 404. Situs menyajikan halaman “tidak ditemukan” yang ramah dengan status 200. Lakukan assert pada elemen yang sudah diketahui, bukan pada kode statusnya.
Halaman challenge. Halaman sisipan (interstitial) yang mengembalikan 200 sambil meminta client membuktikan dirinya. Deteksi berdasarkan ukuran dan keberadaan skrip challenge, bukan berdasarkan status.
Geo wall atau consent wall. Status 200 yang mengembalikan banner cookie atau gerbang negara alih-alih konten sebenarnya, itulah sebabnya negara exit perlu dimasukkan ke dalam dataset Anda.
Aturan praktisnya: jangan pernah memperlakukan kode status sebagai penanda keberhasilan. Lakukan assert pada konten, hitung jumlah baris per proses (run), dan buat alert saat sebuah sumber turun melebihi ambang batas tertentu, bukan hanya saat terjadi error.
Apa batasan dari sekadar membaca kode status?
Kode status hanya menggambarkan hop terakhir, bukan keseluruhan cerita. 200 bisa jadi adalah challenge, 403 bisa jadi merupakan aturan negara tertentu dan bukan putusan bot, dan 502 bisa jadi berasal dari proxy Anda sendiri. Perlakukan kode status sebagai sinyal pertama dalam sebuah diagnosis, lalu konfirmasikan dengan ukuran body, header, dan control request.
Soal aturan: penolakan yang berulang adalah keputusan yang dibuat oleh situs, dan respons yang tepat adalah menghormatinya, memeriksa robots.txt dan ketentuan layanannya, serta lebih memilih API resmi jika tersedia. Data pribadi memunculkan pertanyaan terpisah soal dasar hukumnya. Ini adalah informasi umum, bukan nasihat hukum; lihat apakah web scraping legal.
Untuk masalah-masalah terkait lainnya: triase 403, rotasi dan session, dan cara sistem deteksi menilai sebuah request.
Pertanyaan yang Sering Diajukan
Apa arti 403 saat scraping?
Server memahami request tersebut dan menolaknya. Bagi crawler, ini biasanya berarti soal identitas, reputasi, atau pola request, bukan request yang rusak, dan terkadang hanya aturan geografis biasa. Mengulang tanpa perubahan tidak akan menghasilkan apa-apa: ubah satu variabel dalam satu waktu, mulai dari alamat exit, lalu client, lalu laju (pace).
Apa perbedaan antara 403 dan 429?
429 adalah pernyataan soal laju (rate) dan biasanya membawa header Retry-After, sehingga solusinya adalah memperlambat laju. 403 adalah pernyataan tentang Anda, sehingga solusinya adalah mengubah tampilan client Anda. Memperlakukan 403 seperti rate limit dan hanya menunggu adalah alasan mengapa crawler macet selama berjam-jam tanpa mempelajari apa pun.
Mengapa saya mendapatkan 407?
Kredensial proxy Anda hilang atau formatnya salah, sehingga gateway menolak request sebelum sampai ke target. Periksa format username termasuk akhiran session atau country apa pun, kata sandi, dan pastikan port sesuai dengan protokolnya. Rotasi dan retry tidak dapat memperbaiki kode 407.
Haruskah saya mengulang (retry) kode 500?
Satu atau dua kali dengan backoff, lalu berhenti dan catat di log. Kode 500 yang terus-menerus muncul pada satu URL biasanya berarti payload Anda memicu bug di pihak mereka, dan terus mencoba hanya sia-sia dan tidak sopan. Jika 500 muncul di banyak URL sekaligus, situs tersebut sedang mengalami insiden dan seluruh pekerjaan (job) sebaiknya dijeda.
Mengapa saya mendapatkan 200 tetapi tidak ada data?
Karena gerbang berhasil dilewati tetapi kontennya tidak datang: halaman dirender di sisi klien, situs menyajikan soft 404 atau halaman sisipan challenge dengan status 200, atau Anda mengenai consent wall atau geo wall. Lakukan assert pada elemen yang sudah diketahui di dalam body, bukan pada kode status, dan hitung jumlah baris per proses (run) sehingga penurunan yang tak terlihat berubah menjadi alert.
Lebih sedikit penolakan dimulai dari exit yang tepat
Ketika triase menunjuk pada identitas, bukan laju, proxy residensial DataImpulse memberikan exit yang akurat secara geografis dengan harga $1 per GB di 195 negara, baik rotating maupun sticky, melalui HTTP, HTTPS, dan SOCKS5. Buat akun dan uji satu target sebelum melakukan scaling.
Terkait: 403 Forbidden saat scraping · proxy untuk web scraping · use case web scraping.
Terakhir diperbarui: 17 September 2026.
