HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

HTTP durum kodları listesini bulmak kolaydır; crawler çalıştıran kişiler için yazılmış olanı bulmak değildir. Bu sayfa tam olarak bunu sunar: scraper’ınız bir kod aldığında her birinin ne anlama geldiğini, yeniden denemeye değip değmediğini ve hangi kodların hedeften çok kendi yapılandırmanıza işaret ettiğini.

Temel fikir basittir. Her yanıt size dört şeyden tam olarak birini yapmanızı söyler: devam edin, bekleyin, nasıl göründüğünüzü değiştirin veya durun. Bu eşleştirmeyi doğru yapmak, aylarca çalışan bir crawler ile bir haftada bir havuzu tüketen crawler arasındaki farkın büyük kısmını oluşturur.


Temel Bilgiler

  • Durum kodu bir yönlendirme kararıdır, sonuç değildir. Yeniden deneyin, geri çekilin, kimliği değiştirin veya durun: her kod bu dörtlüden yalnızca birine karşılık gelir ve bunları karıştırmak crawler’ların adres havuzlarını tüketmesinin nedenidir.
  • 200 başarı demek değildir. Veri kapsayıcısı boş olan bir 200, geçidin sizi içeri aldığı ancak sayfanın istemci tarafında oluşturulduğu anlamına gelir; bu, erişimden çok ayrıştırma sorunudur.
  • 407 sizindir, 403 onlarındır. 407, proxy kimlik bilgilerinizin yanlış olduğu; 403 ise hedefin sizi reddettiği anlamına gelir. Günlüklerde benzer görünürler ve zıt düzeltmeler gerektirirler.
  • 429 hızı, 403 kimliği bildirir. Retry-After içeren bir 429 bir müzakeredir; kısa gövdeli bir 403 ise hükümdür.
  • Asla körlemesine yeniden denemeyin. 404 veya 451’i yeniden denemek bütçeyi boşa harcar ve paylaşılan havuzlarda diğer işlerin bağlı olduğu itibarı zedeler.

Bir scraper durum kodlarını nasıl okumalı? 4 aşamalı triyaj kuralı

Herhangi bir işleme kodu yazmadan önce her yanıtı dört aşamadan birine ayırın. Buna 4 aşamalı triyaj kuralı diyoruz.

Aşama Kodlar Eylem
1. Devam edin 200, 201, 204, 206, 301, 302, 304 Ayrıştırın, takip edin veya atlayın. Düzeltilecek bir şey yoktur, ancak 200 için yine de içerik kontrolü gerekir
2. Bekleyin 429, 503, 504, 408 Jitter ile geri çekilin, Retry-After’a uyun, eşzamanlılığı azaltın. Hedef, hızın yanlış olduğunu söylüyor
3. Kimliği değiştirin 403, erişimin herkese açık olduğu durumlarda 401, 421 Harekete geçmeden önce teşhis edin: çıkış adresi, TLS ve header tutarlılığı, çalışma ortamı. Değişiklik yapmadan yeniden denemek hiçbir sonuç vermez
4. Durun 400, 404, 405, 410, 451, aynı yolda tekrarlanan 403 İstek yanlıştır, kaynak yok olmuştur veya erişim karar gereği reddedilmiştir. Günlüğe kaydedin ve devam edin

Pahalı hata, üçüncü aşamayı ikinci aşama olarak ele almaktır. Yüz kez yeniden denenen engellenmiş bir kimlik, sınıflandırmayı doğrulayan yüz veri noktası daha sağlar ve paylaşılan havuzda diğer işlerin kullandığı adresleri kötüleştirir.


Veri kazımada gerçekten hangi kodlar görülür ve ne anlama gelirler?

Kod Bir crawler için anlamı Yeniden denensin mi?
200 OK Geçit izin verdi. Sayfa istemci tarafında oluşturuluyorsa içerik yine de eksik olabilir Hayır, ancak beklenen alanları doğrulayın
204 No Content Geçerli yanıt, ayrıştırılacak bir şey yok. İzleme ve API uç noktalarında yaygındır Hayır
301 / 302 Taşındı. Giriş sayfasına veya ülke geçidine uzanan bir yönlendirme zinciri gürültü değil, sinyaldir Takip edin, ancak son URL’yi günlüğe kaydedin
304 Not Modified Koşullu isteğiniz çalıştı ve sayfa değişmedi. Mümkün olan en ucuz yanıt Hayır, daha fazlasını hedefleyin
400 Bad Request İsteğiniz hatalı biçimlendirilmiş; çoğunlukla bozuk bir sorgu dizesi veya header’dır Hayır, kodu düzeltin
401 Unauthorized Hedef kimlik bilgileri gerektiriyor. Herkese açık verilerde bu, genellikle kısıtlı bir yola ulaştığınız anlamına gelir Hayır
403 Forbidden Anlaşıldı ve reddedildi. Kimlik, itibar veya örüntü; bazen de basit bir coğrafi kural Değişiklik yapmadan hayır
404 Not Found Kaynak yok olmuş veya veri içermeyen sayfa döndüren yumuşak bir 404 var Hayır
405 Method Not Allowed Yanlış fiil; genellikle GET ile vurulan bir POST uç noktası Hayır, kodu düzeltin
407 Proxy Authentication Required Proxy kimlik bilgileriniz eksik veya yanlış. Hedefle ilgisi yoktur Hayır, yapılandırmayı düzeltin
408 Request Timeout Sunucu beklemekten vazgeçti. Genellikle yavaş bir proxy sıçramasıdır Evet, geri çekilmeyle
410 Gone Kasıtlı olarak kaldırıldı. 404’ten daha güçlüdür Hayır, kuyruktan çıkarın
421 Misdirected Request Hizmet vermediği bir host için bağlantı yeniden kullanıldı; proxy’ler üzerinden HTTP/2 birleştirmesinde görülür Evet, yeni bağlantıda
429 Too Many Requests Hız sınırı. Retry-After’ı okuyun; veri kazımadaki en dürüst header’dır Evet, bekledikten sonra
451 Unavailable For Legal Reasons Genellikle coğrafi olmak üzere hukuki veya düzenleyici nedenlerle engellendi Hayır
500 Internal Server Error Onların hatası ya da yükünüz bir hatayı tetikledi Bir veya iki kez, sonra durun
502 / 504 Geçit hataları. Hedefin uç noktasından veya kendi proxy sıçramanızdan gelebilir Evet, geri çekilmeyle
503 Service Unavailable Aşırı yüklü veya anti-bot yük azaltması dahil, kasıtlı olarak yük boşaltıyor Evet, yavaşça
520 to 526 Cloudflare’a özgü: kaynak geçersiz bir şey döndürdü, zaman aşımına uğradı veya kaynakla TLS el sıkışması başarısız oldu Evet, ancak tekrarları sinyal olarak ele alın

Hangi kodlar siteden çok proxy’nize işaret eder?

Üçü ve bunları hedef tarafındaki retlerle karıştırmak günler kaybettirir.

407 Proxy Authentication Required. Geçit kimlik bilgilerinizi reddetti. Kullanıcı adı biçimini, parolayı ve oturum veya ülke sonekinizin doğru biçimlendirildiğini kontrol edin. İstek hedefe hiç ulaşmadığı için yeniden denemek veya IP’leri döndürmek işe yaramaz.

Rota değişikliğinden hemen sonra 502 ve 504. Çıkışları değiştirdiğiniz anda ortaya çıkan ve geri döndüğünüzde kaybolan bir geçit hatası, genellikle kaynaktan çok sıçramadır. Siteyi suçlamadan önce aynı URL’yi doğrudan ve ikinci bir çıkış üzerinden test edin.

421 Misdirected Request. Nadir görülür ve neredeyse her zaman HTTP/2 altında bir proxy üzerinden hostlar arasında bağlantının yeniden kullanımından kaynaklanır. Bağlantı birleştirmeyi devre dışı bırakın veya bağlantı başına bir host sabitleyin.

İki tarafı ayırmanın en hızlı yolu kontrol isteğidir: aynı çıkış üzerinden IP yankı hizmeti gibi kararlı olduğunu bildiğiniz bir URL’yi getirin. O da başarısız olursa sorun rotanızdır; başarılı olursa hedef sizi reddediyordur. Veri kazımada 403 Forbidden hataları rehberimiz, tam yalıtım sıralamasını anlatır.


Gerçekten işe yarayan yeniden deneme politikası nedir?

Dört kural neredeyse her durumu kapsar ve bilerek sıkıcıdır.

  • Yalnızca ikinci aşamayı ve seçili dördüncü aşama altyapı hatalarını yeniden deneyin. 429, 503, 504, 408, 500 için bir veya iki kez. 400, 404, 405, 410, 451 için ve değişmemiş bir 403 için asla.
  • Jitter’lı üstel geri çekilme, yaklaşık bir saniyeden başlayıp bir dakikada sınırlandırılır. Jitter olmadan paralel worker’lar aynı anda yeniden dener ve sınıra neden olan patlamayı yeniden üretir.
  • Retry-After’a harfiyen uyun. Bir site size otuz saniye beklemenizi söylüyorsa beş saniye beklemek, yeniden hız sınırına girmeyi seçmektir.
  • Host başına devre kesici kullanın. Art arda başarısızlıklar için bir eşiğin ardından, yasağa doğru zarifçe bozulmak yerine hostu soğuma süresi boyunca tamamen durdurun.
Durum Yeniden denemeleri şu durumda kullanın Şu durumda yeniden denemekten kaçının
Retry-After içeren 429 Belirtilen gecikmeye uyuyor ve sonrasında eşzamanlılığı düşürüyorsanız Belirtilen süre içinde yeniden deneyecekseniz; bu ikinci sınırı garanti eder
503 veya 504 Hata, yükü düşündürecek şekilde birçok hostta kesintiliyse Bir host sürekli başarısız oluyorsa: bu size yönelik yük boşaltmadır
500 Genellikle çalışan bir URL’de bir kez olduysa Aynı yükte tekrarlanıyorsa; bu, isteğinizin onların hatasını tetiklediği anlamına gelir
403 Değişiklik yapmadan asla; yalnızca bir değişken ayrıştırıldıktan sonra Çıkışı, istemciyi ve hızı ayrı ayrı test edene kadar her zaman
404, 410, 451 Asla Her zaman: kaynak yok olmuştur veya erişim politika gereği reddedilmiştir

İki sayaç bunu ölçülebilir kılar: host başına saat başına koda göre başarısızlıklar ve yeniden denemelerin başarılı isteklere oranı. İkincisi yaklaşık beşte birin üzerine çıktığında, birincinin ne söylediğinden bağımsız olarak hız ayarınız yanlıştır.


200 neden bazen başarısızlık anlamına gelir?

Çünkü geçidi geçmek ile veriyi almak farklı olaylardır. Dört durum, içinde faydalı hiçbir şey olmayan bir 200 üretir.

İstemci tarafında oluşturma. HTML bir kabuktur ve veri XHR ile gelir. Çözüm, bir tarayıcı motoru kullanmak ya da daha iyisi, sayfanın kendisinin çağırdığı JSON uç noktasını bulmaktır.

Yumuşak 404. Site 200 durumuyla kullanıcı dostu bir bulunamadı sayfası sunar. Durum kodu yerine bilinen bir öğeyi doğrulayın.

Doğrulama sayfası. İstemciden kendini kanıtlamasını isterken 200 döndüren bir ara sayfa. Bunu durumdan değil, boyuttan ve doğrulama betiğinin varlığından tespit edin.

Coğrafi veya izin duvarı. İçerik yerine çerez başlığı veya ülke geçidi döndüren bir 200; çıkış ülkesinin veri kümenizde yer almasının nedeni budur.

Pratik kural şudur: durum kodunu asla başarı doğrulaması olarak ele almayın. İçeriği doğrulayın, çalıştırma başına satırları sayın ve hata verdiğinde değil, bir kaynak eşikten fazla düştüğünde uyarı verin.


Yalnızca kodları okumanın sınırları nelerdir?

Durum kodları tüm hikâyeyi değil, son sıçramayı açıklar. Bir 200 doğrulama olabilir, bir 403 bot hükmünden çok ülke kuralı olabilir ve bir 502 kendi proxy’nize ait olabilir. Kodları teşhiste ilk sinyal olarak ele alın, ardından gövde boyutu, header’lar ve kontrol isteğiyle doğrulayın.

Kurallar açısından: tekrarlanan bir ret, sitenin verdiği bir karardır ve doğru yanıt buna saygı duymak, robots.txt’yi ve şartları kontrol etmek, mevcut olduğunda resmî bir API’yi tercih etmektir. Kişisel veriler hukuki dayanak hakkında ayrı bir soru doğurur. Bu, hukuki tavsiye değil genel bilgidir; bkz. web scraping yasal mı.

Yakın sorunlar için: 403 triyajı, rotasyon ve oturumlar ve tespit sistemlerinin isteği nasıl puanladığı.


Sıkça Sorulan Sorular

Veri kazımada 403 ne anlama gelir?

Sunucu isteği anladı ve reddetti. Bir crawler için bu, genellikle bozuk bir istekten çok kimlik, itibar veya istek örüntüsü; bazen de basit bir coğrafi kural anlamına gelir. Değişiklik yapmadan yeniden denemek hiçbir sonuç vermez: çıkış adresinden, ardından istemciden, sonra hızdan başlayarak her seferinde bir değişkeni değiştirin.

403 ile 429 arasındaki fark nedir?

429 hızla ilgili bir ifadedir ve genellikle Retry-After header’ı taşır; dolayısıyla çözüm yavaşlamaktır. 403 sizinle ilgili bir ifadedir; dolayısıyla çözüm istemcinizin nasıl göründüğünü değiştirmektir. 403’ü hız sınırı sayıp yalnızca beklemek, crawler’ların hiçbir şey öğrenmeden saatlerce durmasının nedenidir.

Neden 407 alıyorum?

Proxy kimlik bilgileriniz eksik veya hatalı biçimlendirilmiş olduğundan geçit, istek hedefe ulaşmadan önce isteği reddetti. Herhangi bir oturum veya ülke soneki dahil kullanıcı adı biçimini, parolayı ve portun protokolle eşleştiğini kontrol edin. Rotasyon ve yeniden denemeler 407’yi düzeltemez.

500’ü yeniden denemeli miyim?

Geri çekilmeyle bir veya iki kez deneyin, sonra durun ve günlüğe kaydedin. Bir URL’de sürekli görülen 500, genellikle yükünüzün onların tarafındaki bir hatayı tetiklediği anlamına gelir; üzerine gitmek hem yararsız hem de kabalıktır. Aynı anda birçok URL’de 500 görülürse site bir olay yaşıyordur ve tüm iş duraklatılmalıdır.

Neden 200 alıyorum ama veri yok?

Çünkü geçit geçildi ancak içerik gelmedi: sayfa istemci tarafında oluşturuluyor olabilir, site 200 durumuyla yumuşak bir 404 veya doğrulama ara sayfası sunmuş olabilir ya da izin veya coğrafi duvara rastlamış olabilirsiniz. Durum kodu yerine gövdedeki bilinen bir öğeyi doğrulayın ve sessiz bir düşüşün uyarıya dönüşmesi için çalıştırma başına satırları sayın.


Daha az ret, doğru çıkışla başlar

Triyaj hızdan çok kimliğe işaret ettiğinde, DataImpulse residential proxies, 195 ülkede GB başına $1 karşılığında HTTP, HTTPS ve SOCKS5 üzerinden dönen veya sticky, coğrafi olarak doğru çıkışlar sunar. Hesap oluşturun ve ölçeklemeden önce bir hedefi test edin.

İlgili: Veri kazımada 403 Forbidden · web scraping için proxy’ler · web scraping kullanım örneği.

Son güncelleme: 17 Eylül 2026.


Share article: