W tym artykule
Listę kodów statusu HTTP łatwo znaleźć, ale taką napisaną dla osób obsługujących crawlery już nie. Ta strona właśnie tym jest: wyjaśnia, co oznacza każdy kod, gdy otrzymuje go Twój scraper, czy warto próbować ponownie oraz które kody wskazują na własną konfigurację, a nie na cel.
Idea porządkująca jest prosta. Każda odpowiedź mówi Ci, by zrobić dokładnie jedną z czterech rzeczy: kontynuować, poczekać, zmienić tożsamość, pod którą występujesz, albo się zatrzymać. Właściwe przypisanie tych działań w dużej mierze odróżnia crawler działający miesiącami od takiego, który w tydzień wyczerpuje pulę.
Najważniejsze informacje
- Kod statusu to decyzja o trasowaniu, nie wynik. Ponów próbę, zwolnij, zmień tożsamość albo się zatrzymaj: każdy kod odpowiada dokładnie jednemu z tych czterech działań, a ich mylenie powoduje, że crawlery wyczerpują pule adresów.
- 200 nie oznacza sukcesu. Kod 200 z pustym kontenerem danych oznacza, że bramka przepuściła Cię, a strona wyrenderowała się po stronie klienta, więc jest to problem parsowania, a nie dostępu.
- 407 dotyczy Ciebie, 403 ich. 407 oznacza błędne dane uwierzytelniające proxy, a 403, że cel Ci odmówił. W logach wyglądają podobnie, ale wymagają przeciwnych rozwiązań.
- 429 mówi o tempie, 403 o tożsamości. 429 z Retry-After to negocjacja, a 403 z krótkim body to werdykt.
- Nigdy nie ponawiaj prób w ciemno. Ponawianie 404 lub 451 marnuje budżet, a w pulach współdzielonych szkodzi reputacji, od której zależą inne zadania.
Jak scraper powinien odczytywać kody statusu? Zasada triage w 4 etapach
Przed napisaniem jakiegokolwiek kodu obsługi przypisz każdą odpowiedź do jednego z czterech etapów. Nazywamy to zasadą triage w 4 etapach.
| Etap | Kody | Działanie |
|---|---|---|
| 1. Kontynuuj | 200, 201, 204, 206, 301, 302, 304 | Parsuj, podążaj dalej lub pomiń. Nie ma nic do naprawy, choć 200 nadal wymaga kontroli zawartości |
| 2. Poczekaj | 429, 503, 504, 408 | Wydłużaj przerwy z jitterem, przestrzegaj Retry-After, zmniejsz współbieżność. Cel informuje Cię, że tempo jest niewłaściwe |
| 3. Zmień tożsamość | 403, 401, gdy dostęp jest publiczny, 421 | Zdiagnozuj przed działaniem: adres wyjściowy, spójność TLS i headers, środowisko uruchomieniowe. Nie zmieni niczego ponawianie niezmienionego żądania |
| 4. Zatrzymaj się | 400, 404, 405, 410, 451, powtarzające się 403 na tej samej ścieżce | Żądanie jest błędne, zasób nie istnieje lub dostęp został decyzją odrzucony. Zapisz to w logu i przejdź dalej |
Kosztownym błędem jest traktowanie etapu trzeciego jak drugiego. Zablokowana tożsamość ponawiana sto razy to sto kolejnych punktów danych potwierdzających klasyfikację, a w puli współdzielonej pogarsza ona jakość adresów używanych przez inne zadania.
Które kody faktycznie pojawiają się w scrapingu i co oznaczają?
| Kod | Co oznacza dla crawlera | Ponowić próbę? |
|---|---|---|
| 200 OK | Bramka przepuściła. Zawartości może nadal brakować, jeśli strona renderuje się po stronie klienta | Nie, ale sprawdzaj oczekiwane pola |
| 204 No Content | Prawidłowa odpowiedź, nie ma czego parsować. Częste w endpointach śledzących i API | Nie |
| 301 / 302 | Przeniesiono. Łańcuch przekierowań do logowania lub bramki kraju to sygnał, nie szum | Podążaj, ale zapisz w logu końcowy URL |
| 304 Not Modified | Twoje żądanie warunkowe zadziałało, a strona się nie zmieniła. Najtańsza możliwa odpowiedź | Nie, i staraj się uzyskiwać ich więcej |
| 400 Bad Request | Twoje żądanie jest nieprawidłowo sformułowane, często przez uszkodzony query string lub header | Nie, napraw kod |
| 401 Unauthorized | Cel wymaga danych uwierzytelniających. W przypadku publicznych danych zwykle oznacza to, że trafiłeś na ścieżkę z ograniczonym dostępem | Nie |
| 403 Forbidden | Zrozumiano i odmówiono. Tożsamość, reputacja lub wzorzec, a czasem zwykła reguła geograficzna | Nie bez zmian |
| 404 Not Found | Zasób nie istnieje albo występuje soft 404, które zwraca stronę bez danych | Nie |
| 405 Method Not Allowed | Niewłaściwy czasownik, zazwyczaj endpoint POST wywołany przez GET | Nie, napraw kod |
| 407 Proxy Authentication Required | Brakuje danych uwierzytelniających proxy albo są błędne. Nie ma to związku z celem | Nie, napraw konfigurację |
| 408 Request Timeout | Serwer zrezygnował z czekania. Często powolity skok przez proxy | Tak, z backoff |
| 410 Gone | Celowo usunięto. Silniejszy sygnał niż 404 | Nie, usuń go z kolejki |
| 421 Misdirected Request | Połączenie wykorzystane ponownie dla hosta, którego nie obsługuje, spotykane przy łączeniu HTTP/2 przez proxy | Tak, na nowym połączeniu |
| 429 Too Many Requests | Limit tempa. Odczytaj Retry-After, to najbardziej szczery header w scrapingu | Tak, po odczekaniu |
| 451 Unavailable For Legal Reasons | Zablokowano z powodów prawnych lub regulacyjnych, często geograficznych | Nie |
| 500 Internal Server Error | Ich błąd albo błąd wywołany przez Twój payload | Raz lub dwa razy, potem się zatrzymaj |
| 502 / 504 | Błędy bramki. Mogą pochodzić z warstwy brzegowej celu lub z własnego skoku przez proxy | Tak, z backoff |
| 503 Service Unavailable | Przeciążenie albo celowe ograniczanie obciążenia, w tym ograniczanie przez system antybotowy | Tak, powoli |
| 520 to 526 | Specyficzne dla Cloudflare: źródło zwróciło coś nieprawidłowego, wystąpił timeout albo nie powiodło się uzgadnianie TLS ze źródłem | Tak, ale traktuj powtórzenia jako sygnał |
Które kody wskazują na Twoje proxy, a nie na stronę?
Trzy, a mylenie ich z odmowami po stronie celu marnuje dni.
407 Proxy Authentication Required. Bramka odrzuciła Twoje dane uwierzytelniające. Sprawdź format nazwy użytkownika, hasło oraz to, czy przyrostek sesji lub kraju jest poprawnie utworzony. Żadna liczba ponowień ani rotacja nie pomoże, ponieważ żądanie nigdy nie dotarło do celu.
502 i 504 bezpośrednio po zmianie trasy. Błąd bramki, który pojawia się w chwili zmiany wyjścia i znika po powrocie do poprzedniego, zwykle dotyczy skoku, a nie źródła. Przetestuj ten sam URL bezpośrednio i przez drugie wyjście, zanim obwinisz stronę.
421 Misdirected Request. Rzadkie i niemal zawsze wynik ponownego użycia połączenia między hostami przez proxy przy HTTP/2. Wyłącz łączenie połączeń albo przypnij jeden host do każdego połączenia.
Najszybszym sposobem rozdzielenia obu stron jest żądanie kontrolne: pobierz przez to samo wyjście URL, o którym wiesz, że jest stabilny, na przykład usługę echo IP. Jeśli ono także zawiedzie, problem dotyczy Twojej trasy; jeśli się powiedzie, cel Ci odmawia. Nasz przewodnik po błędach 403 Forbidden podczas scrapingu przedstawia pełną sekwencję izolowania problemu.
Jaka polityka ponawiania prób naprawdę działa?
Cztery reguły obejmują niemal każdy przypadek i celowo są nudne.
- Ponawiaj tylko etap drugi i wybrane błędy infrastruktury z etapu czwartego. 429, 503, 504, 408, 500 raz lub dwa razy. Nigdy 400, 404, 405, 410, 451 ani niezmienionego 403.
- Wykładniczy backoff z jitterem, zaczynając od około jednej sekundy i ograniczając do minuty. Bez jittera równoległe workery ponawiają próby w tym samym rytmie i odtwarzają skok, który spowodował limit.
- Dosłownie przestrzegaj Retry-After. Jeśli strona każe Ci czekać trzydzieści sekund, odczekanie pięciu to decyzja o ponownym nałożeniu limitu tempa.
- Użyj circuit breakera dla każdego hosta. Po przekroczeniu progu kolejnych niepowodzeń całkowicie zatrzymaj host na okres schłodzenia, zamiast łagodnie przechodzić w ban.
| Sytuacja | Używaj ponowień, gdy | Unikaj ponawiania, gdy |
|---|---|---|
| 429 z Retry-After | Przestrzegasz podanego opóźnienia i potem zmniejszasz współbieżność | Ponowiłbyś próbę w podanym oknie, co gwarantuje drugi limit |
| 503 lub 504 | Awaria jest przerywana na wielu hostach, co wskazuje na obciążenie | Jeden host zawodzi konsekwentnie: to ograniczanie obciążenia wymierzone w Ciebie |
| 500 | Wystąpił raz na URL, który zwykle działa | Powtarza się dla tego samego payloadu, co oznacza, że Twoje żądanie wywołuje ich błąd |
| 403 | Nigdy bez zmian, tylko po odizolowaniu jednej zmiennej | Zawsze, dopóki nie przetestujesz osobno wyjścia, klienta i tempa |
| 404, 410, 451 | Nigdy | Zawsze: zasób nie istnieje albo dostęp jest politycznie odmawiany |
Dwa liczniki czynią to mierzalnym: niepowodzenia według kodu na host na godzinę oraz stosunek ponowień do udanych żądań. Gdy drugi przekracza mniej więcej jeden na pięć, Twoje tempo jest niewłaściwe niezależnie od tego, co pokazuje pierwszy.
Dlaczego 200 czasem oznacza niepowodzenie?
Ponieważ przejście przez bramkę i otrzymanie danych to różne zdarzenia. Cztery przypadki dają 200 bez niczego użytecznego w środku.
Renderowanie po stronie klienta. HTML jest powłoką, a dane przychodzą przez XHR. Rozwiązaniem jest silnik przeglądarki albo, lepiej, znalezienie endpointu JSON, który wywołuje sama strona.
Soft 404. Strona serwuje przyjazną stronę braku zasobu ze statusem 200. Sprawdzaj znany element, a nie kod statusu.
Strona weryfikacyjna. Interstitial, który zwraca 200, prosząc klienta o potwierdzenie tożsamości. Wykrywaj go po rozmiarze i obecności skryptu weryfikacyjnego, a nie po statusie.
Ściana geograficzna lub zgód. 200, które zamiast zawartości zwraca baner cookie lub bramkę kraju, dlatego kraj wyjścia powinien należeć do Twojego zestawu danych.
Praktyczna zasada: nigdy nie traktuj kodu statusu jako potwierdzenia sukcesu. Sprawdzaj zawartość, licz wiersze na uruchomienie i uruchamiaj alert, gdy źródło spadnie o więcej niż próg, zamiast gdy zwraca błąd.
Jakie są ograniczenia samego odczytywania kodów?
Kody statusu opisują ostatni skok, nie całą historię. 200 może być stroną weryfikacyjną, 403 może wynikać z reguły kraju, a nie z werdyktu bota, a 502 może należeć do Twojego proxy. Traktuj kody jako pierwszy sygnał w diagnozie, a następnie potwierdź go rozmiarem body, headers i żądaniem kontrolnym.
Co do zasad: powtarzająca się odmowa jest decyzją strony, a właściwą odpowiedzią jest jej uszanowanie, sprawdzenie robots.txt i warunków oraz preferowanie oficjalnego API, jeśli istnieje. Dane osobowe rodzą odrębne pytanie o podstawę prawną. To informacja ogólna, a nie porada prawna. Zobacz czy web scraping jest legalny.
W kwestii powiązanych problemów: triage 403, rotacja i sesje oraz jak systemy wykrywania oceniają żądanie.
Najczęściej zadawane pytania
Co oznacza 403 podczas scrapingu?
Serwer zrozumiał żądanie i go odmówił. Dla crawlera zwykle oznacza to tożsamość, reputację lub wzorzec żądania, a nie uszkodzone żądanie, a czasem zwykłą regułę geograficzną. Ponawianie bez zmian nic nie daje: zmieniaj po jednej zmiennej, zaczynając od adresu wyjściowego, potem klienta, a następnie tempa.
Jaka jest różnica między 403 a 429?
429 to komunikat o tempie i zwykle zawiera header Retry-After, więc rozwiązaniem jest zwolnienie. 403 to komunikat o Tobie, więc należy zmienić to, jak wygląda Twój klient. Traktowanie 403 jako limitu tempa i zwykłe czekanie powoduje, że crawlery stoją godzinami, niczego się nie ucząc.
Dlaczego otrzymuję 407?
Brakuje danych uwierzytelniających proxy albo są nieprawidłowe, więc bramka odrzuciła żądanie, zanim dotarło do celu. Sprawdź format nazwy użytkownika, w tym przyrostek sesji lub kraju, hasło oraz to, czy port odpowiada protokołowi. Rotacja i ponowienia nie naprawią 407.
Czy powinienem ponowić próbę po 500?
Raz lub dwa razy z backoff, a potem się zatrzymaj i zapisz to w logu. Utrzymujące się 500 dla jednego URL zwykle oznacza, że Twój payload wywołuje błąd po ich stronie, a zasypywanie go żądaniami jest zarówno bezużyteczne, jak i niegrzeczne. Jeśli 500 pojawiają się naraz dla wielu URL, strona ma incydent i całe zadanie powinno zostać wstrzymane.
Dlaczego otrzymuję 200, ale nie mam danych?
Ponieważ bramka przepuściła, ale zawartość nie dotarła: strona renderuje się po stronie klienta, serwis zwrócił soft 404 albo interstitial weryfikacyjny ze statusem 200, albo trafiłeś na ścianę zgód lub geograficzną. Sprawdzaj znany element w body, a nie kod statusu, i licz wiersze na uruchomienie, aby cichy spadek stał się alertem.
Mniej odmów zaczyna się od właściwego wyjścia
Gdy triage wskazuje na tożsamość, a nie tempo, DataImpulse residential proxies zapewniają dokładne geograficznie wyjścia za $1 za GB w 195 krajach, z rotacją lub sticky session, przez HTTP, HTTPS i SOCKS5. Utwórz konto i przetestuj jeden cel przed skalowaniem.
Powiązane: 403 Forbidden podczas scrapingu · proxy do web scrapingu · zastosowanie web scrapingu.
Ostatnia aktualizacja: 17 września 2026 r.
