In diesem Artikel
Eine Liste mit HTTP-Statuscodes ist leicht zu finden. Eine für Menschen, die Crawler betreiben, dagegen nicht. Diese Seite schließt diese Lücke: Was jeder Code bedeutet, wenn dein Scraper ihn erhält, ob sich ein erneuter Versuch lohnt und welche Codes auf deine eigene Konfiguration statt auf das Ziel hinweisen.
Die Grundidee ist einfach. Jede Antwort sagt dir, genau eines von vier Dingen zu tun: weitermachen, warten, ändern, als wer du erscheinst, oder anhalten. Diese Zuordnung richtig zu treffen, macht den Großteil des Unterschieds zwischen einem Crawler aus, der monatelang läuft, und einem, der einen Pool innerhalb einer Woche aufbraucht.
Wichtige Fakten
- Der Statuscode ist eine Routing-Entscheidung, kein Ergebnis. Erneut versuchen, zurückfahren, Identität ändern oder stoppen: Jeder Code gehört genau zu einer dieser vier Optionen. Sie zu verwechseln ist der Grund, warum Crawler Adresspools aufbrauchen.
- 200 bedeutet nicht Erfolg. Eine 200 mit einem leeren Datencontainer bedeutet, dass dich die Schranke durchgelassen hat und die Seite clientseitig gerendert wurde. Das ist ein Parsing- und kein Zugriffsproblem.
- 407 ist dein Problem, 403 ihres. 407 bedeutet, dass deine Proxy-Zugangsdaten falsch sind; 403 bedeutet, dass das Ziel dich abgelehnt hat. In Logs sehen sie ähnlich aus und erfordern gegensätzliche Lösungen.
- 429 betrifft die Rate, 403 die Identität. Eine 429 mit Retry-After ist eine Verhandlung; eine 403 mit einem kurzen Body ist ein Urteil.
- Versuche es nie blind erneut. Ein erneuter Versuch bei 404 oder 451 verschwendet Budget und schadet in gemeinsam genutzten Pools der Reputation, auf die andere Jobs angewiesen sind.
Wie sollte ein Scraper Statuscodes lesen? Die 4-stufige Triage-Regel
Ordne jede Antwort einer von vier Stufen zu, bevor du Code für die Behandlung schreibst. Wir nennen dies die 4-stufige Triage-Regel.
| Stufe | Codes | Aktion |
|---|---|---|
| 1. Fortfahren | 200, 201, 204, 206, 301, 302, 304 | Parsen, folgen oder überspringen. Nichts zu beheben, obwohl 200 weiterhin eine Inhaltsprüfung braucht |
| 2. Warten | 429, 503, 504, 408 | Mit Jitter zurückfahren, Retry-After beachten, Parallelität reduzieren. Das Ziel sagt dir, dass die Rate falsch ist |
| 3. Identität ändern | 403, 401 bei öffentlichen Zugängen, 421 | Vor dem Handeln diagnostizieren: Exit-Adresse, TLS- und Header-Kohärenz, Laufzeitumgebung. Ein unveränderter erneuter Versuch bringt nichts |
| 4. Stoppen | 400, 404, 405, 410, 451, wiederholte 403 auf demselben Pfad | Die Anfrage ist falsch, die Ressource ist weg oder der Zugriff wird grundsätzlich verweigert. Protokolliere es und fahre fort |
Der kostspielige Fehler besteht darin, Stufe drei wie Stufe zwei zu behandeln. Eine blockierte Identität, die hundertmal erneut versucht wird, liefert hundert weitere Datenpunkte zur Bestätigung der Klassifizierung. In einem gemeinsam genutzten Pool verschlechtert das Adressen, die andere Jobs verwenden.
Welche Codes treten beim Scraping tatsächlich auf und was bedeuten sie?
| Code | Was er für einen Crawler bedeutet | Erneut versuchen? |
|---|---|---|
| 200 OK | Die Schranke hat durchgelassen. Inhalt kann dennoch fehlen, wenn die Seite clientseitig rendert | Nein, aber erwartete Felder prüfen |
| 204 Kein Inhalt | Gültige Antwort, nichts zu parsen. Häufig bei Tracking- und API-Endpunkten | Nein |
| 301 / 302 | Verschoben. Eine Weiterleitungskette zu einem Login oder einem Länder-Gateway ist ein Signal, kein Rauschen | Folgen, aber die endgültige URL protokollieren |
| 304 Nicht geändert | Deine bedingte Anfrage hat funktioniert und die Seite hat sich nicht geändert. Die günstigste mögliche Antwort | Nein, und strebe mehr davon an |
| 400 Fehlerhafte Anfrage | Deine Anfrage ist fehlerhaft, oft wegen eines kaputten Query-Strings oder Headers | Nein, Code korrigieren |
| 401 Nicht autorisiert | Das Ziel verlangt Zugangsdaten. Bei öffentlichen Daten bedeutet das normalerweise, dass du einen abgeschirmten Pfad aufgerufen hast | Nein |
| 403 Verboten | Verstanden und abgelehnt. Identität, Reputation oder Muster und manchmal schlicht eine Geo-Regel | Nicht unverändert |
| 404 Nicht gefunden | Ressource weg oder ein Soft-404, der eine Seite ohne Daten zurückgibt | Nein |
| 405 Methode nicht erlaubt | Falsches Verb, typischerweise ein POST-Endpunkt, der mit GET aufgerufen wurde | Nein, Code korrigieren |
| 407 Proxy-Authentifizierung erforderlich | Deine Proxy-Zugangsdaten fehlen oder sind falsch. Hat nichts mit dem Ziel zu tun | Nein, Konfiguration korrigieren |
| 408 Anfrage-Timeout | Der Server hat das Warten aufgegeben. Häufig ein langsamer Proxy-Hop | Ja, mit Backoff |
| 410 Nicht mehr verfügbar | Absichtlich entfernt. Stärker als eine 404 | Nein, aus der Warteschlange entfernen |
| 421 Fehlgeleitete Anfrage | Verbindung für einen Host wiederverwendet, den sie nicht bedient; tritt bei HTTP/2-Coalescing über Proxys auf | Ja, über eine neue Verbindung |
| 429 Zu viele Anfragen | Ratenlimit. Lies Retry-After; es ist der ehrlichste Header beim Scraping | Ja, nach dem Warten |
| 451 Aus rechtlichen Gründen nicht verfügbar | Aus rechtlichen oder regulatorischen Gründen blockiert, oft geografisch | Nein |
| 500 Interner Serverfehler | Ihr Fehler oder deine Payload hat einen ausgelöst | Ein- oder zweimal, dann stoppen |
| 502 / 504 | Gateway-Fehler. Können vom Edge des Ziels oder von deinem eigenen Proxy-Hop stammen | Ja, mit Backoff |
| 503 Dienst nicht verfügbar | Überlastet oder absichtlich Last abwerfend, einschließlich Anti-Bot-Lastabwurf | Ja, langsam |
| 520 bis 526 | Cloudflare-spezifisch: Der Ursprung gab etwas Ungültiges zurück, lief in ein Timeout oder der TLS-Handshake mit dem Ursprung schlug fehl | Ja, aber Wiederholungen als Signal behandeln |
Welche Codes weisen auf deinen Proxy statt auf die Website hin?
Drei, und sie mit zielseitigen Ablehnungen zu verwechseln, verschwendet Tage.
407 Proxy Authentication Required. Das Gateway hat deine Zugangsdaten abgelehnt. Prüfe das Format des Benutzernamens, das Passwort und ob dein Sitzungs- oder Ländersuffix korrekt gebildet ist. Kein noch so häufiges Wiederholen oder Rotieren hilft, denn die Anfrage hat das Ziel nie erreicht.
502 und 504 direkt nach einer Routenänderung. Ein Gateway-Fehler, der in dem Moment erscheint, in dem du Exits wechselst, und verschwindet, wenn du zurückwechselst, ist normalerweise der Hop und nicht der Ursprung. Teste dieselbe URL direkt und über einen zweiten Exit, bevor du der Website die Schuld gibst.
421 Misdirected Request. Selten und fast immer Wiederverwendung einer Verbindung über Hosts hinweg durch einen Proxy unter HTTP/2. Deaktiviere Connection-Coalescing oder binde einen Host pro Verbindung fest.
Der schnellste Weg, die beiden Seiten zu trennen, ist eine Kontrollanfrage: Rufe über denselben Exit eine URL ab, die nachweislich stabil ist, etwa einen IP-Echo-Dienst. Wenn auch das fehlschlägt, liegt das Problem an deiner Route; wenn es gelingt, lehnt dich das Ziel ab. Unser Leitfaden zu 403-Forbidden-Fehlern beim Scraping erläutert die vollständige Isolationsabfolge.
Welche Wiederholungsrichtlinie funktioniert tatsächlich?
Vier Regeln decken fast jeden Fall ab, und sie sind absichtlich langweilig.
- Wiederhole nur Stufe zwei und ausgewählte Infrastrukturfehler der Stufe vier. 429, 503, 504, 408, 500 ein- oder zweimal. Niemals 400, 404, 405, 410, 451 und niemals eine unveränderte 403.
- Exponentieller Backoff mit Jitter, beginnend bei etwa einer Sekunde und begrenzt auf eine Minute. Ohne Jitter wiederholen parallele Worker im Gleichschritt und erzeugen erneut den Burst, der das Limit ausgelöst hat.
- Beachte Retry-After wörtlich. Wenn eine Website dir sagt, dass du dreißig Sekunden warten sollst, ist nach fünf Sekunden weiterzumachen die Entscheidung, wieder ratenbegrenzt zu werden.
- Nutze einen Circuit Breaker pro Host. Stoppe den Host nach einem Schwellenwert aufeinanderfolgender Fehler während eines Abkühlfensters vollständig, statt sanft in eine Sperre abzugleiten.
| Situation | Wiederholungen verwenden, wenn | Wiederholungen vermeiden, wenn |
|---|---|---|
| 429 mit Retry-After | Du die angegebene Verzögerung einhältst und danach die Parallelität senkst | Du innerhalb des angegebenen Fensters erneut versuchen würdest, was ein zweites Limit garantiert |
| 503 oder 504 | Der Fehler über viele Hosts hinweg sporadisch auftritt, was auf Last hindeutet | Ein Host konsistent fehlschlägt: Das ist ein gegen dich gerichteter Lastabwurf |
| 500 | Es ist einmal bei einer URL passiert, die normalerweise funktioniert | Es wiederholt sich bei derselben Payload, was bedeutet, dass deine Anfrage ihren Fehler auslöst |
| 403 | Niemals unverändert, nur nachdem eine Variable isoliert wurde | Immer, bis du Exit, Client und Tempo getrennt getestet hast |
| 404, 410, 451 | Niemals | Immer: Die Ressource ist weg oder der Zugriff wird grundsätzlich verweigert |
Zwei Zähler machen dies messbar: Fehler nach Code pro Host und Stunde sowie das Verhältnis von Wiederholungen zu erfolgreichen Anfragen. Steigt der zweite auf mehr als ungefähr eins zu fünf, ist dein Tempo falsch, unabhängig davon, was der erste sagt.
Warum bedeutet eine 200 manchmal einen Fehler?
Weil die Schranke zu passieren und die Daten zu erhalten unterschiedliche Ereignisse sind. Vier Fälle erzeugen eine 200 ohne etwas Nützliches darin.
Clientseitiges Rendering. Das HTML ist eine Hülle und die Daten treffen per XHR ein. Die Lösung ist entweder eine Browser-Engine oder, besser, den JSON-Endpunkt zu finden, den die Seite selbst aufruft.
Soft-404. Die Website liefert eine freundliche Nicht-gefunden-Seite mit Status 200. Prüfe ein bekanntes Element statt den Statuscode.
Challenge-Seite. Eine Zwischenseite, die 200 zurückgibt und den Client zugleich auffordert, sich zu beweisen. Erkenne sie an Größe und am Vorhandensein eines Challenge-Skripts, nicht am Status.
Geo- oder Consent-Schranke. Eine 200, die statt des Inhalts ein Cookie-Banner oder ein Länder-Gateway zurückgibt. Deshalb gehört das Exit-Land in deinen Datensatz.
Die praktische Regel: Behandle einen Statuscode nie als Erfolgskriterium. Prüfe den Inhalt, zähle Zeilen pro Durchlauf und warne, wenn eine Quelle um mehr als einen Schwellenwert sinkt, statt wenn sie einen Fehler meldet.
Wo liegen die Grenzen, wenn man nur Codes liest?
Statuscodes beschreiben den letzten Hop, nicht die ganze Geschichte. Eine 200 kann eine Challenge sein, eine 403 kann eine Länderregel statt eines Bot-Urteils sein und eine 502 kann zu deinem eigenen Proxy gehören. Behandle Codes als erstes Signal einer Diagnose und bestätige sie dann mit Body-Größe, Headers und einer Kontrollanfrage.
Zu den Regeln: Eine wiederholte Ablehnung ist eine Entscheidung der Website. Die richtige Reaktion ist, sie zu respektieren, robots.txt und die Bedingungen zu prüfen und eine offizielle API zu bevorzugen, sofern es eine gibt. Personenbezogene Daten werfen eine eigene Frage zur rechtmäßigen Grundlage auf. Dies sind allgemeine Informationen und keine Rechtsberatung; siehe ist Web Scraping legal.
Zu den angrenzenden Problemen: 403-Triage, Rotation und Sitzungen und wie Erkennungssysteme eine Anfrage bewerten.
Häufig gestellte Fragen
Was bedeutet 403 beim Scraping?
Der Server hat die Anfrage verstanden und abgelehnt. Für einen Crawler bedeutet das normalerweise Identität, Reputation oder Anfragemuster statt einer fehlerhaften Anfrage und manchmal schlicht eine geografische Regel. Ein unveränderter erneuter Versuch bringt nichts: Ändere jeweils nur eine Variable, beginnend mit der Exit-Adresse, dann dem Client, dann dem Tempo.
Was ist der Unterschied zwischen 403 und 429?
Eine 429 ist eine Aussage über die Rate und enthält normalerweise einen Retry-After-Header, daher musst du langsamer werden. Eine 403 ist eine Aussage über dich, daher musst du ändern, wie dein Client aussieht. Eine 403 wie ein Ratenlimit zu behandeln und einfach zu warten, ist der Grund, warum Crawler stundenlang ohne Erkenntnis stillstehen.
Warum erhalte ich 407?
Deine Proxy-Zugangsdaten fehlen oder sind fehlerhaft, daher hat das Gateway die Anfrage abgelehnt, bevor sie das Ziel erreichte. Prüfe das Benutzernamenformat einschließlich eines Sitzungs- oder Ländersuffixes, das Passwort und ob der Port zum Protokoll passt. Rotation und Wiederholungen können eine 407 nicht beheben.
Sollte ich eine 500 erneut versuchen?
Ein- oder zweimal mit Backoff, dann stoppen und protokollieren. Eine anhaltende 500 bei einer URL bedeutet normalerweise, dass deine Payload auf ihrer Seite einen Fehler auslöst. Darauf einzuhämmern ist sowohl nutzlos als auch unhöflich. Wenn 500er gleichzeitig bei vielen URLs auftreten, hat die Website einen Vorfall und der gesamte Job sollte pausieren.
Warum erhalte ich 200, aber keine Daten?
Weil die Schranke passiert wurde, der Inhalt aber nicht eingetroffen ist: Die Seite rendert clientseitig, die Website lieferte einen Soft-404 oder eine Challenge-Zwischenseite mit Status 200, oder du bist auf eine Consent- oder Geo-Schranke gestoßen. Prüfe ein bekanntes Element im Body statt den Statuscode und zähle Zeilen pro Durchlauf, damit ein stiller Rückgang zu einer Warnung wird.
Weniger Ablehnungen beginnen mit dem richtigen Exit
Wenn die Triage auf die Identität statt auf das Tempo verweist, bieten DataImpulse Residential Proxys geogenau passende Exits für $1 pro GB in 195 Ländern, rotierend oder sticky, über HTTP, HTTPS und SOCKS5. Erstelle ein Konto und teste ein Ziel, bevor du skalierst.
Verwandt: 403 Forbidden beim Scraping · Proxys für Web Scraping · Web-Scraping-Anwendungsfall.
Zuletzt aktualisiert: 17. September 2026.
