HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

Il est facile de trouver une liste de codes d’état HTTP ; il est plus difficile d’en trouver une conçue pour les personnes qui exécutent des crawlers. Cette page est faite pour cela : comprendre ce que signifie chaque code lorsque votre scraper le reçoit, savoir s’il vaut la peine de réessayer et identifier les codes qui renvoient à votre propre configuration plutôt qu’à la cible.

L’idée directrice est simple. Chaque réponse vous indique de faire exactement une chose parmi quatre : continuer, attendre, changer l’identité sous laquelle vous apparaissez ou arrêter. Bien établir cette correspondance fait l’essentiel de la différence entre un crawler qui fonctionne pendant des mois et un autre qui épuise un pool en une semaine.


Points clés

  • Le code d’état est une décision d’orientation, pas un résultat. Réessayer, ralentir, changer d’identité ou arrêter : chaque code correspond exactement à l’une de ces quatre actions, et les confondre explique pourquoi les crawlers épuisent les pools d’adresses.
  • 200 ne signifie pas réussite. Un 200 avec un conteneur de données vide signifie que la porte vous a laissé passer et que la page s’est affichée côté client ; c’est donc un problème d’analyse, pas d’accès.
  • 407 vous concerne, 403 les concerne. 407 signifie que vos identifiants de proxy sont erronés ; 403 signifie que la cible vous a refusé l’accès. Ils se ressemblent dans les journaux et exigent des correctifs opposés.
  • 429 indique le débit, 403 indique l’identité. Un 429 avec Retry-After est une négociation ; un 403 avec un corps court est un verdict.
  • Ne réessayez jamais à l’aveugle. Réessayer un 404 ou un 451 gaspille le budget et, sur des pools partagés, nuit à la réputation dont dépendent d’autres tâches.

Comment un scraper doit-il interpréter les codes d’état ? La règle de triage en 4 étapes

Classez chaque réponse dans l’une de quatre étapes avant d’écrire le moindre code de traitement. Nous l’appelons la règle de triage en 4 étapes.

Étape Codes Action
1. Continuer 200, 201, 204, 206, 301, 302, 304 Analysez, suivez ou ignorez. Rien à corriger, même si 200 exige toujours un contrôle du contenu
2. Attendre 429, 503, 504, 408 Appliquez un délai exponentiel avec gigue, respectez Retry-After, réduisez la concurrence. La cible vous indique que le débit est incorrect
3. Changer d’identité 403, 401 lorsque l’accès est public, 421 Diagnostiquez avant d’agir : adresse de sortie, cohérence TLS et des headers, environnement d’exécution. Réessayer sans rien changer ne sert à rien
4. Arrêter 400, 404, 405, 410, 451, 403 répété sur le même chemin La requête est erronée, la ressource a disparu ou l’accès est refusé par décision. Consignez-le et passez à la suite

L’erreur coûteuse consiste à traiter la troisième étape comme la deuxième. Une identité bloquée réessayée cent fois fournit cent points de données supplémentaires qui confirment cette classification et, sur un pool partagé, dégrade les adresses utilisées par d’autres tâches.


Quels codes apparaissent réellement en web scraping et que signifient-ils ?

Code Ce qu’il signifie pour un crawler Réessayer ?
200 OK La porte est franchie. Le contenu peut toutefois manquer si la page s’affiche côté client Non, mais vérifiez la présence des champs attendus
204 No Content Réponse valide, rien à analyser. Fréquent sur les endpoints de suivi et d’API Non
301 / 302 Déplacé. Une chaîne de redirections vers une connexion ou une passerelle de pays est un signal, pas du bruit Suivez-la, mais consignez l’URL finale
304 Not Modified Votre requête conditionnelle a fonctionné et la page n’a pas changé. La réponse la moins coûteuse possible Non, et visez-en davantage
400 Bad Request Votre requête est malformée, souvent à cause d’une chaîne de requête ou d’un header défectueux Non, corrigez le code
401 Unauthorized La cible exige des identifiants. Sur des données publiques, cela signifie généralement que vous avez atteint un chemin protégé Non
403 Forbidden Compris et refusé. Identité, réputation ou schéma, et parfois une simple règle géographique Pas sans modification
404 Not Found Ressource disparue, ou 404 souple qui renvoie une page sans données Non
405 Method Not Allowed Mauvais verbe, généralement un endpoint POST appelé avec GET Non, corrigez le code
407 Proxy Authentication Required Vos identifiants de proxy sont absents ou erronés. Cela n’a rien à voir avec la cible Non, corrigez la configuration
408 Request Timeout Le serveur a renoncé à attendre. Souvent un saut de proxy lent Oui, avec délai exponentiel
410 Gone Supprimée délibérément. Plus catégorique qu’un 404 Non, et retirez-la de la file
421 Misdirected Request Connexion réutilisée pour un hôte qu’elle ne dessert pas, observé avec la coalescence HTTP/2 via des proxies Oui, sur une nouvelle connexion
429 Too Many Requests Limite de débit. Lisez Retry-After ; c’est le header le plus honnête en web scraping Oui, après avoir attendu
451 Unavailable For Legal Reasons Bloqué pour des raisons juridiques ou réglementaires, souvent géographiques Non
500 Internal Server Error Leur bogue, ou votre charge utile en a déclenché un Une ou deux fois, puis arrêtez
502 / 504 Erreurs de passerelle. Elles peuvent venir de la périphérie de la cible ou de votre propre saut de proxy Oui, avec délai exponentiel
503 Service Unavailable Surchargé ou délestage délibéré, y compris le délestage anti-bot Oui, lentement
520 to 526 Spécifiques à Cloudflare : l’origine a renvoyé quelque chose d’invalide, a expiré ou le handshake TLS avec l’origine a échoué Oui, mais considérez les répétitions comme un signal

Quels codes renvoient à votre proxy plutôt qu’au site ?

Trois, et les confondre avec des refus côté cible fait perdre des jours.

407 Proxy Authentication Required. La passerelle a rejeté vos identifiants. Vérifiez le format du nom d’utilisateur, le mot de passe et si le suffixe de session ou de pays est correctement formé. Réessayer ou effectuer une rotation n’aide en rien, car la requête n’a jamais atteint la cible.

502 et 504 juste après un changement de route. Une erreur de passerelle qui apparaît dès que vous changez de sortie et disparaît lorsque vous revenez en arrière vient généralement du saut plutôt que de l’origine. Testez la même URL directement et via une deuxième sortie avant d’accuser le site.

421 Misdirected Request. Rare, et presque toujours causée par une réutilisation de connexion entre hôtes via un proxy sous HTTP/2. Désactivez la coalescence de connexions ou attribuez un hôte par connexion.

La manière la plus rapide de distinguer les deux côtés est une requête de contrôle : récupérez, via la même sortie, une URL dont vous savez qu’elle est stable, par exemple un service d’écho IP. Si elle échoue aussi, le problème est votre route ; si elle réussit, la cible vous refuse l’accès. Notre guide sur les erreurs 403 Forbidden lors du web scraping présente toute la séquence d’isolement.


Quelle politique de nouvelle tentative fonctionne réellement ?

Quatre règles couvrent presque tous les cas, et elles sont volontairement simples.

  • Ne réessayez que les étapes deux et certaines erreurs d’infrastructure de l’étape quatre. 429, 503, 504, 408, 500 une ou deux fois. Jamais 400, 404, 405, 410, 451, ni un 403 inchangé.
  • Délai exponentiel avec gigue, en commençant à environ une seconde et en plafonnant à une minute. Sans gigue, les workers parallèles réessaient au même rythme et reproduisent le pic qui a provoqué la limite.
  • Respectez Retry-After à la lettre. Si un site vous demande d’attendre trente secondes, attendre cinq secondes revient à décider d’être à nouveau limité.
  • Utilisez un coupe-circuit par hôte. Après un seuil d’échecs consécutifs, arrêtez entièrement l’hôte pendant une fenêtre de refroidissement plutôt que de vous dégrader progressivement jusqu’au bannissement.
Situation Utilisez des tentatives lorsque Évitez de réessayer lorsque
429 avec Retry-After Vous respectez le délai indiqué et réduisez ensuite la concurrence Vous réessaieriez pendant la fenêtre indiquée, ce qui garantit une deuxième limite
503 ou 504 L’échec est intermittent sur de nombreux hôtes, ce qui suggère une charge Un hôte échoue systématiquement : c’est un délestage qui vous cible
500 Cela s’est produit une fois sur une URL qui fonctionne habituellement Le problème se répète avec la même charge utile, ce qui signifie que votre requête déclenche leur bogue
403 Jamais sans modification ; seulement après avoir isolé une variable Toujours, jusqu’à ce que vous ayez testé séparément la sortie, le client et le rythme
404, 410, 451 Jamais Toujours : la ressource a disparu ou l’accès est refusé par politique

Deux compteurs permettent de le mesurer : les échecs par code, par hôte et par heure, ainsi que le ratio entre nouvelles tentatives et requêtes réussies. Lorsque le second dépasse environ un sur cinq, votre rythme est mauvais, quoi qu’indique le premier.


Pourquoi un 200 signifie-t-il parfois un échec ?

Parce que franchir la porte et obtenir les données sont deux événements différents. Quatre cas produisent un 200 sans rien d’utile.

Rendu côté client. Le HTML est une coquille et les données arrivent par XHR. La solution est soit un moteur de navigateur, soit, mieux encore, de trouver l’endpoint JSON appelé par la page elle-même.

404 souple. Le site sert une page conviviale de ressource introuvable avec un statut 200. Vérifiez un élément connu plutôt que le code d’état.

Page de challenge. Une page intermédiaire qui renvoie 200 tout en demandant au client de prouver son identité. Détectez-la par sa taille et par la présence d’un script de challenge, non par son statut.

Barrière géographique ou de consentement. Un 200 qui renvoie une bannière de cookies ou une porte pays au lieu du contenu, d’où l’importance du pays de sortie dans votre jeu de données.

La règle pratique : ne considérez jamais un code d’état comme une affirmation de succès. Vérifiez le contenu, comptez les lignes à chaque exécution et déclenchez une alerte lorsqu’une source baisse de plus d’un seuil plutôt que lorsqu’elle renvoie une erreur.


Quelles sont les limites d’une lecture des seuls codes ?

Les codes d’état décrivent le dernier saut, pas toute l’histoire. Un 200 peut être un challenge, un 403 peut être une règle de pays plutôt qu’un verdict anti-bot, et un 502 peut relever de votre propre proxy. Considérez les codes comme le premier signal du diagnostic, puis confirmez avec la taille du corps, les headers et une requête de contrôle.

Concernant les règles : un refus répété est une décision du site, et la bonne réponse consiste à le respecter, à vérifier robots.txt et les conditions, et à privilégier une API officielle lorsqu’il en existe une. Les données personnelles soulèvent une question distincte de base juridique. Il s’agit d’informations générales et non d’un avis juridique ; consultez la légalité du web scraping.

Pour les problèmes connexes : triage des 403, rotation et sessions, et comment les systèmes de détection évaluent une requête.


Questions fréquentes

Que signifie 403 en web scraping ?

Le serveur a compris la requête et l’a refusée. Pour un crawler, cela signifie généralement l’identité, la réputation ou le schéma de requête plutôt qu’une requête défectueuse, et parfois une simple règle géographique. Réessayer sans modification ne sert à rien : changez une variable à la fois, en commençant par l’adresse de sortie, puis le client, puis le rythme.

Quelle est la différence entre 403 et 429 ?

Un 429 est une indication sur le débit et comporte généralement un header Retry-After ; il faut donc ralentir. Un 403 est une indication sur vous ; il faut donc changer l’apparence de votre client. Traiter un 403 comme une limite de débit et simplement attendre explique pourquoi les crawlers stagnent pendant des heures sans rien apprendre.

Pourquoi reçois-je un 407 ?

Vos identifiants de proxy sont absents ou malformés ; la passerelle a donc rejeté la requête avant qu’elle atteigne la cible. Vérifiez le format du nom d’utilisateur, y compris tout suffixe de session ou de pays, le mot de passe, ainsi que l’adéquation entre le port et le protocole. La rotation et les nouvelles tentatives ne peuvent pas corriger un 407.

Dois-je réessayer un 500 ?

Une ou deux fois avec un délai exponentiel, puis arrêtez et consignez-le. Un 500 persistant sur une URL signifie généralement que votre charge utile déclenche un bogue de leur côté, et s’acharner est à la fois inutile et impoli. Si des 500 apparaissent simultanément sur de nombreuses URL, le site subit un incident et toute la tâche doit être suspendue.

Pourquoi ai-je un 200 sans données ?

Parce que la porte a été franchie mais que le contenu n’est pas arrivé : la page s’affiche côté client, le site a servi un 404 souple ou une page intermédiaire de challenge avec un statut 200, ou vous avez rencontré une barrière de consentement ou géographique. Vérifiez un élément connu dans le corps plutôt que le code d’état et comptez les lignes à chaque exécution afin qu’une baisse silencieuse devienne une alerte.


Moins de refus commencent par la bonne sortie

Lorsque le triage pointe vers l’identité plutôt que le rythme, les proxies residentiels DataImpulse offrent des sorties géographiquement précises à $1 par GB dans 195 pays, en rotation ou sticky, via HTTP, HTTPS et SOCKS5. Créez un compte et testez une cible avant de passer à l’échelle.

Articles associés : 403 Forbidden en web scraping · proxies pour le web scraping · cas d’utilisation du web scraping.

Dernière mise à jour : 17 septembre 2026.


Share article: