HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

Un elenco di codici di stato HTTP è facile da trovare, ma uno pensato per chi esegue crawler no. Questa pagina spiega cosa significa ogni codice quando il tuo scraper lo riceve, se vale la pena ritentare e quali codici indicano la tua configurazione anziché il target.

L’idea organizzativa è semplice. Ogni risposta ti dice di fare esattamente una di quattro cose: continuare, aspettare, cambiare identità apparente o fermarti. Interpretare correttamente questa mappatura è ciò che distingue in gran parte un crawler che funziona per mesi da uno che esaurisce un pool in una settimana.


Punti chiave

  • Il codice di stato è una decisione di instradamento, non un risultato. Ritentare, rallentare, cambiare identità o fermarsi: ogni codice corrisponde esattamente a una di queste quattro azioni e confonderle è il motivo per cui i crawler esauriscono i pool di indirizzi.
  • 200 non significa successo. Un 200 con un contenitore dati vuoto significa che il controllo ti ha lasciato passare e la pagina è stata renderizzata lato client: è un problema di parsing, non di accesso.
  • 407 è tuo, 403 è loro. 407 significa che le credenziali del tuo proxy sono errate; 403 significa che il target ti ha rifiutato. Nei log sembrano simili, ma richiedono correzioni opposte.
  • 429 indica il ritmo, 403 l’identità. Un 429 con Retry-After è una negoziazione; un 403 con un body breve è un verdetto.
  • Non ritentare mai alla cieca. Ritentare un 404 o un 451 spreca budget e, nei pool condivisi, danneggia la reputazione da cui dipendono altri job.

Come deve interpretare i codici di stato uno scraper? La regola di triage in 4 fasi

Classifica ogni risposta in una delle quattro fasi prima di scrivere codice di gestione. La chiamiamo regola di triage in 4 fasi.

Fase Codici Azione
1. Procedi 200, 201, 204, 206, 301, 302, 304 Analizza, segui o salta. Non c’è nulla da correggere, anche se 200 richiede comunque un controllo dei contenuti
2. Attendi 429, 503, 504, 408 Rallenta con jitter, rispetta Retry-After, riduci la concorrenza. Il target ti sta dicendo che il ritmo è sbagliato
3. Cambia identità 403, 401 dove l’accesso è pubblico, 421 Fai una diagnosi prima di agire: indirizzo di uscita, coerenza di TLS e header, runtime. Ritentare senza modifiche non serve a nulla
4. Fermati 400, 404, 405, 410, 451, 403 ripetuto sullo stesso percorso La richiesta è errata, la risorsa non esiste più oppure l’accesso è rifiutato per decisione. Registralo e vai avanti

L’errore costoso è trattare la fase tre come la fase due. Un’identità bloccata ritentata cento volte produce altri cento dati che confermano la classificazione e, su un pool condiviso, peggiora gli indirizzi usati da altri job.


Quali codici compaiono davvero nel web scraping e cosa significano?

Codice Cosa significa per un crawler Ritentare?
200 OK Il controllo è stato superato. Il contenuto può comunque mancare se la pagina viene renderizzata lato client No, ma verifica i campi previsti
204 Nessun contenuto Risposta valida, nulla da analizzare. Comune negli endpoint di tracking e API No
301 / 302 Spostato. Una catena di redirect verso un login o un gateway nazionale è un segnale, non rumore Segui, ma registra l’URL finale
304 Non modificato La tua richiesta condizionale ha funzionato e la pagina non è cambiata. È la risposta meno costosa possibile No, e punta ad averne di più
400 Richiesta errata La tua richiesta è malformata, spesso per una query string o un header errato No, correggi il codice
401 Non autorizzato Il target richiede credenziali. Con dati pubblici, di solito significa che hai raggiunto un percorso protetto No
403 Vietato Compresa e rifiutata. Identità, reputazione o pattern e, talvolta, una semplice regola geografica Non senza modifiche
404 Non trovato Risorsa non disponibile, oppure un soft 404 che restituisce una pagina senza dati No
405 Metodo non consentito Verbo errato, in genere un endpoint POST raggiunto con GET No, correggi il codice
407 Autenticazione proxy richiesta Le credenziali del tuo proxy mancano o sono errate. Non ha nulla a che fare con il target No, correggi la configurazione
408 Timeout della richiesta Il server ha smesso di attendere. Spesso è un hop proxy lento Sì, con backoff
410 Non disponibile Rimossa deliberatamente. Più definitivo di un 404 No, e rimuovila dalla coda
421 Richiesta indirizzata erroneamente Connessione riutilizzata per un host che non serve, riscontrata con il coalescing HTTP/2 tramite proxy Sì, su una nuova connessione
429 Troppe richieste Limite di frequenza. Leggi Retry-After: è l’header più sincero nel web scraping Sì, dopo aver atteso
451 Non disponibile per motivi legali Bloccato per motivi legali o normativi, spesso geografici No
500 Errore interno del server Un loro bug, oppure il tuo payload ne ha attivato uno Una o due volte, poi fermati
502 / 504 Errori del gateway. Possono provenire dall’edge del target o dal tuo hop proxy Sì, con backoff
503 Servizio non disponibile Sovraccarico o riduzione deliberata del carico, inclusa quella anti-bot Sì, lentamente
da 520 a 526 Specifico di Cloudflare: l’origin ha restituito qualcosa di non valido, è scaduto il timeout oppure l’handshake TLS con l’origin non è riuscito Sì, ma considera le ripetizioni un segnale

Quali codici indicano il tuo proxy anziché il sito?

Tre, e confonderli con rifiuti dal lato del target fa perdere giorni.

407 Autenticazione proxy richiesta. Il gateway ha rifiutato le tue credenziali. Controlla il formato del nome utente, la password e che il suffisso della sessione o del Paese sia corretto. Nessuna quantità di tentativi o rotazioni aiuta, perché la richiesta non ha mai raggiunto il target.

502 e 504 subito dopo una modifica del percorso. Un errore del gateway che appare non appena cambi uscita e scompare quando torni indietro riguarda di solito l’hop anziché l’origin. Prova lo stesso URL direttamente e tramite una seconda uscita prima di attribuire la colpa al sito.

421 Richiesta indirizzata erroneamente. Raro e quasi sempre dovuto al riutilizzo della connessione tra host attraverso un proxy con HTTP/2. Disabilita il coalescing delle connessioni o fissa un host per connessione.

Il modo più rapido per separare i due lati è una richiesta di controllo: recupera tramite la stessa uscita un URL che sai essere stabile, come un servizio echo IP. Se fallisce anch’essa, il problema è il tuo percorso; se riesce, il target ti sta rifiutando. La nostra guida agli 403 Vietato errors when scraping illustra l’intera sequenza di isolamento.


Quale politica di tentativi funziona davvero?

Quattro regole coprono quasi tutti i casi e sono volutamente semplici.

  • Ritenta solo la fase due e alcuni errori infrastrutturali della fase quattro. 429, 503, 504, 408, 500 una o due volte. Mai 400, 404, 405, 410, 451 e mai un 403 senza modifiche.
  • Backoff esponenziale con jitter, partendo da circa un secondo e con un massimo di un minuto. Senza jitter, i worker paralleli ritentano all’unisono e riproducono il picco che ha causato il limite.
  • Rispetta Retry-After alla lettera. Se un sito ti dice di attendere trenta secondi, aspettarne cinque significa scegliere di subire di nuovo il limite di frequenza.
  • Usa un circuit breaker per host. Dopo una soglia di errori consecutivi, interrompi completamente l’host per una finestra di raffreddamento anziché degradare gradualmente fino a un ban.
Situazione Ritenta quando Evita di ritentare quando
429 con Retry-After Rispetti il ritardo indicato e riduci poi la concorrenza Ritentaresti entro la finestra indicata, garantendo un secondo limite
503 o 504 L’errore è intermittente su molti host, suggerendo un problema di carico Un host fallisce costantemente: è una riduzione del carico rivolta a te
500 È accaduto una volta su un URL che di solito funziona Si ripete con lo stesso payload, il che significa che la tua richiesta attiva il loro bug
403 Mai senza modifiche, solo dopo aver isolato una variabile Sempre, finché non avrai testato separatamente uscita, client e ritmo
404, 410, 451 Mai Sempre: la risorsa non esiste più o l’accesso è rifiutato per policy

Due contatori rendono tutto misurabile: errori per codice, host e ora, e rapporto tra tentativi e richieste riuscite. Quando il secondo supera circa uno su cinque, il tuo ritmo è errato indipendentemente da ciò che indica il primo.


Perché un 200 a volte significa errore?

Perché superare il controllo e ottenere i dati sono eventi diversi. Quattro casi producono un 200 senza nulla di utile.

Rendering lato client. L’HTML è un guscio e i dati arrivano tramite XHR. La soluzione è un motore browser oppure, meglio ancora, trovare l’endpoint JSON chiamato dalla pagina stessa.

Soft 404. Il sito serve una pagina di mancato ritrovamento amichevole con stato 200. Verifica un elemento noto anziché il codice di stato.

Pagina di challenge. Un interstitial che restituisce 200 mentre chiede al client di dimostrare la propria identità. Rilevalo dalla dimensione e dalla presenza di uno script di challenge, non dallo stato.

Barriera geografica o di consenso. Un 200 che restituisce un banner dei cookie o un controllo del Paese anziché il contenuto: per questo il Paese di uscita deve far parte del tuo dataset.

La regola pratica: non trattare mai un codice di stato come verifica di successo. Verifica i contenuti, conta le righe per esecuzione e genera un avviso quando una fonte cala oltre una soglia, anziché quando genera un errore.


Quali sono i limiti di leggere soltanto i codici?

I codici di stato descrivono l’ultimo hop, non l’intera storia. Un 200 può essere una challenge, un 403 può essere una regola nazionale anziché un verdetto sui bot e un 502 può dipendere dal tuo proxy. Considera i codici come il primo segnale di una diagnosi, poi conferma con dimensione del body, header e una richiesta di controllo.

Quanto alle regole: un rifiuto ripetuto è una decisione del sito e la risposta giusta è rispettarla, controllare robots.txt e le condizioni e preferire un’API ufficiale quando disponibile. I dati personali pongono una questione distinta sulla base giuridica. Si tratta di informazioni generali e non di consulenza legale; vedi il web scraping è legale.

Per i problemi correlati: triage 403, rotazione e sessioni e come i sistemi di rilevamento valutano una richiesta.


Domande frequenti

Cosa significa 403 nel web scraping?

Il server ha compreso la richiesta e l’ha rifiutata. Per un crawler, di solito significa identità, reputazione o pattern della richiesta anziché una richiesta errata e, talvolta, una semplice regola geografica. Ritentare senza modifiche non serve a nulla: cambia una variabile alla volta, iniziando dall’indirizzo di uscita, poi il client e infine il ritmo.

Qual è la differenza tra 403 e 429?

Un 429 riguarda il ritmo e di solito contiene un header Retry-After, quindi la soluzione è rallentare. Un 403 riguarda te, quindi la soluzione è cambiare l’aspetto del tuo client. Trattare un 403 come limite di frequenza e limitarsi ad aspettare è il motivo per cui i crawler restano bloccati per ore senza imparare nulla.

Perché ricevo 407?

Le credenziali del tuo proxy mancano o sono malformate, quindi il gateway ha rifiutato la richiesta prima che raggiungesse il target. Controlla il formato del nome utente, inclusi eventuali suffissi di sessione o Paese, la password e che la porta corrisponda al protocollo. La rotazione e i tentativi non possono risolvere un 407.

Devo ritentare un 500?

Una o due volte con backoff, poi fermati e registralo. Un 500 persistente su un URL di solito significa che il tuo payload attiva un bug dal loro lato e insistere è inutile e poco corretto. Se i 500 compaiono su molti URL contemporaneamente, il sito sta avendo un incidente e l’intero job dovrebbe essere sospeso.

Perché ricevo 200 ma nessun dato?

Perché il controllo è stato superato ma il contenuto non è arrivato: la pagina viene renderizzata lato client, il sito ha servito un soft 404 o un interstitial di challenge con stato 200, oppure hai incontrato una barriera di consenso o geografica. Verifica un elemento noto nel body anziché il codice di stato e conta le righe per esecuzione, così un calo silenzioso diventa un avviso.


Meno rifiuti iniziano dall’uscita giusta

Quando il triage indica l’identità anziché il ritmo, i residential proxy DataImpulse offrono uscite geograficamente accurate a $1 per GB in 195 Paesi, a rotazione o sticky, tramite HTTP, HTTPS e SOCKS5. Crea un account e prova un target prima di aumentare la scala.

Correlati: 403 Vietato when scraping · proxy per web scraping · caso d’uso del web scraping.

Ultimo aggiornamento: 17 settembre 2026.


Share article: