HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

Es fácil encontrar una lista de códigos de estado HTTP; no lo es encontrar una escrita para quienes ejecutan crawlers. Esta página es precisamente eso: qué significa cada código cuando lo recibe su scraper, si merece la pena reintentarlo y qué códigos señalan a su propia configuración en lugar de al objetivo.

La idea organizadora es sencilla. Cada respuesta le indica que haga exactamente una de cuatro cosas: continuar, esperar, cambiar la identidad con la que aparece o detenerse. Acertar con esa asignación es gran parte de lo que distingue a un crawler que funciona durante meses de uno que agota un pool en una semana.


Datos clave

  • El código de estado es una decisión de enrutamiento, no un resultado. Reintente, aplique una pausa, cambie de identidad o deténgase: cada código se asigna exactamente a una de esas cuatro opciones, y confundirlas es la razón por la que los crawlers agotan pools de direcciones.
  • 200 no equivale a éxito. Un 200 con un contenedor de datos vacío significa que la barrera le dejó pasar y la página se renderizó del lado del cliente, lo que es un problema de análisis y no de acceso.
  • 407 es suyo, 403 es de ellos. 407 significa que sus credenciales de proxy son incorrectas; 403 significa que el objetivo le rechazó. Se parecen en los registros y requieren correcciones opuestas.
  • 429 indica la tasa, 403 indica la identidad. Un 429 con Retry-After es una negociación; un 403 con un cuerpo breve es un veredicto.
  • Nunca reintente a ciegas. Reintentar un 404 o un 451 desperdicia presupuesto y, en pools compartidos, perjudica la reputación de la que dependen otros trabajos.

¿Cómo debe leer un scraper los códigos de estado? La regla de triaje de 4 etapas

Clasifique cada respuesta en una de cuatro etapas antes de escribir código de gestión. La llamamos la regla de triaje de 4 etapas.

Etapa Códigos Acción
1. Continuar 200, 201, 204, 206, 301, 302, 304 Analice, siga u omita. No hay nada que corregir, aunque 200 todavía necesita una comprobación de contenido
2. Esperar 429, 503, 504, 408 Aplique una pausa progresiva con jitter, respete Retry-After, reduzca la concurrencia. El objetivo le está diciendo que la tasa es incorrecta
3. Cambiar de identidad 403, 401 cuando el acceso es público, 421 Diagnostique antes de actuar: dirección de salida, coherencia de TLS y headers, entorno de ejecución. Reintentar sin cambios no logra nada
4. Detenerse 400, 404, 405, 410, 451, 403 repetido en la misma ruta La solicitud es incorrecta, el recurso ya no existe o el acceso se rechaza como decisión. Regístrelo y siga adelante

El error costoso es tratar la etapa tres como la etapa dos. Una identidad bloqueada que se reintenta cien veces genera cien puntos de datos más que confirman la clasificación y, en un pool compartido, degrada las direcciones que usan otros trabajos.


¿Qué códigos aparecen realmente en scraping y qué significan?

Código Qué significa para un crawler ¿Reintentar?
200 OK La barrera dejó pasar. El contenido aún puede faltar si la página se renderiza del lado del cliente No, pero compruebe los campos esperados
204 No Content Respuesta válida, sin nada que analizar. Habitual en endpoints de seguimiento y API No
301 / 302 Movido. Una cadena de redirecciones hacia un inicio de sesión o una puerta de enlace de país es una señal, no ruido Siga la redirección, pero registre la URL final
304 Not Modified Su solicitud condicional funcionó y la página no ha cambiado. La respuesta más barata posible No, e intente obtener más de estas
400 Bad Request Su solicitud está mal formada, a menudo por una cadena de consulta o un header defectuoso No, corrija el código
401 Unauthorized El objetivo exige credenciales. En datos públicos, esto normalmente significa que ha llegado a una ruta restringida No
403 Forbidden Entendida y rechazada. Identidad, reputación o patrón, y a veces una simple regla geográfica No sin cambios
404 Not Found El recurso ya no existe, o un 404 suave que devuelve una página sin datos No
405 Method Not Allowed Verbo incorrecto, normalmente un endpoint POST alcanzado con GET No, corrija el código
407 Proxy Authentication Required Sus credenciales de proxy faltan o son incorrectas. No tiene nada que ver con el objetivo No, corrija la configuración
408 Request Timeout El servidor dejó de esperar. A menudo se debe a un salto de proxy lento Sí, con pausa progresiva
410 Gone Eliminado deliberadamente. Más contundente que un 404 No, y elimínelo de la cola
421 Misdirected Request Conexión reutilizada para un host al que no sirve, observado con la consolidación HTTP/2 a través de proxies Sí, en una conexión nueva
429 Too Many Requests Límite de tasa. Lea Retry-After; es el header más honesto en scraping Sí, tras esperar
451 Unavailable For Legal Reasons Bloqueado por motivos legales o regulatorios, a menudo geográficos No
500 Internal Server Error Un fallo de ellos, o su payload desencadenó uno Una o dos veces, después deténgase
502 / 504 Errores de gateway. Pueden proceder del borde del objetivo o de su propio salto de proxy Sí, con pausa progresiva
503 Service Unavailable Sobrecargado o descartando carga deliberadamente, incluido el descarte anti-bot Sí, despacio
520 to 526 Específico de Cloudflare: el origen devolvió algo no válido, agotó el tiempo de espera o falló el handshake TLS con el origen Sí, pero trate las repeticiones como una señal

¿Qué códigos señalan a su proxy en lugar de al sitio?

Tres, y confundirlos con rechazos del lado del objetivo desperdicia días.

407 Proxy Authentication Required. El gateway rechazó sus credenciales. Compruebe el formato del nombre de usuario, la contraseña y que el sufijo de sesión o de país esté bien formado. Ninguna cantidad de reintentos o rotación ayuda, porque la solicitud nunca llegó al objetivo.

502 y 504 inmediatamente después de un cambio de ruta. Un error de gateway que aparece en el momento en que cambia de salidas y desaparece cuando vuelve a cambiarlas suele corresponder al salto y no al origen. Pruebe la misma URL directamente y a través de una segunda salida antes de culpar al sitio.

421 Misdirected Request. Es poco frecuente y casi siempre se debe a la reutilización de conexión entre hosts a través de un proxy bajo HTTP/2. Desactive la consolidación de conexiones o fije un host por conexión.

La forma más rápida de separar ambos lados es una solicitud de control: obtenga una URL que sabe que es estable, como un servicio de eco de IP, a través de la misma salida. Si también falla, el problema es su ruta; si funciona, el objetivo le está rechazando. Nuestra guía sobre errores 403 Forbidden al hacer scraping explica toda la secuencia de aislamiento.


¿Qué política de reintentos funciona realmente?

Cuatro reglas cubren casi todos los casos y son deliberadamente sencillas.

  • Reintente solo las etapas dos y errores de infraestructura seleccionados de la etapa cuatro. 429, 503, 504, 408, 500 una o dos veces. Nunca 400, 404, 405, 410, 451 ni un 403 sin cambios.
  • Pausa progresiva exponencial con jitter, empezando alrededor de un segundo y con un máximo de un minuto. Sin jitter, los workers paralelos reintentan al mismo tiempo y reproducen el pico que causó el límite.
  • Respete Retry-After literalmente. Si un sitio le dice que espere treinta segundos, esperar cinco es decidir volver a recibir un límite de tasa.
  • Use un interruptor de circuito por host. Tras un umbral de fallos consecutivos, detenga por completo ese host durante una ventana de enfriamiento en vez de degradarse elegantemente hasta un bloqueo.
Situación Use reintentos cuando Evite reintentar cuando
429 con Retry-After Respeta el retraso indicado y reduce después la concurrencia Reintentaría dentro de la ventana indicada, lo que garantiza un segundo límite
503 o 504 El fallo es intermitente en muchos hosts, lo que sugiere carga Un host falla de forma consistente: se trata de un descarte dirigido a usted
500 Ocurrió una vez en una URL que suele funcionar Se repite con el mismo payload, lo que significa que su solicitud desencadena el fallo de ellos
403 Nunca sin cambios; solo después de aislar una variable Siempre, hasta que haya probado por separado la salida, el cliente y el ritmo
404, 410, 451 Nunca Siempre: el recurso ya no existe o el acceso se rechaza por política

Dos contadores permiten medirlo: fallos por código, host y hora, y la proporción entre reintentos y solicitudes correctas. Cuando el segundo supera aproximadamente uno de cada cinco, su ritmo es incorrecto con independencia de lo que indique el primero.


¿Por qué un 200 a veces significa un fallo?

Porque superar la barrera y obtener los datos son eventos diferentes. Cuatro casos producen un 200 sin nada útil.

Renderizado del lado del cliente. El HTML es una carcasa y los datos llegan mediante XHR. La solución es un motor de navegador o, mejor aún, encontrar el endpoint JSON al que llama la propia página.

404 suave. El sitio sirve una página amigable de no encontrado con estado 200. Compruebe un elemento conocido en vez del código de estado.

Página de desafío. Una página intersticial que devuelve 200 mientras pide al cliente que demuestre su identidad. Detéctela por el tamaño y por la presencia de un script de desafío, no por el estado.

Muro geográfico o de consentimiento. Un 200 que devuelve un banner de cookies o una puerta de país en vez del contenido, por lo que el país de salida debe formar parte de su conjunto de datos.

La regla práctica: nunca trate un código de estado como una comprobación de éxito. Compruebe el contenido, cuente filas por ejecución y active una alerta cuando una fuente caiga más de un umbral en lugar de cuando dé error.


¿Cuáles son los límites de leer solo códigos?

Los códigos de estado describen el último salto, no toda la historia. Un 200 puede ser un desafío, un 403 puede ser una regla de país en lugar de un veredicto de bot, y un 502 puede pertenecer a su propio proxy. Trate los códigos como la primera señal de un diagnóstico y después confirme con el tamaño del cuerpo, los headers y una solicitud de control.

En cuanto a las normas: un rechazo repetido es una decisión del sitio, y la respuesta adecuada es respetarla, comprobar robots.txt y los términos, y preferir una API oficial cuando exista. Los datos personales plantean una cuestión independiente sobre la base jurídica. Esta es información general y no asesoramiento legal; consulte si el web scraping es legítimo.

Para los problemas relacionados: triaje de 403, rotación y sesiones y cómo los sistemas de detección puntúan una solicitud.


Preguntas frecuentes

¿Qué significa 403 al hacer scraping?

El servidor entendió la solicitud y la rechazó. Para un crawler, normalmente significa identidad, reputación o patrón de solicitud en vez de una solicitud defectuosa, y a veces una simple regla geográfica. Reintentar sin cambios no sirve de nada: cambie una variable cada vez, empezando por la dirección de salida, después el cliente y luego el ritmo.

¿Cuál es la diferencia entre 403 y 429?

Un 429 es una declaración sobre la tasa y normalmente incluye un header Retry-After, por lo que la solución es reducir la velocidad. Un 403 es una declaración sobre usted, por lo que la solución es cambiar la apariencia de su cliente. Tratar un 403 como un límite de tasa y simplemente esperar es la razón por la que los crawlers se detienen durante horas sin aprender nada.

¿Por qué recibo un 407?

Sus credenciales de proxy faltan o están mal formadas, por lo que el gateway rechazó la solicitud antes de que llegara al objetivo. Compruebe el formato del nombre de usuario, incluido cualquier sufijo de sesión o de país, la contraseña y que el puerto coincida con el protocolo. La rotación y los reintentos no pueden corregir un 407.

¿Debo reintentar un 500?

Una o dos veces con pausa progresiva, después deténgase y regístrelo. Un 500 persistente en una URL suele significar que su payload desencadena un fallo de su lado, y insistir es tanto inútil como descortés. Si aparecen 500 en muchas URL al mismo tiempo, el sitio está teniendo un incidente y todo el trabajo debe pausarse.

¿Por qué recibo un 200 pero no datos?

Porque la barrera dejó pasar y el contenido no llegó: la página se renderiza del lado del cliente, el sitio sirvió un 404 suave o una página intersticial de desafío con estado 200, o encontró un muro de consentimiento o geográfico. Compruebe un elemento conocido del cuerpo en vez del código de estado y cuente filas por ejecución para que una caída silenciosa se convierta en una alerta.


Menos rechazos empiezan con la salida correcta

Cuando el triaje señala a la identidad en vez del ritmo, los proxies residenciales de DataImpulse ofrecen salidas geográficamente precisas a $1 por GB en 195 países, rotativas o sticky, mediante HTTP, HTTPS y SOCKS5. Cree una cuenta y pruebe un objetivo antes de escalar.

Relacionado: 403 Forbidden al hacer scraping · proxies para web scraping · caso de uso de web scraping.

Última actualización: 17 de septiembre de 2026.


Share article: