Buenas prácticas de web scraping para datos fiables

Las buenas prácticas de web scraping marcan la diferencia entre un recolector que funciona sin problemas durante meses y otro que se rompe, es bloqueado o devuelve datos basura en silencio. Esta guía se centra en la parte de ingeniería: cómo construir scrapers que sean fiables, respetuosos con los sitios que leen y económicos de operar a escala.

La mayoría de los scrapers fallan de formas predecibles: saturan los servidores demasiado rápido, parecen bots o dependen de una estructura de página que cambia. Tratar el scraping como un pipeline de datos en lugar de un script improvisado es el cambio de mentalidad fundamental, y las técnicas que siguen cubren el rate limiting, la rotación de IP y de headers, la elección de la fuente de datos adecuada, el parseo robusto, los reintentos, el caching y el control de calidad. Se aplican tanto si recopilas unos pocos miles de páginas al día como varios millones.

DataImpulse es un proveedor de proxies ético que ofrece más de 90 millones de direcciones IP residenciales, móviles y de datacenter en 195 países. Utiliza un modelo de pago por uso desde 1 dólar por GB con tráfico que no caduca, y se emplea para web scraping, verificación de anuncios, monitoreo de precios, investigación de mercado y gestión de múltiples cuentas.

¿Cómo debes respetar los rate limits y aplicar backoff?

Envía las solicitudes a un ritmo que el objetivo pueda absorber y reduce la velocidad automáticamente cuando dé señales de estrés. El backoff adaptativo es a la vez respetuoso y autoprotector, porque el tráfico agresivo es la forma más rápida de acabar bloqueado.

Empieza con un nivel de concurrencia conservador y un pequeño retardo entre solicitudes, y auméntalo solo si el sitio se mantiene sano. Vigila las respuestas HTTP 429 (Too Many Requests) y 503, y respeta cualquier header Retry-After que devuelva el servidor. Cuando encuentres errores, aumenta la espera de forma exponencial con un poco de jitter aleatorio para que los workers paralelos no reintenten al unísono.

• Concurrencia: limita las conexiones simultáneas por host, no solo de forma global.
• Retardo base: añade una breve pausa entre solicitudes al mismo dominio.
• Backoff exponencial: duplica la espera tras cada fallo, hasta un tope.
• Jitter: aleatoriza los retardos para que los reintentos se repartan en el tiempo.

¿Cómo rotar IP y headers para evitar bloqueos?

Distribuye las solicitudes entre muchas direcciones IP y envía headers realistas y coherentes para que cada sesión parezca la de un navegador normal. La rotación reparte la carga y evita que una sola dirección supere los umbrales de rate.

Las IP residenciales y móviles se parecen a usuarios reales y son más difíciles de detectar que los rangos de datacenter en bruto, aunque los proxies de datacenter siguen siendo válidos para objetivos permisivos y alto rendimiento. DataImpulse ofrece proxies residenciales, proxies móviles y proxies de datacenter con sesiones rotativas y sticky, de modo que puedes ajustar el tipo de IP a la dificultad del sitio. Combina la rotación con headers coherentes entre sí: un User-Agent, un Accept-Language y un Accept-Encoding que coincidan con un navegador real plausible, mantenidos estables dentro de una sesión en lugar de aleatorizados en cada solicitud. Para una lista de comprobación más detallada, consulta nuestra guía sobre scraping sin ser bloqueado.

Elige el modo de sesión según tu flujo de trabajo. Las sesiones rotativas asignan una IP nueva con frecuencia, lo que reparte la carga y encaja con el rastreo en paralelo de páginas no relacionadas; las sesiones sticky mantienen una IP durante un tiempo determinado, lo cual importa en flujos de varios pasos como iniciar sesión, añadir al carrito o navegar por resultados ligados a una cookie de sesión. DataImpulse admite ambos modos en todos sus pools. Mantén coherentes la IP, las cookies y los headers de una sesión, porque una IP estable combinada con fingerprints cambiantes es en sí misma una señal que conviene evitar.

import requests

HEADERS_POOL = [
    {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                      "AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/124.0 Safari/537.36",
        "Accept-Language": "en-US,en;q=0.9",
    },
    {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
                      "AppleWebKit/605.1.15 (KHTML, like Gecko) "
                      "Version/17.4 Safari/605.1.15",
        "Accept-Language": "en-GB,en;q=0.8",
    },
]

def build_session(headers, proxy_url):
    s = requests.Session()
    s.headers.update(headers)
    s.proxies.update({"http": proxy_url, "https": proxy_url})
    return s

¿Cuándo deberías usar una API oculta en lugar de parsear HTML?

Prefiere la API JSON subyacente de un sitio en lugar de hacer scraping del HTML renderizado siempre que exista una. Las API devuelven datos limpios y estructurados, cambian con menos frecuencia que el marcado de la página y cuestan mucho menos de procesar.

Abre las herramientas de desarrollo de tu navegador, observa la pestaña Network y filtra por solicitudes XHR o Fetch mientras se carga la página. Muchos sitios rellenan el contenido desde endpoints JSON que puedes llamar directamente, a veces con simples parámetros de consulta para la paginación o el filtrado. Esto evita la sobrecarga de un navegador headless, esquiva la mayoría de los cambios de maquetación y te da campos tipados en lugar de una frágil extracción de texto. Comprueba siempre los términos del sitio y solicita únicamente los datos a los que tienes permiso de acceder, y mantén un volumen de solicitudes razonable incluso cuando un endpoint sea rápido.

¿Cómo escribir selectores que sobrevivan a los cambios del sitio?

Escribe selectores que apunten a atributos estables y significativos, y añade monitoreo para enterarte de las roturas antes que tus usuarios. Los selectores frágiles son la causa más común de pérdida silenciosa de datos.

Ánclate en referencias semánticas como los ID de elemento, los atributos de datos o los roles ARIA, en lugar de cadenas profundas de nombres de clase autogenerados que cambian en cada redeploy. Mantén la lógica de parseo en un único lugar para que un cambio de maquetación signifique editar un solo módulo y no rebuscar por todo el código. Luego trata tu parser como código de producción:

• Aserciones: confirma que cada campo esperado está presente y no vacío en cada registro.
• Canarios: haz scraping de unas pocas URL conocidas de forma programada y avisa si la forma cambia.
• Recuentos de filas: compara el volumen de hoy con el de ayer y señala las caídas grandes.
• Instantáneas: guarda una muestra del HTML en bruto para poder depurar los fallos a posteriori.

¿Cómo deben los reintentos y el caching abaratar el scraping?

Haz que las solicitudes sean idempotentes y reintenta solo lo que falló; luego cachea de forma agresiva para no volver a descargar nunca páginas que no han cambiado. Ambas prácticas reducen el coste y la carga sobre el objetivo.

Diseña cada unidad de trabajo en torno a una clave estable, como una URL o un ID de registro, para que reejecutar un trabajo sea seguro y nunca cree duplicados. Ante errores transitorios (timeouts, 5xx, reinicios de conexión) reintenta con backoff; ante errores permanentes (404, 410) registra el resultado y sigue adelante. Para el caching, respeta los validadores HTTP como ETag y Last-Modified y envía solicitudes condicionales, de modo que las páginas sin cambios devuelvan un pequeño 304 en lugar de un cuerpo completo. El scraping incremental (obtener solo elementos nuevos o actualizados mediante timestamps, sitemaps o feeds) es la mayor palanca sobre el ancho de banda. Como el tráfico de proxy se factura por GB, saltarte las páginas sin cambios reduce directamente tu gasto.

import time
import random
import requests
from requests.exceptions import RequestException

def fetch(session, url, retries=4):
    for attempt in range(retries):
        try:
            r = session.get(url, timeout=20)
            if r.status_code in (429, 503):
                wait = int(r.headers.get("Retry-After", 2 ** attempt))
                time.sleep(wait + random.random())
                continue
            r.raise_for_status()
            return r
        except RequestException:
            if attempt == retries - 1:
                raise
            time.sleep((2 ** attempt) + random.random())
    return None

¿Cómo validar los datos extraídos y observar el pipeline?

Valida cada lote contra un esquema explícito y registra suficiente detalle para diagnosticar problemas sin reejecutar todo el trabajo. Unos datos en los que no puedes confiar son peores que no tener datos.

Define el tipo, el rango y los campos obligatorios esperados para cada columna, y luego rechaza o pon en cuarentena los registros que fallen en lugar de escribirlos en tu almacén principal. Vigila los modos de fallo silenciosos: cadenas vacías donde debería haber precios, fechas muy lejanas en el futuro, picos repentinos en las tasas de nulos o claves duplicadas. En el lado de la observabilidad, registra el código de estado de cada solicitud, la latencia, el proxy usado y los bytes transferidos, y haz seguimiento de la tasa de éxito y del coste a lo largo del tiempo para que una degradación lenta sea visible en un dashboard. Los logs estructurados junto con unas pocas alertas convierten un scraper frágil en un sistema que puedes operar con confianza.

¿Cuáles son los límites legales y éticos del scraping?

Extrae solo datos que tienes permiso para recopilar, respeta los términos de servicio y las directivas de robots, y evita los datos personales que no tienes base legal para procesar. La fiabilidad y la responsabilidad van de la mano.

Las reglas varían según la jurisdicción y el tipo de dato, así que trata la legalidad como un requisito real y no como algo secundario; nuestra visión general sobre si el web scraping es legal repasa las principales consideraciones, y la guía de scraping sin ser bloqueado cubre la técnica respetuosa. El origen también importa: DataImpulse opera como un proveedor de proxies ético cuyas IP provienen de usuarios que dan su consentimiento y son compensados, lo que mantiene tu recopilación de datos alineada con las expectativas del GDPR.

Buenas prácticas de un vistazo

Preguntas frecuentes

Guías relacionadas

• Web scraping ético
• Comprobar si un sitio web permite el scraping
• Hacer scraping de páginas web dinámicas

Construye scrapers fiables sobre proxies éticos

Las prácticas sólidas de ingeniería funcionan mejor sobre una red fiable. DataImpulse ofrece proxies éticos rotativos y sticky en 195 países con tráfico de pago por uso que no caduca desde 1 dólar por GB, así que puedes empezar poco a poco y escalar a medida que crece tu pipeline. Crea una cuenta para llevar estas buenas prácticas a producción.