En este artículo
Crawl4AI es un rastreador de código abierto diseñado para convertir páginas web en texto limpio y datos estructurados listos para LLM, y utiliza un navegador real para hacerlo. Este único hecho determina cómo encaja un proxy: se configura en la capa del navegador, donde se aplica al documento y a cada recurso, script y XHR que active la página.
Por tanto, un proxy de Crawl4AI es una configuración de nivel de navegador con semántica de sesión asociada, no una opción por solicitud. Esta guía explica dónde debe situarse el proxy en la pila, cómo mantener la coherencia de las sesiones, cómo controlar la tasa sin reducir el rendimiento y cómo evitar que un rastreo respaldado por LLM cueste más de lo que aporta.
Datos clave
- Crawl4AI utiliza un navegador real, por lo que el proxy se configura en la capa del navegador y se aplica a cada solicitud que realiza la página, no solo al documento.
- Cuatro capas que deben configurarse bien: navegador, proxy, extracción y limitación. La mayor parte del coste y de los bloqueos proviene de las dos que se ajustan al final.
- Una sesión, una salida. Un contexto de navegador que conserva cookies mientras sus solicitudes llegan desde direcciones rotativas se contradice y recibe desafíos.
- El renderizado es la parte costosa, no el ancho de banda. Renderice solo las páginas que lo necesitan y obtenga el resto sin renderizar.
- Los costes de extracción con LLM aumentan con el peso de la página, por lo que recortar el DOM antes de que llegue al modelo suele ser el mayor ahorro individual de la canalización.
¿Dónde debe estar el proxy en una ejecución de Crawl4AI?
En la configuración del navegador, no por solicitud. Crawl4AI inicia un navegador y navega con él, de modo que un proxy definido en el contexto del navegador enruta todo lo que hace esa página. Configurarlo en otro lugar produce el peor resultado posible: el documento llega por una dirección y sus scripts y llamadas API por otra, una contradicción que cualquier sistema de detección detecta de inmediato.
Hay dos implicaciones prácticas. En primer lugar, las credenciales pertenecen a la configuración de inicio del navegador, donde el rastreador puede transmitirlas, mediante el host de gateway, el puerto, el nombre de usuario y la contraseña que le proporciona su proveedor. En segundo lugar, una ejecución de rastreo única debe mantener una sola salida durante toda su duración, porque el navegador conserva las cookies y el almacenamiento local entre navegaciones y estos están vinculados a la dirección que los obtuvo.
Si rastrea varios sitios en un trabajo, dé a cada uno su propio contexto de navegador con su propia sesión en lugar de reutilizar un contexto entre hosts no relacionados.
¿Qué aspecto tiene una configuración completa? El modelo de configuración de rastreo de 4 capas
El modelo de configuración de rastreo de 4 capas separa los ajustes que la gente configura en el orden equivocado.
| Capa | Qué controla | Error habitual |
|---|---|---|
| 1. Navegador | Modo sin interfaz, viewport, configuración regional, zona horaria, agente de usuario, indicadores de automatización | Una configuración regional de EE. UU. con una salida alemana, o un agente de usuario móvil en un viewport de escritorio |
| 2. Proxy | Gateway, credenciales, segmentación por país, sesión rotativa frente a sticky | Rotación por solicitud mientras el navegador conserva un único almacén de cookies |
| 3. Extracción | Qué se convierte en markdown o salida estructurada y si interviene un LLM | Enviar todo el DOM a un modelo cuando bastaría un alcance CSS |
| 4. Limitación | Concurrencia, demora, reintentos, tiempos de espera, caché | Ajustarla al final, o no ajustarla, que es lo que realmente bloquea un rastreo |
Cuando algo falle, trabaje desde la capa cuatro hacia atrás. Nueve de cada diez veces, un rastreo que comenzó a fallar no encontró una defensa nueva, sino una tasa que hasta entonces había logrado mantener.
¿Cómo mantener la coherencia de las sesiones?
Vincule un contexto de navegador a una salida durante toda su vida útil y deje que el rastreo termine el sitio antes de que cambie la sesión.
- Utilice una sesión sticky en cualquier sitio donde la navegación abarque varias páginas, y asigne a cada sitio su propio identificador de sesión para que el estado nunca se filtre entre hosts.
- Haga coincidir la configuración regional con la geografía. Si la salida está en Alemania, la configuración regional y la zona horaria del navegador también deben indicar Alemania.
- Conserve las cookies por contexto en vez de borrarlas entre páginas: un visitante que llega sin cookies en cada vista de página no parece un visitante.
- Rote entre ejecuciones, no dentro de ellas. Direcciones nuevas para el siguiente rastreo son saludables; direcciones nuevas a mitad de sesión son una contradicción.
Nuestra guía sobre prácticas recomendadas de rotación de proxies explica el modelo de sesión en general, y los mismos principios se aplican a Playwright y Puppeteer, que están por debajo de muchos rastreadores de este tipo.
¿Cómo evitar que un rastreo con LLM resulte caro?
Reduzca lo que llega al modelo y renderice menos. Ambas son cuestiones de configuración, no de ingenio.
Delimite la extracción. Dirija el rastreador al contenedor de contenido en lugar de a toda la página. La navegación, los pies de página, los avisos de cookies y las secciones de artículos relacionados son puro coste de tokens sin valor informativo.
Prefiera la extracción mediante esquema a la libre. Cuando se conocen los campos, un esquema CSS o XPath es determinista, gratuito y más rápido que pedir a un modelo que los encuentre, y puede reservar el modelo para las páginas cuya estructura varía de verdad.
Use la caché de forma agresiva. Volver a rastrear una página sin cambios cuesta ancho de banda, tiempo de renderizado y tokens. Almacene en caché por URL con una ventana de actualización y compare las diferencias antes de reprocesar.
Renderice selectivamente. No todas las páginas necesitan un navegador. Si el contenido está en el HTML renderizado por el servidor, una obtención simple cuesta un orden de magnitud menos, y las canalizaciones mixtas que primero obtienen y solo renderizan si fallan funcionan bien en la práctica.
Estas cuatro medidas juntas suelen reducir el coste de un rastreo funcional más que cualquier decisión sobre proxies.
¿Qué tipo de proxy se adapta a este tipo de rastreo?
Haga coincidir la salida con el objetivo y el patrón de sesión, no con el rastreador.
| Objetivo | Use | Evítelo cuando |
|---|---|---|
| Sitios dirigidos al consumidor, navegación de varias páginas | Residencial sticky, una sesión por sitio | El sitio es una API abierta o documentación, donde datacenter es adecuado y más barato |
| Rastreos amplios y poco profundos en muchos hosts | Residencial rotativo, una sesión por host | Cada host necesita una sesión larga con estado, que la rotación interrumpe |
| Documentación, datos abiertos, sus propios servicios | Datacenter | El objetivo trata los rangos de hosting como automatización |
| Contenido o precios específicos de una región | Residencial fijado al país | El contenido es idéntico en todas partes, donde el coste adicional no aporta nada |
DataImpulse residencial cuesta $1 por GB en 195 países, HTTP, HTTPS y SOCKS5, rotativo o sticky, con segmentación por país incluida. Los rastreos dirigidos por navegador descargan recursos además de documentos, por lo que la disciplina de ancho de banda importa: bloquee las imágenes y fuentes que no necesite y el mismo presupuesto llegará varias veces más lejos.
¿Qué límites conviene conocer?
Un proxy no es permiso. Lea robots.txt y las condiciones de los sitios que rastrea, respételos y prefiera las API oficiales cuando existan. Nuestra explicación general de si el web scraping es legítimo aborda el marco más amplio.
El renderizado tiene un límite. El rastreo dirigido por navegador exige memoria y CPU; una concurrencia que parece adecuada en un portátil saturará un contenedor pequeño. Mida las páginas por minuto por gigabyte de RAM antes de escalar horizontalmente.
La extracción con LLM no es gratuita ni exacta. Los modelos parafrasean, ocasionalmente inventan y cuestan por página. Valide una muestra frente a la fuente y conserve la extracción determinista para los campos que deben ser correctos.
Los bloqueos suelen deberse al ritmo. Si un rastreo que funcionaba ayer falla hoy, compruebe la tasa y el manejo de sesiones antes de comprar nada. Nuestra guía sobre errores 403 Forbidden al hacer web scraping recorre el diagnóstico en orden.
Preguntas frecuentes
¿Dónde configuro el proxy en Crawl4AI?
En la configuración del navegador, para que se aplique al documento y a cada recurso, script y XHR que active la página. Configurarlo por solicitud hace que la página cargue sus propios recursos desde una dirección distinta, una contradicción que los sistemas de detección detectan de inmediato.
¿Debo usar sesiones rotativas o sticky?
Sticky para cualquier sitio donde el rastreo navega por varias páginas, porque el navegador conserva cookies y estas están vinculadas a la dirección que las obtuvo. Rotar entre ejecuciones es saludable; rotar dentro de una sesión mientras persiste el almacén de cookies es lo que genera desafíos.
¿Cómo reduzco el coste de tokens en un rastreo respaldado por LLM?
Delimite la extracción al contenedor de contenido en lugar de a todo el DOM, use esquemas CSS o XPath cuando se conozcan los campos y reserve el modelo para páginas realmente variables, almacene en caché por URL con una ventana de actualización y renderice solo las páginas que requieren un navegador.
¿Necesito proxies residenciales para Crawl4AI?
Solo cuando el objetivo lo justifique: sitios dirigidos al consumidor y contenido específico de una región. La documentación, los datos abiertos y las API funcionan bien desde una salida datacenter y cuestan menos. Decida según el objetivo en lugar de configurar un tipo de salida para todo el rastreador.
Mi rastreo funcionaba ayer y falla hoy. ¿Qué cambió?
Normalmente su tasa, no su defensa. Reduzca a un trabajador con fluctuación aleatoria y vuelva a probar; si funciona, la causa era el ritmo y la rotación a la tasa anterior no lo solucionará. Solo después debería comprobar si otro tipo de salida cambia el resultado.
Dé a cada rastreo una salida estable
Para los rastreos dirigidos por navegador, una sesión vinculada a una salida geográficamente precisa mantiene la coherencia del estado. Los proxies residenciales de DataImpulse ofrecen sesiones sticky o rotativas a $1 por GB en 195 países con segmentación por país incluida, HTTP, HTTPS y SOCKS5. Cree una cuenta y conéctelo en la capa del navegador; después consulte nuestro caso de uso de web scraping para ver la configuración más amplia.
Guías relacionadas: por qué se bloquean los rastreadores · un objetivo concreto: tiendas Shopify · proxies para web scraping.
Última actualización: 17 de septiembre de 2026.
