Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

El web scraping con Java depende sobre todo del cliente que herede. Todo lo escrito antes de Java 11 probablemente use Apache HttpClient o HttpURLConnection sin procesar; todo lo posterior puede usar java.net.http.HttpClient con HTTP/2 y sin ninguna dependencia. La respuesta para el análisis se ha mantenido estable durante una década: jsoup.

Si ha llegado aquí buscando web scraping con Java, la versión corta es esta: configure el proxy una vez en el constructor del cliente, reutilice ese cliente y recuerde que el JDK trata la autenticación del proxy a través de HTTPS de forma distinta a HTTP. Ese último detalle es la razón más habitual por la que un scraper de Java funciona en un sitio y falla en otro, y más abajo se explica la solución.


Datos clave

  • La pila en Java: java.net.http.HttpClient desde Java 11 para obtener datos, jsoup para analizarlos y Selenium o Playwright para Java cuando se necesita renderizado.
  • La configuración del proxy es un objeto, no una línea por solicitud. Configúrela una vez en el cliente y reutilice ese cliente, o perderá la agrupación de conexiones y la coherencia de la sesión.
  • El error que más tiempo cuesta aquí: la autenticación básica está desactivada en los túneles https.
  • La rotación corresponde a la sesión, no a la solicitud. Una tarea lógica conserva una misma salida; rotar a mitad de sesión rompe las cookies e invita a los desafíos.
  • Use Java cuando el rastreador viva dentro de un servicio JVM existente y necesite la misma observabilidad y el mismo modelo de despliegue que el resto de su plataforma. Evítelo si está escribiendo un scraper desechable de un solo archivo, donde la ceremonia cuesta más que el trabajo.

¿Cómo enruta las solicitudes de Java a través de un proxy?

Configure el proxy una vez en el cliente y reutilice ese cliente para cada solicitud de la sesión. Esta es la forma mínima funcional con autenticación.

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

Hay tres detalles que importan más que la sintaxis. Las credenciales pertenecen a la puerta de enlace, no al sitio de destino. El tiempo de espera no es opcional, porque un proxy añade un salto y una solicitud bloqueada retiene un worker. Y el cliente es la unidad de identidad: el mismo cliente implica el mismo grupo de conexiones, las mismas cookies y, con una sesión sticky, la misma dirección de salida.


¿Cómo es la configuración del cliente en 3 etapas?

Mantenga separadas tres responsabilidades y la depuración dejará de ser una conjetura. La llamamos la configuración del cliente en 3 etapas.

Parte De qué se encarga En Java
1. Transporte Conexión, proxy, tiempos de espera, reintentos, TLS java.net.http.HttpClient desde Java 11
2. Análisis Convertir bytes en campos y fallar de forma evidente cuando cambia el marcado jsoup
3. Planificación Concurrencia por host, cadencia, backoff, deduplicación Su propio grupo de workers o cola, limitado por destino

La JVM facilita difuminar estas tres partes dentro de una clase de servicio, y el resultado es un rastreador donde nadie puede decir si un fallo procede de la red, el marcado o el planificador. Mantener HttpClient, jsoup y su ejecutor en capas separadas significa que un 403 apunta a una de ellas, un resultado de selector vacío a otra y una degradación lenta a la tercera.

Cuando falla un scraping, la primera pregunta es qué parte falló. Un estado que no sea 200 es transporte. Un 200 con campos vacíos es análisis, o una página que se renderiza en el cliente. Un éxito que se degrada durante minutos es planificación. Mezclar las tres cosas en una función es la razón por la que tantos scrapers se reescriben en vez de corregirse.

jsoup es el analizador predeterminado por una razón: selectores CSS, manejo tolerante de HTML y una API pequeña. Úselo solo para analizar y deje que HttpClient controle la red.


¿Qué falla específicamente en Java?

Tres problemas explican la mayor parte del tiempo perdido en Java, y ninguno consiste en que el destino le esté bloqueando.

La autenticación básica está desactivada en los túneles HTTPS. Este es el que puede costarle una tarde. El JDK bloquea por defecto la autenticación Basic del proxy en túneles CONNECT, así que un proxy autenticado funciona con HTTP y falla con HTTPS hasta que elimine la propiedad jdk.http.auth.tunneling.disabledSchemes.

Authenticator no se llama para proxies en todas las versiones. El comportamiento ha cambiado entre versiones de JDK. Si se ignoran las credenciales, envíe usted mismo el encabezado Proxy-Authorization como alternativa y fije la versión de JDK en su compilación.

jsoup obtiene datos por su cuenta. Jsoup.connect(url) abre su propia conexión y no sabe nada de su proxy HttpClient. Obtenga los datos con HttpClient y luego pase la cadena a Jsoup.parse.

Ninguno de estos problemas es exótico y todos se parecen desde fuera a un scraper bloqueado, por lo que la primera reacción suele ser comprar proxies para un problema que está en el cliente. Nuestra guía sobre errores 403 Forbidden al hacer scraping explica los pasos de aislamiento en orden.


¿Cómo limita la concurrencia en Java?

Use un grupo fijo y un permiso, no un ejecutor sin límites. Los hilos virtuales hacen muy fácil iniciar diez mil solicitudes a la vez, lo que supone una denegación de servicio contra su destino y un bloqueo por límite de frecuencia para usted.

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

Cuatro permisos por host son un punto de partida sensato para páginas públicas. Añada jitter entre adquisiciones y aplique un backoff exponencial alrededor de la llamada send que detenga todo el trabajo después de una serie de respuestas 429 o 403, en lugar de reintentar contra una pared.


¿Qué bibliotecas de Java vale la pena usar?

Biblioteca Úsela para Nota sincera
java.net.http.HttpClient Todo lo relacionado con la red, desde Java 11 Incluida en el JDK, sin dependencia, HTTP/2 de forma predeterminada. La particularidad de la tunelización de autenticación del proxy es su único punto delicado
jsoup Análisis y selección CSS Es la opción predeterminada por buenas razones. Úsela solo para analizar, nunca para obtener datos a través de un proxy
Apache HttpClient 5 Control detallado de conexiones y proxy API más pesada, merece la pena cuando necesita grupos de conexiones por ruta o NTLM
Playwright for Java Páginas que se renderizan en el cliente Navegador real, coste real. Resérvelo para el subconjunto de páginas que lo necesiten
HtmlUnit Navegación headless heredada En gran medida, una vía muerta para sitios modernos; su motor JavaScript va por detrás de los navegadores reales

La combinación que sobrevive al mantenimiento es deliberadamente sencilla: HttpClient para la red, jsoup para el marcado y Playwright solo donde el renderizado sea inevitable.


¿Cuándo es Java la herramienta equivocada?

Use Java cuando el rastreador viva dentro de un servicio JVM existente y necesite la misma observabilidad y el mismo modelo de despliegue que el resto de su plataforma. Evítelo si está escribiendo un scraper desechable de un solo archivo, donde la ceremonia cuesta más que el trabajo.

El factor decisivo es el mantenimiento, no la capacidad. Un rastreador escrito en el lenguaje que su equipo usa a diario sobrevive al siguiente cambio de marcado; uno ingenioso en un lenguaje desconocido se abandona en la primera avería. Si la respuesta sincera es que Java no es el lugar adecuado para este trabajo, un pequeño rastreador en otro entorno que escriba en la misma base de datos es un diseño justificado, no una derrota.

Dos aspectos quedan fuera de esta página porque son iguales en todos los lenguajes y repetirlos aquí solo dificultaría mantenerlos actualizados. Las reglas de sesión y rotación, incluido por qué un recorrido debe conservar una salida sticky, están en prácticas recomendadas de rotación de proxy. Qué hacer cuando se rechaza una solicitud y cómo distinguir un problema de red de uno del cliente está en 403 Forbidden al hacer scraping, y el marco legal está en ¿es legal el web scraping?.

Sobre la propia salida: proxies residenciales rotativos para páginas públicas, sticky para recorridos, datacenter para API y datos abiertos. DataImpulse residential cuesta $1 por GB en 195 países con segmentación por país incluida, y la comparación está en los mejores proxies para web scraping.


Preguntas frecuentes

¿Cómo configuro un proxy en Java?

Configúrelo en el objeto cliente en lugar de hacerlo por solicitud: con java.net.http.HttpClient desde Java 11, configure el host, el puerto y las credenciales del proxy una vez, y después reutilice ese cliente. Reutilizarlo mantiene coherentes el grupo de conexiones, el almacén de cookies y la dirección de salida, que es lo que hace que una sesión parezca coherente.

¿Qué biblioteca debería usar para analizar en Java?

jsoup es la opción predeterminada práctica. Mantenga el análisis separado de la obtención de datos: el cliente controla la red y el analizador controla el marcado, de modo que un fallo le indique de inmediato cuál de los dos se rompió.

¿Necesito un navegador headless para Java?

Solo cuando los campos se renderizan en el cliente. Obtenga la página directamente y busque primero en el HTML un valor conocido: si está ahí, omita el navegador por completo. Cuando necesite uno, Selenium o Playwright para Java son la opción de este ecosistema cuando se requiere renderizado, y cuestan un orden de magnitud más por página en tiempo y memoria.

¿La autenticación básica está desactivada en los túneles HTTPS?

Este es el que puede costarle una tarde. El JDK bloquea por defecto la autenticación Basic del proxy en túneles CONNECT, así que un proxy autenticado funciona con HTTP y falla con HTTPS hasta que elimine la propiedad jdk.http.auth.tunneling.disabledSchemes.

¿Es Java una buena elección para web scraping?

Es una buena elección cuando el rastreador vive dentro de un servicio JVM existente y necesita la misma observabilidad y el mismo modelo de despliegue que el resto de su plataforma. Es la elección equivocada si está escribiendo un scraper desechable de un solo archivo, donde la ceremonia cuesta más que el trabajo. El factor decisivo suele ser el mantenimiento más que la capacidad pura: el scraper escrito en el lenguaje que su equipo usa a diario es el que sobrevive al siguiente cambio de marcado.


Dirija su cliente Java a una salida fiable

El fragmento anterior funciona con un cambio de credenciales: DataImpulse residential ofrece salidas geográficamente precisas a $1 por GB en 195 países, rotativas o sticky, mediante HTTP, HTTPS y SOCKS5. Cree una cuenta y pruebe un destino desde su cliente Java antes de escalar el trabajo.

Relacionado: 403 Forbidden al hacer scraping · configuración del proxy de Crawl4AI · configuración de proxy en Go, Kotlin, Scala, Perl y Elixir.

Última actualización: 17 de septiembre de 2026.


Share article: