Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Il web scraping con Java dipende soprattutto dal client che erediti. Tutto ciò che è stato scritto prima di Java 11 probabilmente usa Apache HttpClient o HttpURLConnection puro; tutto ciò che viene dopo puo usare java.net.http.HttpClient con HTTP/2 e senza alcuna dipendenza. La risposta per il parsing e stabile da un decennio: jsoup.

Se sei arrivato qui cercando web scraping con java, ecco la versione breve: imposta il proxy una volta nel builder del client, riutilizza quel client e ricorda che il JDK gestisce l’autenticazione proxy su HTTPS in modo diverso rispetto a HTTP. Quest’ultimo dettaglio e il motivo più comune per cui uno scraper Java funziona con un sito e fallisce con un altro; qui sotto trovi la soluzione.


Informazioni chiave

  • Lo stack in Java: java.net.http.HttpClient da Java 11 per il recupero, jsoup per il parsing e Selenium o Playwright per Java quando è necessario il rendering.
  • La configurazione del proxy è un oggetto, non una riga per richiesta. Configuralo una volta sul client e riutilizzalo, altrimenti perdi il pool di connessioni e la coerenza della sessione.
  • L’errore che qui fa perdere più tempo: l’autenticazione Basic è disabilitata nei tunnel https.
  • La rotazione appartiene alla sessione, non alla richiesta. Un’attivita logica mantiene la stessa uscita; ruotare a meta sessione interrompe i cookie e invita alle verifiche.
  • Usa Java quando il crawler e integrato in un servizio JVM esistente e ti servono la stessa osservabilita e lo stesso processo di deployment del resto della piattaforma. Evitalo quando scrivi uno scraper monouso in un solo file, dove la complessita formale costa più del lavoro stesso.

Come instradare le richieste Java tramite un proxy?

Configura il proxy una volta sul client, poi riutilizza quel client per ogni richiesta della sessione. Ecco la forma minima funzionante con autenticazione.

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

Tre dettagli contano più della sintassi. Le credenziali appartengono al gateway, non al sito di destinazione. Il timeout non è facoltativo, perché un proxy aggiunge un passaggio e una richiesta bloccata occupa un worker. Il client è l’unità di identità: lo stesso client significa lo stesso pool di connessioni, gli stessi cookie e, con una sticky session, lo stesso indirizzo di uscita.


Com’è strutturata la configurazione del client in 3 fasi?

Tieni separate tre responsabilità e il debugging smette di essere un tentativo a caso. La chiamiamo configurazione del client in 3 fasi.

Parte Di cosa si occupa In Java
1. Trasporto Connessione, proxy, timeout, tentativi, TLS java.net.http.HttpClient da Java 11
2. Parsing Trasformare i byte in campi e segnalare chiaramente quando il markup cambia jsoup
3. Pianificazione Concorrenza per host, ritmo, backoff, deduplicazione Il tuo pool di worker o la tua coda, limitati per destinazione

La JVM rende facile confondere questi tre elementi all’interno di una sola classe di servizio, e il risultato è un crawler per cui nessuno sa dire se un errore proviene dalla rete, dal markup o dallo scheduler. Tenere HttpClient, jsoup è il tuo executor in livelli separati fa si che un 403 indichi uno di essi, un risultato vuoto del selettore un altro e un degrado lento il terzo.

Quando uno scrape si interrompe, la prima domanda è quale parte si e interrotta. Uno stato non 200 riguarda il trasporto. Un 200 con campi vuoti riguarda il parsing, oppure una pagina con rendering lato client. Un successo che degrada nell’arco di minuti riguarda la pianificazione. Mescolare i tre aspetti in una sola funzione e il motivo per cui tanti scraper vengono riscritti invece di essere corretti.

jsoup è il parser predefinito per un motivo: selettori CSS, gestione tollerante dell’HTML e una piccola API. Usalo solo per il parsing e lascia che HttpClient gestisca la rete.


Cosa va storto specificamente in Java?

Tre problemi spiegano la maggior parte del tempo perso con Java, e nessuno di essi è il blocco da parte della destinazione.

L’autenticazione Basic è disabilitata nei tunnel HTTPS. E quello che fa perdere un pomeriggio alle persone. Il JDK blocca per impostazione predefinita l’autenticazione Basic del proxy nei tunnel CONNECT, quindi un proxy autenticato funziona per HTTP e fallisce per HTTPS finché non rimuovi la proprietà jdk.http.auth.tunneling.disabledSchemes.

Authenticator non viene chiamato per i proxy in ogni versione. Il comportamento è cambiato tra le versioni del JDK. Se le credenziali vengono ignorate, invia tu stesso l’header Proxy-Authorization come soluzione alternativa e fissa la versione del JDK nella build.

jsoup recupera i contenuti autonomamente. Jsoup.connect(url) apre la propria connessione e non sa nulla del proxy HttpClient. Recupera il contenuto con HttpClient, poi passa la stringa a Jsoup.parse.

Nessuno di questi problemi e insolito e tutti dall’esterno sembrano uno scraper bloccato; per questo la prima reazione e così spesso acquistare proxy per un problema che risiede nel client. La nostra guida agli errori 403 Forbidden durante lo scraping illustra in ordine i passaggi per isolare il problema.


Come limitare la concorrenza in Java?

Usa un pool fisso e un permesso, non un executor senza limiti. I virtual thread rendono banalmente facile avviare diecimila richieste insieme, il che e un denial-of-service contro la tua destinazione e un ban per rate limit per te.

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

Quattro permessi per host sono un punto di partenza sensato per le pagine pubbliche. Aggiungi jitter tra le acquisizioni e inserisci un backoff esponenziale attorno alla chiamata send, che fermi l’intero lavoro dopo una serie di risposte 429 o 403 invece di ritentare contro un muro.


Quali librerie Java vale la pena usare?

Libreria Usala per Nota sincera
java.net.http.HttpClient Tutto ciò che riguarda la rete, da Java 11 in poi Nel JDK, nessuna dipendenza, HTTP/2 per impostazione predefinita. La particolarita del tunneling con autenticazione proxy e il suo unico punto delicato
jsoup Parsing e selezione CSS La scelta predefinita per validi motivi. Usala solo per il parsing, mai per il recupero tramite un proxy
Apache HttpClient 5 Controllo dettagliato delle connessioni e dei proxy API più pesante, ma ne vale la pena quando ti servono pool di connessioni per route o NTLM
Playwright for Java Pagine con rendering lato client Browser reale, costo reale. Riservalo al sottoinsieme di pagine che ne ha bisogno
HtmlUnit Navigazione headless legacy Per i siti moderni e per lo più un vicolo cieco; il suo motore JavaScript è indietro rispetto ai browser reali

La combinazione che resiste alla manutenzione è volutamente semplice: HttpClient per la rete, jsoup per il markup, Playwright solo quando il rendering e inevitabile.


Quando Java è lo strumento sbagliato?

Usa Java quando il crawler e integrato in un servizio JVM esistente e ti servono la stessa osservabilita e lo stesso processo di deployment del resto della piattaforma. Evitalo quando scrivi uno scraper monouso in un solo file, dove la complessita formale costa più del lavoro stesso.

Il fattore decisivo è la manutenzione, non la capacità. Un crawler scritto nel linguaggio che il tuo team usa ogni giorno resiste al prossimo cambiamento del markup; uno ingegnoso in un linguaggio poco familiare viene abbandonato al primo guasto. Se la risposta sincera è che Java non è l’ambiente giusto per questo lavoro, un piccolo crawler altrove che scrive nello stesso database è una scelta progettuale legittima, non una sconfitta.

Due aspetti restano fuori da questa pagina perché sono uguali in ogni linguaggio e ripeterli qui renderebbe solo più difficile mantenerli aggiornati. Le regole su sessione e rotazione, incluso il motivo per cui un percorso deve mantenere una sola uscita sticky, sono nelle best practice per la rotazione dei proxy. Cosa fare quando una richiesta viene rifiutata e come distinguere un problema di rete da un problema del client e spiegato in 403 Forbidden durante lo scraping, mentre il quadro legale e in il web scraping è legale.

Per quanto riguarda l’uscita: residential proxy a rotazione per le pagine pubbliche, sticky per i percorsi, datacenter per API e dati aperti. DataImpulse residential costa $1 per GB in 195 paesi, con targeting per paese incluso; il confronto e in i migliori proxy per il web scraping.


Domande frequenti

Come imposto un proxy in Java?

Configuralo sull’oggetto client anziché per singola richiesta: con java.net.http.HttpClient da Java 11 imposti una volta host, porta e credenziali del proxy, poi riutilizzi quel client. Riutilizzarlo mantiene coerenti il pool di connessioni, il contenitore dei cookie e l’indirizzo di uscita, ed e questo che fa apparire una sessione coerente.

Quale libreria devo usare per il parsing in Java?

jsoup e la scelta predefinita pratica. Tieni il parsing separato dal recupero: il client gestisce la rete e il parser il markup, così un errore ti dice subito quale dei due si e interrotto.

Mi serve un browser headless per Java?

Solo quando i campi hanno rendering lato client. Recupera la pagina normalmente e cerca prima nell’HTML un valore noto: se c’è, evita del tutto il browser. Quando te ne serve uno, Selenium o Playwright per Java quando è necessario il rendering sono l’opzione di questo ecosìstema, e costano un ordine di grandezza in più per pagina in tempo e memoria.

L’autenticazione Basic è disabilitata nei tunnel HTTPS?

E quello che fa perdere un pomeriggio alle persone. Il JDK blocca per impostazione predefinita l’autenticazione Basic del proxy nei tunnel CONNECT, quindi un proxy autenticato funziona per HTTP e fallisce per HTTPS finché non rimuovi la proprietà jdk.http.auth.tunneling.disabledSchemes.

Java è una buona scelta per il web scraping?

È una buona scelta quando il crawler e integrato in un servizio JVM esistente e ti servono la stessa osservabilita e lo stesso processo di deployment del resto della piattaforma. E la scelta sbagliata quando scrivi uno scraper monouso in un solo file, dove la complessita formale costa più del lavoro stesso. Il fattore decisivo di solito e la manutenzione anziché la capacità pura: lo scraper scritto nel linguaggio che il tuo team usa ogni giorno e quello che resiste al prossimo cambiamento del markup.


Indirizza il tuo client Java verso un’uscita affidabile

Lo snippet sopra funziona con una sola modifica delle credenziali: DataImpulse residential offre uscite geograficamente accurate a $1 per GB in 195 paesi, a rotazione o sticky, tramite HTTP, HTTPS e SOCKS5. Crea un account e prova una destinazione dal tuo client Java prima di scalare il lavoro.

Correlati: 403 Forbidden durante lo scraping · Configurazione del proxy Crawl4AI · configurazione proxy in Go, Kotlin, Scala, Perl ed Elixir.

Ultimo aggiornamento: 17 settembre 2026.


Share article: