Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Web Scraping mit Java ist vor allem eine Frage des Clients, den du übernimmst. Alles, was vor Java 11 geschrieben wurde, verwendet wahrscheinlich Apache HttpClient oder rohes HttpURLConnection, alles danach kann java.net.http.HttpClient mit HTTP/2 und ganz ohne Abhängigkeit nutzen. Die Antwort fürs Parsen ist seit einem Jahrzehnt stabil: jsoup.

Wenn du hier nach Web Scraping mit Java gesucht hast, lautet die Kurzfassung: Setze den Proxy einmal im Client-Builder, verwende diesen Client wieder und bedenke, dass das JDK die Proxy-Authentifizierung über HTTPS anders behandelt als über HTTP. Dieses letzte Detail ist der häufigste Grund, warum ein Java-Scraper auf einer Website funktioniert und auf einer anderen scheitert. Die Lösung dafür folgt weiter unten.


Wichtige Fakten

  • Der Stack in Java: java.net.http.HttpClient ab Java 11 fürs Abrufen, jsoup fürs Parsen und Selenium oder Playwright für Java, wenn das Rendern erforderlich ist.
  • Die Proxy-Einrichtung ist ein Objekt, keine Zeile pro Anfrage. Konfiguriere ihn einmal im Client und verwende diesen Client wieder, sonst verlierst du Verbindungs-Pooling und Sitzungskohärenz.
  • Der Fehler, der hier am meisten Zeit kostet: Basic-Authentifizierung ist bei HTTPS-Tunneln deaktiviert.
  • Rotation gehört zur Sitzung, nicht zur Anfrage. Eine logische Aufgabe behält einen Exit; eine Rotation mitten in der Sitzung beschädigt Cookies und provoziert Prüfungen.
  • Nutze Java, wenn der Crawler in einem bestehenden JVM-Service läuft und du dieselbe Beobachtbarkeit und denselben Bereitstellungsablauf wie für den Rest deiner Plattform brauchst. Vermeide es, wenn du einen kurzfristigen Ein-Datei-Scraper schreibst, bei dem der Aufwand größer ist als die Aufgabe.

Wie leitest du Java-Anfragen über einen Proxy?

Konfiguriere den Proxy einmal im Client und verwende diesen Client dann für jede Anfrage der Sitzung. Hier ist die minimal funktionierende Variante mit Authentifizierung.

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

Drei Details sind wichtiger als die Syntax. Die Zugangsdaten gehören zum Gateway, nicht zur Ziel-Website. Das Timeout ist nicht optional, denn ein Proxy fügt eine Zwischenstation hinzu und eine hängende Anfrage blockiert einen Worker. Außerdem ist der Client die Einheit der Identität: Derselbe Client bedeutet denselben Verbindungspool, dieselben Cookies und bei einer Sticky Session dieselbe Exit-Adresse.


Wie sieht die 3-stufige Client-Einrichtung aus?

Halte drei Bereiche getrennt, dann wird Fehlersuche nicht länger zum Rätselraten. Wir nennen das die 3-stufige Client-Einrichtung.

Teil Wofür er zuständig ist In Java
1. Transport Verbindung, Proxy, Timeouts, Wiederholungen, TLS java.net.http.HttpClient ab Java 11
2. Parsing Bytes in Felder umwandeln und deutlich scheitern, wenn sich das Markup verschoben hat jsoup
3. Planung Parallelität pro Host, Taktung, Backoff, Deduplizierung Eigener Worker-Pool oder eigene Queue, pro Ziel begrenzt

Die JVM macht es leicht, diese drei Bereiche in einer Service-Klasse zu vermischen. Das Ergebnis ist ein Crawler, bei dem niemand sagen kann, ob ein Fehler vom Netzwerk, vom Markup oder vom Scheduler stammt. Wenn du HttpClient, jsoup und deinen Executor in getrennten Schichten hältst, weist ein 403 auf eine davon hin, ein leeres Selektor-Ergebnis auf eine andere und ein langsamer Rückgang auf die dritte.

Wenn ein Scrape fehlschlägt, lautet die erste Frage: Welcher Teil ist kaputt? Ein Status ungleich 200 ist Transport. Ein 200 mit leeren Feldern ist Parsing oder eine Seite, die clientseitig rendert. Erfolg, der über Minuten nachlässt, ist Planung. Die drei Bereiche in einer Funktion zu vermischen, ist der Grund, warum so viele Scraper neu geschrieben statt repariert werden.

jsoup ist aus gutem Grund der Standard-Parser: CSS-Selektoren, tolerante HTML-Verarbeitung und eine kleine API. Nutze es nur fürs Parsen und überlasse HttpClient das Netzwerk.


Was geht speziell in Java schief?

Drei Probleme verursachen den größten Zeitverlust in Java, und keines davon ist eine Sperre durch das Ziel.

Basic Auth ist bei HTTPS-Tunneln deaktiviert. Das ist der Fehler, der Leute einen Nachmittag kostet. Das JDK blockiert Basic-Proxy-Authentifizierung auf CONNECT-Tunneln standardmäßig. Deshalb funktioniert ein authentifizierter Proxy für HTTP und scheitert für HTTPS, bis du die Eigenschaft jdk.http.auth.tunneling.disabledSchemes löschst.

Authenticator wird nicht in jeder Version für Proxys aufgerufen. Das Verhalten hat sich über JDK-Releases hinweg verändert. Wenn Zugangsdaten ignoriert werden, sende als Fallback den Header Proxy-Authorization selbst und lege die JDK-Version in deinem Build fest.

jsoup ruft selbst ab. Jsoup.connect(url) öffnet eine eigene Verbindung und kennt deinen HttpClient-Proxy nicht. Rufe mit HttpClient ab und übergib den String dann an Jsoup.parse.

Keines davon ist exotisch, und von außen sehen alle wie ein blockierter Scraper aus. Deshalb lautet die erste Reaktion so oft, Proxys für ein Problem zu kaufen, das im Client liegt. Unser Leitfaden zu 403-Forbidden-Fehlern beim Scraping beschreibt die Schritte zur Eingrenzung der Reihe nach.


Wie begrenzt du die Parallelität in Java?

Nutze einen festen Pool und ein Permit, keinen unbegrenzten Executor. Virtuelle Threads machen es sehr einfach, zehntausend Anfragen auf einmal zu starten. Das ist ein Denial-of-Service gegen dein Ziel und führt für dich zu einer Rate-Limit-Sperre.

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

Vier Permits pro Host sind ein sinnvoller Ausgangspunkt für öffentliche Seiten. Füge zwischen den Akquisitionen zufällige Verzögerungen ein und lege eine exponentiell steigende Wartezeit um den send-Aufruf, der den gesamten Job nach einer Serie von 429- oder 403-Antworten beendet, statt gegen eine Wand weiterzuversuchen.


Welche Java-Bibliotheken lohnen sich?

Bibliothek Nutze sie für Offene Einschätzung
java.net.http.HttpClient Alles rund ums Netzwerk, ab Java 11 Im JDK, keine Abhängigkeit, HTTP/2 standardmäßig. Die Eigenheit bei Proxy-Auth-Tunneln ist seine einzige scharfe Kante
jsoup Parsing und CSS-Auswahl Aus gutem Grund der Standard. Nutze es nur fürs Parsen, niemals zum Abrufen über einen Proxy
Apache HttpClient 5 Feingranulare Verbindungs- und Proxy-Steuerung Umfangreichere API, lohnt sich bei Verbindungspools pro Route oder NTLM
Playwright for Java Seiten, die clientseitig rendern Ein echter Browser mit echten Kosten. Reserviere ihn für die Teilmenge der Seiten, die ihn benötigen
HtmlUnit Headless-Browsing für Legacy-Systeme Für moderne Websites meist eine Sackgasse; seine JavaScript-Engine hinkt echten Browsern hinterher

Die wartungsfreundliche Kombination ist bewusst unspektakulär: HttpClient fürs Netzwerk, jsoup fürs Markup, Playwright nur dort, wo Rendering unvermeidbar ist.


Wann ist Java das falsche Werkzeug?

Nutze Java, wenn der Crawler in einem bestehenden JVM-Service läuft und du dieselbe Beobachtbarkeit und denselben Bereitstellungsablauf wie für den Rest deiner Plattform brauchst. Vermeide es, wenn du einen kurzfristigen Ein-Datei-Scraper schreibst, bei dem der Aufwand größer ist als die Aufgabe.

Der entscheidende Faktor ist Wartung, nicht Leistungsfähigkeit. Ein Crawler in der Sprache, die dein Team täglich verwendet, übersteht die nächste Markup-Änderung. Ein cleverer Crawler in einer unbekannten Sprache wird beim ersten Defekt aufgegeben. Wenn die ehrliche Antwort lautet, dass Java nicht der richtige Ort für diese Aufgabe ist, ist ein kleiner Crawler an anderer Stelle, der in dieselbe Datenbank schreibt, ein gerechtfertigtes Design und keine Niederlage.

Zwei Themen stehen nicht auf dieser Seite, weil sie in jeder Sprache gleich sind und eine Wiederholung sie nur schwerer aktuell halten würde. Sitzungs- und Rotationsregeln, einschließlich der Erklärung, warum eine Reise einen Sticky Exit behalten muss, stehen in Best Practices für die Proxy-Rotation. Was zu tun ist, wenn eine Anfrage abgewiesen wird, und wie du ein Netzwerkproblem von einem Client-Problem unterscheidest, steht in 403 Forbidden beim Scraping; die rechtliche Einordnung steht in Ist Web Scraping legal?.

Zum Exit selbst: rotierende Residential Proxy für öffentliche Seiten, Sticky für Abläufe, Datacenter für APIs und offene Daten. DataImpulse Residential Proxy kosten $1 pro GB in 195 Ländern einschließlich Länder-Targeting; den Vergleich findest du in den besten Proxys für Web Scraping.


Häufig gestellte Fragen

Wie setze ich einen Proxy in Java?

Konfiguriere ihn im Client-Objekt statt pro Anfrage: Mit java.net.http.HttpClient ab Java 11 setzt du Proxy-Host, Port und Zugangsdaten einmal und verwendest diesen Client dann wieder. Die Wiederverwendung hält Verbindungspool, Cookie-Speicher und Exit-Adresse konsistent, wodurch eine Sitzung kohärent wirkt.

Welche Bibliothek sollte ich zum Parsen in Java verwenden?

jsoup ist der praktische Standard. Trenne Parsing vom Abrufen: Der Client übernimmt das Netzwerk und der Parser das Markup, sodass dir ein Fehler sofort zeigt, welcher der beiden Teile kaputt ist.

Brauche ich für Java einen Headless-Browser?

Nur wenn die Felder clientseitig gerendert werden. Rufe die Seite zunächst einfach ab und suche im HTML nach einem bekannten Wert: Wenn er vorhanden ist, brauchst du überhaupt keinen Browser. Wenn du doch einen benötigst, sind Selenium oder Playwright for Java bei erforderlichem Rendering die Optionen in diesem Ökosystem. Sie kosten pro Seite zeitlich und beim Speicher eine Größenordnung mehr.

Basic Auth ist bei HTTPS-Tunneln deaktiviert?

Das ist der Fehler, der Leute einen Nachmittag kostet. Das JDK blockiert Basic-Proxy-Authentifizierung auf CONNECT-Tunneln standardmäßig. Deshalb funktioniert ein authentifizierter Proxy für HTTP und scheitert für HTTPS, bis du die Eigenschaft jdk.http.auth.tunneling.disabledSchemes löschst.

Ist Java eine gute Wahl für Web Scraping?

Java ist eine gute Wahl, wenn der Crawler in einem bestehenden JVM-Service läuft und du dieselbe Beobachtbarkeit und denselben Bereitstellungsablauf wie für den Rest deiner Plattform brauchst. Es ist die falsche Wahl, wenn du einen kurzfristigen Ein-Datei-Scraper schreibst, bei dem der Aufwand größer ist als die Aufgabe. Der entscheidende Faktor ist meist Wartung statt reiner Leistungsfähigkeit: Der Scraper in der Sprache, die dein Team täglich verwendet, übersteht die nächste Markup-Änderung.


Richte deinen Java-Client auf einen zuverlässigen Exit aus

Der obige Ausschnitt funktioniert mit einer Änderung der Zugangsdaten: DataImpulse Residential Proxy bieten geografisch präzise Exits für $1 pro GB in 195 Ländern, rotierend oder Sticky, über HTTP, HTTPS und SOCKS5. Erstelle ein Konto und teste ein Ziel mit deinem Java-Client, bevor du den Job skalierst.

Weiterführend: 403 Forbidden beim Scraping · Crawl4AI-Proxy-Einrichtung · Proxy-Einrichtung in Go, Kotlin, Scala, Perl und Elixir.

Zuletzt aktualisiert: 17. September 2026.


Share article: