Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Web scraping w Java to przede wszystkim kwestia tego, jakiego klienta odziedziczyłeś. Wszystko napisane przed Java 11 prawdopodobnie korzysta z Apache HttpClient lub surowego HttpURLConnection, a wszystko po tej wersji może używać java.net.http.HttpClient z HTTP/2 i bez żadnych zależności. Odpowiedź dotycząca parsowania pozostaje niezmienna od dekady: jsoup.

Jeśli trafiłeś tutaj, szukając informacji o web scraping w Java, krótka wersja brzmi: ustaw proxy w konstruktorze klienta raz, używaj tego klienta ponownie i pamiętaj, że JDK inaczej traktuje uwierzytelnianie proxy przez HTTPS niż przez HTTP. Ten ostatni szczegół jest najczęstszym powodem, dla którego scraper Java działa z jedną stroną, a zawodzi z inną. Poniżej znajdziesz rozwiązanie.


Najważniejsze fakty

  • Stos technologiczny w Java: java.net.http.HttpClient z Java 11 do pobierania, jsoup do parsowania oraz Selenium lub Playwright for Java, gdy wymagane jest renderowanie.
  • Konfiguracja proxy to jeden obiekt, a nie jedna linia na żądanie. Skonfiguruj je raz w kliencie i używaj tego klienta ponownie, w przeciwnym razie stracisz pulę połączeń i spójność sesji.
  • Błąd, który zabiera tu najwięcej czasu: uwierzytelnianie Basic jest wyłączone w tunelach HTTPS.
  • Rotacja należy do sesji, nie do żądania. Jedno zadanie logiczne zachowuje jedno wyjście; rotacja w trakcie sesji psuje pliki cookie i prowokuje mechanizmy weryfikacyjne.
  • Używaj Java, gdy robot zbierający dane działa w istniejącej usłudze JVM i potrzebujesz tej samej obserwowalności oraz sposobu wdrażania co reszta platformy. Unikaj go, gdy piszesz jednorazowy skrypt do scrapingu w jednym pliku, a formalności kosztują więcej niż samo zadanie.

Jak kierować żądania Java przez proxy?

Skonfiguruj proxy raz w kliencie, a następnie używaj tego klienta do każdego żądania w sesji. Oto minimalna działająca wersja z uwierzytelnianiem.

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

Trzy szczegóły są ważniejsze niż składnia. Dane uwierzytelniające dotyczą bramki, a nie docelowej strony. Limit czasu nie jest opcjonalny, ponieważ proxy dodaje kolejny etap, a zawieszone żądanie blokuje proces roboczy. Klient jest też jednostką tożsamości: ten sam klient oznacza tę samą pulę połączeń, te same pliki cookie oraz, przy sticky session, ten sam adres wyjściowy.


Jak wygląda 3-etapowa konfiguracja klienta?

Oddziel trzy kwestie, a debugowanie przestanie być zgadywaniem. Nazywamy to 3-etapową konfiguracją klienta.

Część Za co odpowiada W Java
1. Transport Połączenie, proxy, limity czasu, ponowne próby, TLS java.net.http.HttpClient z Java 11
2. Parsowanie Przekształcanie bajtów w pola i wyraźne sygnalizowanie, gdy zmienił się markup jsoup
3. Harmonogramowanie Współbieżność na hosta, tempo, backoff, usuwanie duplikatów Własna pula workerów lub kolejka, ograniczona dla każdego celu

JVM ułatwia zatarcie granic między tymi trzema obszarami w jednej klasie usługi. Skutkiem jest robot zbierający dane, w którym nikt nie umie powiedzieć, czy awaria wynika z sieci, znaczników czy harmonogramu. Trzymanie HttpClient, jsoup i executora w osobnych warstwach oznacza, że kod 403 wskazuje na jedną z nich, pusty wynik selektora na drugą, a powolny spadek skuteczności na trzecią.

Gdy scraping przestaje działać, pierwsze pytanie brzmi: która część się zepsuła? Status inny niż 200 oznacza transport. Kod 200 z pustymi polami oznacza parsowanie albo stronę renderowaną po stronie klienta. Sukces, którego skuteczność spada w ciągu minut, oznacza harmonogramowanie. Łączenie tych trzech obszarów w jednej funkcji jest powodem, dla którego tak wiele skryptów do scrapingu przepisuje się zamiast naprawiać.

jsoup jest domyślnym parserem nie bez powodu: selektory CSS, wyrozumiała obsługa HTML i niewielkie API. Używaj go wyłącznie do parsowania, a sieć pozostaw HttpClient.


Co konkretnie nie działa w Java?

Trzy problemy odpowiadają za większość straconego czasu w Java i żaden z nich nie polega na blokowaniu przez docelową stronę.

Basic auth jest wyłączone w tunelach HTTPS. To problem, który potrafi zająć całe popołudnie. JDK domyślnie blokuje uwierzytelnianie Basic proxy w tunelach CONNECT, więc uwierzytelnione proxy działa dla HTTP, ale zawodzi dla HTTPS, dopóki nie wyczyścisz właściwości jdk.http.auth.tunneling.disabledSchemes.

Authenticator nie jest wywoływany dla proxy w każdej wersji. Zachowanie zmieniało się między wydaniami JDK. Jeśli dane uwierzytelniające są ignorowane, jako rozwiązanie awaryjne samodzielnie wyślij nagłówek Proxy-Authorization i przypnij wersję JDK w swoim buildzie.

jsoup pobiera dane samodzielnie. Jsoup.connect(url) otwiera własne połączenie i nie wie nic o proxy HttpClient. Pobierz dane przez HttpClient, a następnie przekaż tekst do Jsoup.parse.

Żaden z tych problemów nie jest egzotyczny i każdy z zewnątrz wygląda jak zablokowany skrypt do scrapingu. Dlatego pierwszą reakcją jest tak często kupowanie proxy dla problemu leżącego po stronie klienta. Nasz przewodnik po błędach 403 Forbidden podczas scrapingu przedstawia kolejne kroki izolowania problemu.


Jak ograniczać współbieżność w Java?

Użyj stałej puli i pozwolenia, a nie nieograniczonego executora. Wirtualne wątki bardzo ułatwiają uruchomienie naraz dziesięciu tysięcy żądań, co jest atakiem typu denial-of-service na Twój cel i skutkuje blokadą limitu szybkości dla Ciebie.

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

Cztery pozwolenia na hosta to rozsądny punkt wyjścia dla stron publicznych. Dodaj jitter między uzyskaniem pozwoleń oraz wykładniczy backoff wokół wywołania send, który zatrzyma całe zadanie po serii odpowiedzi 429 lub 403, zamiast ponawiać próby bez końca.


Które biblioteki Java warto stosować?

Biblioteka Zastosowanie Uczciwa uwaga
java.net.http.HttpClient Wszystko związane z siecią, od Java 11 W JDK, bez zależności, domyślnie HTTP/2. Nietypowe uwierzytelnianie proxy w tunelach to jego jedyna ostra krawędź
jsoup Parsowanie i wybór CSS Domyślny wybór z dobrego powodu. Używaj go tylko do parsowania, nigdy do pobierania przez proxy
Apache HttpClient 5 Precyzyjna kontrola połączeń i proxy Cięższe API, ale warto, gdy potrzebujesz pul połączeń na trasę lub NTLM
Playwright for Java Strony renderowane po stronie klienta Prawdziwa przeglądarka, realny koszt. Zachowaj ją dla podzbioru stron, które jej potrzebują
HtmlUnit Starsze przeglądanie bez interfejsu W przypadku współczesnych stron to głównie ślepa uliczka; jego silnik JavaScript pozostaje w tyle za prawdziwymi przeglądarkami

Połączenie, które wytrzymuje utrzymanie, jest celowo proste: HttpClient do sieci, jsoup do markupu, Playwright tylko tam, gdzie renderowanie jest nieuniknione.


Kiedy Java jest złym narzędziem?

Używaj Java, gdy robot zbierający dane działa w istniejącej usłudze JVM i potrzebujesz tej samej obserwowalności oraz sposobu wdrażania co reszta platformy. Unikaj go, gdy piszesz jednorazowy skrypt do scrapingu w jednym pliku, a formalności kosztują więcej niż samo zadanie.

Decydującym czynnikiem jest utrzymanie, nie możliwości. Robot zbierający dane napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników; sprytny robot w nieznanym języku zostanie porzucony przy pierwszej awarii. Jeśli uczciwa odpowiedź brzmi, że Java nie jest właściwym miejscem dla tego zadania, niewielki robot działający gdzie indziej i zapisujący do tej samej bazy danych jest uzasadnionym projektem, a nie porażką.

Dwie kwestie znajdują się poza tą stroną, ponieważ są takie same w każdym języku, a powtarzanie ich tutaj tylko utrudniłoby aktualizowanie. Zasady sesji i rotacji, w tym wyjaśnienie, dlaczego jedna ścieżka musi zachować jedno stałe wyjście, znajdziesz w najlepszych praktykach rotacji proxy. Co zrobić, gdy żądanie zostaje odrzucone, oraz jak odróżnić problem sieciowy od problemu klienta, opisano w 403 Forbidden podczas scrapingu, a ramy prawne w czy web scraping jest zgodny z prawem.

Jeśli chodzi o samo wyjście: rotacyjny residential proxy dla stron publicznych, stałe proxy dla ścieżek użytkownika, datacenter dla API i otwartych danych. DataImpulse residential kosztuje $1 za GB w 195 krajach z targetowaniem kraju w cenie, a porównanie znajdziesz w najlepszych proxy do web scraping.


Najczęściej zadawane pytania

Jak ustawić proxy w Java?

Skonfiguruj je w obiekcie klienta, a nie osobno dla każdego żądania: w java.net.http.HttpClient z Java 11 raz ustawiasz host proxy, port i dane uwierzytelniające, a następnie używasz tego klienta ponownie. Ponowne używanie go zachowuje pulę połączeń, pliki cookie i spójny adres wyjściowy, dzięki czemu sesja wygląda spójnie.

Jakiej biblioteki użyć do parsowania w Java?

jsoup jest praktycznym wyborem domyślnym. Oddziel parsowanie od pobierania: klient odpowiada za sieć, a parser za znaczniki, więc awaria natychmiast mówi Ci, która z tych dwóch części się zepsuła.

Czy potrzebuję przeglądarki bez interfejsu dla Java?

Tylko gdy pola są renderowane po stronie klienta. Najpierw zwyczajnie pobierz stronę i wyszukaj w HTML jedną znaną wartość: jeśli tam jest, całkowicie pomiń przeglądarkę. Gdy jej potrzebujesz, Selenium lub Playwright for Java, gdy wymagane jest renderowanie, są rozwiązaniem w tym ekosystemie i kosztują na stronę o rząd wielkości więcej czasu oraz pamięci.

Uwierzytelnianie Basic jest wyłączone w tunelach HTTPS?

To problem, który potrafi zająć całe popołudnie. JDK domyślnie blokuje uwierzytelnianie Basic proxy w tunelach CONNECT, więc uwierzytelnione proxy działa dla HTTP, ale zawodzi dla HTTPS, dopóki nie wyczyścisz właściwości jdk.http.auth.tunneling.disabledSchemes.

Czy Java to dobry wybór do web scraping?

To dobry wybór, gdy robot zbierający dane działa w istniejącej usłudze JVM i potrzebujesz tej samej obserwowalności oraz sposobu wdrażania co reszta platformy. To zły wybór, gdy piszesz jednorazowy skrypt do scrapingu w jednym pliku, a formalności kosztują więcej niż samo zadanie. Czynnikiem decydującym jest zwykle utrzymanie, a nie surowe możliwości: skrypt do scrapingu napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników.


Skieruj klienta Java na niezawodne wyjście

Powyższy fragment kodu działa po zmianie jednych danych uwierzytelniających: DataImpulse residential zapewnia dokładne geograficznie wyjścia za $1 za GB w 195 krajach, rotating lub sticky, przez HTTP, HTTPS i SOCKS5. Utwórz konto i przetestuj jeden cel z klienta Java przed skalowaniem zadania.

Powiązane: 403 Forbidden podczas scrapingu · konfiguracja proxy Crawl4AI · konfiguracja proxy w Go, Kotlin, Scala, Perl i Elixir.

Ostatnia aktualizacja: 17 września 2026 r.


Share article: