DataImpulse Logo and Java Logo

Java jest niezależnym od platformy językiem z rozbudowanymi bibliotekami, obsługą wielowątkowości i skutecznymi mechanizmami obsługi błędów, dlatego dobrze nadaje się do web scraping. W tym szczegółowym poradniku wyjaśniamy, jakich narzędzi potrzebujesz i jakie kroki podjąć, aby usprawnić scraping w Java.

Web scraping w Java: najważniejsze kwestie

Chociaż prostsze języki, takie jak Python, są popularniejsze w web scraping, Java również ma swoje mocne strony, na przykład: 

  • Biblioteki takie jak JSoup lub HtmlUnit upraszczają analizowanie HTML 
  • Wydajność, szybkość i sprawne zarządzanie pamięcią sprawiają, że Java dobrze nadaje się do projektów na dużą skalę 
  • Jako język o silnym typowaniu Java pozwala wykrywać błędy w czasie kompilacji 

Ponadto Java jest dobrym wyborem, jeśli Twoja infrastruktura opiera się na Java lub planujesz długoterminowe projekty. Jednocześnie web scraping często wiąże się z wyzwaniami takimi jak blokady IP, ograniczenia geograficzne i kwestie bezpieczeństwa. Wsparcie projektu Java za pomocą proxy pomaga pokonać te przeszkody i pozyskać potrzebne dane. 

Zanim przejdziemy do kodowania, zobaczmy, jakich narzędzi będziesz potrzebować:

  • Visual Studio Code (właściwie wystarczy też Visual Studio 2022 lub dowolne inne IDE obsługujące Java)
  • Coding Pack for Java
  • Extension Pack for Java
  • Apache Maven 

Jeśli dopiero zaczynasz pracę z Visual Studio Code lub Java, tutaj znajdziesz dokumentację ze szczegółowymi wyjaśnieniami, jak zainstalować Coding Pack i Extension Pack. Przydatny może być także ten poradnik dotyczący instalacji Apache Maven. 

Uwaga: obsługiwany jest tylko format „hostname:port”, dlatego przed uruchomieniem kodu musisz dodać swój adres IP do białej listy. Zrobisz to na swoim koncie DataImpulse. Przejdź do odpowiedniego planu proxy, wybierz w menu w prawym górnym rogu opcję „Manage Whitelist IPs” i dodaj swój adres do białej listy. Jeśli potrzebujesz pomocy lub napotkasz problemy, zobacz nasz szczegółowy przewodnik po zarządzaniu kontem DataImpulse. 

Pierwsze kroki z HttpClientApp 

Musisz utworzyć klienta HTTP, aby kierować ruch przez serwer proxy. Ta aplikacja wysyła żądania do wskazanego URL i odbiera odpowiedzi. Możesz użyć poniższego kodu:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;


public class HttpClientApp {


    public static final String proxyHost = "gw.dataimpulse.com";
    public static final int proxyPort = 823;


    public static void main(String[] args) {
        System.out.println("Performing request through proxy...");


        try {
            String response = request("https://api.ipify.org");
            System.out.println("Your IP address: " + response);
        } catch (IOException e) {
            System.err.println("Request error: " + e.getMessage());
        }
    }


    public static String request(String url) throws IOException {
        // Configure the proxy without authentication
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        // Handle the response
        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        if (responseCode == 200) {
            // Successful response
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            // Error response with detailed output
            StringBuilder errorResponse = new StringBuilder();
            if (connection.getErrorStream() != null) {
                try (BufferedReader reader = new BufferedReader(
                        new InputStreamReader(connection.getErrorStream()))) {
                    String line;
                    while ((line = reader.readLine()) != null) {
                        errorResponse.append(line);
                    }
                }
            }
            throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
                    (errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Wynik powinien wyglądać tak:

Tworzenie rotatora proxy

Kierowanie ruchu przez serwer proxy nie wystarczy. Aby zwiększyć prywatność, musisz używać nowego IP dla każdego żądania. Dlatego potrzebujesz rotatora proxy. Oto przykład kodu, którego możesz użyć:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyRotator {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    public static void main(String[] args) {
        // URL to request
        String url = "https://api.ipify.org";


        for (Proxy proxy : proxies) {
            System.out.println("Using proxy: " + proxy.address());
            try {
                String response = sendRequestWithProxy(url, proxy);
                System.out.println("Request succeeded with proxy " + proxy.address());
                System.out.println("IP address from API website: " + response);
            } catch (IOException e) {
                System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to send request using a specific proxy
    private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Powinieneś uzyskać taki wynik:

Tworzenie narzędzia do sprawdzania proxy

Czas upewnić się, że nasze proxy działają z wybraną stroną internetową. W tym celu musisz utworzyć aplikację do sprawdzania proxy i podać URL do sprawdzenia:

Oto kod, który możesz wypróbować:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyChecker {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    // Website to check through proxies
    private static final String websiteUrl = "https://api.ipify.org";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Checker...");


        for (Proxy proxy : proxies) {
            System.out.println("\nChecking proxy: " + proxy.address());
            try {
                boolean isWorking = checkProxy(proxy, websiteUrl);
                if (isWorking) {
                    System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
                } else {
                    System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
                }
            } catch (IOException e) {
                System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to check if proxy works with the given website
    private static boolean checkProxy(Proxy proxy, String url) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
        connection.setConnectTimeout(5000); // 5 seconds timeout
        connection.setReadTimeout(5000);    // 5 seconds timeout


        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        System.out.println("Response: " + responseCode + " " + responseMessage);


        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                System.out.println("IP Returned: " + response);
            }
            return true;
        } else {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getErrorStream()))) {
                StringBuilder errorResponse = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    errorResponse.append(line);
                }
                System.out.println("Error details: " + errorResponse);
            }
            return false;
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Widoczne wyniki powinny wyglądać tak:

Przejście do właściwego web scrapingu

Na koniec czas zbudować aplikację do web scraping. Wyodrębni ona wszystkie potrzebne dane, dlatego musisz podać docelowy URL do scrapowania i określić, jakie dane program ma pobrać. W naszym przypadku będziemy scrapować linki z naszej strony głównej. Możesz użyć tego kodu jako punktu odniesienia:


package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;


public class ProxyWebScraper {


    // Proxy configuration
    private static final String PROXY_HOST = "gw.dataimpulse.com";
    private static final int PROXY_PORT = 823;


    // Target website to scrape
    private static final String TARGET_URL = "https://dataimpulse.com/";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Web Scraper...");


        try {
            // Perform the web scraping through the proxy
            String htmlContent = getHtmlContent(TARGET_URL);
            if (htmlContent != null) {
                // Parse and extract links from the HTML content
                parseHtml(htmlContent);
            } else {
                System.out.println("Failed to retrieve HTML content.");
            }
        } catch (IOException e) {
            System.err.println("Error during scraping: " + e.getMessage());
        }
    }


    // Method to get HTML content through the proxy
    private static String getHtmlContent(String url) throws IOException {
        // Configure proxy
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
        connection.setConnectTimeout(10000);
        connection.setReadTimeout(10000);


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            // Read and return the HTML content
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
                StringBuilder content = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    content.append(line);
                }
                return content.toString();
            }
        } else {
            System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
            return null;
        }
    }


    // Method to parse HTML and extract links using jsoup
    private static void parseHtml(String htmlContent) {
        Document doc = Jsoup.parse(htmlContent);
        Elements links = doc.select("a[href]");


        if (links.isEmpty()) {
            System.out.println("No links found on the page.");
        } else {
            System.out.println("Links found:");
            for (Element link : links) {
                String href = link.attr("abs:href");
                String title = link.text();
                System.out.println("Title: " + title + ", Link: " + href);
            }
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Musisz jednak zrobić jeszcze jedną rzecz. Aby zakończyć proces i zapewnić prawidłowe działanie aplikacji do scrapowania, zainstaluj bibliotekę JSoup za pomocą Maven. Oto instrukcja krok po kroku:

  1. Utwórz projekt Java, używając odpowiedniego przycisku. 
  1. Select Maven jako typ projektu. 
  1. Z wyświetlonej listy wybierz „maven-archetype-quickstart”:
  1. Wybierz wersję „1.4” maven-archetype-quickstart.
  1. Wprowadź „com.dataimpulse” jako identyfikator grupy.
  1. Wpisz „proxy-scraper” w polu „identyfikator artefaktu”.
  1. Wybierz folder, w którym zapiszesz bibliotekę i samą aplikację ProxyWebScraper. Następnie powinien pojawić się folder proxy-scraper. Teraz przenieś kod do proxy-scraper/src/main/java/com/dataimpulse:
  1. Dodaj bibliotekę JSoup przez Apache Maven, jak pokazano na zrzucie ekranu poniżej. Jeśli zrobisz to poprawnie, biblioteka pojawi się w pliku „pom.xml”. 
  1. W pliku „pom.xml” zmień parametry „maven.compiler.source” i „maven.compiler.target” na 1.8. Zapisz plik za pomocą CTRL+S w Windows lub CMD+S na Macu.
  1. Teraz kod powinien działać prawidłowo. Aby go uruchomić, użyj przycisku w prawym górnym rogu ekranu.

Oto końcowy wynik naszego projektu scrapowania:

Jak widzisz, mamy teraz wszystkie dane, których potrzebowaliśmy. Modyfikując kod, możesz jednak uzyskać dowolne potrzebne dane HTML. Proxy należy też starannie wybierać, ponieważ takie wyniki są niemożliwe bez IP pozyskanych zgodnie z prawem. W DataImpulse możesz uzyskać 15 milionów adresów pozyskanych w sposób etyczny, niepowiązanych z działaniami naruszającymi prawo, takimi jak rozpowszechnianie złośliwego oprogramowania. Jeśli napotkasz trudności, nasz zespół wsparcia złożony z ludzi jest do Twojej dyspozycji 24/7. Możesz także dostosować targetowanie do polityk dostępu terytorialnego. Jednocześnie nasze proxy nie nadwyrężą Twojego budżetu, ponieważ działamy w modelu płatności za użycie i oferujemy przystępną cenę $1 za 1GB. Zacznij z nami, pisząc na [email protected] or use the “Wypróbuj teraz” przycisku w prawym górnym rogu ekranu. 

Share article: