DataImpulse Logo and Java Logo

Java est un langage multiplateforme doté de bibliothèques robustes, de capacités de multithreading et de mécanismes efficaces de gestion des erreurs, ce qui en fait un bon choix pour le web scraping. Dans ce tutoriel détaillé, nous présentons les outils nécessaires et les étapes à suivre pour simplifier le scraping en Java.

Web scraping avec Java : points clés

Même si des langages plus simples, comme Python, sont plus populaires pour le web scraping, Java présente aussi plusieurs atouts :

  • Des bibliothèques comme JSoup ou HtmlUnit simplifient l’analyse du HTML
  • Ses performances, sa rapidité et sa gestion efficace de la mémoire rendent Java adapté aux projets à grande échelle
  • Son typage fort permet de détecter les erreurs dès la compilation

De plus, si votre infrastructure repose sur Java ou si vous travaillez sur des projets à long terme, Java reste un excellent choix. Le web scraping s’accompagne toutefois souvent de difficultés telles que les blocages d’IP, les restrictions géographiques et les enjeux de sécurité. Associer des proxies à votre projet Java vous aide à surmonter ces obstacles et à obtenir les données nécessaires.

Avant de passer au code, voici les outils dont vous aurez besoin :

  • Visual Studio Code (Visual Studio 2022 ou tout autre IDE compatible avec Java convient)
  • Coding Pack for Java
  • Extension Pack for Java
  • Apache Maven 

Si vous débutez avec Visual Studio Code ou Java, vous trouverez ici une documentation détaillant sur l’installation du Coding Pack et de l’Extension Pack. Vous pouvez aussi consulter ce tutoriel sur l’installation d’Apache Maven.

Remarque : seul le format “hostname:port” est pris en charge. Vous devrez donc ajouter votre adresse IP à la liste blanche avant d’exécuter le code. Pour ce faire, ouvrez votre compte DataImpulse, accédez à l’offre de proxy souhaitée, sélectionnez “Manage Whitelist IPs” dans le menu situé en haut à droite, puis ajoutez votre adresse à la liste blanche. Si vous avez besoin d’aide ou si vous rencontrez des difficultés, consultez notre guide détaillé pour gérer votre compte DataImpulse. 

Premiers pas avec HttpClientApp

Vous devez créer un client HTTP pour acheminer le trafic via un serveur proxy. Cette application envoie des requêtes à l’URL indiquée et reçoit les réponses. Vous pouvez utiliser le code ci-dessous :


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;


public class HttpClientApp {


    public static final String proxyHost = "gw.dataimpulse.com";
    public static final int proxyPort = 823;


    public static void main(String[] args) {
        System.out.println("Performing request through proxy...");


        try {
            String response = request("https://api.ipify.org");
            System.out.println("Your IP address: " + response);
        } catch (IOException e) {
            System.err.println("Request error: " + e.getMessage());
        }
    }


    public static String request(String url) throws IOException {
        // Configure the proxy without authentication
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        // Handle the response
        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        if (responseCode == 200) {
            // Successful response
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            // Error response with detailed output
            StringBuilder errorResponse = new StringBuilder();
            if (connection.getErrorStream() != null) {
                try (BufferedReader reader = new BufferedReader(
                        new InputStreamReader(connection.getErrorStream()))) {
                    String line;
                    while ((line = reader.readLine()) != null) {
                        errorResponse.append(line);
                    }
                }
            }
            throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
                    (errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Le résultat devrait ressembler à ceci :

Créer un proxy rotator

Acheminer le trafic via un serveur proxy ne suffit pas. Pour renforcer la confidentialité, vous devez utiliser une nouvelle IP pour chaque requête. C’est pourquoi vous avez besoin d’un proxy rotator. Voici un exemple de code à utiliser :


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyRotator {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    public static void main(String[] args) {
        // URL to request
        String url = "https://api.ipify.org";


        for (Proxy proxy : proxies) {
            System.out.println("Using proxy: " + proxy.address());
            try {
                String response = sendRequestWithProxy(url, proxy);
                System.out.println("Request succeeded with proxy " + proxy.address());
                System.out.println("IP address from API website: " + response);
            } catch (IOException e) {
                System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to send request using a specific proxy
    private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Vous devriez obtenir le résultat suivant :

Créer un proxy checker

Il est temps de vérifier que nos proxies fonctionnent sur un site web donné. Pour cela, créez une application de proxy checker et fournissez une URL à tester :

Voici un exemple de code que vous pouvez essayer :


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyChecker {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    // Website to check through proxies
    private static final String websiteUrl = "https://api.ipify.org";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Checker...");


        for (Proxy proxy : proxies) {
            System.out.println("\nChecking proxy: " + proxy.address());
            try {
                boolean isWorking = checkProxy(proxy, websiteUrl);
                if (isWorking) {
                    System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
                } else {
                    System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
                }
            } catch (IOException e) {
                System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to check if proxy works with the given website
    private static boolean checkProxy(Proxy proxy, String url) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
        connection.setConnectTimeout(5000); // 5 seconds timeout
        connection.setReadTimeout(5000);    // 5 seconds timeout


        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        System.out.println("Response: " + responseCode + " " + responseMessage);


        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                System.out.println("IP Returned: " + response);
            }
            return true;
        } else {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getErrorStream()))) {
                StringBuilder errorResponse = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    errorResponse.append(line);
                }
                System.out.println("Error details: " + errorResponse);
            }
            return false;
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Les résultats affichés devraient ressembler à ceci :

Passer au web scraping proprement dit

Enfin, il est temps de créer une application de web scraping. Elle extraira toutes les données nécessaires. Vous devez donc fournir l’URL cible et préciser les données que le programme doit récupérer. Dans notre cas, nous allons scraper les liens de notre page d’accueil. Vous pouvez utiliser ce code comme référence :


package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;


public class ProxyWebScraper {


    // Proxy configuration
    private static final String PROXY_HOST = "gw.dataimpulse.com";
    private static final int PROXY_PORT = 823;


    // Target website to scrape
    private static final String TARGET_URL = "https://dataimpulse.com/";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Web Scraper...");


        try {
            // Perform the web scraping through the proxy
            String htmlContent = getHtmlContent(TARGET_URL);
            if (htmlContent != null) {
                // Parse and extract links from the HTML content
                parseHtml(htmlContent);
            } else {
                System.out.println("Failed to retrieve HTML content.");
            }
        } catch (IOException e) {
            System.err.println("Error during scraping: " + e.getMessage());
        }
    }


    // Method to get HTML content through the proxy
    private static String getHtmlContent(String url) throws IOException {
        // Configure proxy
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
        connection.setConnectTimeout(10000);
        connection.setReadTimeout(10000);


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            // Read and return the HTML content
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
                StringBuilder content = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    content.append(line);
                }
                return content.toString();
            }
        } else {
            System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
            return null;
        }
    }


    // Method to parse HTML and extract links using jsoup
    private static void parseHtml(String htmlContent) {
        Document doc = Jsoup.parse(htmlContent);
        Elements links = doc.select("a[href]");


        if (links.isEmpty()) {
            System.out.println("No links found on the page.");
        } else {
            System.out.println("Links found:");
            for (Element link : links) {
                String href = link.attr("abs:href");
                String title = link.text();
                System.out.println("Title: " + title + ", Link: " + href);
            }
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Il reste toutefois une dernière étape. Pour finaliser le processus et vérifier que votre application de scraping fonctionne correctement, vous devez installer la bibliothèque JSoup avec Maven. Voici la procédure étape par étape :

  1. Créez un projet Java à l’aide du bouton prévu à cet effet.
  1. Sélectionnez Maven comme type de projet.
  1. Dans la liste affichée, choisissez “maven-archetype-quickstart”:
  1. Choisissez la version “1.4” de maven-archetype-quickstart.
  1. Saisissez “com.dataimpulse” comme identifiant de groupe.
  1. Saisissez “proxy-scraper” dans le champ “artifact Id”.
  1. Choisissez un dossier dans lequel enregistrer la bibliothèque et l’application ProxyWebScraper. Le dossier proxy-scraper devrait alors apparaître. Déplacez ensuite le code vers proxy-scraper/src/main/java/com/dataimpulse:
  1. Ajoutez la bibliothèque JSoup via Apache Maven, comme indiqué dans la capture d’écran ci-dessous. Si tout est correctement configuré, la bibliothèque apparaîtra dans le fichier “pom.xml”.
  1. Dans le fichier “pom.xml”, remplacez les paramètres “maven.compiler.source” et “maven.compiler.target” par 1.8. Enregistrez le fichier avec CTRL+S sous Windows ou CMD+S sur Mac.
  1. Votre code devrait maintenant fonctionner correctement. Pour l’exécuter, utilisez le bouton situé dans le coin supérieur droit de l’écran.

Voici le résultat final de notre projet de scraping :

Comme vous pouvez le constater, nous disposons maintenant de toutes les données recherchées. En modifiant le code, vous pouvez toutefois récupérer toutes les données HTML dont vous avez besoin. Vous devez aussi choisir vos proxies avec soin, car ce type de résultat est impossible sans IPs obtenues légalement. Chez DataImpulse, vous avez accès à 15 millions d’adresses obtenues de manière éthique et non liées à des activités illégales, telles que la diffusion de logiciels malveillants. Si vous rencontrez des difficultés, notre équipe de support est à votre service 24/7. Vous pouvez aussi ajuster le ciblage afin de respecter les politiques d’accès territorial. Nos proxies ne feront pas exploser votre budget : nous appliquons un modèle de tarification à l’utilisation et proposons un tarif abordable de $1 pour 1GB. Contactez-nous à [email protected] ou utilisez le bouton ” Essayer maintenant” situé dans le coin supérieur droit de l’écran.

Share article: