Dans cet article
Faire du web scraping avec Java dépend surtout du client dont vous héritez. Tout ce qui a été écrit avant Java 11 utilise probablement Apache HttpClient ou HttpURLConnection brut, tandis que tout ce qui vient après peut utiliser java.net.http.HttpClient avec HTTP/2 et sans aucune dépendance. La réponse pour l’analyse est stable depuis une décennie : jsoup.
Si vous êtes arrivé ici en cherchant à faire du web scraping avec Java, voici la version courte : configurez le proxy une seule fois sur le constructeur du client, réutilisez ce client et n’oubliez pas que le JDK traite l’authentification proxy via HTTPS différemment de HTTP. Ce dernier détail est la raison la plus fréquente pour laquelle un scraper Java fonctionne sur un site et échoue sur un autre. La correction est expliquée ci-dessous.
Points clés
- La pile Java : java.net.http.HttpClient à partir de Java 11 pour récupérer les données, jsoup pour l’analyse et Selenium ou Playwright for Java lorsque le rendu est nécessaire.
- La configuration du proxy tient dans un objet, pas dans une ligne par requête. Configurez-le une fois sur le client et réutilisez ce client, sinon vous perdez le pool de connexions et la cohérence de session.
- L’erreur qui coûte le plus de temps ici : l’authentification Basic est désactivée sur les tunnels HTTPS.
- La rotation relève de la session, pas de la requête. Une tâche logique conserve une même sortie ; effectuer une rotation au milieu d’une session casse les cookies et provoque des vérifications.
- Utilisez Java lorsque le crawler s’exécute dans un service JVM existant et que vous avez besoin de la même observabilité et du même déploiement que le reste de votre plateforme. Évitez-le si vous écrivez un scraper temporaire dans un seul fichier, où le cérémonial coûte plus cher que le travail.
Comment acheminer des requêtes Java via un proxy ?
Configurez une fois le proxy sur le client, puis réutilisez ce client pour chaque requête de la session. Voici la forme minimale qui fonctionne avec authentification.
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
Trois détails comptent plus que la syntaxe. Les identifiants appartiennent à la passerelle, pas au site cible. Le délai d’expiration n’est pas facultatif, car un proxy ajoute un saut et une requête bloquée immobilise un worker. Et le client est l’unité d’identité : le même client signifie le même pool de connexions, les mêmes cookies et, avec une sticky session, la même adresse de sortie.
À quoi ressemble la configuration du client en 3 étapes ?
Séparez ces trois préoccupations et le débogage cesse d’être une affaire de suppositions. Nous l’appelons la configuration du client en 3 étapes.
| Partie | Ce qu’elle gère | En Java |
|---|---|---|
| 1. Transport | Connexion, proxy, délais d’expiration, nouvelles tentatives, TLS | java.net.http.HttpClient à partir de Java 11 |
| 2. Analyse | Transformer les octets en champs et échouer clairement lorsque le balisage a changé | jsoup |
| 3. Planification | Concurrence par hôte, rythme, backoff, déduplication | Votre propre pool de workers ou file d’attente, limité par cible |
La JVM facilite la confusion de ces trois aspects au sein d’une seule classe de service, ce qui produit un crawler dont personne ne peut dire si l’échec vient du réseau, du balisage ou du planificateur. Garder HttpClient, jsoup et votre exécuteur dans des couches distinctes signifie qu’un 403 pointe vers l’un d’eux, un résultat de sélecteur vide vers un autre et une dégradation lente vers le troisième.
Lorsqu’un scraping échoue, la première question est de savoir quelle partie a échoué. Un statut différent de 200 relève du transport. Un 200 avec des champs vides relève de l’analyse, ou d’une page rendue côté client. Un succès qui se dégrade en quelques minutes relève de la planification. Mélanger les trois dans une seule fonction explique pourquoi tant de scrapers sont réécrits au lieu d’être corrigés.
jsoup est l’analyseur par défaut pour une raison : sélecteurs CSS, gestion tolérante du HTML et API légère. Réservez-le à l’analyse et laissez HttpClient gérer le réseau.
Qu’est-ce qui pose problème spécifiquement avec Java ?
Trois problèmes expliquent la plupart du temps perdu avec Java, et aucun ne vient du blocage par la cible.
L’authentification Basic est désactivée sur les tunnels HTTPS. C’est ce qui fait perdre un après-midi. Le JDK bloque par défaut l’authentification proxy Basic sur les tunnels CONNECT ; un proxy authentifié fonctionne donc en HTTP et échoue en HTTPS jusqu’à ce que vous effaciez la propriété jdk.http.auth.tunneling.disabledSchemes.
Authenticator n’est pas appelé pour les proxies dans chaque version. Le comportement a varié selon les versions du JDK. Si les identifiants sont ignorés, envoyez vous-même l’en-tête Proxy-Authorization comme solution de repli et épinglez la version du JDK dans votre build.
jsoup récupère les données seul. Jsoup.connect(url) ouvre sa propre connexion et ne connaît rien de votre proxy HttpClient. Récupérez les données avec HttpClient, puis transmettez la chaîne à Jsoup.parse.
Aucun de ces problèmes n’est exotique, et tous ressemblent de l’extérieur à un scraper bloqué. C’est pourquoi la première réaction consiste si souvent à acheter des proxies pour résoudre un problème situé dans le client. Notre guide sur les erreurs 403 Forbidden lors du scraping présente les étapes d’isolement dans l’ordre.
Comment limiter la concurrence dans Java ?
Utilisez un pool fixe et un permis, pas un exécuteur sans limite. Les threads virtuels permettent très facilement de lancer dix mille requêtes à la fois, ce qui constitue un déni de service contre votre cible et vous vaut un bannissement pour dépassement de limite de débit.
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
Quatre permis par hôte constituent un point de départ raisonnable pour les pages publiques. Ajoutez du jitter entre les acquisitions et placez un backoff exponentiel autour de l’appel d’envoi, qui arrête l’ensemble de la tâche après une série de réponses 429 ou 403 plutôt que de réessayer contre un mur.
Quelles bibliothèques Java valent la peine d’être utilisées ?
| Bibliothèque | Utilisez-la pour | Note honnête |
|---|---|---|
| java.net.http.HttpClient | Tout ce qui concerne le réseau, à partir de Java 11 | Dans le JDK, sans dépendance, HTTP/2 par défaut. La particularité de tunnel d’authentification proxy est son seul piège |
| jsoup | Analyse et sélection CSS | Le choix par défaut pour de bonnes raisons. Utilisez-le uniquement pour l’analyse, jamais pour récupérer des données via un proxy |
| Apache HttpClient 5 | Contrôle précis des connexions et des proxies | API plus lourde, utile lorsque vous avez besoin de pools de connexions par route ou de NTLM |
| Playwright for Java | Pages rendues côté client | Vrai navigateur, vrai coût. Réservez-le au sous-ensemble de pages qui en ont besoin |
| HtmlUnit | Navigation headless héritée | Principalement une impasse pour les sites modernes ; son moteur JavaScript est en retard sur les navigateurs réels |
La combinaison qui résiste à la maintenance est délibérément sobre : HttpClient pour le réseau, jsoup pour le balisage, Playwright uniquement là où le rendu est inévitable.
Quand Java est-il le mauvais outil ?
Utilisez Java lorsque le crawler s’exécute dans un service JVM existant et que vous avez besoin de la même observabilité et du même déploiement que le reste de votre plateforme. Évitez-le si vous écrivez un scraper temporaire dans un seul fichier, où le cérémonial coûte plus cher que le travail.
Le facteur décisif est la maintenance, pas la capacité. Un crawler écrit dans le langage que votre équipe utilise chaque jour survivra au prochain changement de balisage ; un crawler astucieux dans un langage inconnu est abandonné au premier incident. Si la réponse honnête est que Java n’est pas le bon environnement pour cette tâche, un petit crawler ailleurs qui écrit dans la même base de données est une conception justifiée, pas un échec.
Deux sujets ne figurent pas sur cette page, car ils sont identiques dans tous les langages et les répéter ici les rendrait seulement plus difficiles à maintenir à jour. Les règles de session et de rotation, notamment pourquoi un parcours doit conserver une même sortie sticky, sont présentées dans les bonnes pratiques de rotation des proxies. Que faire lorsqu’une requête est refusée, et comment distinguer un problème réseau d’un problème de client, est expliqué dans 403 Forbidden lors du scraping, et le cadre juridique est traité dans le web scraping est-il légitime.
Pour la sortie elle-même : résidentiel avec rotation pour les pages publiques, sticky pour les parcours, datacenter pour les API et les données ouvertes. DataImpulse residential coûte $1 par GB dans 195 pays, avec ciblage par pays inclus, et la comparaison figure dans les meilleurs proxies pour le web scraping.
Questions fréquentes
Comment configurer un proxy dans Java ?
Configurez-le sur l’objet client plutôt que pour chaque requête : avec java.net.http.HttpClient à partir de Java 11, vous définissez une fois l’hôte du proxy, le port et les identifiants, puis vous réutilisez ce client. Le réutiliser maintient le pool de connexions, le stockage des cookies et l’adresse de sortie cohérents, ce qui donne à une session une apparence cohérente.
Quelle bibliothèque utiliser pour l’analyse dans Java ?
jsoup est le choix par défaut le plus pratique. Séparez l’analyse de la récupération : le client gère le réseau et l’analyseur gère le balisage, de sorte qu’un échec vous indique immédiatement lequel des deux a failli.
Ai-je besoin d’un navigateur headless pour Java ?
Uniquement lorsque les champs sont rendus côté client. Récupérez simplement la page et recherchez d’abord une valeur connue dans le HTML : si elle s’y trouve, évitez complètement le navigateur. Lorsque vous en avez besoin, Selenium ou Playwright for Java lorsque le rendu est nécessaire est l’option de cet écosystème, et elle coûte un ordre de grandeur de plus par page en temps et en mémoire.
L’authentification Basic est désactivée sur les tunnels HTTPS ?
C’est ce qui fait perdre un après-midi. Le JDK bloque par défaut l’authentification proxy Basic sur les tunnels CONNECT ; un proxy authentifié fonctionne donc en HTTP et échoue en HTTPS jusqu’à ce que vous effaciez la propriété jdk.http.auth.tunneling.disabledSchemes.
Java est-il un bon choix pour le web scraping ?
C’est un bon choix lorsque le crawler s’exécute dans un service JVM existant et que vous avez besoin de la même observabilité et du même déploiement que le reste de votre plateforme. C’est le mauvais choix si vous écrivez un scraper temporaire dans un seul fichier, où le cérémonial coûte plus cher que le travail. Le facteur décisif est généralement la maintenance plutôt que la capacité brute : le scraper écrit dans le langage que votre équipe utilise chaque jour est celui qui survivra au prochain changement de balisage.
Orientez votre client Java vers une sortie fiable
L’extrait ci-dessus fonctionne après un seul changement d’identifiants : DataImpulse residential fournit des sorties géolocalisées précises à $1 par GB dans 195 pays, avec rotation ou sticky, via HTTP, HTTPS et SOCKS5. Créez un compte et testez une cible depuis votre client Java avant de passer à l’échelle.
À consulter également : 403 Forbidden lors du scraping · configuration du proxy Crawl4AI · configuration du proxy en Go, Kotlin, Scala, Perl et Elixir.
Dernière mise à jour : 17 septembre 2026.
