Dans cet article
cURL est un outil en ligne de commande que tout développeur finit par utiliser un jour. Il consomme peu de ressources et est généralement inclus par défaut dans la plupart des systèmes d’exploitation. Cependant, dès que vous commencez à l’utiliser pour des tâches plus avancées, comme le web scraping, le contournement de restrictions régionales ou le test d’API depuis plusieurs emplacements, vous pouvez rencontrer des problèmes tels que des limites de débit ou du contenu inaccessible.
Lorsque vous envoyez vos requêtes cURL via un serveur proxy, vous pouvez modifier l’adresse IP que le site web cible détecte. Avec cURL, vous pouvez collecter des données mondiales, accéder à du contenu limité par région et éviter les blocages qui surviennent lorsque vous envoyez trop de requêtes depuis une seule adresse IP. Ce guide explique comment utiliser cURL avec un proxy, y compris la syntaxe nécessaire, les méthodes d’authentification et les scénarios spécifiques où cette approche est utile.
Points clés
- cURL prend en charge les proxys via des options en ligne de commande, des variables d’environnement ou des fichiers de configuration
- Il existe différents types de proxys, notamment résidentiels, mobiles et de datacenter
- Les proxys servent au scraping intensif, aux tests d’API, au contournement des bannissements et aux résultats géolocalisés
- Pour de meilleurs résultats, associez le bon type de proxy à la configuration adaptée à votre cas d’usage
- Il existe des sessions persistantes et rotatives. Les sessions persistantes servent aux connexions et aux activités avec état, tandis que les sessions rotatives servent aux tâches de scraping
Qu’est-ce que cURL et comment ça marche
Lancé en 1996, cURL signifie Client and URL. C’est un outil essentiel pour envoyer des requêtes HTTP et transférer des données. cURL s’utilise via la ligne de commande : vous tapez une commande dans un terminal, il envoie la requête et affiche la réponse.
cURL repose sur libcurl, une bibliothèque C portable. Le processus en lui-même est assez simple. Voici ce qui se passe lorsque vous tapez une commande :
- Analyse de l’URL : cURL la décompose en protocole, hôte, port et chemin.
- Ouverture d’une connexion avec l’hôte.
- Envoi de la requête : une ligne de requête, quelques en-têtes et un corps facultatif.
- Réception de la réponse : le serveur renvoie les en-têtes et le corps.
- Affichage du résultat dans le terminal.
cURL est universel. Tester des points de terminaison, récupérer des pages, appeler des API, collecter des données : ce n’est qu’une petite partie des activités pour lesquelles cURL est utilisé. Il gère les cookies, les en-têtes personnalisés, les tentatives de nouvelle connexion et l’authentification. Il prend aussi en charge la configuration de proxy. Quand quelque chose casse entre votre application et un serveur, curl -v révèle souvent les détails de la requête et de la réponse pour faciliter le débogage. Nous explorerons cette méthode plus en détail dans les chapitres suivants.
Qu’est-ce qu’un proxy dans cURL
Un proxy utilisé avec cURL sert d’intermédiaire entre le client et le serveur de destination. Il fonctionne comme une couche de relais qui achemine les requêtes HTTP ou HTTPS. La connexion habituelle sans proxy comprend deux éléments : le client et la cible. Dans une configuration avec proxy, le proxy sert de point de terminaison à la session du client et rétablit la connexion vers la cible.
cURL envoie d’abord la requête complète au serveur proxy au lieu de se connecter directement à la cible. Ensuite, le proxy effectue la résolution DNS pour convertir le nom de domaine en adresse IP, ouvre une nouvelle connexion, puis transmet la requête avec ses en-têtes et son corps. Les proxys masquent votre IP d’origine, filtrent le trafic, protègent la confidentialité de votre navigation et vous permettent d’accéder à la cible depuis un autre emplacement. Le trafic HTTP est traité comme des données applicatives en clair, les proxys peuvent donc gérer le contenu des requêtes. HTTPS fonctionne différemment. Dans ce cas, cURL envoie une commande CONNECT pour établir un tunnel afin que les données TLS chiffrées passent sans être déchiffrées.
Quand utiliser cURL avec un proxy
cURL est déjà puissant en soi, mais il est rarement utilisé seul en environnement de production. Les équipes associent généralement cURL à un proxy fiable. Voici quatre cas d’usage où cette configuration fait toute la différence.
- Web scraping à grande échelle
De nombreuses équipes e-commerce doivent suivre quotidiennement les prix des concurrents sur de nombreuses pages produit. Un scraper cURL bien conçu ne suffit pas : en une vingtaine de minutes, les requêtes commencent généralement à échouer. Dans cette situation, acheminer cURL via un pool de proxys rotatifs peut faire toute la différence. Chaque requête proviendra d’une autre IP, et le site cible aura moins de raisons de restreindre l’activité, car elle ressemble à un comportement naturel.
- Contourner les bannissements d’IP
Les tâches hebdomadaires exigent un accès stable à des données précises. Par exemple, si votre processus d’audit hebdomadaire n’est pas appuyé par des proxys, vous risquez de rencontrer des erreurs 403. Changer de réseau n’aide pas toujours non plus. Dans ce cas, essayez d’envoyer la même requête cURL via un proxy résidentiel pour simuler le comportement authentique d’un utilisateur sur une connexion domestique classique.
- Générer des requêtes géociblées
Votre emplacement influence le contenu que vous voyez. Les équipes marketing doivent souvent vérifier si les pages d’atterrissage localisées d’un client s’affichent correctement. Depuis leur propre connexion, les pages peuvent ne pas se charger dans la version souhaitée. La solution consiste à utiliser des IP résidentielles obtenues de manière éthique auprès d’un fournisseur fiable comme DataImpulse. Une fois la configuration en place, chaque requête renverra la page exactement comme un utilisateur local la verrait, y compris les prix locaux et les promotions propres à cette zone géographique.
- Tests d’API à l’échelle mondiale
Dans le cadre de leurs tâches, les développeurs peuvent avoir du mal à vérifier le comportement d’une API dans différentes régions sans les outils appropriés. Les outils de monitoring ne détectent pas toujours le problème, et le reproduire dans un environnement local devient impossible. Pour résoudre ce problème en envoyant des requêtes cURL vers votre API via un proxy. Vous atteindrez les mêmes nœuds de périphérie, la même base de données régionale et les mêmes chemins réseau que vos utilisateurs. Les proxys vous aident à déboguer des problèmes que vos outils n’ont pas détectés de monitoring.
Ce qu’il vous faut pour utiliser un proxy avec cURL
Utiliser un proxy avec cURL ne demande pas grand-chose. Il vous faudra cinq éléments pour commencer.
- cURL, installé et prêt à l’emploi. Il est disponible par défaut sur la plupart des systèmes macOS et Linux. Notre tutoriel pour débutants montre comment installer cURL sur n’importe quel système d’exploitation, y compris Windows.
- L’accès à un point de terminaison de proxy. Il peut s’agir d’un proxy HTTP, HTTPS ou SOCKS5. C’est ce qui offre aux requêtes cURL un autre itinéraire vers la cible au lieu d’y aller en direct.
- Les identifiants du proxy si l’authentification est requise.
- Le point de terminaison cible. Ce peut être une API, un site web ou tout ce que vous essayez d’atteindre.
- Un outil de vérification de proxy. Pour vérifier que le trafic passe bien par un proxy, utilisez un service rapide comme https://ipinfo.io/ ou https://whatismyipaddress.com/.
Une fois ces éléments en place, nous pouvons configurer les paramètres de proxy de cURL, le routage étant géré au niveau du réseau. Au lieu de contacter la cible directement, cURL utilise le proxy comme intermédiaire.
Comment utiliser cURL avec un proxy, étape par étape
Commande cURL de base avec proxy
Pour acheminer une requête cURL via un proxy, utilisez le flag -x pour spécifier le serveur proxy. cURL enverra la requête via ce proxy.
curl -x http://proxy-ip:port https://example.com
C’est la méthode la plus simple pour utiliser d’un proxy, et elle convient aux requêtes HTTP ou HTTPS simples qui ne nécessitent pas d’authentification.
Proxy cURL avec authentification
Si le proxy exige des une authentification, vous pouvez passer le nom d’utilisateur et le mot de passe directement dans l’URL du proxy. Voici comment faire :
curl -x http://username:password@proxy-ip:port https://example.com
Les commandes cURL s’appuient sur ces identifiants pour s’authentifier auprès du proxy avant de transmettre la requête.
Utiliser un proxy HTTPS
Avec un proxy HTTPS, cURL continue d’acheminer le trafic via le proxy tout en veillant à ce que le chiffrement TLS soit maintenu jusqu’à la destination.
curl -x https://proxy-ip:port https://example.com
Cette configuration est utile lorsque la liaison vers le proxy lui-même doit être chiffrée.
Utiliser un proxy SOCKS5
Les proxys SOCKS5 relaient le trafic sans modifier les données des requêtes.
curl -x socks5://proxy-ip:port https://example.com
Comme SOCKS5 gère plusieurs types de trafic, ces proxys sont une solution souple pour les ingénieurs qui travaillent avec différents protocoles.
Configuration avancée du proxy dans cURL
Utiliser les variables d’environnement
cURL peut récupérer automatiquement les paramètres de proxy depuis les variables d’environnement du système. C’est pratique si vous souhaitez que chaque requête d’une session de terminal ou d’une application passe par le même proxy, sans avoir à le préciser à chaque fois.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
Une fois ces variables définies, cURL les applique automatiquement aux requêtes sortantes, selon le protocole utilisé.
Utiliser le fichier .curlrc
Le fichier de configuration .curlrc permet de conserver des réglages persistants de cURL. Ajoutez-y vos paramètres de proxy une seule fois, et chaque requête passera automatiquement par ce proxy. Vous pouvez les remplacer en ligne de commande dès que vous avez besoin d’une autre configuration.
proxy=http://proxy-ip:port
Définir le proxy par requête vs globalement
cURL vous offre deux façons de définir un proxy : par requête, avec un flag, ou globalement, via des variables d’environnement ou un fichier de configuration. Les développeurs combinent souvent les deux méthodes.
La configuration par requête utilise le flag -x en ligne de commande. C’est l’approche la plus souple, car vous contrôlez exactement quelle requête passe par quel proxy. C’est ce qu’il vous faut pour déboguer, comparer des réponses entre régions ou lancer des commandes ponctuelles où chaque appel peut nécessiter une configuration distincte. Voici un exemple :
curl -x http://proxy.example.com:8080 https://api.example.com
La configuration globale déplace la configuration du proxy de la ligne de commande vers votre environnement, soit via des variables comme HTTP_PROXY et HTTPS_PROXY, soit via un fichier .curlrc . Une fois configuré, cURL fait passer chaque requête sortante par le même proxy jusqu’à ce que vous le changiez. C’est particulièrement adapté pour les scripts longs, les pipelines CI/CD, les tâches planifiées, à tous les cas où répéter -x sur chaque ligne ne serait que de la redondance. Définissez cette commande :
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
Ignorer le proxy pour certaines requêtes
Un proxy global est pratique. Mais ce n’est pas toujours ce que vous voulez. Les API internes, les services localhost et les points de terminaison de métadonnées cloud doivent généralement contourner entièrement le proxy. Les faire passer par le proxy peut au mieux ralentir les requêtes, au pire bloquer complètement la connexion.
cURL vous donne trois façons de gérer cela :
1. –noproxy “*” . Cela signifie contourner le proxy pour cette requête, quelle que soit la destination.
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2”. Cette option contourne le proxy uniquement pour les hôtes que vous listez.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. La variable d’environnement NO_PROXY, qui définit une liste permanente d’hôtes qui contournent toujours le proxy, même lorsqu’un proxy global est configuré.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
Une fois NO_PROXY définie, cURL achemine directement tout ce qui correspond à la liste, tandis que le reste continue de passer par le proxy.
Utiliser cURL avec des proxys rotatifs
Une seule IP ne suffit plus si vous voulez envoyer des centaines de requêtes. Même les proxys résidentiels peuvent eux aussi être soumis à des limites de débit si chaque requête provient de la même adresse. La solution est la rotation, c’est-à-dire répartir toutes les requêtes sur de nombreuses IP différentes afin qu’aucune IP n’attire inutilement l’attention. Le fournisseur peut le faire pour vous, ou vous pouvez faire tourner les proxys manuellement.
1. Rotation via une passerelle
De nombreux fournisseurs de proxys proposent un point de terminaison unique qui fait tourner les IP automatiquement. L’utilisateur se connecte généralement à une seule adresse, puis les requêtes passent par une IP différente du pool du fournisseur.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. Rotation manuelle
Les utilisateurs ont parfois leur propre liste de proxys et les font tourner manuellement dans un script. Voici l’exemple en Python :
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
Pourquoi la rotation est importante
Limites de débit, CAPTCHA, blocages d’IP, bannissements permanents, erreurs et bien d’autres problèmes peuvent survenir si une IP est utilisée trop souvent. En répartissant les requêtes sur plusieurs IP, aucune adresse ne paraît suspecte à la cible. Cela ressemble à du trafic normal provenant de nombreux visiteurs différents. C’est toute la raison d’être de la rotation de proxys : éviter de ressembler à un client automatisé.
Exemple avec un endpoint de proxy rotatif
Voici l’exemple de base d’un proxy rotatif avec cURL. Après avoir exécuté cette commande trois fois de suite, vous obtiendrez trois résultats différents.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip est un point de terminaison utile pour la vérification, car il renvoie l’IP source observée par le serveur.
Sessions sticky vs rotatives
En mode rotatif, chaque requête est indépendante. Chaque requête passe par une IP différente du pool du fournisseur. C’est le bon choix si vous faites du web scraping et devez collecter beaucoup de données de prix et de produits. Si une même adresse se fait régulièrement repérer, passer à une nouvelle IP réduit le risque de blocage de vos requêtes.
En mode sticky, la même adresse IP est conservée pendant une certaine période, généralement de 5 à 60 minutes. Cela fonctionne bien si vous gérez des connexions ou de l’authentification et avez besoin d’une IP stable pour vous comporter comme un utilisateur réel.
Meilleurs types de proxys pour cURL
cURL fonctionne de la même manière quel que soit le type de proxy que vous lui indiquez. Il suffit de définir le flag -x, à passer vos identifiants et à envoyer la requête. Ce qui change, c’est la façon dont le serveur cible perçoit la nature de votre trafic, et cela dépend presque entièrement du type d’IP derrière le proxy.
I am raw html block.
Click edit button to change this html
Erreurs courantes et comment les corriger
1. Connexion au proxy refusée
Quand cURL ne peut pas ouvrir de connexion TCP vers le proxy, vous obtenez généralement un message indiquant que la connexion est refusée. Cela signifie que le proxy est injoignable ou bloqué. Commencez par vérifier le pare-feu et les paramètres du proxy, y compris l’hôte et le port. Testez le proxy avec cette commande :
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. Échec d’authentification
Cela se manifeste généralement par une erreur 407 et signifie que le proxy a rejeté vos identifiants. Vérifiez votre nom d’utilisateur, votre mot de passe, l’hôte et le port. Au lieu d’intégrer les identifiants dans les URL, utilisez le flag -U. Par exemple :
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. Erreurs SSL/certificat
Ces erreurs proviennent généralement d’un magasin de certificats CA obsolète, d’un proxy qui intercepte le trafic TLS ou d’un site cible avec un mauvais certificat. Dans ce cas, mettez à jour votre magasin de certificats CA, réservez -k aux tests et vérifiez si le proxy lui-même déchiffre le trafic.
4. Problèmes de timeout
Cela arrive lorsque le serveur est surchargé ou que le proxy est lent. Vous pouvez y remédier en définissant des délais d’attente explicites comme le montre cet exemple de code :
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
Quand le message d’erreur seul ne suffit pas à localiser le problème, le mode verbeux est l’outil le plus utile de la panoplie de débogage de cURL. Il affiche la séquence de connexion complète pour que vous voyiez exactement quelle étape a réussi et laquelle a échoué.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
Bonnes pratiques cURL avec proxy
Voici quelques habitudes utiles à adopter.
- Faites tourner les les IP par défaut, et n’utilisez des sessions persistantes que si nécessaire
- Limitez le rythme des requêtes afin que le trafic paraisse naturel
- Combinez les proxys avec des en-têtes personnalisés
- Utilisez –compressed pour réduire le volume des transferts de 70-80%
- Évitez les proxys gratuits
*L’option –compressed indique à cURL d’envoyer Accept-Encoding: gzip, deflate, br et de décompresser les réponses reçues.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
Exemples de cURL avec proxy dans des cas d’usage concrets
Voyons trois scénarios courants d’utilisation de cURL en combinaison avec un proxy.
1. Scraper un site web
Cette configuration peut parcourir des milliers de pages et produira une sortie propre, prête à être analysée. Elle comprend des proxys résidentiels rotatifs, des en-têtes personnalisés imitant un vrai navigateur, la compression pour des transferts plus rapides et un court délai entre les requêtes.
Voici un exemple qui fonctionnera sous Linux, macOS et WSL. Il vous faudra un fichier urls.txt avec des URL telles que google.com ou example.com.
Code :
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. Accéder à du contenu géo-restreint
Dans ce code, chaque requête atteint le site cible comme si elle venait d’un utilisateur réel dans ce pays. Les fichiers de sortie capturent la version localisée exactement telle qu’un visiteur local la verrait.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. Tester des API
L’équipe peut alors examiner sur le routage des bases de données régionales, les nœuds de périphérie du CDN ou tout autre écart entre les deux emplacements.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
FAQ
Comment utiliser curl avec un proxy ?
Utilisez le flag -x pour spécifier l'adresse et le port du proxy DataImpulse. Si le proxy exige une authentification, ajoutez -U "username:password" pour transmettre vos identifiants.
L'authentification du proxy curl ne fonctionne pas
La cause la plus fréquente est des identifiants erronés ou des caractères spéciaux dans le mot de passe. Utilisez le flag -U "user:pass" au lieu d'intégrer les identifiants dans l'URL, et encodez en URL tout caractère @, : ou /.
Proxy socks vs http avec curl
Un proxy HTTP ne gère que le trafic HTTP et HTTPS, tandis qu'un proxy SOCKS5 relaie n'importe quel trafic TCP sans inspecter la requête. Utilisez les proxys HTTP de DataImpulse pour le web scraping et les appels d'API ; utilisez SOCKS5 quand vous avez besoin de flexibilité protocolaire ou d'un routage de plus bas niveau.
Comment faire tourner les proxys dans curl
Connectez-vous à un seul endpoint, et le fournisseur attribue automatiquement une IP différente à chaque requête. Pour une rotation manuelle, stockez une liste de proxys dans un script et choisissez-en un au hasard à chaque requête.
Conclusion
cURL avec un proxy fait partie de ces combinaisons incontournables pour tout développeur ou pour quiconque veut une collecte de données fiable et précise. Un seul outil en ligne de commande, un seul flag, et soudain vous pouvez scraper à grande échelle, automatiser des tests interrégionaux et appeler des API depuis n’importe où dans le monde. La solution est compacte et facile à intégrer dans des scripts, et cela fonctionne de la même manière sur tous les systèmes sur lesquels vous le déploierez.
La configuration est déterminante. Choisir le bon type de proxy, résidentiel, de datacenter ou mobile, selon votre cible. Faites tourner les IP au rythme approprié. Envoyer des en-têtes HTTP avec cURL qui ressemblent à un vrai navigateur, pas à un script. Prévoir les tentatives de nouvelle connexion, les timeouts et les limites de débit avant d’en avoir vraiment besoin. En appliquant ces bonnes pratiques, et cURL deviendra un socle fiable pour vos flux de données en production.
