cURL est largement utilisé, que ce soit pour tester des réponses API avant la production ou pour vérifier si un site web est disponible. Nous expliquons ici de quoi il s’agit et comment l’utiliser avec des serveurs proxy. Pour découvrir le potentiel de cURL, poursuivez la lecture de ce bref tutoriel destiné aux débutants.
Faits clés
- cURL est un outil gratuit pour téléverser et télécharger des fichiers
- Sur macOS et certaines distributions Linux, cURL est installé par défaut
- Pour les anciennes versions de Windows (antérieures à Windows 10), téléchargez cURL depuis le site officiel.
- Pour utiliser cURL avec un proxy, relevez les identifiants, tels que port, host, login et password, dans votre tableau de bord DataImpulse
- -x, –proxy-type, –proxy-user sont les paramètres de proxy les plus courants
Qu’est-ce que cURL
Créé par un développeur suédois en 1996, cURL, pour Client URL, est un outil en ligne de commande qui permet d’effectuer des requêtes HTTP, ainsi que d’envoyer et de récupérer des données via une URL. Ce projet open-source prend en charge de nombreux protocoles réseau, notamment FTP et POP3. cURL prend également en charge HTTPS et vérifie automatiquement les certificats SSL et TLS.
cURL peut être utilisé avec des proxies résidentiels, des proxies mobiles ou des proxies de datacenter, à condition qu’ils prennent en charge les protocoles HTTP(S) ou SOCKS5.
Comment installer cURL
Ouvrez votre terminal et exécutez la commande suivante :
curl --version
La sortie indiquera si cURL est installé sur votre ordinateur ou non. Si oui, vous verrez la version et la date de publication de cURL.
Si cURL n’est pas installé, vous pouvez l’installer vous-même.
macOS
Sur macOS, cURL est généralement préinstallé. S’il est absent, installez-le avec Homebrew à l’aide de cette commande :
brew install curl
Windows
Windows 10 et les versions ultérieures l’incluent généralement. Pour les versions antérieures, consultez le site officiel de cURL, choisissez la version adaptée à l’architecture de votre système, puis téléchargez-la. Extrayez ensuite l’archive téléchargée et ajoutez le dossier bin à la variable PATH de votre système.
Linux
Ubuntu et Fedora l’incluent souvent par défaut ; cURL est donc directement disponible dans le terminal. Sur les distributions où il n’est pas préinstallé, vous pouvez l’ajouter via le gestionnaire de paquets. Pour les systèmes basés sur Debian, la commande d’installation est :
sudo apt install curl
Pour les systèmes basés sur Fedora, utilisez :
sudo dnf install curl
Se connecter au proxy DataImpulse avec cURL
Après avoir installé cURL, vous pouvez acheminer vos requêtes via des proxies. Accédez à votre tableau de bord DataImpulse, relevez vos identifiants de proxy, tels que login, password, port et host, puis insérez-les dans la commande :
curl -x http://username:[email protected]:823 https://example.com
Paramètres cURL utiles pour les proxies
Les paramètres les plus courants sont :
1. -x ou –proxy définit le serveur proxy par lequel cURL acheminera la requête.
Exemple de code:
curl -x http://gw.dataimpulse.com:823 https://example.com
2. –proxy-user ajoute les identifiants d’authentification du serveur proxy lorsque le login est requis.
Exemple de code:
curl -x http://gw.dataimpulse.com:823 --proxy-user username:password http://example.com
3. –proxy-type précise le protocole du proxy à utiliser. Les valeurs courantes sont http pour un proxy HTTP, ou socks5 pour un proxy SOCKS v5.
Exemple de code:
curl --socks5 gw.dataimpulse.com:823 https://example.com
DataImpulse propose des proxies résidentiels, mobiles et de datacenter, avec du trafic sans expiration et une tarification pay-as-you-go. Pour en savoir plus sur les techniques de web scraping, consultez nos articles : Comment scraper TripAdvisor avec Python, Scraping de GitHub avec Python, Comment scraper eBay, Scraping de contenu YouTube. Retrouvez encore plus d’informations sur notre blog.
FAQ
Pourquoi mon proxy ne fonctionne-t-il pas avec cURL?
Plusieurs raisons peuvent l'expliquer. Verifiez si les details de votre proxy DataImpulse ont été collés correctement et quel type de proxy vous utiliséz. Une autre raison peut être un serveur proxy temporairement indisponible.
Quelle est la difference entre HTTP et SOCKS5?
Les proxies HTTP gerent le trafic web et peuvent comprendre les requêtes au niveau de la couche application. A l'inverse, SOCKS5 fonctionne a une couche inferieure et transmet tous les types de trafic sans modification. Il est plus polyvalent, mais un peu moins spécialisé. DataImpulse propose des proxies HTTP et SOCKS5.
Quel est le bon format pour utilisér un proxy dans cURL?
Le format correct habituel est curl -x http://gw.dataimpulse.com:823 https://example.com
cURL peut-il traiter des requêtes HTTPS via un proxy?
Oui. Le proxy utilisé la méthode HTTP CONNECT pour créer un tunnel. Ensuite, une connexion SSL ou TLS est établie entre cURL et le site web cible. Les proxies DataImpulse assurent une navigation sûre et anonyme dans plus de 195 emplacements.