Meilleurs proxies pour Scrapy en 2026 (+ comment en configurer un) | DataImpulse

Scrapy est le framework Python de référence pour le web scraping exigeant : rapide, asynchrone et conçu pour le crawling à grande échelle. Mais si vous ciblez un vrai site depuis une seule IP de datacenter, vous vous heurterez vite à des limites de débit ou à un blocage. La solution consiste à faire passer Scrapy par des proxies, idéalement résidentiels, pour que les requêtes paraissent provenir de véritables utilisateurs. Bonne nouvelle : la prise en charge des proxies par Scrapy est intégrée via request.meta['proxy'], et avec une passerelle rotative, vous n’avez même pas besoin de gérer une liste d’IP. Ce guide montre précisément comment utiliser un proxy avec Scrapy (par requête, via un middleware pour toutes les requêtes, et avec rotation), puis classe les 8 meilleurs proxies pour Scrapy en 2026. Avec son tarif de $1/GB, DataImpulse offre un excellent rapport qualité-prix.

Je suis Andrii Byzov, Fractional CMO AI-Native, et j’utilise chaque jour des crawlers Scrapy. Ci-dessous : la configuration à copier-coller, le piège lié à l’ordre des middlewares, et les fournisseurs qui méritent votre budget.

Comment utiliser un proxy avec Scrapy

1. Par requête via meta['proxy']

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"
    def start_requests(self):
        proxy = "http://YOUR_LOGIN__cr.us:[email protected]:823"  # __cr.us = US
        yield scrapy.Request("https://httpbin.org/ip", meta={"proxy": proxy})

    def parse(self, response):
        self.log(response.text)  # confirm the egress IP

Le HttpProxyMiddleware de Scrapy (activé par défaut) récupère meta['proxy'] et définit l’en-tête Proxy-Authorization à partir des identifiants figurant dans l’URL : aucun code supplémentaire n’est nécessaire.

2. Un middleware pour faire passer chaque requête par un proxy

Pour l’ensemble d’un projet, c’est plus simple : définissez le proxy une seule fois et il s’applique à toutes les requêtes :

# middlewares.py
class DataImpulseProxyMiddleware:
    PROXY = "http://YOUR_LOGIN__cr.us:[email protected]:823"
    def process_request(self, request, spider):
        request.meta["proxy"] = self.PROXY

# settings.py — run BEFORE the built-in HttpProxyMiddleware (750)
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.DataImpulseProxyMiddleware": 350,
}

3. Rotation d’une liste d’IP statiques avec scrapy-rotating-proxies

Si vous disposez d’une liste de proxies (plutôt que d’une seule passerelle rotative), scrapy-rotating-proxies assure leur rotation et détecte les blocages :

# pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
    "http://YOUR_LOGIN__cr.us:[email protected]:823",
    # ...more endpoints/sessions...
]
DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

Avec la passerelle résidentielle rotative de DataImpulse, vous n’en avez généralement pas besoin : un seul endpoint fournit déjà une nouvelle IP à chaque requête. Utilisez scrapy-rotating-proxies lorsque vous gérez de nombreuses sessions distinctes ou que vous souhaitez bénéficier d’une détection intégrée des blocages. Remarque : la prise en charge des proxies par Scrapy est limitée à HTTP/HTTPS ; utilisez donc l’endpoint HTTP (port 823), et non SOCKS5 ; consultez les tutoriels DataImpulse pour les paramètres de session.

Les meilleurs proxies pour Scrapy en un coup d’oeil

Les choix, en bref

DataImpulse offre un excellent rapport qualité-prix pour les crawlers Scrapy : résidentiel à $1/GB en paiement à l’usage (datacenter $0.50/GB, mobile $2/GB), 90M+ d’IP dans 195 pays, une passerelle HTTP/HTTPS rotative qui attribue une nouvelle IP à chaque requête, et un ciblage par pays/ville/ASN dans le nom d’utilisateur. Le trafic sans expiration, donc les exécutions de développement ne consomment pas inutilement un abonnement. Taux de réussite publié de 99.51%; G2 4.8/5; support humain 24/7. Pour le crawling interne à haut volume, c’est l’option la moins coûteuse par requête aboutie.

Bright Data s’adresse aux entreprises (résidentiel ~$8/GB standard, ~$4 en promotion) avec Web Unlocker, SERP API et datasets. Oxylabs (à partir de $6/GB, pool de 175M+) est une option assortie d’un SLA avec des API de scraping. Decodo (à partir de $3.75/GB, sticky jusqu’à 24h) offre une solution équilibrée pour les PME et ETI. IPRoyal (à partir de $7.35/GB, sticky jusqu’à 7 jours) convient aux crawls longs nécessitant une session stable. SOAX ($3.60/GB, 155M+ résidentiels + 33M+ mobiles) propose également un solide pool mobile. Webshare (offre gratuite, datacenter à partir de $2.99/mo) constitue une solution self-service abordable, et NetNut (à partir de $3.53/GB) convient lorsque la stabilité des IP ISP-résidentielles est essentielle.

Proxies rotatifs et proxies sticky avec Scrapy

Pour le crawling à grande échelle, une passerelle résidentielle rotative est idéale : chaque requête Scrapy obtient une nouvelle IP, ce qui répartit la charge et contourne les limites de débit sans aucune gestion d’IP. Pour les flux avec état (connexion puis requêtes de suivi), utilisez une session sticky afin que la même IP persiste sur toute la séquence, et gardez les cookies activés (le middleware de cookies de Scrapy est activé par défaut). La plupart des crawls Scrapy sont larges et sans état, donc la rotation est le réglage par défaut le plus courant ; réservez les sessions sticky aux cibles authentifiées ou en plusieurs étapes.

Erreurs courantes avec les proxies Scrapy

• Ordre des middlewares. Un middleware de proxy personnalisé ou scrapy-rotating-proxies doit s’exécuter avant le HttpProxyMiddleware intégré (numéro de priorité plus bas), sinon votre proxy ne sera pas appliqué.
• S’attendre à ce que SOCKS5 fonctionne. La prise en charge des proxies par Scrapy est limitée à HTTP/HTTPS : utilisez l’endpoint HTTP, pas une URL SOCKS.
• Crawler de façon trop agressive. Activez AUTOTHROTTLE_ENABLED et définissez un CONCURRENT_REQUESTS/DOWNLOAD_DELAY raisonnable pour éviter de sursolliciter même des IP rotatives.
• IP de datacenter sur des cibles protégées : elles sont bloquées rapidement ; utilisez du résidentiel pour les sites fortement protégés par des systèmes anti-bot.
• Aucune gestion des blocages. Ajoutez une détection des nouvelles tentatives et des blocages (BanDetectionMiddleware de scrapy-rotating-proxies ou RETRY_HTTP_CODES personnalisé) afin que les réponses bloquées soient réessayées avec une nouvelle IP, et non analysées comme des données.

Quel type de proxy choisir pour Scrapy : résidentiel, datacenter ou mobile ?

• Résidentiel ($1/GB) : le choix par défaut pour les cibles protégées (e-commerce, SERP, réseaux sociaux). Si vous devez en choisir un, choisissez celui-ci.
• Mobile ($2/GB) : de véritables IP d’opérateurs pour les cibles les plus difficiles et les surfaces web mobiles.
• Datacenter ($0.50/GB) : le moins cher et le plus rapide pour le crawling non protégé, les API et votre propre infrastructure ; ne l’utilisez pas sur des sites fortement protégés par des systèmes anti-bot.

DataImpulse propose les trois sur un seul compte avec paiement à l’usage, afin qu’un même projet Scrapy puisse acheminer chaque requête vers le service adapté grâce au nom d’utilisateur et à l’endpoint.

Comment démarrer avec DataImpulse + Scrapy

Étape 1. Créez un compte DataImpulse et récupérez des identifiants résidentiels. L’offre de lancement $5 / 5GB sans expiration : un budget de test réellement utilisable.

Étape 2. Définissez request.meta["proxy"] = "http://YOUR_LOGIN__cr.us:[email protected]:823" par requête, ou ajoutez le middleware proxy en une ligne pour l’appliquer partout. Ajoutez un code pays au nom d’utilisateur pour le ciblage géographique.

Étape 3. Activez AUTOTHROTTLE, configurez les nouvelles tentatives et la gestion des blocages, et laissez la passerelle rotative fournir une nouvelle IP par requête. Consultez les tutoriels DataImpulse et la page des proxies résidentiels.