Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

Crawl4AI est un crawler open source conçu pour transformer des pages web en texte propre, prêt pour les LLM, et en données structurées, et il utilise un vrai navigateur pour y parvenir. Ce seul fait détermine la place d’un proxy : vous le configurez au niveau du navigateur, où il s’applique au document ainsi qu’à chaque ressource, script et XHR déclenché par la page.

Un proxy Crawl4AI est donc un paramètre au niveau du navigateur associé à une sémantique de session, et non une option par requête. Ce guide explique où placer le proxy dans la pile, comment conserver des sessions cohérentes, comment contrôler le rythme sans sacrifier le débit, et comment empêcher un crawl soutenu par un LLM de coûter plus qu’il ne rapporte.


Points clés

  • Crawl4AI utilise un vrai navigateur, le proxy est donc configuré au niveau du navigateur et s’applique à chaque requête émise par la page, pas seulement au document.
  • Quatre couches à bien régler : navigateur, proxy, extraction et limitation du rythme. La plupart des coûts et des blocages proviennent des deux que l’on règle en dernier.
  • Une session, une sortie. Un contexte de navigateur qui conserve les cookies alors que ses requêtes arrivent d’adresses en rotation se contredit et fait l’objet de vérifications.
  • Le rendu est la partie coûteuse, pas la bande passante. Ne faites le rendu que des pages qui en ont besoin et récupérez les autres simplement.
  • Les coûts d’extraction par LLM évoluent avec le poids de la page, donc réduire le DOM avant qu’il atteigne le modèle est généralement l’économie la plus importante du pipeline.

Où placer le proxy dans une exécution Crawl4AI ?

Dans la configuration du navigateur, et non par requête. Crawl4AI lance un navigateur et le fait naviguer, donc un proxy défini sur le contexte du navigateur achemine tout ce que fait cette page. Le définir ailleurs produit le pire résultat possible : le document arrive par une adresse et ses scripts ainsi que ses appels API par une autre, une contradiction qu’un système de détection repère immédiatement.

Deux implications pratiques. Premièrement, les identifiants se placent dans la configuration de lancement du navigateur, où le crawler peut les transmettre, avec l’hôte de la passerelle, le port, le nom d’utilisateur et le mot de passe fournis par votre fournisseur. Deuxièmement, une même exécution de crawl doit conserver une seule sortie pendant toute sa durée, car le navigateur conserve les cookies et le stockage local entre les navigations, et ceux-ci sont liés à l’adresse qui les a obtenus.

Si vous explorez plusieurs sites dans une même tâche, donnez à chacun son propre contexte de navigateur avec sa propre session plutôt que de réutiliser un contexte entre des hôtes sans lien.


À quoi ressemble une configuration complète ? Le modèle de configuration de crawl à 4 couches

Le modèle de configuration de crawl à 4 couches sépare les réglages que l’on ajuste dans le mauvais ordre.

Couche Ce qu’elle contrôle Erreur courante
1. Navigateur Mode headless, viewport, paramètres régionaux, fuseau horaire, user agent, indicateurs d’automatisation Des paramètres régionaux américains avec une sortie allemande, ou un user agent mobile sur un viewport de bureau
2. Proxy Passerelle, identifiants, ciblage par pays, session en rotation ou sticky Une rotation à chaque requête alors que le navigateur conserve un même stockage de cookies
3. Extraction Ce qui est transformé en markdown ou en sortie structurée, et si un LLM intervient Envoyer tout le DOM à un modèle alors qu’un périmètre CSS suffit
4. Limitation du rythme Concurrence, délai, nouvelles tentatives, délais d’attente, cache Réglée en dernier, ou pas du tout, ce qui finit réellement par faire bloquer un crawl

Quand quelque chose ne fonctionne plus, remontez à partir de la quatrième couche. Neuf fois sur dix, un crawl qui a commencé à échouer n’a pas rencontré une nouvelle défense : il a atteint un rythme qu’il avait jusque-là réussi à tenir.


Comment garder des sessions cohérentes ?

Liez un contexte de navigateur à une sortie pendant toute sa durée de vie, et laissez le crawl terminer le site avant que la session ne change.

  • Utilisez une session sticky pour tout site où la navigation couvre plusieurs pages, et donnez à chaque site son propre identifiant de session afin que l’état ne fuite jamais entre les hôtes.
  • Faites correspondre les paramètres régionaux à la géographie. Si la sortie est en Allemagne, les paramètres régionaux et le fuseau horaire du navigateur doivent aussi indiquer l’Allemagne.
  • Conservez les cookies par contexte plutôt que de les effacer entre les pages : un visiteur qui arrive sans cookie à chaque affichage de page ne ressemble pas à un visiteur.
  • Faites tourner les adresses entre les exécutions, pas pendant celles-ci. De nouvelles adresses pour le crawl suivant sont saines ; de nouvelles adresses au milieu d’une session constituent une contradiction.

Notre guide des bonnes pratiques de rotation des proxies couvre le modèle de session de façon générale, et les mêmes principes s’appliquent à Playwright et à Puppeteer, qui sous-tendent de nombreux crawlers de ce type.


Comment éviter qu’un crawl avec LLM ne devienne coûteux ?

Réduisez ce qui atteint le modèle et effectuez moins de rendus. Il s’agit de configuration, pas d’ingéniosité.

Délimitez l’extraction. Dirigez le crawler vers le conteneur de contenu plutôt que vers la page entière. La navigation, les pieds de page, les bannières de cookies et les sections d’articles associés ne représentent qu’un coût en tokens sans valeur informative.

Préférez l’extraction par schéma à la forme libre. Lorsque les champs sont connus, un schéma CSS ou XPath est déterministe, gratuit et plus rapide que de demander à un modèle de les trouver, et vous pouvez réserver le modèle aux pages dont la structure varie réellement.

Mettez agressivement en cache. Explorer à nouveau une page inchangée coûte de la bande passante, du temps de rendu et des tokens. Mettez en cache par URL avec une fenêtre de fraîcheur, et comparez les différences avant de retraiter.

Effectuez le rendu de manière sélective. Toutes les pages n’ont pas besoin d’un navigateur. Si le contenu se trouve dans le HTML rendu côté serveur, une récupération simple coûte un ordre de grandeur moins cher, et les pipelines mixtes qui récupèrent d’abord puis n’effectuent le rendu qu’en cas d’échec fonctionnent bien en pratique.

Ces quatre mesures réunies réduisent généralement davantage le coût d’un crawl opérationnel que ne le fera toute décision concernant les proxies.


Quel type de proxy convient à ce type de crawl ?

Adaptez la sortie à la cible et au modèle de session, pas au crawler.

Cible Utilisez À éviter lorsque
Sites destinés aux consommateurs, navigation sur plusieurs pages Proxies residentiels sticky, une session par site Le site est une API ouverte ou de la documentation, pour lesquels le datacenter convient et coûte moins cher
Crawls larges et superficiels sur de nombreux hôtes Proxies residentiels en rotation, une session par hôte Chaque hôte nécessite une longue session avec état, que la rotation interrompt
Documentation, données ouvertes, vos propres services Proxies de datacenter La cible traite les plages d’hébergement comme de l’automatisation
Contenu ou tarifs propres à une région Proxies residentiels associés au pays Le contenu est identique partout, et le coût supplémentaire ne rapporte rien

Les proxies residentiels DataImpulse coûtent $1 par GB dans 195 pays, avec HTTP, HTTPS et SOCKS5, en rotation ou sticky, ciblage par pays inclus. Les crawls pilotés par navigateur récupèrent des ressources en plus des documents, donc la maîtrise de la bande passante compte : bloquez les images et polices dont vous n’avez pas besoin, et le même budget ira plusieurs fois plus loin.


Quelles limites faut-il connaître ?

Un proxy n’est pas une autorisation. Lisez robots.txt et les conditions des sites que vous explorez, respectez-les et privilégiez les API officielles lorsqu’elles existent. Notre aperçu de la légalité du web scraping présente le cadre plus large.

Le rendu a un plafond. Le crawl piloté par navigateur est gourmand en mémoire et en CPU ; une concurrence qui semble correcte sur un ordinateur portable saturera un petit conteneur. Mesurez les pages par minute et par gigaoctet de RAM avant de monter en charge horizontalement.

L’extraction par LLM n’est ni gratuite ni exacte. Les modèles paraphrasent, inventent parfois et coûtent par page. Validez un échantillon par rapport à la source, et conservez une extraction déterministe pour les champs qui doivent être exacts.

Les blocages sont généralement une question de cadence. Si un crawl qui fonctionnait hier échoue aujourd’hui, vérifiez le rythme et la gestion des sessions avant d’acheter quoi que ce soit. Notre guide des erreurs 403 Forbidden lors du scraping présente le diagnostic dans l’ordre.


Questions fréquentes

Où définir le proxy dans Crawl4AI ?

Dans la configuration du navigateur, afin qu’il s’applique au document ainsi qu’à chaque ressource, script et XHR déclenché par la page. Le définir par requête laisse la page charger ses propres ressources via une autre adresse, une contradiction que les systèmes de détection repèrent immédiatement.

Dois-je utiliser des sessions en rotation ou sticky ?

Sticky pour tout site où le crawl navigue sur plusieurs pages, car le navigateur conserve les cookies et ceux-ci sont liés à l’adresse qui les a obtenus. Effectuer une rotation entre les exécutions est sain ; effectuer une rotation dans une session alors que le stockage de cookies persiste provoque des vérifications.

Comment réduire le coût en tokens d’un crawl avec LLM ?

Délimitez l’extraction au conteneur de contenu plutôt qu’au DOM entier, utilisez des schémas CSS ou XPath lorsque les champs sont connus et réservez le modèle aux pages réellement variables, mettez en cache par URL avec une fenêtre de fraîcheur, et n’effectuez le rendu que des pages nécessitant un navigateur.

Ai-je besoin de proxies residentiels pour Crawl4AI ?

Uniquement lorsque la cible le justifie : sites destinés aux consommateurs et contenu propre à une région. La documentation, les données ouvertes et les API conviennent avec une sortie de datacenter et coûtent moins cher. Décidez cible par cible plutôt que de définir un type de sortie pour l’ensemble du crawler.

Mon crawl fonctionnait hier et échoue aujourd’hui. Qu’est-ce qui a changé ?

Généralement votre rythme, pas leur défense. Passez à un worker avec du jitter et testez de nouveau ; si cela réussit, la cause était la cadence et la rotation au rythme précédent ne la corrigera pas. Ce n’est qu’après cela que vous devez vérifier si un autre type de sortie modifie le résultat.


Donnez à chaque crawl une sortie stable

Pour les crawls pilotés par navigateur, une session liée à une sortie géographiquement exacte maintient la cohérence de l’état. Les proxies residentiels DataImpulse proposent des sessions sticky ou en rotation à $1 par GB dans 195 pays, ciblage par pays inclus, HTTP, HTTPS et SOCKS5. Créez un compte et configurez-les au niveau du navigateur, puis consultez notre cas d’usage de web scraping pour la configuration plus large.

Guides associés : pourquoi les crawlers sont bloqués · une cible concrète : les boutiques Shopify · proxies pour le web scraping.

Dernière mise à jour : 17 septembre 2026.


Share article: