C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Faire du web scraping avec C# est particulièrement agréable une fois la question de la durée de vie du client résolue, et particulièrement pénible avant cela. HttpClient avec un HttpClientHandler configuré gère le réseau, AngleSharp transforme la réponse en un véritable DOM avec des sélecteurs CSS, et Playwright couvre les pages rendues côté client.

Si vous êtes arrivé ici en cherchant à faire du web scraping avec C#, voici la version courte : créez un HttpClient par configuration de proxy et conservez-le pendant toute la durée du processus. L’idée de l’entourer d’un bloc using à chaque requête est ce qui provoque l’épuisement des sockets et fait échouer un extracteur fonctionnel à grande échelle ; c’est la première chose à vérifier lorsqu’un robot d’exploration .NET se dégrade au bout d’une heure.


Points essentiels

  • La pile en C# : HttpClient avec un HttpClientHandler pour la récupération, AngleSharp ou HtmlAgilityPack pour l’analyse, et Playwright pour .NET lorsqu’une page est rendue côté client.
  • La configuration du proxy tient dans un objet, pas dans une ligne par requête. Configurez-la une fois sur le client et réutilisez ce client, sinon vous perdez le pool de connexions et la cohérence de session.
  • L’erreur qui fait perdre le plus de temps ici : un nouvel HttpClient par requête épuise les sockets.
  • La rotation relève de la session, non de la requête. Une tâche logique conserve une même sortie ; une rotation au milieu d’une session casse les cookies et provoque des vérifications.
  • Utilisez C# lorsque votre pipeline de données est en .NET, que vous voulez des pipelines asynchrones fortement typés et un déploiement simple avec les services existants. Évitez-le lorsque le projet est un petit script de recherche et que personne dans l’équipe n’écrit quotidiennement du C#.

Comment acheminer les requêtes C# via un proxy ?

Configurez le proxy une seule fois sur le client, puis réutilisez ce client pour chaque requête de la session. Voici la forme minimale qui fonctionne avec une authentification.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Trois détails comptent plus que la syntaxe. Les identifiants appartiennent à la passerelle, pas au site cible. Le délai d’attente n’est pas facultatif, car un proxy ajoute un saut et une requête bloquée monopolise un processus de travail. Et le client est l’unité d’identité : le même client signifie le même pool de connexions, les mêmes cookies et, avec une session sticky, la même adresse de sortie.


À quoi ressemble le modèle de gestionnaire en 3 parties ?

Séparez les trois responsabilités et le débogage cesse d’être une affaire de suppositions. Nous l’appelons le modèle de gestionnaire en 3 parties.

Partie Ce qu’elle gère En C#
1. Transport Connexion, proxy, délais d’attente, nouvelles tentatives, TLS HttpClient avec un HttpClientHandler
2. Analyse Transformation des octets en champs, et échec explicite lorsque le balisage a changé AngleSharp ou HtmlAgilityPack
3. Planification Concurrence par hôte, cadence, temporisation progressive, déduplication Votre propre pool de processus de travail ou file d’attente, limité par cible

En .NET, il est facile de préserver cette frontière, car les types la suggèrent déjà : HttpClient gère le transport, AngleSharp gère le document et votre pipeline Task gère la planification. L’erreur consiste à placer la logique de nouvelle tentative dans la méthode d’analyse, où elle masque les défaillances de transport sous forme de champs manquants.

Lorsqu’un scraping échoue, la première question est de savoir quelle partie a échoué. Un statut différent de 200 relève du transport. Un 200 avec des champs vides relève de l’analyse, ou d’une page rendue côté client. Un succès qui se dégrade en quelques minutes relève de la planification. Mélanger les trois dans une seule fonction explique pourquoi tant de scrapers sont réécrits plutôt que corrigés.

AngleSharp analyse vers un véritable DOM et prend en charge les sélecteurs CSS, ce qui en fait le meilleur choix par défaut face à HtmlAgilityPack pour le balisage moderne.


Qu’est-ce qui pose précisément problème en C# ?

Trois problèmes expliquent l’essentiel du temps perdu en C#, et aucun ne vient du blocage par la cible.

Un nouvel HttpClient par requête épuise les sockets. Créer puis supprimer HttpClient dans une boucle laisse des sockets dans TIME_WAIT et le processus finit par ne plus pouvoir ouvrir de connexions. Utilisez un client unique de longue durée par configuration de proxy, ou IHttpClientFactory dans ASP.NET Core.

Les gestionnaires sont immuables après leur première utilisation. Vous ne pouvez pas modifier le proxy d’un gestionnaire qui a déjà envoyé une requête. Créez un client par configuration de sortie et choisissez entre eux au lieu de les modifier.

Les cookies sont partagés par défaut. Un même CookieContainer pour toutes les requêtes mélange les sessions. Donnez à chaque session logique son propre client ou désactivez le conteneur et gérez vous-même les cookies.

Aucun de ces problèmes n’est exotique, et tous ressemblent extérieurement à un scraper bloqué ; c’est pourquoi la première réaction consiste si souvent à acheter des proxies pour un problème qui se situe dans le client. Notre guide sur les erreurs 403 Forbidden lors du scraping présente les étapes d’isolation dans l’ordre.


Comment limiter la concurrence en C# ?

Utilisez SemaphoreSlim autour d’un client partagé et n’employez jamais Parallel.ForEach pour des appels réseau.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach bloque des threads pour un travail lié aux E/S et peut saturer le pool de threads alors que le réseau reste inactif. L’asynchrone avec un sémaphore maintient un faible nombre de threads et un rythme de requêtes maîtrisé. Ajoutez Polly pour les nouvelles tentatives avec une gigue aléatoire plutôt que de coder vous-même la temporisation progressive.


Quelles bibliothèques .NET valent la peine d’être utilisées ?

Bibliothèque Utilisation Note honnête
HttpClient plus HttpClientHandler Toute la récupération Inclus. Une instance par configuration de sortie, réutilisée
AngleSharp Analyse vers un véritable DOM avec des sélecteurs CSS Le meilleur choix par défaut pour le balisage moderne
HtmlAgilityPack XPath sur du HTML désordonné Toujours correct, API plus ancienne, utilisez-le si vous raisonnez en XPath
Polly Nouvelle tentative, disjoncteur, politiques de délai d’attente Supprime le code le plus souvent écrit à la main et le plus souvent erroné dans un crawler
Playwright for .NET Pages rendues côté client Bien entretenu, et la seule option de navigateur raisonnable dans .NET aujourd’hui

Si le crawler s’exécute dans ASP.NET Core, enregistrez le client via IHttpClientFactory afin que la durée de vie et l’actualisation DNS soient gérées pour vous plutôt que par un champ statique que quelqu’un oublie.


Quand C# est-il le mauvais outil ?

Utilisez C# lorsque votre pipeline de données est en .NET, que vous voulez des pipelines asynchrones fortement typés et un déploiement simple avec les services existants. Évitez-le lorsque le projet est un petit script de recherche et que personne dans l’équipe n’écrit quotidiennement du C#.

Le facteur décisif est la maintenance, non la capacité. Un crawler écrit dans le langage que votre équipe utilise chaque jour survit au prochain changement de balisage ; un crawler ingénieux dans un langage inconnu est abandonné dès la première panne. Si la réponse honnête est que C# n’est pas le bon environnement pour cette tâche, un petit crawler ailleurs qui écrit dans la même base de données constitue une conception justifiée, pas un échec.

Deux sujets ne figurent pas sur cette page parce qu’ils sont les mêmes dans tous les langages, et les répéter ici ne ferait que les rendre plus difficiles à maintenir à jour. Les règles de session et de rotation, notamment pourquoi un parcours doit conserver une même sortie sticky, sont présentées dans les bonnes pratiques de rotation des proxies. La marche à suivre lorsqu’une requête est refusée, et la manière de distinguer un problème réseau d’un problème client, sont expliquées dans 403 Forbidden lors du scraping, et le cadre juridique est présenté dans le web scraping est-il légitime.

Pour la sortie elle-même : résidentiels rotatifs pour les pages publiques, sticky pour les parcours, de datacenter pour les API et les données ouvertes. DataImpulse residential coûte $1 par GB dans 195 pays, avec le ciblage par pays inclus ; la comparaison se trouve dans les meilleurs proxies pour le web scraping.


Questions fréquentes

Comment définir un proxy en C# ?

Configurez-le sur l’objet client plutôt que pour chaque requête : avec HttpClient et un HttpClientHandler, vous définissez une seule fois l’hôte du proxy, le port et les identifiants, puis vous réutilisez ce client. Sa réutilisation préserve le pool de connexions, le stockage des cookies et l’adresse de sortie, ce qui rend une session cohérente.

Quelle bibliothèque utiliser pour l’analyse en C# ?

AngleSharp ou HtmlAgilityPack est le choix pratique par défaut. Séparez l’analyse de la récupération : le client gère le réseau et l’analyseur gère le balisage, afin qu’une défaillance vous indique immédiatement lequel des deux a échoué.

Ai-je besoin d’un navigateur sans interface graphique pour C# ?

Uniquement lorsque les champs sont rendus côté client. Récupérez d’abord simplement la page et recherchez dans le HTML une valeur connue : si elle s’y trouve, évitez complètement le navigateur. Lorsque vous en avez besoin, Playwright for .NET lorsqu’une page est rendue côté client est l’option de cet écosystème, et son coût par page en temps et en mémoire est dix fois plus élevé.

Un nouvel HttpClient par requête épuise les sockets ?

Créer puis supprimer HttpClient dans une boucle laisse des sockets dans TIME_WAIT et le processus finit par ne plus pouvoir ouvrir de connexions. Utilisez un client unique de longue durée par configuration de proxy, ou IHttpClientFactory dans ASP.NET Core.

C# est-il un bon choix pour le web scraping ?

C’est un bon choix lorsque votre pipeline de données est en .NET, que vous voulez des pipelines asynchrones fortement typés et un déploiement simple avec les services existants. C’est le mauvais choix lorsque le projet est un petit script de recherche et que personne dans l’équipe n’écrit quotidiennement du C#. Le facteur décisif est généralement la maintenance plutôt que la capacité brute : le scraper écrit dans le langage que votre équipe utilise chaque jour est celui qui survit au prochain changement de balisage.


Orientez votre client C# vers une sortie fiable

L’extrait ci-dessus fonctionne avec un changement d’identifiants : DataImpulse residential fournit des sorties géographiquement précises à $1 par GB dans 195 pays, rotatives ou sticky, via HTTP, HTTPS et SOCKS5. Créez un compte et testez une cible depuis votre client C# avant de passer à l’échelle.

À lire aussi : 403 Forbidden lors du scraping · configuration du proxy Crawl4AI · configuration de proxy en Go, Kotlin, Scala, Perl et Elixir.

Dernière mise à jour : 17 septembre 2026.


Share article: