C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Il web scraping con C# diventa insolitamente piacevole una volta risolta la questione della durata del client, e insolitamente doloroso prima. HttpClient più un HttpClientHandler configurato gestisce la rete, AngleSharp trasforma la risposta in un vero DOM con selettori CSS e Playwright copre le pagine con rendering lato client.

Se sei arrivato qui cercando web scraping con c#, la versione breve è questa: crea un HttpClient per ogni configurazione proxy e mantienilo attivo per tutta la vita del processo. L’istinto di racchiuderlo in un blocco using per ogni richiesta è ciò che provoca l’esaurimento dei socket, facendo fallire uno scraper funzionante su larga scala, ed è la prima cosa da controllare quando un crawler .NET degrada dopo un’ora.


Informazioni chiave

  • Lo stack in C#: HttpClient con HttpClientHandler per il recupero, AngleSharp o HtmlAgilityPack per il parsing e Playwright per .NET quando una pagina ha rendering lato client.
  • La configurazione del proxy è un oggetto, non una riga per richiesta. Configurala una volta sul client e riutilizza quel client, altrimenti perdi il pool di connessioni e la coerenza della sessione.
  • L’errore che costa più tempo qui: un nuovo HttpClient per richiesta esaurisce i socket.
  • La rotazione riguarda la sessione, non la richiesta. Un’attività logica mantiene una sola uscita; ruotare a metà sessione interrompe i cookie e provoca verifiche.
  • Usa C# quando la tua pipeline dati è .NET, vuoi pipeline async con tipi forti e una distribuzione semplice accanto ai servizi esistenti. Evitalo quando il progetto è un piccolo script di ricerca e nessuno nel team scrive C# ogni giorno.

Come instradare le richieste C# attraverso un proxy?

Configura il proxy sul client una sola volta, poi riutilizza quel client per ogni richiesta della sessione. Ecco la forma minima funzionante con autenticazione.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Tre dettagli contano più della sintassi. Le credenziali appartengono al gateway, non al sito di destinazione. Il timeout non è facoltativo, perché un proxy aggiunge un passaggio e una richiesta bloccata occupa un worker. E il client è l’unità di identità: lo stesso client significa lo stesso pool di connessioni, gli stessi cookie e, con una sticky session, lo stesso indirizzo di uscita.


Come si presenta il modello di handler in 3 parti?

Tieni separate tre responsabilità e il debug smette di essere un tentativo a caso. Lo chiamiamo modello di handler in 3 parti.

Parte Di cosa si occupa In C#
1. Trasporto Connessione, proxy, timeout, tentativi, TLS HttpClient con HttpClientHandler
2. Parsing Trasformare i byte in campi e segnalare chiaramente quando il markup è cambiato AngleSharp o HtmlAgilityPack
3. Pianificazione Concorrenza per host, ritmo, backoff, deduplicazione Il tuo pool di worker o la tua coda, limitati per destinazione

In .NET è facile mantenere il confine perché i tipi lo suggeriscono già: HttpClient gestisce il trasporto, AngleSharp il documento e la pipeline Task la pianificazione. L’errore è inserire la logica di tentativo nel metodo di parsing, dove nasconde gli errori di trasporto come campi mancanti.

Quando uno scrape si interrompe, la prima domanda è quale parte si è interrotta. Uno stato diverso da 200 riguarda il trasporto. Un 200 con campi vuoti riguarda il parsing, oppure una pagina con rendering lato client. Un successo che cala nel giro di minuti riguarda la pianificazione. Mescolare le tre cose in un’unica funzione è il motivo per cui tanti scraper vengono riscritti invece di essere corretti.

AngleSharp esegue il parsing in un vero DOM e supporta i selettori CSS, perciò è la scelta predefinita migliore rispetto a HtmlAgilityPack per il markup moderno.


Cosa può andare storto nello specifico in C#?

Tre problemi rappresentano la maggior parte del tempo perso in C#, e nessuno di essi è il blocco da parte della destinazione.

Un nuovo HttpClient per richiesta esaurisce i socket. Creare e eliminare HttpClient in un ciclo lascia socket in TIME_WAIT e alla fine il processo non riesce ad aprire connessioni. Usa un client a lunga durata per ogni configurazione proxy, oppure IHttpClientFactory in ASP.NET Core.

Gli handler sono immutabili dopo il primo utilizzo. Non puoi cambiare il proxy su un handler che ha già inviato una richiesta. Crea un client per ogni configurazione di uscita e scegli tra questi, anziché modificarli.

I cookie sono condivisi per impostazione predefinita. Un solo CookieContainer per tutte le richieste mescola le sessioni. Dai a ogni sessione logica il proprio client oppure disabilita il contenitore e gestisci tu stesso i cookie.

Nessuno di questi aspetti è insolito, e dall’esterno sembrano tutti uno scraper bloccato: ecco perché la prima risposta è così spesso acquistare proxy per un problema che risiede nel client. La nostra guida agli errori 403 Forbidden durante lo scraping illustra i passaggi di isolamento in ordine.


Come limitare la concorrenza in C#?

Usa SemaphoreSlim attorno a un client condiviso e non usare mai Parallel.ForEach sulle chiamate di rete.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach blocca i thread per lavoro vincolato all’IO e può saturare il pool di thread mentre la rete resta inattiva. Async con un semaforo mantiene basso il numero di thread e deliberata la frequenza delle richieste. Aggiungi Polly per i tentativi con jitter invece di implementare manualmente il backoff.


Quali librerie .NET vale la pena usare?

Libreria Usala per Nota sincera
HttpClient più HttpClientHandler Tutto il recupero Integrati. Un’istanza per configurazione di uscita, riutilizzata
AngleSharp Parsing in un vero DOM con selettori CSS La scelta predefinita migliore per il markup moderno
HtmlAgilityPack XPath su HTML disordinato Ancora valido, API più datata; sceglilo se ragioni in XPath
Polly Tentativi, circuit breaker, policy di timeout Elimina il codice più spesso scritto a mano e più spesso sbagliato in un crawler
Playwright per .NET Pagine con rendering lato client Ben mantenuto e oggi l’unica opzione browser sensata su .NET

Se il crawler viene eseguito all’interno di ASP.NET Core, registra il client tramite IHttpClientFactory affinché durata e aggiornamento DNS siano gestiti per te, anziché da un campo statico che qualcuno dimentica.


Quando C# è lo strumento sbagliato?

Usa C# quando la tua pipeline dati è .NET, vuoi pipeline async con tipi forti e una distribuzione semplice accanto ai servizi esistenti. Evitalo quando il progetto è un piccolo script di ricerca e nessuno nel team scrive C# ogni giorno.

Il fattore decisivo è la manutenzione, non la capacità. Un crawler scritto nel linguaggio che il tuo team usa ogni giorno supera la prossima modifica del markup; uno brillante in un linguaggio poco familiare viene abbandonato al primo problema. Se la risposta sincera è che C# non è l’ambiente giusto per questo lavoro, un piccolo crawler altrove che scrive nello stesso database è una scelta progettuale legittima, non una sconfitta.

Due aspetti restano fuori da questa pagina perché sono identici in ogni linguaggio e ripeterli qui renderebbe solo più difficile mantenerli aggiornati. Le regole di sessione e rotazione, incluso il motivo per cui un percorso deve mantenere una singola uscita sticky, sono in le migliori pratiche per la rotazione dei proxy. Cosa fare quando una richiesta viene rifiutata e come distinguere un problema di rete da uno del client è in 403 Forbidden durante lo scraping, mentre il quadro giuridico è in il web scraping è legale.

Per quanto riguarda l’uscita: residential proxy a rotazione per le pagine pubbliche, sticky per i percorsi, datacenter per le API e i dati aperti. DataImpulse residential costa $1 per GB in 195 paesi, con targeting per paese incluso; il confronto è in i migliori proxy per il web scraping.


Domande frequenti

Come imposto un proxy in C#?

Configurarlo sull’oggetto client anziché per ogni richiesta: con HttpClient e HttpClientHandler imposti una volta host, porta e credenziali del proxy, poi riutilizzi quel client. Riutilizzarlo mantiene coerenti il pool di connessioni, l’archivio dei cookie e l’indirizzo di uscita, ed è questo che rende coerente una sessione.

Quale libreria dovrei usare per il parsing in C#?

AngleSharp o HtmlAgilityPack sono la scelta pratica predefinita. Tieni il parsing separato dal recupero: il client gestisce la rete e il parser il markup, così un errore ti dice immediatamente quale dei due si è interrotto.

Mi serve un browser headless per C#?

Solo quando i campi hanno rendering lato client. Recupera prima la pagina senza elaborazioni e cerca nell’HTML un valore noto: se è presente, evita del tutto il browser. Quando te ne serve uno, Playwright per .NET quando una pagina ha rendering lato client è l’opzione di questo ecosistema, e costa un ordine di grandezza in più per pagina in tempo e memoria.

Un nuovo HttpClient per richiesta esaurisce i socket?

Creare e eliminare HttpClient in un ciclo lascia socket in TIME_WAIT e alla fine il processo non riesce ad aprire connessioni. Usa un client a lunga durata per ogni configurazione proxy, oppure IHttpClientFactory in ASP.NET Core.

C# è una buona scelta per il web scraping?

È una buona scelta quando la tua pipeline dati è .NET, vuoi pipeline async con tipi forti e una distribuzione semplice accanto ai servizi esistenti. È la scelta sbagliata quando il progetto è un piccolo script di ricerca e nessuno nel team scrive C# ogni giorno. Il fattore decisivo è di solito la manutenzione più della capacità pura: lo scraper scritto nel linguaggio che il tuo team usa ogni giorno è quello che supera la prossima modifica del markup.


Punta il tuo client C# a un’uscita affidabile

Lo snippet sopra funziona con una sola modifica alle credenziali: DataImpulse residential offre uscite geograficamente accurate a $1 per GB in 195 paesi, a rotazione o sticky, tramite HTTP, HTTPS e SOCKS5. Crea un account e testa una destinazione dal tuo client C# prima di scalare il lavoro.

Correlati: 403 Forbidden durante lo scraping · configurazione del proxy Crawl4AI · configurazione proxy in Go, Kotlin, Scala, Perl ed Elixir.

Ultimo aggiornamento: 17 settembre 2026.


Share article: