C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Fazer web scraping com C# é incomumente agradável quando a questão da duração do cliente está resolvida, e incomumente doloroso antes disso. HttpClient com um HttpClientHandler configurado cuida da rede, AngleSharp transforma a resposta em um DOM real com seletores CSS, e Playwright cobre as páginas renderizadas no lado do cliente.

Se voce chegou aqui buscando web scraping com c#, a versão curta é esta: crie um HttpClient por configuração de proxy e mantenha-o ativo durante toda a vida do processo. O impulso de envolvê-lo em um bloco using a cada solicitação é o que causa o esgotamento de sockets que faz um scraper funcional falhar em escala, e é a primeira coisa a verificar quando um crawler .NET se deteriora após uma hora.


Fatos principais

  • A pilha em C#: HttpClient com um HttpClientHandler para buscar, AngleSharp ou HtmlAgilityPack para analisar, e Playwright para .NET quando uma página é renderizada no lado do cliente.
  • A configuração de proxy é um objeto, não uma linha por solicitação. Configure-a uma vez no cliente e reutilize esse cliente, ou voce perde o pool de conexões e a coerência da sessão.
  • O erro que mais custa tempo aqui: um novo httpclient por solicitação esgota os sockets.
  • A rotação pertence à sessão, não à solicitação. Uma tarefa lógica mantém uma saída; alternar no meio da sessão quebra cookies e convida a desafios.
  • Use C# quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. Evite-o quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente.

Como encaminhar solicitações C# por meio de um proxy?

Configure o proxy no cliente uma vez e reutilize esse cliente para cada solicitação na sessão. Esta é a forma mínima funcional com autenticação.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Três detalhes importam mais do que a sintaxe. As credenciais pertencem ao gateway, não ao site de destino. O timeout não é opcional, porque um proxy adiciona um salto e uma solicitação travada ocupa um worker. E o cliente é a unidade de identidade: o mesmo cliente significa o mesmo pool de conexões, os mesmos cookies e, com uma sticky session, o mesmo endereço de saída.


Como é o modelo de handler em 3 partes?

Mantenha três responsabilidades separadas, e a depuração deixa de ser adivinhação. Nós o chamamos de modelo de handler em 3 partes.

Parte Do que cuida Em C#
1. Transporte Conexão, proxy, timeouts, tentativas, TLS HttpClient com um HttpClientHandler
2. Análise Transformar bytes em campos e falhar claramente quando a marcação mudou AngleSharp ou HtmlAgilityPack
3. Agendamento Concorrência por host, cadência, backoff, desduplicação Seu próprio pool de workers ou fila, limitado por destino

No .NET, é fácil manter o limite porque os tipos já o sugerem: HttpClient cuida do transporte, AngleSharp cuida do documento, e seu pipeline Task cuida do agendamento. O erro é colocar a lógica de tentativas dentro do método de análise, onde ela oculta falhas de transporte como campos ausentes.

Quando um scraping falha, a primeira pergunta é qual parte falhou. Um status diferente de 200 é transporte. Um 200 com campos vazios é análise, ou uma página renderizada no lado do cliente. Sucesso que se deteriora ao longo de minutos é agendamento. Misturar os três em uma função é o motivo de tantos scrapers serem reescritos em vez de corrigidos.

AngleSharp analisa para um DOM real e oferece suporte a seletores CSS, o que o torna a melhor opção padrão em vez de HtmlAgilityPack para marcação moderna.


O que dá errado especificamente em C#?

Três problemas respondem pela maior parte do tempo perdido em C#, e nenhum deles é o destino bloqueando voce.

Um novo HttpClient por solicitação esgota os sockets. Criar e descartar HttpClient em um loop deixa sockets em TIME_WAIT e o processo acaba não conseguindo abrir conexões. Use um cliente de longa duração por configuração de proxy, ou IHttpClientFactory no ASP.NET Core.

Handlers são imutáveis após o primeiro uso. Voce não pode alterar o proxy em um handler que já enviou uma solicitação. Crie um cliente por configuração de saída e escolha entre eles, em vez de fazer mutações.

Cookies são compartilhados por padrão. Um CookieContainer para todas as solicitações mistura sessões. Dê a cada sessão lógica seu próprio cliente ou desative o container e gerencie os cookies por conta própria.

Nenhum deles é exótico, e todos parecem um scraper bloqueado vistos de fora, razão pela qual a primeira reação tantas vezes é comprar proxies para um problema que está no cliente. Nosso guia sobre erros 403 Forbidden ao fazer scraping apresenta as etapas de isolamento na ordem correta.


Como limitar a concorrência em C#?

Use SemaphoreSlim em torno de um cliente compartilhado e nunca use Parallel.ForEach para chamadas de rede.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach bloqueia threads em trabalho limitado por IO e pode facilmente saturar o pool de threads enquanto a rede fica ociosa. Assíncrono com um semáforo mantém baixa a contagem de threads e deliberada a taxa de solicitações. Adicione Polly para tentativas com jitter em vez de criar o backoff manualmente.


Quais bibliotecas .NET valem a pena usar?

Biblioteca Use para Observação honesta
HttpClient com HttpClientHandler Todas as buscas Nativo. Uma instância por configuração de saída, reutilizada
AngleSharp Analisar para um DOM real com seletores CSS A melhor opção padrão para marcação moderna
HtmlAgilityPack XPath em HTML desorganizado Ainda é adequado, API mais antiga, use-o se voce pensa em XPath
Polly Políticas de tentativa, circuit breaker e timeout Remove o código mais frequentemente escrito à mão e mais frequentemente errado em um crawler
Playwright para .NET Páginas renderizadas no cliente Bem mantido e a única opção de navegador sensata no .NET hoje

Se o crawler for executado dentro do ASP.NET Core, registre o cliente por IHttpClientFactory para que a duração e a atualização de DNS sejam tratadas para voce, em vez de por um campo estático que alguém esquece.


Quando C# é a ferramenta errada?

Use C# quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. Evite-o quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente.

O fator decisivo é manutenção, não capacidade. Um crawler escrito na linguagem que sua equipe usa diariamente sobrevive à próxima mudança de marcação; um inteligente em uma linguagem desconhecida é abandonado na primeira quebra. Se a resposta honesta for que C# não é o lugar certo para este trabalho, um pequeno crawler em outro lugar gravando no mesmo banco de dados é um projeto justificável, não uma derrota.

Duas coisas ficam fora desta página porque são iguais em todas as linguagens, e repeti-las aqui apenas tornaria mais difícil mantê-las atualizadas. As regras de sessão e rotação, incluindo por que uma jornada deve manter uma saída sticky, estão em melhores práticas de rotação de proxy. O que fazer quando uma solicitação é recusada, e como distinguir um problema de rede de um problema de cliente, está em 403 Forbidden ao fazer scraping, e o enquadramento jurídico está em web scraping é legal?.

Sobre a própria saída: residencial rotativa para páginas públicas, sticky para jornadas, datacenter para APIs e dados abertos. DataImpulse residencial custa $1 por GB em 195 países com segmentação por país incluída, e a comparação está em melhores proxies para web scraping.


Perguntas frequentes

Como configurar um proxy em C#?

Configure-o no objeto cliente, em vez de por solicitação: com HttpClient e um HttpClientHandler voce define o host, a porta e as credenciais do proxy uma vez e depois reutiliza esse cliente. Reutilizá-lo mantém consistentes o pool de conexões, o armazenamento de cookies e o endereço de saída, o que faz uma sessão parecer coerente.

Qual biblioteca devo usar para análise em C#?

AngleSharp ou HtmlAgilityPack são a opção padrão prática. Mantenha a análise separada da busca: o cliente cuida da rede e o analisador cuida da marcação, para que uma falha informe imediatamente qual dos dois falhou.

Preciso de um navegador headless para C#?

Somente quando os campos são renderizados no lado do cliente. Busque a página normalmente e procure primeiro no HTML um valor conhecido: se ele estiver lá, pule o navegador completamente. Quando precisar de um, Playwright para .NET quando uma página é renderizada no lado do cliente é a opção neste ecossistema, e ele custa uma ordem de grandeza a mais por página em tempo e memória.

Um novo HttpClient por solicitação esgota os sockets?

Criar e descartar HttpClient em um loop deixa sockets em TIME_WAIT e o processo acaba não conseguindo abrir conexões. Use um cliente de longa duração por configuração de proxy, ou IHttpClientFactory no ASP.NET Core.

C# é uma boa escolha para web scraping?

É uma boa escolha quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. É a escolha errada quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente. O fator decisivo geralmente é manutenção, e não capacidade bruta: o scraper escrito na linguagem que sua equipe usa diariamente é aquele que sobrevive à próxima mudança de marcação.


Aponte seu cliente C# para uma saída confiável

O trecho acima funciona com uma alteração de credencial: DataImpulse residencial oferece saídas geograficamente precisas a $1 por GB em 195 países, rotativas ou sticky, por HTTP, HTTPS e SOCKS5. Crie uma conta e teste um destino com seu cliente C# antes de ampliar o trabalho.

Relacionado: 403 Forbidden ao fazer scraping · configuração de proxy do Crawl4AI · configuração de proxy em Go, Kotlin, Scala, Perl e Elixir.

Última atualização: 17 de setembro de 2026.


Share article: