Neste artigo
Fazer web scraping com C# é incomumente agradável quando a questão da duração do cliente está resolvida, e incomumente doloroso antes disso. HttpClient com um HttpClientHandler configurado cuida da rede, AngleSharp transforma a resposta em um DOM real com seletores CSS, e Playwright cobre as páginas renderizadas no lado do cliente.
Se voce chegou aqui buscando web scraping com c#, a versão curta é esta: crie um HttpClient por configuração de proxy e mantenha-o ativo durante toda a vida do processo. O impulso de envolvê-lo em um bloco using a cada solicitação é o que causa o esgotamento de sockets que faz um scraper funcional falhar em escala, e é a primeira coisa a verificar quando um crawler .NET se deteriora após uma hora.
Fatos principais
- A pilha em C#: HttpClient com um HttpClientHandler para buscar, AngleSharp ou HtmlAgilityPack para analisar, e Playwright para .NET quando uma página é renderizada no lado do cliente.
- A configuração de proxy é um objeto, não uma linha por solicitação. Configure-a uma vez no cliente e reutilize esse cliente, ou voce perde o pool de conexões e a coerência da sessão.
- O erro que mais custa tempo aqui: um novo httpclient por solicitação esgota os sockets.
- A rotação pertence à sessão, não à solicitação. Uma tarefa lógica mantém uma saída; alternar no meio da sessão quebra cookies e convida a desafios.
- Use C# quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. Evite-o quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente.
Como encaminhar solicitações C# por meio de um proxy?
Configure o proxy no cliente uma vez e reutilize esse cliente para cada solicitação na sessão. Esta é a forma mínima funcional com autenticação.
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
Três detalhes importam mais do que a sintaxe. As credenciais pertencem ao gateway, não ao site de destino. O timeout não é opcional, porque um proxy adiciona um salto e uma solicitação travada ocupa um worker. E o cliente é a unidade de identidade: o mesmo cliente significa o mesmo pool de conexões, os mesmos cookies e, com uma sticky session, o mesmo endereço de saída.
Como é o modelo de handler em 3 partes?
Mantenha três responsabilidades separadas, e a depuração deixa de ser adivinhação. Nós o chamamos de modelo de handler em 3 partes.
| Parte | Do que cuida | Em C# |
|---|---|---|
| 1. Transporte | Conexão, proxy, timeouts, tentativas, TLS | HttpClient com um HttpClientHandler |
| 2. Análise | Transformar bytes em campos e falhar claramente quando a marcação mudou | AngleSharp ou HtmlAgilityPack |
| 3. Agendamento | Concorrência por host, cadência, backoff, desduplicação | Seu próprio pool de workers ou fila, limitado por destino |
No .NET, é fácil manter o limite porque os tipos já o sugerem: HttpClient cuida do transporte, AngleSharp cuida do documento, e seu pipeline Task cuida do agendamento. O erro é colocar a lógica de tentativas dentro do método de análise, onde ela oculta falhas de transporte como campos ausentes.
Quando um scraping falha, a primeira pergunta é qual parte falhou. Um status diferente de 200 é transporte. Um 200 com campos vazios é análise, ou uma página renderizada no lado do cliente. Sucesso que se deteriora ao longo de minutos é agendamento. Misturar os três em uma função é o motivo de tantos scrapers serem reescritos em vez de corrigidos.
AngleSharp analisa para um DOM real e oferece suporte a seletores CSS, o que o torna a melhor opção padrão em vez de HtmlAgilityPack para marcação moderna.
O que dá errado especificamente em C#?
Três problemas respondem pela maior parte do tempo perdido em C#, e nenhum deles é o destino bloqueando voce.
Um novo HttpClient por solicitação esgota os sockets. Criar e descartar HttpClient em um loop deixa sockets em TIME_WAIT e o processo acaba não conseguindo abrir conexões. Use um cliente de longa duração por configuração de proxy, ou IHttpClientFactory no ASP.NET Core.
Handlers são imutáveis após o primeiro uso. Voce não pode alterar o proxy em um handler que já enviou uma solicitação. Crie um cliente por configuração de saída e escolha entre eles, em vez de fazer mutações.
Cookies são compartilhados por padrão. Um CookieContainer para todas as solicitações mistura sessões. Dê a cada sessão lógica seu próprio cliente ou desative o container e gerencie os cookies por conta própria.
Nenhum deles é exótico, e todos parecem um scraper bloqueado vistos de fora, razão pela qual a primeira reação tantas vezes é comprar proxies para um problema que está no cliente. Nosso guia sobre erros 403 Forbidden ao fazer scraping apresenta as etapas de isolamento na ordem correta.
Como limitar a concorrência em C#?
Use SemaphoreSlim em torno de um cliente compartilhado e nunca use Parallel.ForEach para chamadas de rede.
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach bloqueia threads em trabalho limitado por IO e pode facilmente saturar o pool de threads enquanto a rede fica ociosa. Assíncrono com um semáforo mantém baixa a contagem de threads e deliberada a taxa de solicitações. Adicione Polly para tentativas com jitter em vez de criar o backoff manualmente.
Quais bibliotecas .NET valem a pena usar?
| Biblioteca | Use para | Observação honesta |
|---|---|---|
| HttpClient com HttpClientHandler | Todas as buscas | Nativo. Uma instância por configuração de saída, reutilizada |
| AngleSharp | Analisar para um DOM real com seletores CSS | A melhor opção padrão para marcação moderna |
| HtmlAgilityPack | XPath em HTML desorganizado | Ainda é adequado, API mais antiga, use-o se voce pensa em XPath |
| Polly | Políticas de tentativa, circuit breaker e timeout | Remove o código mais frequentemente escrito à mão e mais frequentemente errado em um crawler |
| Playwright para .NET | Páginas renderizadas no cliente | Bem mantido e a única opção de navegador sensata no .NET hoje |
Se o crawler for executado dentro do ASP.NET Core, registre o cliente por IHttpClientFactory para que a duração e a atualização de DNS sejam tratadas para voce, em vez de por um campo estático que alguém esquece.
Quando C# é a ferramenta errada?
Use C# quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. Evite-o quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente.
O fator decisivo é manutenção, não capacidade. Um crawler escrito na linguagem que sua equipe usa diariamente sobrevive à próxima mudança de marcação; um inteligente em uma linguagem desconhecida é abandonado na primeira quebra. Se a resposta honesta for que C# não é o lugar certo para este trabalho, um pequeno crawler em outro lugar gravando no mesmo banco de dados é um projeto justificável, não uma derrota.
Duas coisas ficam fora desta página porque são iguais em todas as linguagens, e repeti-las aqui apenas tornaria mais difícil mantê-las atualizadas. As regras de sessão e rotação, incluindo por que uma jornada deve manter uma saída sticky, estão em melhores práticas de rotação de proxy. O que fazer quando uma solicitação é recusada, e como distinguir um problema de rede de um problema de cliente, está em 403 Forbidden ao fazer scraping, e o enquadramento jurídico está em web scraping é legal?.
Sobre a própria saída: residencial rotativa para páginas públicas, sticky para jornadas, datacenter para APIs e dados abertos. DataImpulse residencial custa $1 por GB em 195 países com segmentação por país incluída, e a comparação está em melhores proxies para web scraping.
Perguntas frequentes
Como configurar um proxy em C#?
Configure-o no objeto cliente, em vez de por solicitação: com HttpClient e um HttpClientHandler voce define o host, a porta e as credenciais do proxy uma vez e depois reutiliza esse cliente. Reutilizá-lo mantém consistentes o pool de conexões, o armazenamento de cookies e o endereço de saída, o que faz uma sessão parecer coerente.
Qual biblioteca devo usar para análise em C#?
AngleSharp ou HtmlAgilityPack são a opção padrão prática. Mantenha a análise separada da busca: o cliente cuida da rede e o analisador cuida da marcação, para que uma falha informe imediatamente qual dos dois falhou.
Preciso de um navegador headless para C#?
Somente quando os campos são renderizados no lado do cliente. Busque a página normalmente e procure primeiro no HTML um valor conhecido: se ele estiver lá, pule o navegador completamente. Quando precisar de um, Playwright para .NET quando uma página é renderizada no lado do cliente é a opção neste ecossistema, e ele custa uma ordem de grandeza a mais por página em tempo e memória.
Um novo HttpClient por solicitação esgota os sockets?
Criar e descartar HttpClient em um loop deixa sockets em TIME_WAIT e o processo acaba não conseguindo abrir conexões. Use um cliente de longa duração por configuração de proxy, ou IHttpClientFactory no ASP.NET Core.
C# é uma boa escolha para web scraping?
É uma boa escolha quando seu pipeline de dados for .NET, voce quiser pipelines assíncronos com tipagem forte e implantação fácil ao lado dos serviços existentes. É a escolha errada quando o projeto for um pequeno script de pesquisa e ninguém na equipe escrever C# diariamente. O fator decisivo geralmente é manutenção, e não capacidade bruta: o scraper escrito na linguagem que sua equipe usa diariamente é aquele que sobrevive à próxima mudança de marcação.
Aponte seu cliente C# para uma saída confiável
O trecho acima funciona com uma alteração de credencial: DataImpulse residencial oferece saídas geograficamente precisas a $1 por GB em 195 países, rotativas ou sticky, por HTTP, HTTPS e SOCKS5. Crie uma conta e teste um destino com seu cliente C# antes de ampliar o trabalho.
Relacionado: 403 Forbidden ao fazer scraping · configuração de proxy do Crawl4AI · configuração de proxy em Go, Kotlin, Scala, Perl e Elixir.
Última atualização: 17 de setembro de 2026.
