C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

El web scraping con C# resulta inusualmente agradable una vez resuelta la cuestión del ciclo de vida del cliente, e inusualmente doloroso antes de hacerlo. HttpClient junto con un HttpClientHandler configurado gestiona la red, AngleSharp convierte la respuesta en un DOM real con selectores CSS y Playwright cubre las páginas que se renderizan del lado del cliente.

Si llegó aquí buscando web scraping con c#, la versión breve es esta: cree un HttpClient por configuración de proxy y manténgalo activo durante toda la vida del proceso. El impulso de envolverlo en un bloque using por solicitud es lo que provoca el agotamiento de sockets que hace que un scraper funcional falle a escala, y es lo primero que debe comprobar cuando un rastreador .NET se degrada después de una hora.


Datos clave

  • La pila en C#: HttpClient con un HttpClientHandler para obtener contenido, AngleSharp o HtmlAgilityPack para analizarlo y Playwright para .NET cuando una página se renderiza del lado del cliente.
  • La configuración del proxy es un objeto, no una línea por solicitud. Configúrelo una vez en el cliente y reutilice ese cliente, o perderá el agrupamiento de conexiones y la coherencia de la sesión.
  • El error que más tiempo cuesta aquí: un nuevo httpclient por solicitud agota los sockets.
  • La rotación pertenece a la sesión, no a la solicitud. Una tarea lógica mantiene una misma salida; rotar a mitad de sesión rompe las cookies e invita a los desafíos.
  • Use C# cuando su canalización de datos sea .NET, quiera canalizaciones asíncronas con tipado sólido y un despliegue sencillo junto a los servicios existentes. Evítelo cuando el proyecto sea un pequeño script de investigación y nadie del equipo escriba C# a diario.

¿Cómo enruta solicitudes de C# a través de un proxy?

Configure el proxy una vez en el cliente y reutilice después ese cliente para cada solicitud de la sesión. Esta es la forma mínima funcional con autenticación.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Hay tres detalles que importan más que la sintaxis. Las credenciales pertenecen a la puerta de enlace, no al sitio objetivo. El tiempo de espera no es opcional, porque un proxy añade un salto y una solicitud bloqueada retiene un proceso de trabajo. Y el cliente es la unidad de identidad: el mismo cliente implica el mismo grupo de conexiones, las mismas cookies y, con una sticky session, la misma dirección de salida.


¿Cómo es el modelo de controlador de 3 partes?

Mantenga separadas tres responsabilidades y la depuración dejará de ser una conjetura. Lo llamamos el modelo de controlador de 3 partes.

Parte De qué se encarga En C#
1. Transporte Conexión, proxy, tiempos de espera, reintentos, TLS HttpClient con un HttpClientHandler
2. Análisis Convertir bytes en campos y fallar claramente cuando cambió el marcado AngleSharp o HtmlAgilityPack
3. Planificación Concurrencia por servidor, cadencia, espera progresiva, deduplicación Su propio grupo de procesos de trabajo o cola, limitado por objetivo

En .NET es fácil mantener el límite porque los tipos ya lo sugieren: HttpClient se encarga del transporte, AngleSharp del documento y su canalización Task de la planificación. El error es poner la lógica de reintento dentro del método de análisis, donde oculta los fallos de transporte como campos ausentes.

Cuando una extracción falla, la primera pregunta es qué parte falló. Un estado distinto de 200 es transporte. Un 200 con campos vacíos es análisis, o una página que se renderiza del lado del cliente. Un éxito que decae durante minutos es planificación. Mezclar las tres en una función es la razón por la que tantos rastreadores se reescriben en vez de corregirse.

AngleSharp analiza en un DOM real y admite selectores CSS, lo que lo convierte en la mejor opción predeterminada frente a HtmlAgilityPack para el marcado moderno.


¿Qué sale mal específicamente en C#?

Tres problemas explican la mayor parte del tiempo perdido en C#, y ninguno consiste en que el objetivo le bloquee.

Un nuevo HttpClient por solicitud agota los sockets. Crear y desechar HttpClient en un bucle deja sockets en TIME_WAIT y el proceso termina sin poder abrir conexiones. Use un cliente de larga duración por configuración de proxy, o IHttpClientFactory en ASP.NET Core.

Los controladores son inmutables tras el primer uso. No puede cambiar el proxy en un controlador que ya envió una solicitud. Cree un cliente por configuración de salida y elija entre ellos, en lugar de mutarlo.

Las cookies se comparten de forma predeterminada. Un CookieContainer para todas las solicitudes mezcla sesiones. Dé a cada sesión lógica su propio cliente o desactive el contenedor y gestione las cookies usted mismo.

Ninguno de estos problemas es exótico y todos parecen un rastreador bloqueado desde fuera, por eso la primera respuesta suele ser comprar proxies para un problema que está en el cliente. Nuestra guía sobre errores 403 Forbidden al hacer scraping explica los pasos de aislamiento en orden.


¿Cómo limita la concurrencia en C#?

Use SemaphoreSlim alrededor de un cliente compartido y nunca Parallel.ForEach en llamadas de red.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach bloquea hilos para trabajo vinculado a IO y saturará sin problemas el grupo de hilos mientras la red permanece inactiva. El uso asíncrono con un semáforo mantiene bajo el número de hilos y deliberada la tasa de solicitudes. Añada Polly para reintentos con variación aleatoria en lugar de implementar la espera progresiva manualmente.


¿Qué bibliotecas .NET merece la pena usar?

Biblioteca Úsela para Nota sincera
HttpClient más HttpClientHandler Toda la obtención de contenido Integrado. Una instancia por configuración de salida, reutilizada
AngleSharp Analizar en un DOM real con selectores CSS La mejor opción predeterminada para marcado moderno
HtmlAgilityPack XPath sobre HTML desordenado Sigue estando bien, API antigua; úsela cuando piense en XPath
Polly Políticas de reintento, interruptor de circuito y tiempo de espera Elimina el código más escrito a mano y, con frecuencia, más erróneo en un rastreador
Playwright para .NET Páginas renderizadas del lado del cliente Bien mantenido y la única opción de navegador sensata en .NET hoy

Si el rastreador se ejecuta dentro de ASP.NET Core, registre el cliente mediante IHttpClientFactory para que el ciclo de vida y la actualización de DNS se gestionen por usted, en vez de mediante un campo estático que alguien olvida.


¿Cuándo es C# la herramienta equivocada?

Use C# cuando su canalización de datos sea .NET, quiera canalizaciones asíncronas con tipado sólido y un despliegue sencillo junto a los servicios existentes. Evítelo cuando el proyecto sea un pequeño script de investigación y nadie del equipo escriba C# a diario.

El factor decisivo es el mantenimiento, no la capacidad. Un rastreador escrito en el lenguaje que su equipo usa a diario sobrevive al siguiente cambio de marcado; uno ingenioso en un lenguaje desconocido se abandona ante la primera avería. Si la respuesta sincera es que C# no es el lugar adecuado para este trabajo, un pequeño rastreador en otro entorno que escriba en la misma base de datos es un diseño justificado, no una derrota.

Dos cosas quedan fuera de esta página porque son iguales en todos los lenguajes y repetirlas aquí solo dificultaría mantenerlas actualizadas. Las reglas de sesión y rotación, incluido por qué un recorrido debe mantener una salida sticky, están en prácticas recomendadas de rotación de proxies. Qué hacer cuando se rechaza una solicitud, y cómo distinguir un problema de red de uno del cliente, está en 403 Forbidden al hacer scraping, y el marco legal está en si el web scraping es legítimo.

Sobre la salida en sí: residenciales rotativos para páginas públicas, sticky para recorridos, datacenter para API y datos abiertos. DataImpulse residencial cuesta $1 por GB en 195 países con selección de país incluida, y la comparación está en los mejores proxies para web scraping.


Preguntas frecuentes

¿Cómo configuro un proxy en C#?

Configúrelo en el objeto cliente en lugar de hacerlo por solicitud: con HttpClient y un HttpClientHandler se establecen una vez el host, el puerto y las credenciales del proxy, y después se reutiliza ese cliente. Reutilizarlo mantiene coherentes el grupo de conexiones, el almacén de cookies y la dirección de salida, que es lo que hace que una sesión parezca coherente.

¿Qué biblioteca debo usar para analizar en C#?

AngleSharp o HtmlAgilityPack son la opción predeterminada práctica. Mantenga el análisis separado de la obtención: el cliente se encarga de la red y el analizador del marcado, de modo que un fallo le indica inmediatamente cuál de los dos se rompió.

¿Necesito un navegador sin interfaz para C#?

Solo cuando los campos se renderizan del lado del cliente. Obtenga la página sin más y busque primero en el HTML un valor conocido: si está ahí, omita el navegador por completo. Cuando necesite uno, Playwright para .NET cuando una página se renderiza del lado del cliente es la opción en este ecosistema y cuesta un orden de magnitud más por página en tiempo y memoria.

¿Un nuevo HttpClient por solicitud agota los sockets?

Crear y desechar HttpClient en un bucle deja sockets en TIME_WAIT y el proceso termina sin poder abrir conexiones. Use un cliente de larga duración por configuración de proxy, o IHttpClientFactory en ASP.NET Core.

¿Es C# una buena opción para web scraping?

Es una buena opción cuando su canalización de datos es .NET, quiere canalizaciones asíncronas con tipado sólido y un despliegue sencillo junto a los servicios existentes. Es una mala opción cuando el proyecto es un pequeño script de investigación y nadie del equipo escribe C# a diario. El factor decisivo suele ser el mantenimiento más que la capacidad bruta: el rastreador escrito en el lenguaje que su equipo usa a diario es el que sobrevive al siguiente cambio de marcado.


Dirija su cliente C# a una salida fiable

El fragmento anterior funciona con un cambio de credenciales: DataImpulse residencial ofrece salidas geográficamente precisas a $1 por GB en 195 países, rotativas o sticky, mediante HTTP, HTTPS y SOCKS5. Cree una cuenta y pruebe un objetivo desde su cliente C# antes de escalar el trabajo.

Relacionado: 403 Forbidden al hacer scraping · configuración de proxy de Crawl4AI · configuración de proxy en Go, Kotlin, Scala, Perl y Elixir.

Última actualización: 17 de septiembre de 2026.


Share article: