In diesem Artikel
Web Scraping mit C# ist erstaunlich angenehm, sobald die Frage nach der Lebensdauer des Clients geklärt ist, und davor erstaunlich schmerzhaft. HttpClient zusammen mit einem konfigurierten HttpClientHandler übernimmt das Netzwerk, AngleSharp verwandelt die Antwort mit CSS-Selektoren in ein echtes DOM und Playwright deckt Seiten ab, die clientseitig gerendert werden.
Wenn du hier nach Web Scraping mit c# gesucht hast, ist die Kurzfassung: Erstelle einen HttpClient pro Proxy-Konfiguration und halte ihn über die gesamte Laufzeit des Prozesses aktiv. Der Impuls, ihn für jede Anfrage in einen using-Block zu packen, führt zu der Socket-Erschöpfung, durch die ein funktionierender Scraper im großen Maßstab scheitert. Das ist auch das Erste, was du prüfen solltest, wenn ein .NET-Crawler nach einer Stunde nachlässt.
Wichtige Fakten
- Der Stack in C#: HttpClient mit einem HttpClientHandler zum Abrufen, AngleSharp oder HtmlAgilityPack zum Parsen und Playwright für .NET, wenn eine Seite clientseitig gerendert wird.
- Die Proxy-Einrichtung ist ein Objekt, nicht eine Zeile pro Anfrage. Konfiguriere sie einmal im Client und verwende diesen Client erneut, sonst verlierst du Connection Pooling und eine konsistente Session.
- Der Fehler, der hier am meisten Zeit kostet: Ein neuer HttpClient pro Anfrage erschöpft die Sockets.
- Die Rotation gehört zur Session, nicht zur Anfrage. Eine logische Aufgabe behält einen Exit; eine Rotation mitten in der Session zerstört Cookies und lädt zu Challenges ein.
- Nutze C#, wenn deine Daten-Pipeline .NET nutzt, du asynchrone Pipelines mit starker Typisierung und einfache Bereitstellung neben bestehenden Services möchtest. Vermeide es, wenn das Projekt ein kleines Forschungsskript ist und niemand im Team täglich C# schreibt.
Wie leitest du C#-Anfragen über einen Proxy?
Konfiguriere den Proxy einmal im Client und verwende diesen Client dann für jede Anfrage in der Session. Hier ist die kleinste funktionierende Variante mit Authentifizierung.
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
Drei Details sind wichtiger als die Syntax. Die Zugangsdaten gehören zum Gateway, nicht zur Zielseite. Das Timeout ist nicht optional, denn ein Proxy fügt einen Hop hinzu und eine hängende Anfrage bindet einen Worker. Und der Client ist die Einheit der Identität: Derselbe Client bedeutet denselben Connection Pool, dieselben Cookies und, bei einer Sticky Session, dieselbe Exit-Adresse.
Wie sieht das 3-teilige Handler-Modell aus?
Halte drei Verantwortlichkeiten getrennt, dann wird Debugging nicht mehr zum Rätselraten. Wir nennen es das 3-teilige Handler-Modell.
| Teil | Wofür er zuständig ist | In C# |
|---|---|---|
| 1. Transport | Verbindung, Proxy, Timeouts, Wiederholungen, TLS | HttpClient mit einem HttpClientHandler |
| 2. Parsing | Bytes in Felder umwandeln und deutlich scheitern, wenn sich das Markup verschoben hat | AngleSharp oder HtmlAgilityPack |
| 3. Planung | Gleichzeitigkeit pro Host, Taktung, Backoff, Deduplizierung | Dein eigener Worker-Pool oder deine Queue, je Ziel begrenzt |
In .NET lässt sich die Grenze leicht einhalten, weil die Typen sie bereits nahelegen: HttpClient übernimmt den Transport, AngleSharp das Dokument und deine Task-Pipeline die Planung. Der Fehler besteht darin, die Wiederholungslogik in die Parsing-Methode zu setzen, wo sie Transportfehler als fehlende Felder verbirgt.
Wenn ein Scrape fehlschlägt, lautet die erste Frage, welcher Teil versagt hat. Ein Nicht-200-Status ist Transport. Ein 200 mit leeren Feldern ist Parsing oder eine clientseitig gerenderte Seite. Erfolg, der über Minuten nachlässt, ist Planung. Die drei in eine Funktion zu mischen, ist der Grund, warum so viele Scraper neu geschrieben statt repariert werden.
AngleSharp parst zu einem echten DOM und unterstützt CSS-Selektoren, weshalb es für modernes Markup die bessere Standardwahl gegenüber HtmlAgilityPack ist.
Was geht speziell in C# schief?
Drei Probleme verursachen in C# den Großteil der verlorenen Zeit, und keines davon ist eine Sperre durch das Ziel.
Ein neuer HttpClient pro Anfrage erschöpft die Sockets. Das Erstellen und Entsorgen von HttpClient in einer Schleife lässt Sockets in TIME_WAIT zurück, und der Prozess kann schließlich keine Verbindungen mehr öffnen. Nutze einen langlebigen Client pro Proxy-Konfiguration oder IHttpClientFactory in ASP.NET Core.
Handler sind nach der ersten Nutzung unveränderlich. Du kannst den Proxy eines Handlers nicht ändern, der bereits eine Anfrage gesendet hat. Erstelle einen Client pro Exit-Konfiguration und wähle zwischen ihnen, statt ihn zu verändern.
Cookies werden standardmäßig geteilt. Ein CookieContainer für alle Anfragen vermischt Sessions. Gib jeder logischen Session ihren eigenen Client oder deaktiviere den Container und verwalte Cookies selbst.
Keine dieser Ursachen ist exotisch, und alle sehen von außen wie ein gesperrter Scraper aus. Deshalb lautet die erste Reaktion so oft, Proxys für ein Problem zu kaufen, das im Client liegt. Unser Leitfaden zu 403-Forbidden-Fehlern beim Scraping erläutert die Schritte zur Eingrenzung der Reihe nach.
Wie begrenzt du die Gleichzeitigkeit in C#?
Verwende SemaphoreSlim um einen gemeinsam genutzten Client und niemals Parallel.ForEach für Netzwerkaufrufe.
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach blockiert Threads bei IO-gebundener Arbeit und kann den Thread-Pool problemlos auslasten, während das Netzwerk untätig ist. Async mit einem Semaphore hält die Thread-Anzahl niedrig und die Anfragerate bewusst. Füge Polly für Wiederholungen mit Jitter hinzu, statt Backoff selbst zu implementieren.
Welche .NET-Bibliotheken lohnen sich?
| Bibliothek | Wofür du sie nutzt | Ehrliche Anmerkung |
|---|---|---|
| HttpClient plus HttpClientHandler | Alle Abrufe | Integriert. Eine Instanz pro Exit-Konfiguration, wiederverwendet |
| AngleSharp | Parsing zu einem echten DOM mit CSS-Selektoren | Die bessere Standardwahl für modernes Markup |
| HtmlAgilityPack | XPath für unordentliches HTML | Weiterhin gut, ältere API, nutze es, wenn du in XPath denkst |
| Polly | Wiederholung, Circuit Breaker, Timeout-Richtlinien | Entfernt den am häufigsten handgeschriebenen und am häufigsten fehlerhaften Code eines Crawlers |
| Playwright für .NET | Clientseitig gerenderte Seiten | Gut gepflegt und heute die einzige vernünftige Browser-Option unter .NET |
Wenn der Crawler in ASP.NET Core läuft, registriere den Client über IHttpClientFactory, damit Lebensdauer und DNS-Aktualisierung für dich statt durch ein statisches Feld verwaltet werden, das jemand vergisst.
Wann ist C# das falsche Werkzeug?
Nutze C#, wenn deine Daten-Pipeline .NET nutzt, du asynchrone Pipelines mit starker Typisierung und einfache Bereitstellung neben bestehenden Services möchtest. Vermeide es, wenn das Projekt ein kleines Forschungsskript ist und niemand im Team täglich C# schreibt.
Der entscheidende Faktor ist Wartung, nicht Fähigkeit. Ein Crawler in der Sprache, die dein Team täglich nutzt, übersteht die nächste Markup-Änderung; ein cleverer Crawler in einer unbekannten Sprache wird beim ersten Bruch aufgegeben. Wenn die ehrliche Antwort lautet, dass C# für diese Aufgabe nicht der richtige Ort ist, ist ein kleiner Crawler anderswo, der in dieselbe Datenbank schreibt, ein gerechtfertigtes Design und keine Niederlage.
Zwei Dinge stehen nicht auf dieser Seite, weil sie in jeder Sprache gleich sind und eine Wiederholung hier sie nur schwerer aktuell halten würde. Regeln für Session und Rotation, einschließlich der Frage, warum ein Ablauf einen Sticky Exit beibehalten muss, findest du unter Best Practices für Proxy-Rotation. Was zu tun ist, wenn eine Anfrage abgelehnt wird, und wie du ein Netzwerkproblem von einem Client-Problem unterscheidest, steht unter 403 Forbidden beim Scraping; die rechtliche Einordnung steht unter Ist Web Scraping rechtmäßig?.
Zum Exit selbst: rotierende Residential Proxy für öffentliche Seiten, Sticky für Abläufe, Datacenter für APIs und offene Daten. DataImpulse Residential Proxy kostet $1 pro GB in 195 Ländern einschließlich Länder-Targeting; den Vergleich findest du unter beste Proxys für Web Scraping.
Häufig gestellte Fragen
Wie richte ich einen Proxy in C# ein?
Konfiguriere ihn im Client-Objekt statt pro Anfrage: Bei HttpClient mit einem HttpClientHandler setzt du Proxy-Host, Port und Zugangsdaten einmal und verwendest dann diesen Client erneut. Die Wiederverwendung hält den Connection Pool, den Cookie-Speicher und die Exit-Adresse konsistent, wodurch eine Session stimmig wirkt.
Welche Bibliothek sollte ich zum Parsen in C# verwenden?
AngleSharp oder HtmlAgilityPack ist die praktische Standardwahl. Trenne Parsing vom Abrufen: Der Client übernimmt das Netzwerk und der Parser das Markup, sodass dir ein Fehler sofort sagt, welcher der beiden Teile versagt hat.
Brauche ich für C# einen Headless-Browser?
Nur wenn die Felder clientseitig gerendert werden. Rufe die Seite zunächst direkt ab und suche im HTML nach einem bekannten Wert: Ist er vorhanden, verzichte vollständig auf den Browser. Wenn du einen brauchst, ist Playwright für .NET bei clientseitig gerenderten Seiten die Option in diesem Ökosystem; pro Seite kostet sie um eine Größenordnung mehr Zeit und Speicher.
Erschöpft ein neuer HttpClient pro Anfrage die Sockets?
Das Erstellen und Entsorgen von HttpClient in einer Schleife lässt Sockets in TIME_WAIT zurück, und der Prozess kann schließlich keine Verbindungen mehr öffnen. Nutze einen langlebigen Client pro Proxy-Konfiguration oder IHttpClientFactory in ASP.NET Core.
Ist C# eine gute Wahl für Web Scraping?
Es ist eine gute Wahl, wenn deine Daten-Pipeline .NET nutzt, du asynchrone Pipelines mit starker Typisierung und einfache Bereitstellung neben bestehenden Services möchtest. Es ist die falsche Wahl, wenn das Projekt ein kleines Forschungsskript ist und niemand im Team täglich C# schreibt. Der entscheidende Faktor ist meist Wartung statt reiner Leistungsfähigkeit: Der Scraper in der Sprache, die dein Team täglich nutzt, übersteht die nächste Markup-Änderung.
Richte deinen C#-Client auf einen zuverlässigen Exit
Das obige Snippet funktioniert mit einer Änderung der Zugangsdaten: DataImpulse Residential Proxy bietet geografisch präzise Exits für $1 pro GB in 195 Ländern, rotierend oder Sticky, über HTTP, HTTPS und SOCKS5. Erstelle ein Konto und teste ein Ziel mit deinem C#-Client, bevor du den Auftrag skalierst.
Verwandt: 403 Forbidden beim Scraping · Crawl4AI-Proxy-Einrichtung · Proxy-Einrichtung in Go, Kotlin, Scala, Perl und Elixir.
Letzte Aktualisierung: 17. September 2026.
