W tym artykule
Web scraping w C# jest wyjątkowo przyjemny po rozstrzygnięciu kwestii czasu życia klienta, a przed nim wyjątkowo bolesny. HttpClient wraz ze skonfigurowanym HttpClientHandler obsługuje sieć, AngleSharp zamienia odpowiedź w prawdziwy DOM za pomocą selektorów CSS, a Playwright obsługuje strony renderowane po stronie klienta.
Jeśli trafiasz tu, szukając web scraping w c#, krótka wersja brzmi: utwórz jeden HttpClient dla każdej konfiguracji proxy i utrzymuj go przez cały czas działania procesu. Odruch, by otaczać go blokiem using dla każdego żądania, powoduje wyczerpanie socketów, przez które działający scraper zawodzi na większą skalę, i to pierwsza rzecz do sprawdzenia, gdy crawler .NET zaczyna działać gorzej po godzinie.
Najważniejsze fakty
- Stos w C#: HttpClient z HttpClientHandler do pobierania, AngleSharp lub HtmlAgilityPack do parsowania oraz Playwright dla .NET, gdy strona renderuje się po stronie klienta.
- Konfiguracja proxy to jeden obiekt, a nie jedna linia na żądanie. Skonfiguruj ją raz w kliencie i używaj tego klienta ponownie, w przeciwnym razie stracisz pulę połączeń i spójność sesji.
- Błąd, który kosztuje tu najwięcej czasu: nowy httpclient dla każdego żądania wyczerpuje sockety.
- Rotacja należy do sesji, nie do żądania. Jedno logiczne zadanie zachowuje jedno wyjście; rotowanie w trakcie sesji psuje cookies i wywołuje wyzwania.
- Użyj C#, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Unikaj go, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#.
Jak kierować żądania C# przez proxy?
Skonfiguruj proxy raz w kliencie, a potem używaj tego klienta dla każdego żądania w sesji. Oto minimalna działająca forma z uwierzytelnianiem.
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
Trzy szczegóły są ważniejsze niż składnia. Dane uwierzytelniające należą do bramy, nie do docelowej witryny. Timeout nie jest opcjonalny, ponieważ proxy dodaje dodatkowy etap, a zawieszone żądanie zajmuje worker. Klient jest też jednostką tożsamości: ten sam klient oznacza tę samą pulę połączeń, te same cookies oraz, w przypadku sticky session, ten sam adres wyjściowy.
Jak wygląda 3-częściowy model handlera?
Rozdziel trzy obszary odpowiedzialności, a debugowanie przestanie być zgadywaniem. Nazywamy to 3-częściowym modelem handlera.
| Część | Za co odpowiada | W C# |
|---|---|---|
| 1. Transport | Połączenie, proxy, timeouty, ponowienia, TLS | HttpClient z HttpClientHandler |
| 2. Parsowanie | Zamiana bajtów na pola i wyraźne zgłaszanie błędu po zmianie znaczników | AngleSharp lub HtmlAgilityPack |
| 3. Planowanie | Współbieżność na hosta, tempo, backoff, deduplikacja | Własna pula workerów lub kolejka, ograniczona dla każdego celu |
W .NET łatwo utrzymać tę granicę, ponieważ sugerują ją już same typy: HttpClient odpowiada za transport, AngleSharp za dokument, a Twój pipeline Task za planowanie. Błędem jest umieszczanie logiki ponowień w metodzie parsowania, gdzie ukrywa awarie transportu jako brakujące pola.
Gdy scrape przestaje działać, pierwsze pytanie brzmi, która część się zepsuła. Status inny niż 200 oznacza transport. Kod 200 z pustymi polami oznacza parsowanie albo stronę renderowaną po stronie klienta. Sukces, który pogarsza się w ciągu minut, oznacza planowanie. Łączenie tych trzech rzeczy w jednej funkcji sprawia, że tak wiele scraperów jest przepisywanych zamiast naprawianych.
AngleSharp parsuje do prawdziwego DOM i obsługuje selektory CSS, dlatego jest lepszym domyślnym wyborem niż HtmlAgilityPack dla nowoczesnych znaczników.
Co konkretnie nie działa w C#?
Trzy problemy odpowiadają za większość straconego czasu w C#, a żaden z nich nie wynika z blokowania przez cel.
Nowy HttpClient dla każdego żądania wyczerpuje sockety. Tworzenie i zwalnianie HttpClient w pętli pozostawia sockety w stanie TIME_WAIT, a proces w końcu nie może otworzyć połączeń. Użyj jednego długo działającego klienta dla każdej konfiguracji proxy albo IHttpClientFactory w ASP.NET Core.
Handlery są niezmienne po pierwszym użyciu. Nie możesz zmienić proxy w handlerze, który wysłał już żądanie. Zbuduj po jednym kliencie dla każdej konfiguracji wyjścia i wybieraj między nimi zamiast je modyfikować.
Cookies są domyślnie współdzielone. Jeden CookieContainer dla wszystkich żądań miesza sesje. Daj każdej logicznej sesji własnego klienta albo wyłącz kontener i samodzielnie zarządzaj cookies.
Żaden z tych problemów nie jest egzotyczny, a wszystkie z zewnątrz wyglądają jak zablokowany scraper, dlatego pierwszą reakcją tak często jest kupienie proxy na problem leżący w kliencie. Nasz przewodnik po błędach 403 Forbidden podczas scrapowania przedstawia kroki izolacji we właściwej kolejności.
Jak ograniczać współbieżność w C#?
Użyj SemaphoreSlim wokół współdzielonego klienta i nigdy nie stosuj Parallel.ForEach do wywołań sieciowych.
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach blokuje wątki przy pracy związanej z IO i bez problemu nasyci pulę wątków, gdy sieć pozostaje bezczynna. Async z semaforem utrzymuje małą liczbę wątków i celowe tempo żądań. Dodaj Polly do ponowień z jitterem zamiast ręcznie tworzyć backoff.
Których bibliotek .NET warto używać?
| Biblioteka | Użycie | Uczciwa uwaga |
|---|---|---|
| HttpClient plus HttpClientHandler | Wszelkie pobieranie | Wbudowane. Jedna instancja na konfigurację wyjścia, używana ponownie |
| AngleSharp | Parsowanie do prawdziwego DOM za pomocą selektorów CSS | Lepszy wybór domyślny dla nowoczesnych znaczników |
| HtmlAgilityPack | XPath dla nieuporządkowanego HTML | Nadal dobry wybór, starsze API, sięgnij po niego, gdy myślisz w XPath |
| Polly | Ponowienia, circuit breaker, polityki timeoutów | Usuwa kod najczęściej pisany ręcznie i najczęściej błędny w crawlerze |
| Playwright for .NET | Strony renderowane po stronie klienta | Dobrze utrzymywany i jedyna rozsądna obecnie opcja przeglądarkowa w .NET |
Jeśli crawler działa w ASP.NET Core, zarejestruj klienta przez IHttpClientFactory, aby czas życia i odświeżanie DNS były obsługiwane za Ciebie, a nie przez statyczne pole, o którym ktoś zapomni.
Kiedy C# jest niewłaściwym narzędziem?
Użyj C#, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Unikaj go, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#.
Decydującym czynnikiem jest utrzymanie, nie możliwości. Crawler napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników; sprytny crawler w nieznanym języku zostanie porzucony przy pierwszej awarii. Jeśli uczciwa odpowiedź brzmi, że C# nie jest właściwym miejscem dla tego zadania, mały crawler w innym środowisku zapisujący do tej samej bazy danych jest uzasadnionym projektem, a nie porażką.
Dwie kwestie znajdują się poza tą stroną, ponieważ są takie same w każdym języku, a powtarzanie ich tutaj tylko utrudniłoby aktualizowanie ich. Zasady sesji i rotacji, w tym wyjaśnienie, dlaczego ścieżka musi zachować jedno sticky session wyjście, znajdziesz w najlepszych praktykach rotacji proxy. Informacje o tym, co zrobić, gdy żądanie zostanie odrzucone, oraz jak odróżnić problem sieciowy od problemu klienta, są w artykule 403 Forbidden podczas scrapowania, a ramy prawne w czy web scraping jest legalny.
Jeśli chodzi o samo wyjście: rotujące residential dla stron publicznych, sticky dla ścieżek, datacenter dla API i otwartych danych. DataImpulse residential kosztuje $1 za GB w 195 krajach z uwzględnionym targetowaniem krajowym, a porównanie znajdziesz w najlepszych proxy do web scraping.
Najczęściej zadawane pytania
Jak ustawić proxy w C#?
Skonfiguruj je w obiekcie klienta, a nie dla każdego żądania: w HttpClient z HttpClientHandler ustawiasz raz host proxy, port i dane uwierzytelniające, a następnie ponownie używasz tego klienta. Ponowne używanie zachowuje pulę połączeń, jar cookies i spójny adres wyjściowy, dzięki czemu sesja wygląda spójnie.
Której biblioteki użyć do parsowania w C#?
AngleSharp lub HtmlAgilityPack to praktyczny wybór domyślny. Oddziel parsowanie od pobierania: klient odpowiada za sieć, a parser za znaczniki, więc awaria od razu mówi Ci, który z tych dwóch elementów się zepsuł.
Czy potrzebuję bezgłowej przeglądarki dla C#?
Tylko gdy pola są renderowane po stronie klienta. Najpierw pobierz stronę zwyczajnie i wyszukaj w HTML jedną znaną wartość: jeśli tam jest, całkowicie pomiń przeglądarkę. Gdy jej potrzebujesz, Playwright dla .NET, gdy strona renderuje się po stronie klienta, jest opcją w tym ekosystemie i kosztuje o rząd wielkości więcej czasu i pamięci na stronę.
Nowy HttpClient dla każdego żądania wyczerpuje sockety?
Tworzenie i zwalnianie HttpClient w pętli pozostawia sockety w stanie TIME_WAIT, a proces w końcu nie może otworzyć połączeń. Użyj jednego długo działającego klienta dla każdej konfiguracji proxy albo IHttpClientFactory w ASP.NET Core.
Czy C# to dobry wybór do web scraping?
To dobry wybór, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Jest złym wyborem, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#. Decydującym czynnikiem jest zwykle utrzymanie, a nie surowe możliwości: scraper napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników.
Skieruj klienta C# na niezawodne wyjście
Powyższy fragment działa po zmianie jednych danych uwierzytelniających: DataImpulse residential zapewnia dokładne geograficznie wyjścia za $1 za GB w 195 krajach, rotujące lub sticky, przez HTTP, HTTPS i SOCKS5. Utwórz konto i przetestuj jeden cel z klienta C# przed skalowaniem zadania.
Powiązane: 403 Forbidden podczas scrapowania · Konfiguracja proxy Crawl4AI · konfiguracja proxy w Go, Kotlin, Scala, Perl i Elixir.
Ostatnia aktualizacja: 17 września 2026 r.
