C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Web scraping w C# jest wyjątkowo przyjemny po rozstrzygnięciu kwestii czasu życia klienta, a przed nim wyjątkowo bolesny. HttpClient wraz ze skonfigurowanym HttpClientHandler obsługuje sieć, AngleSharp zamienia odpowiedź w prawdziwy DOM za pomocą selektorów CSS, a Playwright obsługuje strony renderowane po stronie klienta.

Jeśli trafiasz tu, szukając web scraping w c#, krótka wersja brzmi: utwórz jeden HttpClient dla każdej konfiguracji proxy i utrzymuj go przez cały czas działania procesu. Odruch, by otaczać go blokiem using dla każdego żądania, powoduje wyczerpanie socketów, przez które działający scraper zawodzi na większą skalę, i to pierwsza rzecz do sprawdzenia, gdy crawler .NET zaczyna działać gorzej po godzinie.


Najważniejsze fakty

  • Stos w C#: HttpClient z HttpClientHandler do pobierania, AngleSharp lub HtmlAgilityPack do parsowania oraz Playwright dla .NET, gdy strona renderuje się po stronie klienta.
  • Konfiguracja proxy to jeden obiekt, a nie jedna linia na żądanie. Skonfiguruj ją raz w kliencie i używaj tego klienta ponownie, w przeciwnym razie stracisz pulę połączeń i spójność sesji.
  • Błąd, który kosztuje tu najwięcej czasu: nowy httpclient dla każdego żądania wyczerpuje sockety.
  • Rotacja należy do sesji, nie do żądania. Jedno logiczne zadanie zachowuje jedno wyjście; rotowanie w trakcie sesji psuje cookies i wywołuje wyzwania.
  • Użyj C#, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Unikaj go, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#.

Jak kierować żądania C# przez proxy?

Skonfiguruj proxy raz w kliencie, a potem używaj tego klienta dla każdego żądania w sesji. Oto minimalna działająca forma z uwierzytelnianiem.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Trzy szczegóły są ważniejsze niż składnia. Dane uwierzytelniające należą do bramy, nie do docelowej witryny. Timeout nie jest opcjonalny, ponieważ proxy dodaje dodatkowy etap, a zawieszone żądanie zajmuje worker. Klient jest też jednostką tożsamości: ten sam klient oznacza tę samą pulę połączeń, te same cookies oraz, w przypadku sticky session, ten sam adres wyjściowy.


Jak wygląda 3-częściowy model handlera?

Rozdziel trzy obszary odpowiedzialności, a debugowanie przestanie być zgadywaniem. Nazywamy to 3-częściowym modelem handlera.

Część Za co odpowiada W C#
1. Transport Połączenie, proxy, timeouty, ponowienia, TLS HttpClient z HttpClientHandler
2. Parsowanie Zamiana bajtów na pola i wyraźne zgłaszanie błędu po zmianie znaczników AngleSharp lub HtmlAgilityPack
3. Planowanie Współbieżność na hosta, tempo, backoff, deduplikacja Własna pula workerów lub kolejka, ograniczona dla każdego celu

W .NET łatwo utrzymać tę granicę, ponieważ sugerują ją już same typy: HttpClient odpowiada za transport, AngleSharp za dokument, a Twój pipeline Task za planowanie. Błędem jest umieszczanie logiki ponowień w metodzie parsowania, gdzie ukrywa awarie transportu jako brakujące pola.

Gdy scrape przestaje działać, pierwsze pytanie brzmi, która część się zepsuła. Status inny niż 200 oznacza transport. Kod 200 z pustymi polami oznacza parsowanie albo stronę renderowaną po stronie klienta. Sukces, który pogarsza się w ciągu minut, oznacza planowanie. Łączenie tych trzech rzeczy w jednej funkcji sprawia, że tak wiele scraperów jest przepisywanych zamiast naprawianych.

AngleSharp parsuje do prawdziwego DOM i obsługuje selektory CSS, dlatego jest lepszym domyślnym wyborem niż HtmlAgilityPack dla nowoczesnych znaczników.


Co konkretnie nie działa w C#?

Trzy problemy odpowiadają za większość straconego czasu w C#, a żaden z nich nie wynika z blokowania przez cel.

Nowy HttpClient dla każdego żądania wyczerpuje sockety. Tworzenie i zwalnianie HttpClient w pętli pozostawia sockety w stanie TIME_WAIT, a proces w końcu nie może otworzyć połączeń. Użyj jednego długo działającego klienta dla każdej konfiguracji proxy albo IHttpClientFactory w ASP.NET Core.

Handlery są niezmienne po pierwszym użyciu. Nie możesz zmienić proxy w handlerze, który wysłał już żądanie. Zbuduj po jednym kliencie dla każdej konfiguracji wyjścia i wybieraj między nimi zamiast je modyfikować.

Cookies są domyślnie współdzielone. Jeden CookieContainer dla wszystkich żądań miesza sesje. Daj każdej logicznej sesji własnego klienta albo wyłącz kontener i samodzielnie zarządzaj cookies.

Żaden z tych problemów nie jest egzotyczny, a wszystkie z zewnątrz wyglądają jak zablokowany scraper, dlatego pierwszą reakcją tak często jest kupienie proxy na problem leżący w kliencie. Nasz przewodnik po błędach 403 Forbidden podczas scrapowania przedstawia kroki izolacji we właściwej kolejności.


Jak ograniczać współbieżność w C#?

Użyj SemaphoreSlim wokół współdzielonego klienta i nigdy nie stosuj Parallel.ForEach do wywołań sieciowych.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach blokuje wątki przy pracy związanej z IO i bez problemu nasyci pulę wątków, gdy sieć pozostaje bezczynna. Async z semaforem utrzymuje małą liczbę wątków i celowe tempo żądań. Dodaj Polly do ponowień z jitterem zamiast ręcznie tworzyć backoff.


Których bibliotek .NET warto używać?

Biblioteka Użycie Uczciwa uwaga
HttpClient plus HttpClientHandler Wszelkie pobieranie Wbudowane. Jedna instancja na konfigurację wyjścia, używana ponownie
AngleSharp Parsowanie do prawdziwego DOM za pomocą selektorów CSS Lepszy wybór domyślny dla nowoczesnych znaczników
HtmlAgilityPack XPath dla nieuporządkowanego HTML Nadal dobry wybór, starsze API, sięgnij po niego, gdy myślisz w XPath
Polly Ponowienia, circuit breaker, polityki timeoutów Usuwa kod najczęściej pisany ręcznie i najczęściej błędny w crawlerze
Playwright for .NET Strony renderowane po stronie klienta Dobrze utrzymywany i jedyna rozsądna obecnie opcja przeglądarkowa w .NET

Jeśli crawler działa w ASP.NET Core, zarejestruj klienta przez IHttpClientFactory, aby czas życia i odświeżanie DNS były obsługiwane za Ciebie, a nie przez statyczne pole, o którym ktoś zapomni.


Kiedy C# jest niewłaściwym narzędziem?

Użyj C#, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Unikaj go, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#.

Decydującym czynnikiem jest utrzymanie, nie możliwości. Crawler napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników; sprytny crawler w nieznanym języku zostanie porzucony przy pierwszej awarii. Jeśli uczciwa odpowiedź brzmi, że C# nie jest właściwym miejscem dla tego zadania, mały crawler w innym środowisku zapisujący do tej samej bazy danych jest uzasadnionym projektem, a nie porażką.

Dwie kwestie znajdują się poza tą stroną, ponieważ są takie same w każdym języku, a powtarzanie ich tutaj tylko utrudniłoby aktualizowanie ich. Zasady sesji i rotacji, w tym wyjaśnienie, dlaczego ścieżka musi zachować jedno sticky session wyjście, znajdziesz w najlepszych praktykach rotacji proxy. Informacje o tym, co zrobić, gdy żądanie zostanie odrzucone, oraz jak odróżnić problem sieciowy od problemu klienta, są w artykule 403 Forbidden podczas scrapowania, a ramy prawne w czy web scraping jest legalny.

Jeśli chodzi o samo wyjście: rotujące residential dla stron publicznych, sticky dla ścieżek, datacenter dla API i otwartych danych. DataImpulse residential kosztuje $1 za GB w 195 krajach z uwzględnionym targetowaniem krajowym, a porównanie znajdziesz w najlepszych proxy do web scraping.


Najczęściej zadawane pytania

Jak ustawić proxy w C#?

Skonfiguruj je w obiekcie klienta, a nie dla każdego żądania: w HttpClient z HttpClientHandler ustawiasz raz host proxy, port i dane uwierzytelniające, a następnie ponownie używasz tego klienta. Ponowne używanie zachowuje pulę połączeń, jar cookies i spójny adres wyjściowy, dzięki czemu sesja wygląda spójnie.

Której biblioteki użyć do parsowania w C#?

AngleSharp lub HtmlAgilityPack to praktyczny wybór domyślny. Oddziel parsowanie od pobierania: klient odpowiada za sieć, a parser za znaczniki, więc awaria od razu mówi Ci, który z tych dwóch elementów się zepsuł.

Czy potrzebuję bezgłowej przeglądarki dla C#?

Tylko gdy pola są renderowane po stronie klienta. Najpierw pobierz stronę zwyczajnie i wyszukaj w HTML jedną znaną wartość: jeśli tam jest, całkowicie pomiń przeglądarkę. Gdy jej potrzebujesz, Playwright dla .NET, gdy strona renderuje się po stronie klienta, jest opcją w tym ekosystemie i kosztuje o rząd wielkości więcej czasu i pamięci na stronę.

Nowy HttpClient dla każdego żądania wyczerpuje sockety?

Tworzenie i zwalnianie HttpClient w pętli pozostawia sockety w stanie TIME_WAIT, a proces w końcu nie może otworzyć połączeń. Użyj jednego długo działającego klienta dla każdej konfiguracji proxy albo IHttpClientFactory w ASP.NET Core.

Czy C# to dobry wybór do web scraping?

To dobry wybór, gdy Twój pipeline danych jest w .NET, chcesz asynchronicznych pipeline’ów z silnym typowaniem i łatwym wdrożeniem obok istniejących usług. Jest złym wyborem, gdy projekt jest małym skryptem badawczym, a nikt w zespole nie pisze codziennie w C#. Decydującym czynnikiem jest zwykle utrzymanie, a nie surowe możliwości: scraper napisany w języku, którego Twój zespół używa codziennie, przetrwa kolejną zmianę znaczników.


Skieruj klienta C# na niezawodne wyjście

Powyższy fragment działa po zmianie jednych danych uwierzytelniających: DataImpulse residential zapewnia dokładne geograficznie wyjścia za $1 za GB w 195 krajach, rotujące lub sticky, przez HTTP, HTTPS i SOCKS5. Utwórz konto i przetestuj jeden cel z klienta C# przed skalowaniem zadania.

Powiązane: 403 Forbidden podczas scrapowania · Konfiguracja proxy Crawl4AI · konfiguracja proxy w Go, Kotlin, Scala, Perl i Elixir.

Ostatnia aktualizacja: 17 września 2026 r.


Share article: