Bu makalede
C# ile web scraping, istemci ömrü sorusu çözüldükten sonra alışılmadık derecede keyifli, öncesinde ise alışılmadık derecede sancılıdır. Yapılandırılmış bir HttpClientHandler ile HttpClient ağı yönetir, AngleSharp yanıtı CSS seçicileri olan gerçek bir DOM’a dönüştürür ve Playwright istemci tarafında işlenen sayfaları kapsar.
C# ile web scraping arayarak buraya geldiyseniz kısa cevap şudur: her proxy yapılandırması için bir HttpClient oluşturun ve işlemin ömrü boyunca canlı tutun. Her istek için onu using bloğuna sarmalama eğilimi, çalışan bir scraper’ın ölçek büyüdükçe başarısız olmasına neden olan soket tükenmesini üretir; .NET crawler’ınız bir saat sonra kötüleşirse ilk kontrol etmeniz gereken budur.
Temel Bilgiler
- C# içindeki yığın: veri çekmek için HttpClientHandler ile HttpClient, ayrıştırmak için AngleSharp veya HtmlAgilityPack ve sayfa istemci tarafında işleniyorsa .NET için Playwright.
- Proxy kurulumu, istek başına bir satır değil, tek bir nesnedir. İstemci üzerinde bir kez yapılandırın ve bu istemciyi yeniden kullanın; aksi hâlde bağlantı havuzunu ve oturum tutarlılığını kaybedersiniz.
- Burada en çok zaman kaybettiren hata: her istek için yeni bir HttpClient oluşturmak soketleri tüketir.
- Döndürme isteğe değil oturuma aittir. Bir mantıksal görev tek bir çıkışı korur; oturum ortasında döndürmek çerezleri bozar ve doğrulama istemlerine yol açar.
- Şu durumlarda C# kullanın: veri hattınız .NET’teyse, güçlü türlere ve mevcut hizmetlerle birlikte kolay dağıtıma sahip async hatlar istiyorsanız. Proje küçük bir araştırma betiğiyse ve ekipte hiç kimse her gün C# yazmıyorsa bundan kaçının.
C# isteklerini bir proxy üzerinden nasıl yönlendirirsiniz?
Proxy’yi istemcide bir kez yapılandırın, ardından oturumdaki her istek için bu istemciyi yeniden kullanın. Kimlik doğrulamalı en az çalışan biçim aşağıdadır.
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
Üç ayrıntı söz diziminden daha önemlidir. Kimlik bilgileri hedef siteye değil ağ geçidine aittir. Proxy ek bir atlama eklediği ve takılmış bir istek bir worker’ı meşgul tuttuğu için zaman aşımı isteğe bağlı değildir. İstemci ise kimlik birimidir: aynı istemci aynı bağlantı havuzu, aynı çerezler ve sticky session ile aynı çıkış adresi anlamına gelir.
3 parçalı işleyici modeli nasıl görünür?
Üç sorumluluğu ayrı tutun, hata ayıklama tahmin yürütmek olmaktan çıkar. Buna 3 parçalı işleyici modeli diyoruz.
| Bölüm | Sahip olduğu şey | C# içinde |
|---|---|---|
| 1. Aktarım | Bağlantı, proxy, zaman aşımları, yeniden denemeler, TLS | HttpClientHandler ile HttpClient |
| 2. Ayrıştırma | Baytları alanlara dönüştürme ve işaretleme değiştiğinde açıkça başarısız olma | AngleSharp veya HtmlAgilityPack |
| 3. Zamanlama | Host başına eşzamanlılık, tempo, geri çekilme, tekilleştirme | Hedef başına sınırlanmış kendi worker havuzunuz veya kuyruğunuz |
.NET’te sınırı korumak kolaydır, çünkü türler bunu zaten önerir: HttpClient aktarımın, AngleSharp belgenin, Task hattınız ise zamanlamanın sahibidir. Hata, yeniden deneme mantığını ayrıştırma metodunun içine koymaktır; orada aktarım hatalarını eksik alanlar olarak gizler.
Bir scrape bozulduğunda ilk soru hangi bölümün bozulduğudur. 200 olmayan durum aktarım sorunudur. Boş alanlarla gelen 200, ayrıştırma sorunu ya da istemci tarafında işlenen bir sayfadır. Dakikalar içinde azalan başarı zamanlama sorunudur. Üçünü tek bir fonksiyonda karıştırmak, bu kadar çok scraper’ın düzeltilmek yerine neden yeniden yazıldığını açıklar.
AngleSharp gerçek bir DOM’a ayrıştırır ve CSS seçicilerini destekler; bu da onu modern işaretlemeler için HtmlAgilityPack’e göre daha iyi varsayılan yapar.
C# tarafında özellikle neler ters gider?
C# içinde kaybedilen zamanın çoğunu üç sorun oluşturur ve bunların hiçbiri hedefin sizi engellemesi değildir.
Her istek için yeni bir HttpClient soketleri tüketir. HttpClient’ı bir döngü içinde oluşturup imha etmek soketleri TIME_WAIT durumunda bırakır ve işlem sonunda bağlantı açamaz. Her proxy yapılandırması için uzun ömürlü tek bir istemci veya ASP.NET Core’da IHttpClientFactory kullanın.
İşleyiciler ilk kullanımdan sonra değişmezdir. Daha önce istek göndermiş bir işleyicide proxy’yi değiştiremezsiniz. Değiştirmek yerine, her çıkış yapılandırması için bir istemci oluşturun ve aralarından seçim yapın.
Çerezler varsayılan olarak paylaşılır. Tüm isteklerde tek bir CookieContainer kullanmak oturumları karıştırır. Her mantıksal oturuma kendi istemcisini verin ya da kapsayıcıyı devre dışı bırakıp çerezleri kendiniz yönetin.
Bunların hiçbiri sıra dışı değildir ve hepsi dışarıdan engellenmiş bir scraper gibi görünür; bu yüzden ilk tepki, istemcide bulunan bir sorun için proxy satın almak olur. Scraping sırasında 403 Forbidden hataları rehberimiz, yalıtım adımlarını sırayla açıklar.
C# içinde eşzamanlılığı nasıl sınırlandırırsınız?
Paylaşılan bir istemcinin çevresinde SemaphoreSlim kullanın ve ağ çağrılarında asla Parallel.ForEach kullanmayın.
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach, IO bağlı işler için iş parçacıklarını engeller ve ağ boşta dururken iş parçacığı havuzunu kolayca doyurur. Semaphore ile async kullanmak iş parçacığı sayısını düşük, istek hızını ise bilinçli tutar. Geri çekilmeyi elle yazmak yerine titremeli yeniden deneme için Polly ekleyin.
Hangi .NET kütüphanelerini kullanmaya değer?
| Kütüphane | Kullanım amacı | Dürüst not |
|---|---|---|
| HttpClient ve HttpClientHandler | Tüm veri çekme işlemleri | Yerleşiktir. Çıkış yapılandırması başına bir örnek oluşturun ve yeniden kullanın |
| AngleSharp | CSS seçicileriyle gerçek bir DOM’a ayrıştırma | Modern işaretleme için daha iyi varsayılan |
| HtmlAgilityPack | Dağınık HTML üzerinde XPath | Hâlâ yeterli, API’si daha eski; XPath ile düşünüyorsanız bunu kullanın |
| Polly | Yeniden deneme, devre kesici, zaman aşımı ilkeleri | Bir crawler’da en sık elle yazılan ve en sık hatalı olan kodu ortadan kaldırır |
| .NET için Playwright | İstemci tarafında işlenen sayfalar | İyi bakımı yapılır ve bugün .NET üzerindeki tek aklı başında tarayıcı seçeneğidir |
Crawler ASP.NET Core içinde çalışıyorsa istemciyi IHttpClientFactory üzerinden kaydedin; böylece ömrü ve DNS yenilemesi, birinin unutabileceği statik alan yerine sizin için yönetilir.
C# ne zaman yanlış araçtır?
Veri hattınız .NET’teyse, güçlü türlere ve mevcut hizmetlerle birlikte kolay dağıtıma sahip async hatlar istiyorsanız C# kullanın. Proje küçük bir araştırma betiğiyse ve ekipte hiç kimse her gün C# yazmıyorsa bundan kaçının.
Belirleyici etken yetenek değil bakımdır. Ekibinizin her gün kullandığı dilde yazılan bir crawler sonraki işaretleme değişikliğini atlatır; tanımadığınız bir dildeki akıllıca yazılmış bir crawler ise ilk bozulmada terk edilir. Dürüst cevap C#’ın bu iş için yanlış yer olduğuysa, aynı veritabanına yazan başka yerdeki küçük bir crawler, yenilgi değil, yerinde bir tasarımdır.
İki konu her dilde aynı olduğu için bu sayfanın dışında yer alıyor; burada tekrarlanmaları yalnızca güncel kalmalarını zorlaştırırdı. Bir yolculuğun neden tek sticky çıkışı koruması gerektiği de dâhil olmak üzere oturum ve döndürme kuralları proxy döndürme için en iyi uygulamalarda bulunur. Bir istek reddedildiğinde ne yapılacağı ve ağ sorununu istemci sorunundan nasıl ayıracağınız scraping sırasında 403 Forbidden sayfasında, yasal çerçeve ise web scraping yasal mı sayfasındadır.
Çıkışın kendisi için: herkese açık sayfalarda rotating residential, yolculuklarda sticky, API’ler ve açık veriler için datacenter. DataImpulse residential, ülke hedeflemesi dâhil 195 ülkede GB başına $1’dır; karşılaştırma web scraping için en iyi proxy’lerde yer alır.
Sık Sorulan Sorular
C# içinde proxy’yi nasıl ayarlarım?
İstek başına değil istemci nesnesi üzerinde yapılandırın: HttpClientHandler ile HttpClient kullanırken proxy hostunu, portu ve kimlik bilgilerini bir kez ayarlar, ardından bu istemciyi yeniden kullanırsınız. Yeniden kullanmak bağlantı havuzunu, çerez kavanozunu ve çıkış adresini tutarlı korur; bir oturumun tutarlı görünmesini sağlayan budur.
C# içinde ayrıştırma için hangi kütüphaneyi kullanmalıyım?
Pratik varsayılan AngleSharp veya HtmlAgilityPack’tir. Ayrıştırmayı veri çekmeden ayrı tutun: istemci ağın, ayrıştırıcı ise işaretlemenin sahibidir; böylece bir hata size ikisinden hangisinin bozulduğunu hemen söyler.
C# için headless tarayıcıya ihtiyacım var mı?
Yalnızca alanlar istemci tarafında işleniyorsa. Önce sayfayı düz biçimde çekin ve HTML içinde bilinen bir değeri arayın: oradaysa tarayıcıyı tamamen atlayın. Birine gerçekten ihtiyaç duyduğunuzda, sayfa istemci tarafında işleniyorsa .NET için Playwright bu ekosistemdeki seçenektir ve sayfa başına zaman ile bellekte bir büyüklük mertebesi daha fazla maliyet getirir.
Her istek için yeni bir HttpClient soketleri tüketir mi?
HttpClient’ı bir döngü içinde oluşturup imha etmek soketleri TIME_WAIT durumunda bırakır ve işlem sonunda bağlantı açamaz. Her proxy yapılandırması için uzun ömürlü tek bir istemci veya ASP.NET Core’da IHttpClientFactory kullanın.
C# web scraping için iyi bir seçenek mi?
Veri hattınız .NET’teyse, güçlü türlere ve mevcut hizmetlerle birlikte kolay dağıtıma sahip async hatlar istiyorsanız iyi bir seçimdir. Proje küçük bir araştırma betiğiyse ve ekipte hiç kimse her gün C# yazmıyorsa yanlış seçimdir. Belirleyici etken genellikle ham yetenekten çok bakımdır: ekibinizin her gün kullandığı dilde yazılan scraper, sonraki işaretleme değişikliğini atlatandır.
C# istemcinizi güvenilir bir çıkışa yönlendirin
Yukarıdaki kod parçası tek bir kimlik bilgisi değişikliğiyle çalışır: DataImpulse residential, ülke hedefleme dâhil 195 ülkede GB başına $1 karşılığında HTTP, HTTPS ve SOCKS5 üzerinden, rotating veya sticky, coğrafi olarak doğru çıkışlar sunar. Hesap oluşturun ve işi ölçeklendirmeden önce C# istemcinizden bir hedefi test edin.
İlgili: Scraping sırasında 403 Forbidden · Crawl4AI proxy kurulumu · Go, Kotlin, Scala, Perl ve Elixir’de proxy kurulumu.
Son güncelleme: 17 Eylül 2026.
