C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Web scraping dengan C# terasa sangat menyenangkan begitu urusan lifetime klien sudah beres, dan sangat menyulitkan sebelum itu. HttpClient dengan HttpClientHandler yang dikonfigurasi menangani jaringan, AngleSharp mengubah response menjadi DOM sungguhan dengan CSS selector, dan Playwright menangani halaman yang di-render di sisi client.

Jika Anda sampai di halaman ini karena mencari web scraping with c#, versi singkatnya begini: buat satu HttpClient untuk setiap konfigurasi proxy dan biarkan tetap aktif selama proses berjalan. Insting untuk membungkusnya dalam blok using di setiap request justru menghasilkan socket exhaustion yang membuat scraper yang tadinya berjalan baik menjadi gagal saat diskalakan, dan ini adalah hal pertama yang perlu diperiksa ketika crawler .NET menurun performanya setelah satu jam.


Fakta Utama

  • Stack di C#: HttpClient dengan HttpClientHandler untuk fetching, AngleSharp atau HtmlAgilityPack untuk parsing, dan Playwright for .NET ketika halaman di-render di sisi client.
  • Penyiapan proxy adalah satu objek, bukan satu baris per request. Konfigurasikan sekali pada klien dan gunakan kembali klien tersebut, atau Anda akan kehilangan connection pooling dan koherensi session.
  • Kesalahan yang paling banyak memakan waktu di sini: httpclient baru untuk setiap request akan menghabiskan socket.
  • Rotation adalah milik session, bukan request. Satu tugas logis mempertahankan satu exit; melakukan rotating di tengah session akan merusak cookie dan memicu challenge.
  • Gunakan C# ketika data pipeline Anda berbasis .NET, Anda menginginkan async pipeline dengan strong typing dan deployment yang mudah berdampingan dengan layanan yang sudah ada. Hindari C# ketika proyeknya hanya skrip riset kecil dan tidak ada anggota tim yang menulis C# setiap hari.

Bagaimana cara merutekan request C# melalui proxy?

Konfigurasikan proxy pada klien satu kali, lalu gunakan kembali klien tersebut untuk setiap request dalam session. Berikut adalah bentuk minimal yang berfungsi dengan autentikasi.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

Ada tiga detail yang lebih penting daripada sintaksnya. Credentials adalah milik gateway, bukan milik situs target. Timeout bukan sesuatu yang opsional, karena proxy menambahkan satu hop dan request yang macet akan menahan satu worker. Dan klien adalah unit identitas: klien yang sama berarti connection pool yang sama, cookie yang sama, dan dengan sticky session, exit address yang sama.


Seperti apa model handler 3 bagian itu?

Pisahkan tiga urusan ini, dan debugging tidak lagi menjadi tebak-tebakan. Kami menyebutnya model handler 3 bagian.

Bagian Yang ditangani Di C#
1. Transport Koneksi, proxy, timeout, retry, TLS HttpClient dengan HttpClientHandler
2. Parsing Mengubah byte menjadi field, dan gagal secara jelas ketika markup berubah AngleSharp atau HtmlAgilityPack
3. Scheduling Concurrency per host, pacing, backoff, deduplication Worker pool atau queue milik Anda sendiri, dibatasi per target

Di .NET, batasan ini mudah dijaga karena tipe-tipenya sudah menyarankannya: HttpClient menangani transport, AngleSharp menangani dokumen, dan Task pipeline Anda menangani scheduling. Kesalahannya adalah menempatkan logika retry di dalam method parsing, sehingga kegagalan transport tersembunyi seolah-olah sebagai field yang hilang.

Ketika scraping gagal, pertanyaan pertama adalah bagian mana yang bermasalah. Status non-200 berarti masalah transport. Status 200 dengan field kosong berarti masalah parsing, atau halaman yang di-render di sisi client. Success rate yang menurun dalam hitungan menit berarti masalah scheduling. Mencampur ketiganya ke dalam satu fungsi adalah alasan mengapa begitu banyak scraper ditulis ulang alih-alih diperbaiki.

AngleSharp melakukan parsing ke DOM sungguhan dan mendukung CSS selector, sehingga menjadikannya pilihan default yang lebih baik dibandingkan HtmlAgilityPack untuk markup modern.


Apa yang sering salah secara khusus di C#?

Tiga masalah ini menjadi penyebab sebagian besar waktu yang terbuang di C#, dan tidak satu pun dari ketiganya adalah target yang memblokir Anda.

HttpClient baru untuk setiap request akan menghabiskan socket. Membuat dan membuang (dispose) HttpClient dalam sebuah loop membuat socket tertahan di status TIME_WAIT, dan pada akhirnya proses tidak bisa lagi membuka koneksi baru. Gunakan satu klien berumur panjang untuk setiap konfigurasi proxy, atau gunakan IHttpClientFactory di ASP.NET Core.

Handler bersifat immutable setelah digunakan pertama kali. Anda tidak bisa mengubah proxy pada handler yang sudah pernah mengirim request. Buat satu klien untuk setiap konfigurasi exit dan pilih di antaranya, alih-alih mengubahnya.

Cookie dibagikan secara default. Satu CookieContainer untuk semua request akan mencampuradukkan session. Berikan setiap session logis klien miliknya sendiri, atau nonaktifkan container tersebut dan kelola cookie secara manual.

Tidak satu pun dari masalah ini eksotis, dan semuanya terlihat seperti scraper yang diblokir jika dilihat dari luar, itulah sebabnya respons pertama begitu sering adalah membeli proxy untuk masalah yang sebenarnya ada di klien. Panduan kami tentang kesalahan 403 Forbidden saat scraping membahas langkah-langkah isolasinya secara berurutan.


Bagaimana cara membatasi concurrency di C#?

Gunakan SemaphoreSlim di sekitar klien bersama, dan jangan pernah menggunakan Parallel.ForEach untuk panggilan jaringan.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

Parallel.ForEach memblokir thread untuk pekerjaan yang bersifat IO-bound dan dengan mudah memenuhi thread pool sementara jaringan justru dalam keadaan idle. Async dengan semaphore menjaga jumlah thread tetap rendah dan laju request tetap terkendali. Tambahkan Polly untuk retry dengan jitter, alih-alih membuat backoff sendiri secara manual.


Library .NET mana saja yang layak digunakan?

Library Digunakan untuk Catatan jujur
HttpClient dengan HttpClientHandler Semua fetching Sudah bawaan. Satu instance untuk setiap konfigurasi exit, digunakan berulang kali
AngleSharp Parsing ke DOM sungguhan dengan CSS selector Pilihan default yang lebih baik untuk markup modern
HtmlAgilityPack XPath untuk HTML yang berantakan Masih layak dipakai, API-nya lebih lama, gunakan ini ketika Anda berpikir dalam XPath
Polly Retry, circuit breaker, kebijakan timeout Menghilangkan kode yang paling sering ditulis manual dan paling sering salah dalam sebuah crawler
Playwright for .NET Halaman yang di-render di sisi client Terpelihara dengan baik, dan satu-satunya opsi browser yang masuk akal di .NET saat ini

Jika crawler berjalan di dalam ASP.NET Core, daftarkan klien melalui IHttpClientFactory agar lifetime dan DNS refresh ditangani secara otomatis, bukan oleh sebuah static field yang lupa diurus orang.


Kapan C# menjadi pilihan yang salah?

Gunakan C# ketika data pipeline Anda berbasis .NET, Anda menginginkan async pipeline dengan strong typing dan deployment yang mudah berdampingan dengan layanan yang sudah ada. Hindari C# ketika proyeknya hanya skrip riset kecil dan tidak ada anggota tim yang menulis C# setiap hari.

Faktor penentunya adalah maintenance, bukan kapabilitas. Crawler yang ditulis dalam bahasa yang digunakan tim Anda sehari-hari akan bertahan menghadapi perubahan markup berikutnya; crawler yang canggih namun ditulis dalam bahasa yang asing bagi tim akan ditinggalkan pada kegagalan pertama. Jika jawaban jujurnya adalah C# bukan tempat yang tepat untuk pekerjaan ini, crawler kecil di tempat lain yang menulis ke database yang sama adalah desain yang wajar, bukan sebuah kekalahan.

Ada dua hal yang sengaja tidak dibahas di halaman ini karena sama saja di semua bahasa pemrograman, dan mengulanginya di sini hanya akan membuatnya lebih sulit untuk tetap mutakhir. Aturan session dan rotasi, termasuk alasan mengapa sebuah journey harus mempertahankan satu sticky exit, ada di praktik terbaik rotasi proxy. Apa yang harus dilakukan ketika sebuah request ditolak, dan cara membedakan masalah jaringan dari masalah klien, ada di 403 Forbidden saat scraping, dan penjelasan dari sisi hukum ada di apakah web scraping legal.

Soal exit itu sendiri: rotating residential untuk halaman publik, sticky untuk journey, datacenter untuk API dan open data. DataImpulse residential seharga $1 per GB di 195 negara dengan country targeting sudah termasuk, dan perbandingannya ada di proxy terbaik untuk web scraping.


Pertanyaan yang Sering Diajukan

Bagaimana cara mengatur proxy di C#?

Konfigurasikan pada objek klien, bukan per request: dengan HttpClient dan HttpClientHandler, Anda mengatur host proxy, port, dan credentials satu kali, lalu gunakan kembali klien tersebut. Menggunakannya kembali menjaga connection pool, cookie jar, dan exit address tetap konsisten, yang membuat sebuah session terlihat koheren.

Library apa yang sebaiknya digunakan untuk parsing di C#?

AngleSharp atau HtmlAgilityPack adalah pilihan default yang praktis. Pisahkan parsing dari fetching: klien menangani jaringan dan parser menangani markup, sehingga kegagalan langsung memberi tahu Anda bagian mana yang bermasalah.

Apakah saya memerlukan headless browser untuk C#?

Hanya ketika field-nya di-render di sisi client. Ambil halamannya secara sederhana dan cari satu nilai yang sudah diketahui di dalam HTML terlebih dahulu: jika ada, lewati browser sepenuhnya. Ketika Anda benar-benar membutuhkannya, Playwright for .NET adalah opsi di ekosistem ini untuk halaman yang di-render di sisi client, dan biayanya bisa sepuluh kali lipat lebih besar per halaman dari segi waktu dan memori.

Apakah HttpClient baru untuk setiap request akan menghabiskan socket?

Membuat dan membuang (dispose) HttpClient dalam sebuah loop membuat socket tertahan di status TIME_WAIT, dan pada akhirnya proses tidak bisa lagi membuka koneksi baru. Gunakan satu klien berumur panjang untuk setiap konfigurasi proxy, atau gunakan IHttpClientFactory di ASP.NET Core.

Apakah C# pilihan yang baik untuk web scraping?

C# menjadi pilihan yang baik ketika data pipeline Anda berbasis .NET, Anda menginginkan async pipeline dengan strong typing dan deployment yang mudah berdampingan dengan layanan yang sudah ada. C# menjadi pilihan yang salah ketika proyeknya hanya skrip riset kecil dan tidak ada anggota tim yang menulis C# setiap hari. Faktor penentunya biasanya adalah maintenance, bukan kapabilitas mentah: scraper yang ditulis dalam bahasa yang digunakan tim Anda sehari-hari adalah yang akan bertahan menghadapi perubahan markup berikutnya.


Arahkan klien C# Anda ke exit yang andal

Snippet di atas berfungsi dengan satu perubahan credential saja: DataImpulse residential memberikan exit yang geo-accurate seharga $1 per GB di 195 negara, rotating maupun sticky, melalui HTTP, HTTPS, dan SOCKS5. Buat akun dan uji satu target dari klien C# Anda sebelum menskalakan pekerjaan tersebut.

Terkait: 403 Forbidden saat scraping · Penyiapan proxy Crawl4AI · penyiapan proxy di Go, Kotlin, Scala, Perl, dan Elixir.

Terakhir diperbarui: 17 September 2026.


Share article: