Dalam artikel ini
Ini adalah halaman referensi, bukan panduan langkah demi langkah: konfigurasi proxy yang berfungsi untuk scraping dalam lima bahasa yang audiensnya cukup kecil sehingga panduan terpisah untuk masing-masing hanya akan mengulang hal yang sama lima kali. Go, Kotlin, Scala, Perl, dan Elixir, lengkap dengan kode, pilihan library, dan satu jebakan yang paling banyak memakan waktu di tiap bahasa.
Aturan yang berlaku untuk semuanya tetap sama. Penyiapan proxy web scraping harus berada pada objek client, dikonfigurasi sekali lalu dipakai ulang, karena client itulah yang membawa connection pool, cookie jar, dan, dengan sticky session, alamat keluar (exit address). Apa pun yang membuat client baru untuk setiap request akan membuang ketiganya sekaligus.
Fakta Penting
- Satu aturan berlaku untuk semua bahasa di sini: konfigurasikan proxy pada objek client satu kali dan pakai ulang client tersebut, karena client itulah yang membawa connection pool, cookie, dan identitas keluar (exit identity).
- Go: http.Transport dengan http.ProxyURL, colly untuk urusan crawler. Jebakannya adalah http.Client tidak memiliki timeout bawaan.
- Kotlin: OkHttp dengan proxyAuthenticator. Jebakannya adalah authenticator yang tidak pernah mengembalikan null dan berulang terus pada password yang salah.
- Scala: sttp dengan opsi backend. Jebakannya adalah JDK yang menonaktifkan autentikasi Basic proxy pada tunnel HTTPS.
- Perl dan Elixir: LWP mengikuti HTTPS_PROXY dari environment dan bisa menimpa kode Anda; di Elixir, opsi proxy menjadi milik adapter, bukan Req.
Aturan 3 bagian yang berlaku untuk setiap bahasa di sini
Jaga agar transport, parsing, dan scheduling tetap berada di lapisan terpisah, sehingga saat scraping gagal, Anda langsung tahu di bagian mana masalahnya.
| Bagian | Tanggung jawab | Gejala saat gagal |
|---|---|---|
| 1. Transport | Koneksi, proxy, timeout, retry, TLS | Status non-200, timeout, kesalahan TLS |
| 2. Parsing | Mengubah byte menjadi field, dan gagal secara jelas saat markup berubah | 200 dengan field kosong |
| 3. Scheduling | Konkurensi per host, pacing, backoff | Keberhasilan yang menurun seiring waktu |
Setiap bahasa di bawah ini mengimplementasikan tiga bagian yang sama dengan nama yang berbeda. Bagian transport adalah tempat proxy berada di kelima bahasa tersebut.
Go: penyiapan proxy, library, dan jebakan yang harus dihindari
Stack: net/http dengan http.Transport kustom untuk fetching, goquery, atau colly sebagai crawler lengkap untuk parsing, chromedp saat halaman membutuhkan JavaScript.
proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
resp, err := client.Get("https://example.com")
Tidak ada timeout bawaan. http.Client tanpa Timeout akan menunggu selamanya. Satu host yang macet dapat menghentikan seluruh worker pool yang terlihat sehat di semua metrik yang Anda miliki.
Body yang tidak ditutup. Setiap response body harus ditutup, kalau tidak, koneksi tidak akan pernah kembali ke pool, dan throughput perlahan menurun drastis setelah beberapa ribu request.
colly menangani urusan crawler untuk Anda: ada proxy switcher untuk rotasi, rate limit per domain, dan queue bawaan, jadi gunakan ini dulu sebelum membuat scheduler sendiri.
Gunakan Go bila Go sudah menjadi stack Anda, Anda membutuhkan konkurensi tinggi dengan penggunaan memori yang dapat diprediksi, dan Anda menginginkan satu binary statis pada mesin crawler. Hindari bila target membutuhkan browser sungguhan untuk sebagian besar halaman, di mana ekosistem Python dan Node memiliki tooling yang lebih matang.
Kotlin: penyiapan proxy, library, dan jebakan yang harus dihindari
Stack: OkHttp, atau Ktor client bila Anda sudah menggunakan Ktor untuk fetching, jsoup untuk parsing, Playwright atau Selenium pada JVM saat rendering diperlukan.
val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
.proxy(proxy)
.proxyAuthenticator { _, response ->
response.request.newBuilder()
.header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
.build()
}
.callTimeout(Duration.ofSeconds(30))
.build()
Authenticator berulang terus pada password yang salah. OkHttp terus memanggil authenticator sampai berhasil atau menyerah. Kembalikan null setelah percobaan pertama gagal, atau kredensial yang salah akan berubah menjadi badai request.
Satu client, banyak session. OkHttp membagikan connection pool dan cookie jar-nya di semua panggilan. Untuk identitas per session, buat satu client per session atau pasang cookie jar yang Anda kendalikan sendiri.
Aturan tunneling JDK yang sering menyulitkan Java juga berlaku di sini bila Anda kembali menggunakan client JDK: autentikasi Basic proxy lewat HTTPS membutuhkan properti disabled-schemes yang dikosongkan. Authenticator milik OkHttp sendiri terhindar dari masalah ini.
Gunakan Kotlin bila Anda bekerja di JVM dan menginginkan coroutine serta API modern tanpa keribetan Java. Hindari bila tim tidak memiliki pengalaman JVM, karena kerumitan deployment akan mendominasi kode.
Scala: penyiapan proxy, library, dan jebakan yang harus dihindari
Stack: sttp dengan backend pilihan Anda untuk fetching, jsoup dari Scala, atau scala-scraper untuk parsing, Playwright pada JVM bila halaman dirender di sisi client.
import sttp.client3._
val backend = HttpClientSyncBackend(
options = SttpBackendOptions.httpProxy(
"gw.dataimpulse.com", 823, "USER", "PASS")
)
val response = basicRequest
.get(uri"https://example.com")
.readTimeout(30.seconds)
.send(backend)
Backend yang menentukan segalanya. sttp adalah sebuah interface; dukungan proxy, timeout, dan streaming berasal dari backend yang Anda pilih. Bacalah dokumentasi backend tersebut, bukan dokumentasi sttp, saat ada perilaku yang aneh.
Tunneling JDK lagi. Bila backend membungkus client JDK, autentikasi Basic proxy lewat HTTPS dinonaktifkan secara default dan membutuhkan properti jdk.http.auth.tunneling.disabledSchemes dikosongkan.
scala-scraper membungkus jsoup dengan API Scala dan layak dipakai bila parsing Anda lebih dari sekadar beberapa selector.
Gunakan Scala bila crawler memberi data ke pipeline Spark atau streaming yang sudah menggunakan Scala, dan backpressure menjadi hal penting. Hindari bila tugasnya hanya fetch-and-parse sederhana tanpa pipeline lanjutan.
Perl: penyiapan proxy, library, dan jebakan yang harus dihindari
Stack: LWP::UserAgent, atau Mojo::UserAgent untuk API yang lebih modern untuk fetching, HTML::TreeBuilder atau Mojo::DOM untuk parsing, tidak ada yang berjalan in-process; panggil tool eksternal saat rendering dibutuhkan.
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;
# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
->https('http://USER:[email protected]:823');
HTTPS lewat proxy membutuhkan modul yang tepat. LWP membutuhkan LWP::Protocol::https dan IO::Socket::SSL yang berfungsi, dan LWP juga mengikuti environment variable HTTPS_PROXY, yang secara diam-diam dapat menimpa apa yang Anda tetapkan di kode.
Environment variable menang secara diam-diam. env_proxy mengambil pengaturan sistem yang mungkin Anda lupa. Tetapkan proxy secara eksplisit dan, pada scheduled job, kosongkan environment agar pengaturan di level host tidak dapat mengalihkan traffic Anda.
Mojo::UserAgent memberikan request non-blocking dan DOM API mirip jQuery dalam satu dependency, sehingga menjadi titik awal yang lebih baik untuk scraper Perl baru.
Gunakan Perl bila Perl adalah bahasa dari sistem sekitarnya, biasanya pada ops dan data tooling yang sudah lama berjalan. Hindari bila Anda memulai dari nol tanpa Perl di stack Anda.
Elixir: penyiapan proxy, library, dan jebakan yang harus dihindari
Stack: Req di atas Finch untuk fetching, Floki untuk parsing, Wallaby atau layanan browser eksternal saat rendering diperlukan.
Req.get!("https://example.com",
connect_options: [
proxy: {:http, "gw.dataimpulse.com", 823, []},
proxy_headers: [
{"proxy-authorization",
"Basic " <> Base.encode64("USER:PASS")}
]
],
receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()
Opsi proxy adalah milik adapter. Req meneruskan connect_options ke Finch dan Mint. Bila Anda menggunakan stack HTTPoison atau hackney yang lebih lama, bentuk opsinya berbeda, itulah sebabnya cuplikan kode yang disalin sering gagal secara diam-diam.
Satu process per URL bukanlah rencana yang baik. Membuat Task untuk setiap link akan menjalankan semua request sekaligus. Task.async_stream dengan max_concurrency, diatur per host, adalah batas yang idiomatis.
Floki dengan CSS selector menjaga parsing tetap deklaratif, dan penanganan retry serta redirect bawaan Req menghilangkan sebagian besar boilerplate yang biasanya ditulis manual.
Gunakan Elixir bila crawler berjalan di dalam sistem Elixir atau Phoenix yang sudah ada dan Anda menginginkan supervision serta konkurensi secara gratis. Hindari bila Anda membutuhkan pipeline yang berat pada browser, di mana ekosistemnya lebih tipis dibandingkan Node atau Python.
Bahasa mana yang sebaiknya Anda gunakan?
Faktor penentunya adalah kemudahan pemeliharaan, bukan kemampuan. Crawler dalam bahasa yang setiap hari digunakan tim Anda akan bertahan menghadapi perubahan markup berikutnya; crawler yang canggih namun ditulis dalam bahasa yang tidak familier akan ditinggalkan pada kerusakan pertama.
| Bahasa | Paling cocok untuk | Titik terlemah |
|---|---|---|
| Go | Konkurensi tinggi dengan penggunaan memori yang dapat diprediksi, satu binary statis | Tooling rendering browser lebih tipis dibandingkan Python atau Node |
| Kotlin | Perusahaan berbasis JVM yang menginginkan coroutine dan API modern | Beban deployment untuk pekerjaan yang kecil |
| Scala | Crawler yang memberi data ke pipeline Spark atau streaming | Perilaku yang bergantung pada backend dan penyiapan yang rumit |
| Perl | Ops dan data tooling yang sudah ada dan berbasis Perl | Tidak ada browser in-process yang praktis |
| Elixir | Sistem Phoenix yang menginginkan supervision dan konkurensi secara gratis | Ekosistem browser-automation yang tipis |
Bila bahasa Anda tidak ada di sini, aturan tiga bagian yang sama tetap berlaku: panduan terpisah kami membahas Java, C#, PHP, R, C++, VBA dan Excel, dan JavaScript.
Apa yang sama di mana-mana, dan di mana batasannya?
Ada tiga hal yang tidak berubah apa pun bahasanya. Session memiliki exit sendiri, sehingga satu perjalanan lintas halaman memegang satu alamat sticky sepanjang hidupnya: aturannya ada di proxy rotation best practices. Penolakan adalah sebuah keputusan untuk didiagnosis, bukan sekadar dicoba ulang, yang dijelaskan langkah demi langkah dalam panduan kami tentang 403 Forbidden saat scraping. Dan proxy hanya mengubah alamat keluar: proxy tidak menjalankan JavaScript, tidak memperbaiki client yang tidak konsisten, dan tidak membuat rate yang agresif menjadi dapat diterima.
Soal aturan: patuhi robots.txt dan ketentuan situs, utamakan API resmi, hindari apa pun yang berada di balik login, dan perlakukan data pribadi sebagai persoalan dasar hukum (lawful basis), bukan sekadar persoalan parsing. Kami tidak membahas cara menyelesaikan CAPTCHA atau mengalahkan access control. Ini informasi umum, bukan nasihat hukum: lihat apakah web scraping legal.
Pertanyaan yang Sering Diajukan
Bagaimana cara mengatur proxy di Go?
Parse URL proxy beserta kredensialnya, pasang http.ProxyURL pada http.Transport, dan berikan http.Client timeout secara eksplisit, karena secara default tidak ada timeout sama sekali. Pakai ulang client tersebut agar connection pool dan sticky session apa pun tetap terjaga.
Mengapa proxy authenticator OkHttp Kotlin saya berulang terus?
Karena OkHttp terus memanggil authenticator sampai berhasil atau menyerah. Kembalikan null setelah percobaan pertama gagal, agar kredensial yang salah langsung gagal dengan cepat, bukan berubah menjadi badai request ke gateway.
Mengapa autentikasi Basic proxy gagal lewat HTTPS pada JVM?
JDK menonaktifkan autentikasi Basic pada tunnel CONNECT secara default, sehingga proxy dengan autentikasi berfungsi untuk HTTP tetapi gagal untuk HTTPS. Kosongkan properti jdk.http.auth.tunneling.disabledSchemes, atau gunakan client seperti OkHttp yang mengirim header Proxy-Authorization sendiri.
Mengapa skrip Perl saya mengabaikan proxy yang saya atur?
LWP mengikuti environment variable HTTPS_PROXY dan HTTP_PROXY, dan env_proxy mengambil pengaturan level host yang mungkin tidak Anda ketahui. Tetapkan proxy secara eksplisit di kode dan kosongkan environment pada scheduled job agar pengaturan mesin tidak dapat mengalihkan traffic Anda.
Di mana letak opsi proxy di Elixir?
Pada adapter, bukan pada Req itu sendiri: connect_options diteruskan ke Finch dan Mint, itulah sebabnya cuplikan kode yang ditulis untuk stack berbasis hackney yang lebih lama tidak melakukan apa-apa secara diam-diam. Sesuaikan bentuk opsi dengan adapter yang benar-benar Anda gunakan.
Satu kredensial, untuk semua bahasa di atas
Setiap cuplikan kode di halaman ini bekerja dengan kredensial gateway DataImpulse: exit residential seharga $1 per GB di 195 negara, rotating atau sticky session, HTTP, HTTPS, dan SOCKS5, dengan country targeting disertakan. Buat akun dan uji satu target dari client Anda sendiri sebelum melakukan scaling.
Terkait: proxy untuk web scraping · penyiapan proxy Crawl4AI · use case web scraping.
Terakhir diperbarui: 17 September 2026.
