Dalam artikel ini
Web scraping dengan Java sebagian besar adalah soal klien mana yang Anda warisi. Semua yang ditulis sebelum Java 11 kemungkinan besar menggunakan Apache HttpClient atau HttpURLConnection mentah, sementara yang ditulis setelahnya bisa memakai java.net.http.HttpClient dengan HTTP/2 tanpa dependensi sama sekali. Jawaban untuk parsing sudah stabil selama satu dekade: jsoup.
Jika Anda sampai di halaman ini karena mencari web scraping dengan java, singkatnya begini: pasang proxy pada client builder sekali saja, gunakan kembali klien tersebut, dan ingat bahwa JDK memperlakukan autentikasi proxy melalui HTTPS secara berbeda dari HTTP. Detail terakhir inilah alasan paling umum sebuah scraper Java berhasil di satu situs tetapi gagal di situs lain, dan hal ini dibahas di bawah beserta solusinya.
Fakta Utama
- Stack di Java: java.net.http.HttpClient dari Java 11 untuk mengambil data, jsoup untuk parsing, serta Selenium atau Playwright untuk Java ketika rendering diperlukan.
- Penyiapan proxy adalah satu objek, bukan satu baris per request. Konfigurasikan sekali pada klien dan gunakan kembali klien tersebut, atau Anda akan kehilangan connection pooling dan koherensi sesi.
- Kesalahan yang paling banyak memakan waktu di sini: basic auth dinonaktifkan pada tunnel https.
- Rotasi adalah milik sesi, bukan milik request. Satu tugas logis mempertahankan satu exit; melakukan rotasi di tengah sesi akan merusak cookie dan mengundang challenge.
- Gunakan Java ketika crawler Anda berada di dalam layanan JVM yang sudah ada, dan Anda membutuhkan observability serta alur deployment yang sama dengan platform Anda yang lain. Hindari Java saat Anda menulis scraper satu berkas yang sekali pakai, karena ritualnya lebih mahal daripada pekerjaan itu sendiri.
Bagaimana cara merutekan request Java melalui proxy?
Konfigurasikan proxy pada klien sekali saja, lalu gunakan kembali klien tersebut untuk setiap request dalam sesi tersebut. Berikut bentuk minimal yang berfungsi lengkap dengan autentikasi.
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
Ada tiga detail yang lebih penting daripada sintaksnya. Kredensial ini milik gateway, bukan milik situs target. Timeout bukan sesuatu yang opsional, karena proxy menambah satu hop dan request yang macet akan menahan satu worker. Dan klien adalah unit identitas: klien yang sama berarti connection pool yang sama, cookie yang sama, dan dengan sticky session, exit address yang sama.
Seperti apa penyiapan klien 3 tahap ini?
Pisahkan ketiga tanggung jawab ini, dan proses debugging tidak lagi menjadi tebak-tebakan. Kami menyebutnya penyiapan klien 3 tahap.
| Bagian | Yang ditangani | Di Java |
|---|---|---|
| 1. Transport | Koneksi, proxy, timeout, retry, TLS | java.net.http.HttpClient dari Java 11 |
| 2. Parsing | Mengubah byte menjadi field, dan langsung gagal secara jelas ketika markup berubah | jsoup |
| 3. Scheduling | Concurrency per host, pacing, backoff, deduplication | Worker pool atau queue milik Anda sendiri, dibatasi per target |
JVM membuat ketiga hal ini mudah tercampur dalam satu service class, dan hasilnya adalah crawler yang membuat tak seorang pun bisa memastikan apakah kegagalan berasal dari jaringan, markup, atau scheduler-nya. Dengan menjaga HttpClient, jsoup, dan executor Anda pada lapisan yang terpisah, sebuah 403 akan menunjuk ke salah satunya, hasil selector yang kosong menunjuk ke yang lain, dan penurunan performa yang lambat menunjuk ke yang ketiga.
Ketika sebuah scrape gagal, pertanyaan pertama adalah bagian mana yang bermasalah. Status non-200 berarti masalah transport. Status 200 dengan field kosong berarti masalah parsing, atau halaman yang dirender di sisi klien. Keberhasilan yang menurun dalam hitungan menit berarti masalah scheduling. Mencampur ketiganya dalam satu fungsi adalah alasan mengapa begitu banyak scraper akhirnya ditulis ulang alih-alih diperbaiki.
jsoup menjadi parser default bukan tanpa alasan: CSS selector, penanganan HTML yang toleran, dan API yang ringkas. Gunakan hanya untuk parsing dan biarkan HttpClient yang menangani jaringan.
Apa yang sering salah khusus di Java?
Tiga masalah ini menyumbang sebagian besar waktu yang terbuang di Java, dan tak satu pun darinya adalah target yang memblokir Anda.
Basic auth dinonaktifkan pada tunnel HTTPS. Ini adalah masalah yang paling banyak menghabiskan waktu, bisa satu sore penuh. JDK secara default memblokir autentikasi Basic proxy pada tunnel CONNECT, sehingga proxy yang terautentikasi berfungsi untuk HTTP tetapi gagal untuk HTTPS sampai Anda mengosongkan properti jdk.http.auth.tunneling.disabledSchemes.
Authenticator tidak selalu dipanggil untuk proxy di setiap versi. Perilaku ini berubah-ubah di antara rilis JDK. Jika kredensial diabaikan, kirim header Proxy-Authorization secara manual sebagai fallback, dan kunci versi JDK pada build Anda.
jsoup melakukan pengambilan datanya sendiri. Jsoup.connect(url) membuka koneksinya sendiri dan tidak tahu apa-apa tentang proxy HttpClient Anda. Ambil data dengan HttpClient terlebih dahulu, lalu serahkan string-nya ke Jsoup.parse.
Tidak satu pun dari masalah ini eksotis, dan semuanya terlihat seperti scraper yang diblokir jika dilihat dari luar, itulah sebabnya respons pertama yang sering muncul adalah membeli proxy untuk masalah yang sebenarnya ada di klien. Panduan kami tentang kesalahan 403 Forbidden saat scraping membahas langkah-langkah isolasinya secara berurutan.
Bagaimana cara membatasi concurrency di Java?
Gunakan pool tetap dan permit, bukan executor yang tak terbatas. Virtual thread membuatnya sangat mudah untuk memulai sepuluh ribu request sekaligus, yang sama saja dengan denial-of-service terhadap target Anda dan berujung pada rate-limit ban untuk Anda sendiri.
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
Empat permit per host adalah titik awal yang masuk akal untuk halaman publik. Tambahkan jitter di antara setiap acquisition, dan pasang exponential backoff di sekitar pemanggilan send yang menghentikan seluruh job setelah serangkaian respons 429 atau 403, alih-alih terus mencoba ulang menabrak tembok yang sama.
Library Java mana saja yang layak digunakan?
| Library | Digunakan untuk | Catatan jujur |
|---|---|---|
| java.net.http.HttpClient | Segala hal terkait jaringan, mulai dari Java 11 | Sudah ada di JDK, tanpa dependensi, HTTP/2 secara default. Keanehan tunneling proxy-auth adalah satu-satunya sisi tajamnya |
| jsoup | Parsing dan pemilihan CSS | Menjadi default bukan tanpa alasan. Gunakan hanya untuk parsing, jangan pernah untuk mengambil data melalui proxy |
| Apache HttpClient 5 | Kontrol koneksi dan proxy yang sangat terperinci | API-nya lebih berat, tapi sepadan jika Anda membutuhkan connection pool per rute atau NTLM |
| Playwright for Java | Halaman yang dirender di sisi klien | Browser sungguhan, biaya sungguhan. Simpan hanya untuk sebagian halaman yang benar-benar membutuhkannya |
| HtmlUnit | Headless browsing versi lama | Sebagian besar sudah jadi jalan buntu untuk situs modern; JavaScript engine-nya tertinggal jauh dari browser sungguhan |
Kombinasi yang bertahan lama saat dipelihara sengaja dibuat sesederhana dan sekonvensional mungkin: HttpClient untuk jaringan, jsoup untuk markup, Playwright hanya ketika rendering benar-benar tak terhindarkan.
Kapan Java menjadi alat yang salah?
Gunakan Java ketika crawler Anda berada di dalam layanan JVM yang sudah ada, dan Anda membutuhkan observability serta alur deployment yang sama dengan platform Anda yang lain. Hindari Java saat Anda menulis scraper satu berkas yang sekali pakai, karena ritualnya lebih mahal daripada pekerjaan itu sendiri.
Faktor penentunya adalah pemeliharaan, bukan kapabilitas. Crawler yang ditulis dalam bahasa yang dipakai tim Anda sehari-hari akan bertahan menghadapi perubahan markup berikutnya; crawler yang canggih tapi ditulis dalam bahasa yang asing bagi tim akan ditinggalkan begitu terjadi masalah pertama. Jika jawaban jujurnya adalah Java bukan rumah yang tepat untuk pekerjaan ini, crawler kecil di tempat lain yang menulis ke database yang sama adalah desain yang valid, bukan sebuah kekalahan.
Ada dua hal yang sengaja tidak dibahas mendalam di halaman ini karena sama saja di semua bahasa pemrograman, dan mengulanginya di sini hanya akan membuatnya lebih sulit untuk tetap terkini. Aturan sesi dan rotasi, termasuk mengapa satu journey harus mempertahankan satu sticky exit, ada di praktik terbaik rotasi proxy. Apa yang harus dilakukan ketika sebuah request ditolak, dan cara membedakan masalah jaringan dari masalah klien, ada di 403 Forbidden saat scraping, dan pembahasan dari sisi hukum ada di apakah web scraping legal.
Soal exit itu sendiri: gunakan residential rotating untuk halaman publik, sticky untuk journey, datacenter untuk API dan open data. DataImpulse residential seharga $1 per GB di 195 negara dengan country targeting sudah termasuk, dan perbandingannya ada di proxy terbaik untuk web scraping.
Pertanyaan yang Sering Diajukan
Bagaimana cara mengatur proxy di Java?
Konfigurasikan pada objek klien, bukan per request: dengan java.net.http.HttpClient dari Java 11, Anda mengatur host proxy, port, dan kredensial sekali saja, lalu gunakan kembali klien tersebut. Menggunakannya kembali membuat connection pool, cookie jar, dan exit address tetap konsisten, sehingga sesi terlihat koheren.
Library apa yang sebaiknya digunakan untuk parsing di Java?
jsoup adalah pilihan default yang praktis. Pisahkan parsing dari fetching: klien menangani jaringan dan parser menangani markup, sehingga sebuah kegagalan langsung menunjukkan mana dari keduanya yang bermasalah.
Apakah saya perlu headless browser untuk Java?
Hanya ketika field dirender di sisi klien. Ambil halamannya secara langsung dan cari satu nilai yang sudah diketahui di dalam HTML terlebih dahulu: jika nilainya ada di sana, lewati browser sepenuhnya. Ketika Anda benar-benar membutuhkannya, Selenium atau Playwright for Java adalah pilihan di ekosistem ini ketika rendering diperlukan, dan biayanya bisa sepuluh kali lipat lebih besar per halaman, baik dari segi waktu maupun memori.
Apakah basic auth dinonaktifkan pada tunnel HTTPS?
Ini adalah masalah yang paling banyak menghabiskan waktu, bisa satu sore penuh. JDK secara default memblokir autentikasi Basic proxy pada tunnel CONNECT, sehingga proxy yang terautentikasi berfungsi untuk HTTP tetapi gagal untuk HTTPS sampai Anda mengosongkan properti jdk.http.auth.tunneling.disabledSchemes.
Apakah Java pilihan yang baik untuk web scraping?
Java adalah pilihan yang baik ketika crawler Anda berada di dalam layanan JVM yang sudah ada, dan Anda membutuhkan observability serta alur deployment yang sama dengan platform Anda yang lain. Java menjadi pilihan yang salah ketika Anda menulis scraper satu berkas yang sekali pakai, karena ritualnya lebih mahal daripada pekerjaan itu sendiri. Faktor penentunya biasanya adalah pemeliharaan, bukan kapabilitas mentah: scraper yang ditulis dalam bahasa yang dipakai tim Anda sehari-hari adalah yang akan bertahan menghadapi perubahan markup berikutnya.
Arahkan klien Java Anda ke exit yang andal
Snippet di atas akan berfungsi hanya dengan satu perubahan kredensial: DataImpulse residential memberikan exit yang akurat secara geografis seharga $1 per GB di 195 negara, baik rotating maupun sticky, melalui HTTP, HTTPS, dan SOCKS5. Buat akun dan uji satu target dari klien Java Anda sebelum menskalakan pekerjaan ini.
Terkait: 403 Forbidden saat scraping · penyiapan proxy Crawl4AI · penyiapan proxy di Go, Kotlin, Scala, Perl, dan Elixir.
Terakhir diperbarui: 17 September 2026.
