Dalam artikel ini
cURL adalah tool command line yang pada akhirnya digunakan setiap developer. Tool ini tidak membutuhkan banyak resource dan umumnya sudah tersedia secara default di sebagian besar sistem operasi. Namun, ketika Anda mulai memakainya untuk tugas yang lebih lanjut, seperti web scraping, melewati pembatasan regional, atau menguji API dari berbagai lokasi, Anda mungkin menghadapi masalah seperti rate limit atau konten yang tidak dapat diakses.
Saat mengirim request cURL melalui server proxy, Anda dapat mengubah alamat IP yang terdeteksi oleh situs web target. Dengan cURL, Anda dapat mengumpulkan data global, mengakses konten yang dibatasi berdasarkan wilayah, dan mencegah pemblokiran akibat terlalu banyak request dari satu alamat IP. Panduan ini menjelaskan cara menggunakan cURL dengan proxy, termasuk sintaks yang diperlukan, metode autentikasi, dan skenario spesifik ketika pendekatan ini bermanfaat.
Fakta Penting
- cURL mendukung proxy melalui flag command line, environment variable, atau file konfigurasi
- Terdapat berbagai jenis proxy, termasuk residential, mobile, dan datacenter
- Proxy digunakan untuk web scraping skala luas, pengujian API, mengatasi pemblokiran, dan hasil khusus geografis
- Untuk hasil terbaik, pilih jenis proxy yang tepat dengan konfigurasi yang sesuai untuk use case Anda
- Ada sticky session dan rotating session. Sticky session digunakan untuk login dan aktivitas yang mempertahankan status, sedangkan rotating session digunakan untuk tugas scraping
Apa Itu cURL dan Cara Kerjanya
Dirilis pada 1996, cURL adalah singkatan dari Client dan URL. Ini merupakan mekanisme penting untuk mengirim HTTP request dan mentransfer data. cURL digunakan melalui command line, artinya Anda mengetik perintah di terminal, cURL mengirim request, lalu menampilkan respons.
cURL berjalan menggunakan libcurl, library C yang portabel. Prosesnya sendiri cukup sederhana. Berikut yang terjadi saat Anda mengetik perintah:
- Mengurai URL: cURL memecahnya menjadi protocol, host, port, dan path.
- Membuka koneksi ke host.
- Mengirim request: sebuah request line, sejumlah header, dan body opsional.
- Menerima respons: server mengirim kembali header dan body.
- Menampilkan hasil akhir di terminal.
cURL bersifat universal. Menguji endpoint, mengambil halaman, mengakses API, mengumpulkan data: semua itu hanya sebagian kecil dari aktivitas yang menggunakan cURL. cURL dapat menangani cookie, header kustom, retry, dan autentikasi. cURL juga mendukung konfigurasi proxy. Ketika ada masalah antara app Anda dan server, curl – v sering menampilkan detail request dan respons agar debugging lebih mudah. Kita akan membahas metode ini lebih lanjut dalam bagian berikutnya.
Apa Itu Proxy dalam cURL
Proxy cURL menjadi perantara koneksi antara client dan server tujuan. Proxy berfungsi sebagai lapisan penerusan yang merutekan HTTP atau HTTPS request. Koneksi biasa tanpa proxy terdiri dari dua elemen: client dan target. Dalam konfigurasi yang menggunakan proxy, proxy menjadi titik terminasi untuk sesi client dan membangun kembali koneksi menuju target.
cURL terlebih dahulu mengirim request lengkap ke server proxy, alih-alih terhubung langsung ke target. Selanjutnya, proxy melakukan DNS resolution untuk mengubah nama domain menjadi alamat IP, membuka socket baru, lalu meneruskan request beserta header dan body-nya. Proxy menyembunyikan IP asli Anda, memfilter lalu lintas, menjaga privasi penelusuran Anda, dan memungkinkan Anda mengakses target dari lokasi lain. Lalu lintas HTTP diproses sebagai data aplikasi biasa, sehingga proxy dapat mengelola isi request. HTTPS bekerja berbeda. Dalam kasus ini, cURL mengirim perintah CONNECT untuk membuat tunnel agar data TLS terenkripsi dapat melintas tanpa didekripsi.
Kapan Anda Perlu Menggunakan cURL dengan Proxy
cURL sendiri sudah andal, tetapi jarang digunakan sendirian di lingkungan production. Tim biasanya menggabungkan cURL dengan server proxy yang andal. Berikut empat use case ketika konfigurasi ini sangat berguna.
- Web scraping skala luas
Banyak tim e-commerce perlu melacak harga pesaing di banyak halaman produk setiap hari. Menulis scraper berbasis cURL yang rapi saja tidak cukup, karena request biasanya mulai gagal dalam dua puluh menit. Dalam situasi ini, merutekan cURL melalui pool rotating proxy dapat sangat membantu. Setiap request akan berasal dari IP lain, dan situs web target tidak akan membatasi aktivitas tersebut karena tampak seperti perilaku alami.
- Mengatasi pemblokiran IP
Tugas mingguan memerlukan akses stabil ke data yang akurat. Misalnya, jika proses audit mingguan Anda tidak didukung proxy, Anda kemungkinan akan menghadapi error 403. Beralih ke jaringan lain juga tidak selalu membantu. Cobalah mengirim request cURL yang sama melalui residential proxy untuk menyimulasikan perilaku pengguna asli dari koneksi internet rumah pada umumnya.
- Membuat request geo-targeted
Lokasi Anda memengaruhi konten yang Anda lihat. Tim marketing biasanya perlu memverifikasi apakah landing page yang dilokalkan untuk klien dirender dengan benar. Dari koneksi mereka sendiri, halaman tersebut mungkin tidak dimuat dalam versi yang diperlukan. Solusinya adalah menerapkan residential IP yang diperoleh secara etis dari penyedia andal seperti DataImpulse. Setelah tim Anda mengaturnya, setiap request akan menampilkan halaman persis seperti yang dilihat pengguna lokal, termasuk harga lokal dan promosi khusus geografis.
- Pengujian API global
Dalam pekerjaannya, developer mungkin kesulitan memverifikasi perilaku API di berbagai lokasi tanpa tool yang tepat. Aplikasi monitoring tidak selalu menangkap masalahnya, dan mereproduksinya di lingkungan lokal menjadi mustahil. Atasi masalah ini dengan mengirim cURL request ke API Anda melalui proxy. Anda akan mengakses edge node, database regional, dan jalur jaringan yang sama seperti pengguna Anda. Proxy membantu Anda melakukan debugging atas masalah yang lolos dari tool monitoring.
Yang Anda Perlukan untuk Menggunakan Proxy dengan cURL
Menggunakan proxy dengan cURL tidak membutuhkan banyak hal. Anda memerlukan lima hal untuk memulai.
- cURL yang sudah terinstal dan siap digunakan. cURL tersedia secara default pada sebagian besar sistem macOS dan Linux. Tutorial kami untuk pemula menjelaskan cara menginstal cURL di sistem operasi apa pun, termasuk Windows.
- Akses ke endpoint proxy. Ini dapat berupa proxy HTTP, HTTPS, atau SOCKS5. Endpoint inilah yang memberi cURL request rute lain ke target alih-alih terhubung langsung.
- Kredensial proxy jika autentikasi diperlukan.
- Endpoint target. Ini dapat berupa API, situs web, atau apa pun yang ingin Anda jangkau.
- Tool pemeriksa proxy. Untuk memverifikasi bahwa lalu lintas melewati proxy, gunakan layanan cepat seperti https://ipinfo.io/ atau https://whatismyipaddress.com/.
Setelah semua elemen tersedia, Anda dapat mengonfigurasi pengaturan proxy cURL dengan routing yang ditangani pada tingkat jaringan. Alih-alih menghubungi target secara langsung, cURL menggunakan proxy sebagai perantara.
Cara Menggunakan cURL dengan Proxy: Langkah demi Langkah
Perintah Dasar Proxy cURL
Untuk merutekan cURL request melalui proxy, gunakan flag -x flag to specify the proxy server. cURL will send the request via that proxy.
curl -x http://proxy-ip:port https://example.com
Ini adalah bentuk penggunaan proxy paling sederhana dan berfungsi untuk HTTP atau HTTPS request dasar yang tidak memerlukan autentikasi.
Proxy cURL dengan Autentikasi
Jika proxy memerlukan langkah autentikasi tambahan, Anda dapat menyertakan username dan password langsung dalam string proxy. Berikut caranya:
curl -x http://username:password@proxy-ip:port https://example.com
Perintah cURL menggunakan kredensial ini untuk melakukan autentikasi pada proxy sebelum meneruskan request.
Menggunakan Proxy HTTPS
Dengan proxy HTTPS, cURL tetap merutekan lalu lintas melalui proxy sambil memastikan enkripsi TLS tetap terjaga hingga ke tujuan.
curl -x https://proxy-ip:port https://example.com
Konfigurasi ini berguna ketika koneksi ke proxy itu sendiri perlu dienkripsi.
Menggunakan Proxy SOCKS5
Proxy SOCKS5 meneruskan lalu lintas tanpa menyentuh data request.
curl -x socks5://proxy-ip:port https://example.com
Karena SOCKS5 menangani berbagai jenis lalu lintas, proxy ini merupakan pilihan fleksibel bagi engineer yang bekerja dengan protocol berbeda.
Konfigurasi Proxy Lanjutan di cURL
Menggunakan Environment Variable
cURL dapat mengambil pengaturan proxy dari environment variable tingkat sistem secara otomatis. Ini praktis ketika Anda ingin setiap request dari sesi terminal atau aplikasi melewati proxy yang sama, tanpa harus menentukannya setiap kali.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
Setelah variable tersebut diatur, cURL menerapkannya sendiri pada request keluar berdasarkan protocol yang Anda gunakan.
Menggunakan File .curlrc
File .curlrc digunakan untuk pengaturan cURL yang persisten. Tambahkan pengaturan proxy Anda sekali saja, dan setiap request akan dirutekan melalui proxy itu secara otomatis. Timpa pengaturannya di command line kapan pun Anda memerlukan konfigurasi lain.
proxy=http://proxy-ip:port
Mengatur Proxy per Request vs Global
cURL menyediakan dua cara untuk menentukan proxy: per request menggunakan flag, atau secara global menggunakan environment variable atau file konfigurasi. Sebagian besar developer biasanya menggabungkan kedua metode ini.
Konfigurasi per request menggunakan flag -x di command line. Ini adalah pendekatan paling responsif karena Anda dapat mengontrol secara tepat request mana yang melewati proxy tertentu. Inilah yang Anda perlukan saat debugging, membandingkan respons antarwilayah, atau menjalankan perintah ad hoc ketika setiap pemanggilan mungkin memerlukan konfigurasi terpisah. Berikut contoh yang diberikan:
curl -x http://proxy.example.com:8080 https://api.example.com
Konfigurasi global memindahkan proxy dari command line ke environment Anda, baik melalui variable seperti HTTP_PROXY dan HTTPS_PROXY, maupun file .curlrc Setelah dikonfigurasi, cURL merutekan setiap request keluar melalui proxy yang sama sampai Anda mengubahnya. Ini pilihan yang tepat untuk script panjang, pipeline CI/CD, pekerjaan terjadwal, atau situasi apa pun ketika penggunaan -x di setiap baris hanya akan menjadi pengulangan. Atur perintah ini:
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
Mengabaikan Proxy untuk Request Tertentu
Proxy global memang praktis. Namun, ini tidak selalu sesuai kebutuhan Anda. API internal, layanan localhost, dan endpoint metadata cloud biasanya harus sepenuhnya melewati proxy. Merutekannya melalui proxy dapat memperlambat request atau bahkan memblokir koneksi.
cURL menyediakan tiga cara untuk menanganinya:
1. –noproxy “*”. Artinya, lewati proxy untuk request ini, apa pun tujuannya.
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2”. Artinya, lewati proxy hanya untuk host yang Anda cantumkan.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. Environment variable NO_PROXY. Ini menetapkan daftar host permanen yang selalu melewati proxy, bahkan ketika proxy global dikonfigurasi.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
Setelah NO_PROXY diatur, cURL merutekan apa pun yang cocok dengan daftar tersebut secara langsung, sedangkan yang lainnya tetap melewati proxy.
Menggunakan cURL dengan Rotating Proxy
Satu IP tidak cukup jika Anda ingin mengirim ratusan request. Bahkan residential proxy akan terkena rate limit jika setiap request berasal dari alamat yang sama. Solusinya adalah rotasi, yaitu mendistribusikan semua request ke banyak IP berbeda agar tidak ada satu pun yang menarik perhatian berlebihan. Penyedia dapat melakukannya untuk Anda, atau Anda dapat merotasi proxy secara manual.
1. Rotasi gateway
Banyak vendor proxy menawarkan satu endpoint yang merotasi IP secara sistematis. Pengguna biasanya terhubung ke satu alamat, lalu request melewati IP berbeda dari pool penyedia.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. Rotasi manual
Pengguna terkadang memiliki daftar proxy sendiri, sehingga mereka merotasinya secara manual di dalam script. Berikut contoh dalam Python:
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
Mengapa Rotasi Penting
Rate limit, CAPTCHA, pemblokiran IP, pemblokiran permanen, error, dan banyak masalah lain dapat terjadi jika satu IP terlalu sering digunakan. Dengan menyebarkan request ke berbagai IP, tidak ada alamat yang tampak mencurigakan bagi target. Lalu lintasnya terlihat normal, berasal dari banyak pengunjung berbeda. Inilah alasan utama menggunakan rotasi proxy: agar tidak terlihat seperti client otomatis.
Contoh dengan Endpoint Rotating Proxy
Berikut contoh dasar rotating proxy dengan cURL. Setelah menjalankan perintah ini tiga kali berturut-turut, Anda akan mendapatkan tiga hasil berbeda.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip adalah endpoint verifikasi yang berguna karena mengembalikan IP sumber yang diamati server.
Sticky vs Rotating Session
Dalam mode rotating, setiap request bersifat independen. Request melewati IP berbeda dari pool penyedia. Ini pilihan yang tepat jika Anda melakukan web scraping dan perlu mengumpulkan banyak data harga serta produk. Jika satu alamat terus terdeteksi, beralih ke alamat baru menjaga request Anda tetap aman.
Dalam mode sticky, alamat IP yang sama dipertahankan selama periode tertentu, biasanya 5 hingga 60 menit. Mode ini berfungsi baik jika Anda bekerja dengan login atau autentikasi dan memerlukan konsistensi IP agar perilakunya seperti pengguna asli.
Jenis Proxy Terbaik untuk cURL
cURL bekerja dengan cara yang sama, apa pun jenis proxy yang Anda gunakan. Prosesnya mengharuskan Anda mengatur flag -x, menyertakan kredensial, dan mengirim request. Yang berubah adalah cara server target memandang lalu lintas Anda, dan hal itu hampir sepenuhnya ditentukan oleh jenis IP di balik proxy.
Saya adalah blok HTML mentah.
Klik tombol edit untuk mengubah HTML ini
Error Umum dan Cara Mengatasinya
1. Koneksi proxy ditolak
Ketika cURL tidak dapat membuka koneksi TCP ke proxy, Anda kemungkinan menerima pesan bahwa koneksi ditolak. Artinya, proxy tidak dapat dijangkau atau diblokir. Langkah yang berguna mencakup memeriksa firewall dan pengaturan proxy, termasuk host dan port. Uji proxy menggunakan perintah ini:
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. Autentikasi gagal
Biasanya muncul sebagai error 407 dan berarti proxy menolak kredensial Anda. Periksa kembali username, password, host, dan port Anda. Jangan menyematkan kredensial dalam URL, gunakan flag -U sebagai gantinya. Contoh:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. Error SSL/Sertifikat
Error di sini biasanya disebabkan oleh penyimpanan sertifikat CA yang kedaluwarsa, proxy yang mencegat lalu lintas TLS, atau situs target dengan sertifikat yang salah. Dalam kasus ini, perbarui bundle CA Anda, gunakan -k hanya untuk pengujian, dan periksa apakah proxy itu sendiri mendekripsi lalu lintas.
4. Masalah timeout
Hal ini terjadi karena server dapat kelebihan beban atau proxy mungkin bekerja lambat. Anda dapat mengatasinya dengan menetapkan timeout eksplisit seperti yang ditunjukkan contoh kode ini:
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
Ketika pesan error saja tidak cukup untuk mengetahui letak kegagalan, mode verbose adalah tool paling berguna dalam perangkat debugging cURL. Mode ini menampilkan seluruh urutan koneksi sehingga Anda dapat melihat dengan tepat langkah mana yang berhasil dan mana yang gagal.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
Praktik Terbaik Proxy cURL
Berikut beberapa kebiasaan berguna yang perlu diterapkan.
- Rotasi IP secara default, gunakan sticky hanya saat diperlukan
- Batasi laju request agar lalu lintas terlihat alami
- Gabungkan proxy dengan header kustom
- Gunakan –compressed untuk mengurangi ukuran transfer hingga 70-80%
- Hindari proxy gratis
*Flag –compressed memberi tahu cURL untuk mengirim Accept-Encoding: gzip, deflate, br dan mendekompresi apa pun yang diterima.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
Contoh Proxy cURL untuk Use Case Nyata
Mari lihat tiga skenario umum penggunaan cURL bersama proxy.
1. Melakukan scraping pada situs web
Konfigurasi ini akan menjalankan ribuan halaman dan menghasilkan output bersih yang siap diurai. Konfigurasi ini mencakup rotating residential proxy, header kustom yang sesuai dengan browser asli, kompresi untuk transfer lebih cepat, serta jeda singkat antar-request.
Berikut contoh yang akan berfungsi di Linux, macOS, dan WSL. Anda memerlukan file urls.txt berisi domain, seperti google.com atau example.com.
Kode:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. Mengakses konten yang dibatasi secara geografis
Dalam kode ini, setiap request tiba di situs target seolah-olah berasal dari pengguna asli di negara tersebut. File output merekam versi yang dilokalkan persis seperti yang dilihat pengunjung lokal.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. Menguji API
Dari sini, tim dapat menelusuri routing database regional, CDN edge node, atau hal lain yang berbeda di antara kedua lokasi.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
FAQ
Bagaimana cara menggunakan curl dengan proxy?
Gunakan flag -x untuk menentukan alamat dan port proxy DataImpulse. Jika proxy memerlukan autentikasi, tambahkan -U "username:password" untuk menyertakan kredensial Anda.
Autentikasi proxy curl tidak berfungsi
Penyebab paling umum adalah kredensial yang salah atau karakter khusus pada password. Gunakan flag -U "user:pass" alih-alih menyematkan kredensial dalam URL, lalu lakukan URL-encode pada karakter @, :, atau /.
Proxy socks vs http pada curl
Proxy HTTP hanya menangani lalu lintas HTTP dan HTTPS, sedangkan proxy SOCKS5 meneruskan semua lalu lintas TCP tanpa memeriksa request. Gunakan proxy HTTP DataImpulse untuk web scraping dan pemanggilan API; gunakan SOCKS5 saat Anda memerlukan fleksibilitas protocol atau routing tingkat lebih rendah.
Bagaimana cara merotasi proxy di curl
Hubungkan ke satu endpoint, lalu penyedia akan menetapkan IP berbeda per request secara otomatis. Untuk rotasi manual, simpan daftar proxy dalam script dan pilih satu secara acak pada setiap request.
Kesimpulan
cURL dengan proxy adalah kombinasi yang wajib dimiliki setiap developer atau siapa pun yang menginginkan proses pengumpulan data yang aman dan akurat. Satu tool command line, satu flag, dan seketika Anda dapat melakukan scraping dalam skala besar, mengotomatiskan pengujian lintas wilayah, serta mengakses API dari mana saja di dunia. Kombinasi ini ringkas, dapat digunakan dalam script, dan bekerja dengan cara yang sama di setiap sistem tempat Anda melakukan deployment.
Konfigurasi memegang peranan besar. Pilih jenis proxy yang tepat, baik residential, datacenter, maupun mobile, untuk target Anda. Rotasikan IP dengan frekuensi yang tepat. Mengirim HTTP header dengan cURL yang terlihat seperti browser asli, bukan script. Tambahkan retry, timeout, dan rate limit sebelum Anda benar-benar memerlukannya. Selesaikan langkah-langkah ini, dan cURL akan menjadi fondasi andal untuk alur kerja data production Anda.
