How to use curl full guide cover

cURL adalah tool command line yang pada akhirnya digunakan setiap developer. Tool ini tidak membutuhkan banyak resource dan umumnya sudah tersedia secara default di sebagian besar sistem operasi. Namun, ketika Anda mulai memakainya untuk tugas yang lebih lanjut, seperti web scraping, melewati pembatasan regional, atau menguji API dari berbagai lokasi, Anda mungkin menghadapi masalah seperti rate limit atau konten yang tidak dapat diakses.

Saat mengirim request cURL melalui server proxy, Anda dapat mengubah alamat IP yang terdeteksi oleh situs web target. Dengan cURL, Anda dapat mengumpulkan data global, mengakses konten yang dibatasi berdasarkan wilayah, dan mencegah pemblokiran akibat terlalu banyak request dari satu alamat IP. Panduan ini menjelaskan cara menggunakan cURL dengan proxy, termasuk sintaks yang diperlukan, metode autentikasi, dan skenario spesifik ketika pendekatan ini bermanfaat.

Fakta Penting

  • cURL mendukung proxy melalui flag command line, environment variable, atau file konfigurasi
  • Terdapat berbagai jenis proxy, termasuk residential, mobile, dan datacenter
  • Proxy digunakan untuk web scraping skala luas, pengujian API, mengatasi pemblokiran, dan hasil khusus geografis
  • Untuk hasil terbaik, pilih jenis proxy yang tepat dengan konfigurasi yang sesuai untuk use case Anda
  • Ada sticky session dan rotating session. Sticky session digunakan untuk login dan aktivitas yang mempertahankan status, sedangkan rotating session digunakan untuk tugas scraping

Apa Itu cURL dan Cara Kerjanya

Dirilis pada 1996, cURL adalah singkatan dari Client dan URL. Ini merupakan mekanisme penting untuk mengirim HTTP request dan mentransfer data. cURL digunakan melalui command line, artinya Anda mengetik perintah di terminal, cURL mengirim request, lalu menampilkan respons.  

cURL berjalan menggunakan libcurl, library C yang portabel. Prosesnya sendiri cukup sederhana. Berikut yang terjadi saat Anda mengetik perintah:

  1. Mengurai URL: cURL memecahnya menjadi protocol, host, port, dan path. 
  2. Membuka koneksi ke host.
  3. Mengirim request: sebuah request line, sejumlah header, dan body opsional.
  4. Menerima respons: server mengirim kembali header dan body.
  5. Menampilkan hasil akhir di terminal.

cURL bersifat universal. Menguji endpoint, mengambil halaman, mengakses API, mengumpulkan data: semua itu hanya sebagian kecil dari aktivitas yang menggunakan cURL. cURL dapat menangani cookie, header kustom, retry, dan autentikasi. cURL juga mendukung konfigurasi proxy. Ketika ada masalah antara app Anda dan server, curl – v sering menampilkan detail request dan respons agar debugging lebih mudah. Kita akan membahas metode ini lebih lanjut dalam bagian berikutnya. 

Apa Itu Proxy dalam cURL

Proxy cURL menjadi perantara koneksi antara client dan server tujuan. Proxy berfungsi sebagai lapisan penerusan yang merutekan HTTP atau HTTPS request. Koneksi biasa tanpa proxy terdiri dari dua elemen: client dan target. Dalam konfigurasi yang menggunakan proxy, proxy menjadi titik terminasi untuk sesi client dan membangun kembali koneksi menuju target. 

cURL terlebih dahulu mengirim request lengkap ke server proxy, alih-alih terhubung langsung ke target. Selanjutnya, proxy melakukan DNS resolution untuk mengubah nama domain menjadi alamat IP, membuka socket baru, lalu meneruskan request beserta header dan body-nya. Proxy menyembunyikan IP asli Anda, memfilter lalu lintas, menjaga privasi penelusuran Anda, dan memungkinkan Anda mengakses target dari lokasi lain. Lalu lintas HTTP diproses sebagai data aplikasi biasa, sehingga proxy dapat mengelola isi request. HTTPS bekerja berbeda. Dalam kasus ini, cURL mengirim perintah CONNECT untuk membuat tunnel agar data TLS terenkripsi dapat melintas tanpa didekripsi. 

Kapan Anda Perlu Menggunakan cURL dengan Proxy

cURL sendiri sudah andal, tetapi jarang digunakan sendirian di lingkungan production. Tim biasanya menggabungkan cURL dengan server proxy yang andal. Berikut empat use case ketika konfigurasi ini sangat berguna. 

  • Web scraping skala luas

Banyak tim e-commerce perlu melacak harga pesaing di banyak halaman produk setiap hari. Menulis scraper berbasis cURL yang rapi saja tidak cukup, karena request biasanya mulai gagal dalam dua puluh menit. Dalam situasi ini, merutekan cURL melalui pool rotating proxy dapat sangat membantu. Setiap request akan berasal dari IP lain, dan situs web target tidak akan membatasi aktivitas tersebut karena tampak seperti perilaku alami. 

  • Mengatasi pemblokiran IP

Tugas mingguan memerlukan akses stabil ke data yang akurat. Misalnya, jika proses audit mingguan Anda tidak didukung proxy, Anda kemungkinan akan menghadapi error 403. Beralih ke jaringan lain juga tidak selalu membantu. Cobalah mengirim request cURL yang sama melalui residential proxy untuk menyimulasikan perilaku pengguna asli dari koneksi internet rumah pada umumnya. 

  • Membuat request geo-targeted

Lokasi Anda memengaruhi konten yang Anda lihat. Tim marketing biasanya perlu memverifikasi apakah landing page yang dilokalkan untuk klien dirender dengan benar. Dari koneksi mereka sendiri, halaman tersebut mungkin tidak dimuat dalam versi yang diperlukan. Solusinya adalah menerapkan residential IP yang diperoleh secara etis dari penyedia andal seperti DataImpulse. Setelah tim Anda mengaturnya, setiap request akan menampilkan halaman persis seperti yang dilihat pengguna lokal, termasuk harga lokal dan promosi khusus geografis. 

  • Pengujian API global 

Dalam pekerjaannya, developer mungkin kesulitan memverifikasi perilaku API di berbagai lokasi tanpa tool yang tepat. Aplikasi monitoring tidak selalu menangkap masalahnya, dan mereproduksinya di lingkungan lokal menjadi mustahil. Atasi masalah ini dengan mengirim cURL request ke API Anda melalui proxy. Anda akan mengakses edge node, database regional, dan jalur jaringan yang sama seperti pengguna Anda. Proxy membantu Anda melakukan debugging atas masalah yang lolos dari tool monitoring. 

Yang Anda Perlukan untuk Menggunakan Proxy dengan cURL

Menggunakan proxy dengan cURL tidak membutuhkan banyak hal. Anda memerlukan lima hal untuk memulai.

  1. cURL yang sudah terinstal dan siap digunakan. cURL tersedia secara default pada sebagian besar sistem macOS dan Linux. Tutorial kami untuk pemula menjelaskan cara menginstal cURL di sistem operasi apa pun, termasuk Windows. 
  2. Akses ke endpoint proxy. Ini dapat berupa proxy HTTP, HTTPS, atau SOCKS5. Endpoint inilah yang memberi cURL request rute lain ke target alih-alih terhubung langsung. 
  3. Kredensial proxy jika autentikasi diperlukan.
  4. Endpoint target. Ini dapat berupa API, situs web, atau apa pun yang ingin Anda jangkau.
  5. Tool pemeriksa proxy. Untuk memverifikasi bahwa lalu lintas melewati proxy, gunakan layanan cepat seperti https://ipinfo.io/ atau https://whatismyipaddress.com/. 

Setelah semua elemen tersedia, Anda dapat mengonfigurasi pengaturan proxy cURL dengan routing yang ditangani pada tingkat jaringan. Alih-alih menghubungi target secara langsung, cURL menggunakan proxy sebagai perantara.

Cara Menggunakan cURL dengan Proxy: Langkah demi Langkah

Perintah Dasar Proxy cURL

Untuk merutekan cURL request melalui proxy, gunakan flag -x flag to specify the proxy server. cURL will send the request via that proxy. 


curl -x http://proxy-ip:port https://example.com
      
        
      

Ini adalah bentuk penggunaan proxy paling sederhana dan berfungsi untuk HTTP atau HTTPS request dasar yang tidak memerlukan autentikasi.

Proxy cURL dengan Autentikasi

Jika proxy memerlukan langkah autentikasi tambahan, Anda dapat menyertakan username dan password langsung dalam string proxy. Berikut caranya: 


curl -x http://username:password@proxy-ip:port https://example.com
      
        
      

Perintah cURL menggunakan kredensial ini untuk melakukan autentikasi pada proxy sebelum meneruskan request. 

Menggunakan Proxy HTTPS

Dengan proxy HTTPS, cURL tetap merutekan lalu lintas melalui proxy sambil memastikan enkripsi TLS tetap terjaga hingga ke tujuan. 


curl -x https://proxy-ip:port https://example.com
      
        
      

Konfigurasi ini berguna ketika koneksi ke proxy itu sendiri perlu dienkripsi.

Menggunakan Proxy SOCKS5

Proxy SOCKS5 meneruskan lalu lintas tanpa menyentuh data request.


curl -x socks5://proxy-ip:port https://example.com
      
        
      

Karena SOCKS5 menangani berbagai jenis lalu lintas, proxy ini merupakan pilihan fleksibel bagi engineer yang bekerja dengan protocol berbeda. 

Konfigurasi Proxy Lanjutan di cURL

Menggunakan Environment Variable

cURL dapat mengambil pengaturan proxy dari environment variable tingkat sistem secara otomatis. Ini praktis ketika Anda ingin setiap request dari sesi terminal atau aplikasi melewati proxy yang sama, tanpa harus menentukannya setiap kali. 


export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
      
        
        
      

Setelah variable tersebut diatur, cURL menerapkannya sendiri pada request keluar berdasarkan protocol yang Anda gunakan.

Menggunakan File .curlrc

File .curlrc digunakan untuk pengaturan cURL yang persisten. Tambahkan pengaturan proxy Anda sekali saja, dan setiap request akan dirutekan melalui proxy itu secara otomatis. Timpa pengaturannya di command line kapan pun Anda memerlukan konfigurasi lain.


proxy=http://proxy-ip:port
      
        
      

Mengatur Proxy per Request vs Global

cURL menyediakan dua cara untuk menentukan proxy: per request menggunakan flag, atau secara global menggunakan environment variable atau file konfigurasi. Sebagian besar developer biasanya menggabungkan kedua metode ini. 

Konfigurasi per request menggunakan flag -x di command line. Ini adalah pendekatan paling responsif karena Anda dapat mengontrol secara tepat request mana yang melewati proxy tertentu. Inilah yang Anda perlukan saat debugging, membandingkan respons antarwilayah, atau menjalankan perintah ad hoc ketika setiap pemanggilan mungkin memerlukan konfigurasi terpisah. Berikut contoh yang diberikan:


curl -x http://proxy.example.com:8080 https://api.example.com
      
        
      

Konfigurasi global memindahkan proxy dari command line ke environment Anda, baik melalui variable seperti HTTP_PROXY dan HTTPS_PROXY, maupun file .curlrc Setelah dikonfigurasi, cURL merutekan setiap request keluar melalui proxy yang sama sampai Anda mengubahnya. Ini pilihan yang tepat untuk script panjang, pipeline CI/CD, pekerjaan terjadwal, atau situasi apa pun ketika penggunaan -x di setiap baris hanya akan menjadi pengulangan. Atur perintah ini:


export HTTPS_PROXY=http://proxy.example.com:8080 
curl https://api.example.com
      
        
        
      

Mengabaikan Proxy untuk Request Tertentu

Proxy global memang praktis. Namun, ini tidak selalu sesuai kebutuhan Anda. API internal, layanan localhost, dan endpoint metadata cloud biasanya harus sepenuhnya melewati proxy. Merutekannya melalui proxy dapat memperlambat request atau bahkan memblokir koneksi.

cURL menyediakan tiga cara untuk menanganinya:

1. –noproxy “*”. Artinya, lewati proxy untuk request ini, apa pun tujuannya.


curl --noproxy "*" https://localhost:8000
      
        
      

2. –noproxy “host1,host2”. Artinya, lewati proxy hanya untuk host yang Anda cantumkan.


curl --noproxy "localhost,*.internal" https://api.internal/status
      
        
      

3. Environment variable NO_PROXY. Ini menetapkan daftar host permanen yang selalu melewati proxy, bahkan ketika proxy global dikonfigurasi.


export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal" 
      
        
      

Setelah NO_PROXY diatur, cURL merutekan apa pun yang cocok dengan daftar tersebut secara langsung, sedangkan yang lainnya tetap melewati proxy. 

Menggunakan cURL dengan Rotating Proxy

Satu IP tidak cukup jika Anda ingin mengirim ratusan request. Bahkan residential proxy akan terkena rate limit jika setiap request berasal dari alamat yang sama. Solusinya adalah rotasi, yaitu mendistribusikan semua request ke banyak IP berbeda agar tidak ada satu pun yang menarik perhatian berlebihan. Penyedia dapat melakukannya untuk Anda, atau Anda dapat merotasi proxy secara manual. 

1. Rotasi gateway 

Banyak vendor proxy menawarkan satu endpoint yang merotasi IP secara sistematis. Pengguna biasanya terhubung ke satu alamat, lalu request melewati IP berbeda dari pool penyedia. 


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

2. Rotasi manual

Pengguna terkadang memiliki daftar proxy sendiri, sehingga mereka merotasinya secara manual di dalam script. Berikut contoh dalam Python:


import random
import subprocess

proxies = [
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
]

with open("urls.txt") as f:
    for url in f:
        proxy = random.choice(proxies)
        subprocess.run(["curl", "-x", proxy, url.strip()])

      
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Mengapa Rotasi Penting

Rate limit, CAPTCHA, pemblokiran IP, pemblokiran permanen, error, dan banyak masalah lain dapat terjadi jika satu IP terlalu sering digunakan. Dengan menyebarkan request ke berbagai IP, tidak ada alamat yang tampak mencurigakan bagi target. Lalu lintasnya terlihat normal, berasal dari banyak pengunjung berbeda. Inilah alasan utama menggunakan rotasi proxy: agar tidak terlihat seperti client otomatis.  

Contoh dengan Endpoint Rotating Proxy

Berikut contoh dasar rotating proxy dengan cURL. Setelah menjalankan perintah ini tiga kali berturut-turut, Anda akan mendapatkan tiga hasil berbeda. 


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

httpbin.org/ip adalah endpoint verifikasi yang berguna karena mengembalikan IP sumber yang diamati server. 

Sticky vs Rotating Session

Dalam mode rotating, setiap request bersifat independen. Request melewati IP berbeda dari pool penyedia. Ini pilihan yang tepat jika Anda melakukan web scraping dan perlu mengumpulkan banyak data harga serta produk. Jika satu alamat terus terdeteksi, beralih ke alamat baru menjaga request Anda tetap aman. 

 

Dalam mode sticky, alamat IP yang sama dipertahankan selama periode tertentu, biasanya 5 hingga 60 menit. Mode ini berfungsi baik jika Anda bekerja dengan login atau autentikasi dan memerlukan konsistensi IP agar perilakunya seperti pengguna asli. 

Jenis Proxy Terbaik untuk cURL 

cURL bekerja dengan cara yang sama, apa pun jenis proxy yang Anda gunakan. Prosesnya mengharuskan Anda mengatur flag -x, menyertakan kredensial, dan mengirim request. Yang berubah adalah cara server target memandang lalu lintas Anda, dan hal itu hampir sepenuhnya ditentukan oleh jenis IP di balik proxy.

Saya adalah blok HTML mentah.
Klik tombol edit untuk mengubah HTML ini

Error Umum dan Cara Mengatasinya

1. Koneksi proxy ditolak

Ketika cURL tidak dapat membuka koneksi TCP ke proxy, Anda kemungkinan menerima pesan bahwa koneksi ditolak. Artinya, proxy tidak dapat dijangkau atau diblokir. Langkah yang berguna mencakup memeriksa firewall dan pengaturan proxy, termasuk host dan port. Uji proxy menggunakan perintah ini: 


curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip

      
        
      

2. Autentikasi gagal

Biasanya muncul sebagai error 407 dan berarti proxy menolak kredensial Anda. Periksa kembali username, password, host, dan port Anda. Jangan menyematkan kredensial dalam URL, gunakan flag -U sebagai gantinya. Contoh:


curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip

      
        
      

3. Error SSL/Sertifikat

Error di sini biasanya disebabkan oleh penyimpanan sertifikat CA yang kedaluwarsa, proxy yang mencegat lalu lintas TLS, atau situs target dengan sertifikat yang salah. Dalam kasus ini, perbarui bundle CA Anda, gunakan -k hanya untuk pengujian, dan periksa apakah proxy itu sendiri mendekripsi lalu lintas. 

4. Masalah timeout

Hal ini terjadi karena server dapat kelebihan beban atau proxy mungkin bekerja lambat. Anda dapat mengatasinya dengan menetapkan timeout eksplisit seperti yang ditunjukkan contoh kode ini:


curl --connect-timeout 10 --max-time 30 \
       -x http://proxy.example.com:8080 https://target.com

      
        
           
      

Ketika pesan error saja tidak cukup untuk mengetahui letak kegagalan, mode verbose adalah tool paling berguna dalam perangkat debugging cURL. Mode ini menampilkan seluruh urutan koneksi sehingga Anda dapat melihat dengan tepat langkah mana yang berhasil dan mana yang gagal.


curl -v -x http://proxy.example.com:8080 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
           
             
      

Praktik Terbaik Proxy cURL

Berikut beberapa kebiasaan berguna yang perlu diterapkan. 

  • Rotasi IP secara default, gunakan sticky hanya saat diperlukan
  • Batasi laju request agar lalu lintas terlihat alami
  • Gabungkan proxy dengan header kustom
  • Gunakan –compressed untuk mengurangi ukuran transfer hingga 70-80%
  • Hindari proxy gratis

*Flag –compressed memberi tahu cURL untuk mengirim Accept-Encoding: gzip, deflate, br dan mendekompresi apa pun yang diterima. 


curl --compressed \
     -x http://gw.dataimpulse.com:823 \
     -U "user:pass" \
     https://target.com

      
        
           
             
               
      

Contoh Proxy cURL untuk Use Case Nyata

Mari lihat tiga skenario umum penggunaan cURL bersama proxy. 

1. Melakukan scraping pada situs web

Konfigurasi ini akan menjalankan ribuan halaman dan menghasilkan output bersih yang siap diurai. Konfigurasi ini mencakup rotating residential proxy, header kustom yang sesuai dengan browser asli, kompresi untuk transfer lebih cepat, serta jeda singkat antar-request.

Berikut contoh yang akan berfungsi di Linux, macOS, dan WSL. Anda memerlukan file urls.txt berisi domain, seperti google.com atau example.com.

Kode:


while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue

full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac

file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"

curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt

wait

      
        
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

2. Mengakses konten yang dibatasi secara geografis

Dalam kode ini, setiap request tiba di situs target seolah-olah berasal dari pengguna asli di negara tersebut. File output merekam versi yang dilokalkan persis seperti yang dilihat pengunjung lokal. 


# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.br:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o br.html

# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.jp:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o jp.html

# Check the German version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.de:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o de.html

      
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

3. Menguji API

Dari sini, tim dapat menelusuri routing database regional, CDN edge node, atau hal lain yang berbeda di antara kedua lokasi.


curl -o /dev/null -s \
     -x http://gw.dataimpulse.com:823 \
     -U "username__cr.sg:password" \
     -w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
     https://api.client.com/v1/users/me

      
               
                        
           
             
               
      

FAQ

Bagaimana cara menggunakan curl dengan proxy?

Gunakan flag -x untuk menentukan alamat dan port proxy DataImpulse. Jika proxy memerlukan autentikasi, tambahkan -U "username:password" untuk menyertakan kredensial Anda.

Autentikasi proxy curl tidak berfungsi

Penyebab paling umum adalah kredensial yang salah atau karakter khusus pada password. Gunakan flag -U "user:pass" alih-alih menyematkan kredensial dalam URL, lalu lakukan URL-encode pada karakter @, :, atau /.

Proxy socks vs http pada curl

Proxy HTTP hanya menangani lalu lintas HTTP dan HTTPS, sedangkan proxy SOCKS5 meneruskan semua lalu lintas TCP tanpa memeriksa request. Gunakan proxy HTTP DataImpulse untuk web scraping dan pemanggilan API; gunakan SOCKS5 saat Anda memerlukan fleksibilitas protocol atau routing tingkat lebih rendah.

Bagaimana cara merotasi proxy di curl

Hubungkan ke satu endpoint, lalu penyedia akan menetapkan IP berbeda per request secara otomatis. Untuk rotasi manual, simpan daftar proxy dalam script dan pilih satu secara acak pada setiap request.

Kesimpulan

cURL dengan proxy adalah kombinasi yang wajib dimiliki setiap developer atau siapa pun yang menginginkan proses pengumpulan data yang aman dan akurat. Satu tool command line, satu flag, dan seketika Anda dapat melakukan scraping dalam skala besar, mengotomatiskan pengujian lintas wilayah, serta mengakses API dari mana saja di dunia. Kombinasi ini ringkas, dapat digunakan dalam script, dan bekerja dengan cara yang sama di setiap sistem tempat Anda melakukan deployment.

Konfigurasi memegang peranan besar. Pilih jenis proxy yang tepat, baik residential, datacenter, maupun mobile, untuk target Anda. Rotasikan IP dengan frekuensi yang tepat. Mengirim HTTP header dengan cURL yang terlihat seperti browser asli, bukan script. Tambahkan retry, timeout, dan rate limit sebelum Anda benar-benar memerlukannya. Selesaikan langkah-langkah ini, dan cURL akan menjadi fondasi andal untuk alur kerja data production Anda.

Share article: