Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

Crawl4AI adalah crawler open-source yang dibuat untuk mengubah halaman web menjadi teks bersih yang siap untuk LLM dan data terstruktur, dan alat ini menjalankan peramban sungguhan untuk melakukannya. Fakta tunggal ini menentukan bagaimana proxy diterapkan: Anda mengonfigurasinya di lapisan peramban, tempat pengaturan tersebut berlaku untuk dokumen dan setiap aset, skrip, serta XHR yang dipicu oleh halaman.

Oleh karena itu, proxy Crawl4AI adalah pengaturan di tingkat peramban dengan semantik sesi yang menyertainya, bukan opsi per permintaan. Panduan ini membahas di mana proxy seharusnya berada dalam stack, cara menjaga sesi tetap koheren, cara mengontrol rate tanpa mematikan throughput, dan cara mencegah crawl berbasis LLM menghabiskan biaya lebih besar daripada hasil yang diperoleh.


Fakta Kunci

  • Crawl4AI menjalankan peramban sungguhan, sehingga proxy dikonfigurasi di lapisan peramban dan berlaku untuk setiap permintaan yang dibuat halaman, bukan hanya dokumen.
  • Empat lapisan yang harus benar: peramban, proxy, ekstraksi, dan throttle. Sebagian besar biaya dan sebagian besar pemblokiran berasal dari dua lapisan yang biasanya baru diatur orang paling akhir.
  • Satu sesi, satu exit. Konteks peramban yang menyimpan cookie sementara permintaannya datang dari alamat yang terus berganti (rotating) akan bertentangan dengan dirinya sendiri dan memicu challenge.
  • Rendering adalah bagian yang mahal, bukan bandwidth. Render hanya halaman yang membutuhkannya dan ambil (fetch) sisanya secara biasa.
  • Biaya ekstraksi LLM meningkat seiring bobot halaman, sehingga memangkas DOM sebelum mencapai model biasanya menjadi penghematan tunggal terbesar dalam pipeline.

Di mana seharusnya proxy ditempatkan dalam sebuah run Crawl4AI?

Di konfigurasi peramban, bukan per permintaan. Crawl4AI meluncurkan peramban dan menavigasikannya, sehingga proxy yang diatur pada konteks peramban akan merutekan segala sesuatu yang dilakukan halaman tersebut. Mengaturnya di tempat lain menghasilkan hasil terburuk yang mungkin terjadi: dokumen tiba melalui satu alamat, sementara skrip dan panggilan API-nya melalui alamat lain, sebuah kontradiksi yang langsung terbaca oleh sistem deteksi mana pun.

Ada dua implikasi praktis. Pertama, kredensial harus berada dalam konfigurasi peluncuran peramban tempat crawler dapat meneruskannya, menggunakan host gateway, port, username, dan password yang diberikan oleh penyedia Anda. Kedua, satu run crawl harus mempertahankan satu exit yang sama selama berlangsung, karena peramban menyimpan cookie dan local storage di seluruh navigasi, dan itu terikat pada alamat yang memperolehnya.

Jika Anda meng-crawl beberapa situs dalam satu job, berikan masing-masing konteks peramban dan sesinya sendiri, alih-alih menggunakan kembali satu konteks yang sama untuk host-host yang tidak berkaitan.


Seperti apa konfigurasi yang lengkap? Model konfigurasi crawl 4 lapisan

Model konfigurasi crawl 4 lapisan ini memisahkan pengaturan-pengaturan yang sering diatur orang dalam urutan yang salah.

Lapisan Apa yang dikendalikan Kesalahan umum
1. Peramban Mode headless, viewport, locale, zona waktu, user agent, flag otomatisasi Locale AS dengan exit Jerman, atau user agent seluler pada viewport desktop
2. Proxy Gateway, kredensial, penargetan negara, rotating versus sticky session Rotasi per permintaan sementara peramban tetap menyimpan satu cookie jar yang sama
3. Ekstraksi Apa yang diubah menjadi markdown atau output terstruktur, dan apakah LLM dilibatkan Mengirim seluruh DOM ke model padahal cakupan CSS saja sudah cukup
4. Throttle Concurrency, delay, percobaan ulang, timeout, caching Baru diatur paling akhir, atau tidak diatur sama sekali, padahal inilah yang sebenarnya membuat crawl diblokir

Kerjakan mulai dari lapisan empat mundur ke belakang saat terjadi masalah. Sembilan dari sepuluh kali, crawl yang mulai gagal bukan karena menabrak pertahanan baru, melainkan karena menabrak rate yang sebelumnya lolos begitu saja.


Bagaimana cara menjaga sesi tetap koheren?

Ikat satu konteks peramban ke satu exit selama masa hidupnya, dan biarkan crawl menyelesaikan satu situs sebelum sesi berganti.

  • Gunakan sticky session untuk situs mana pun yang navigasinya mencakup beberapa halaman, dan berikan setiap situs identifier sesinya sendiri agar state tidak pernah bocor antar-host.
  • Sesuaikan locale dengan geografi. Jika exit berada di Jerman, locale dan zona waktu peramban juga harus menunjukkan Jerman.
  • Pertahankan cookie per konteks alih-alih menghapusnya di antara halaman: pengunjung yang selalu datang tanpa cookie pada setiap tampilan halaman tidak terlihat seperti pengunjung sungguhan.
  • Rotasi antar-run, bukan di dalam run. Alamat baru untuk crawl berikutnya adalah hal yang sehat; alamat baru di tengah sesi adalah sebuah kontradiksi.

Panduan kami tentang praktik terbaik rotasi proxy membahas model sesi secara umum, dan prinsip yang sama berlaku untuk Playwright dan Puppeteer, yang menjadi fondasi bagi banyak crawler sejenis ini.


Bagaimana cara mencegah crawl LLM menjadi mahal?

Kurangi apa yang sampai ke model, dan render lebih sedikit. Keduanya adalah soal konfigurasi, bukan soal kecerdikan.

Batasi cakupan ekstraksi. Arahkan crawler ke container konten, bukan ke seluruh halaman. Navigasi, footer, banner cookie, dan rail artikel terkait hanyalah biaya token murni tanpa nilai informasi.

Utamakan ekstraksi berbasis schema daripada freeform. Ketika field-nya sudah diketahui, schema CSS atau XPath bersifat deterministik, gratis, dan lebih cepat daripada meminta model untuk menemukannya, sehingga Anda bisa menyisakan model hanya untuk halaman yang strukturnya benar-benar bervariasi.

Lakukan caching secara agresif. Meng-crawl ulang halaman yang tidak berubah tetap menghabiskan bandwidth, waktu render, dan token. Cache berdasarkan URL dengan jendela freshness, dan lakukan diff sebelum memproses ulang.

Render secara selektif. Tidak semua halaman membutuhkan peramban. Jika konten sudah ada dalam HTML yang dirender di sisi server, fetch biasa jauh lebih murah, dan pipeline campuran yang melakukan fetch terlebih dahulu lalu baru render jika gagal terbukti bekerja dengan baik dalam praktiknya.

Keempat hal ini, jika digabungkan, biasanya memangkas biaya crawl yang berjalan lebih besar daripada keputusan proxy apa pun.


Jenis proxy mana yang cocok untuk crawl seperti ini?

Sesuaikan exit dengan target dan pola sesi, bukan dengan crawler-nya.

Target Gunakan Hindari jika
Situs yang menghadap konsumen, navigasi multi-halaman Sticky residential, satu sesi per situs Situsnya adalah API terbuka atau dokumentasi, yang mana datacenter sudah cukup dan lebih murah
Crawl yang luas dan dangkal di banyak host Rotating residential, satu sesi per host Setiap host membutuhkan sesi stateful yang panjang, yang justru rusak oleh rotasi
Dokumentasi, data terbuka, layanan milik Anda sendiri Datacenter Target memperlakukan rentang IP hosting sebagai otomatisasi
Konten atau harga yang spesifik per wilayah Residential yang dipatok ke negara tertentu Konten sama persis di mana pun, sehingga biaya tambahan tidak memberikan manfaat apa-apa

DataImpulse residential dihargai $1 per GB di 195 negara, mendukung HTTP, HTTPS, dan SOCKS5, rotating maupun sticky, dengan penargetan negara sudah termasuk. Crawl berbasis peramban menarik aset selain dokumen, sehingga disiplin bandwidth itu penting: blokir gambar dan font yang tidak Anda butuhkan, dan anggaran yang sama akan bertahan beberapa kali lebih lama.


Batasan apa saja yang perlu Anda ketahui?

Proxy bukanlah izin. Bacalah robots.txt dan ketentuan situs yang Anda crawl, patuhi ketentuan tersebut, dan utamakan API resmi jika tersedia. Ulasan kami tentang apakah web scraping legal membahas kerangka yang lebih luas mengenai hal ini.

Rendering memiliki batas atas. Crawling berbasis peramban sangat boros memory dan CPU; concurrency yang terlihat baik-baik saja di laptop bisa membebani container kecil hingga kewalahan. Ukurlah jumlah halaman per menit per gigabyte RAM sebelum melakukan scaling secara horizontal.

Ekstraksi LLM tidak gratis maupun sepenuhnya akurat. Model dapat memparafrasakan, sesekali mengarang, dan membebani biaya per halaman. Validasi sampel terhadap sumber aslinya, dan pertahankan ekstraksi deterministik untuk field yang harus benar.

Pemblokiran biasanya soal pacing. Jika crawl yang berhasil kemarin gagal hari ini, periksa rate dan penanganan sesi sebelum membeli apa pun. Panduan kami tentang kesalahan 403 Forbidden saat scraping memandu proses diagnosisnya secara berurutan.


Pertanyaan yang Sering Diajukan

Di mana saya mengatur proxy di Crawl4AI?

Di konfigurasi peramban, sehingga pengaturan tersebut berlaku untuk dokumen dan setiap aset, skrip, serta XHR yang dipicu oleh halaman. Mengaturnya per permintaan akan membuat halaman memuat sumber dayanya sendiri melalui alamat yang berbeda, sebuah kontradiksi yang langsung terbaca oleh sistem deteksi.

Haruskah saya menggunakan rotating atau sticky session?

Gunakan sticky untuk situs mana pun yang crawl-nya menavigasi beberapa halaman, karena peramban menyimpan cookie dan cookie tersebut terikat pada alamat yang memperolehnya. Rotasi antar-run adalah hal yang sehat; rotasi di dalam satu sesi sementara cookie jar tetap dipertahankan adalah yang justru memicu challenge.

Bagaimana cara mengurangi biaya token dalam crawl berbasis LLM?

Batasi cakupan ekstraksi ke container konten alih-alih seluruh DOM, gunakan schema CSS atau XPath ketika field-nya sudah diketahui dan sisakan model hanya untuk halaman yang benar-benar bervariasi, lakukan caching berdasarkan URL dengan jendela freshness, dan render hanya halaman yang benar-benar membutuhkan peramban.

Apakah saya membutuhkan proxy residential untuk Crawl4AI?

Hanya jika targetnya memang membutuhkannya: situs yang menghadap konsumen dan konten yang spesifik per wilayah. Dokumentasi, data terbuka, dan API sudah cukup baik menggunakan exit datacenter dan biayanya lebih murah. Putuskan per target, bukan menetapkan satu jenis exit untuk seluruh crawler.

Crawl saya berhasil kemarin tapi gagal hari ini. Apa yang berubah?

Biasanya rate Anda, bukan pertahanan mereka. Turunkan ke satu worker dengan jitter lalu uji ulang; jika berhasil, penyebabnya adalah pacing, dan rotasi pada rate lama tidak akan memperbaikinya. Baru setelah itu Anda perlu menguji apakah jenis exit yang berbeda mengubah hasilnya.


Berikan setiap crawl exit yang stabil

Untuk crawl berbasis peramban, sesi yang terikat pada satu exit yang akurat secara geografis adalah yang menjaga state tetap koheren. Proxy residential DataImpulse menyediakan sesi sticky atau rotating seharga $1 per GB di 195 negara dengan penargetan negara sudah termasuk, mendukung HTTP, HTTPS, dan SOCKS5. Buat akun dan sambungkan di lapisan peramban, lalu lihat kasus penggunaan web scraping kami untuk penyiapan yang lebih luas.

Panduan terkait: mengapa crawler diblokir · contoh target konkret: toko Shopify · proxy untuk web scraping.

Terakhir diperbarui: 17 September 2026.


Share article: