Proxy Terbaik untuk Scrapy pada 2026 (+ Cara Menyiapkannya) | DataImpulse

Scrapy adalah framework Python siap produksi untuk web scraping serius, cepat, asynchronous, dan dibuat untuk crawling dalam skala besar. Namun, lakukan crawl pada target nyata dari satu IP datacenter dan Anda akan terkena rate limit atau diblokir dalam hitungan menit. Solusinya adalah merutekan Scrapy melalui proxy, idealnya residential, agar request terlihat seperti pengguna sungguhan. Kabar baiknya: dukungan proxy Scrapy sudah tersedia melalui request.meta['proxy'], dan dengan gateway rotating Anda bahkan tidak perlu mengelola daftar IP. Panduan ini menunjukkan secara tepat cara menggunakan proxy dengan Scrapy (per request, middleware untuk semua request, dan rotasi), lalu mengurutkan 8 proxy terbaik untuk Scrapy pada 2026. DataImpulse dengan harga $1/GB menjadi patokan nilai.

Saya Andrii Byzov, CMO Fraksional AI-Native yang menjalankan crawler Scrapy setiap hari. Berikut: pengaturan siap salin-tempel, hal penting terkait urutan middleware, dan penyedia yang layak untuk anggaran Anda.

Cara Menggunakan Proxy dengan Scrapy

1. Per request melalui meta['proxy']

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"
    def start_requests(self):
        proxy = "http://YOUR_LOGIN__cr.us:[email protected]:823"  # __cr.us = US
        yield scrapy.Request("https://httpbin.org/ip", meta={"proxy": proxy})

    def parse(self, response):
        self.log(response.text)  # confirm the egress IP

HttpProxyMiddleware (aktif secara default) mengambil meta['proxy'] dan menetapkan Proxy-Authorization dari kredensial dalam URL – tidak perlu kode tambahan.

2. Middleware untuk menerapkan proxy pada setiap request

Lebih rapi untuk seluruh proyek – atur proxy sekali dan pengaturan tersebut berlaku pada semua request:

# middlewares.py
class DataImpulseProxyMiddleware:
    PROXY = "http://YOUR_LOGIN__cr.us:[email protected]:823"
    def process_request(self, request, spider):
        request.meta["proxy"] = self.PROXY

# settings.py — run BEFORE the built-in HttpProxyMiddleware (750)
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.DataImpulseProxyMiddleware": 350,
}

3. Merotasi daftar IP statis dengan scrapy-rotating-proxies

Jika Anda memiliki daftar proxy (bukan satu gateway rotating), scrapy-rotating-proxies akan merotasinya dan mendeteksi ban:

# pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
    "http://YOUR_LOGIN__cr.us:[email protected]:823",
    # ...more endpoints/sessions...
]
DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

Dengan gateway residential rotating DataImpulse, biasanya Anda tidak memerlukan ini – satu endpoint sudah mengembalikan IP baru untuk setiap request. Gunakan scrapy-rotating-proxies saat Anda mengelola banyak session terpisah atau menginginkan deteksi ban bawaan. Catatan: dukungan proxy Scrapy hanya HTTP/HTTPS, jadi gunakan endpoint HTTP (port 823), bukan SOCKS5; lihat tutorial DataImpulse untuk parameter session.

Perbandingan Singkat Proxy Terbaik untuk Scrapy

Pilihan secara singkat

DataImpulse adalah patokan nilai untuk crawler Scrapy – residential seharga $1/GB pay-as-you-go (datacenter $0,50/GB, mobile $2/GB), 90M+ IP di 195 negara, gateway HTTP/HTTPS rotating yang memberikan IP baru untuk setiap request, serta penargetan negara/kota/ASN dalam username. Traffic tidak pernah kedaluwarsa, jadi proses dev tidak menghabiskan langganan. Tingkat keberhasilan yang dipublikasikan 99,51%; G2 4,8/5; dukungan manusia 24/7. Untuk crawling internal bervolume tinggi, ini menawarkan biaya terendah per request yang berhasil.

Bright Data adalah pilihan enterprise (residential reguler ~$8/GB, promo ~$4) dengan Web Unlocker, SERP API, dan dataset. Oxylabs (mulai dari $6/GB, pool 175M+) adalah opsi berkelas SLA dengan scraper API. Decodo (mulai dari $3,75/GB, sticky hingga 24h) adalah pilihan pasar menengah yang seimbang. IPRoyal (mulai dari $7,35/GB, sticky hingga 7 hari) cocok untuk crawl panjang dengan session yang stabil. SOAX ($3,60/GB, 155M+ residential + 33M+ mobile) menawarkan pool mobile yang kuat. Webshare (paket gratis, datacenter mulai dari $2,99/bln) adalah pilihan self-serve hemat, dan NetNut (mulai dari $3,53/GB) adalah pilihan untuk stabilitas ISP-residential.

Proxy Rotating vs Sticky dengan Scrapy

Untuk crawling luas, gateway residential rotating ideal – setiap request Scrapy mendapat IP baru, yang menyebarkan beban dan menghindari rate limit tanpa pengelolaan IP. Untuk alur stateful (login lalu request tindak lanjut), gunakan sticky session agar IP yang sama tetap digunakan sepanjang urutan tersebut, dan biarkan cookie aktif (middleware cookie Scrapy aktif secara default). Sebagian besar crawl Scrapy bersifat luas dan stateless, jadi rotating adalah default yang umum; gunakan sticky khusus untuk target yang terautentikasi atau bertahap.

Kesalahan Umum Proxy Scrapy

• Urutan middleware. Middleware proxy kustom atau scrapy-rotating-proxies harus dijalankan sebelum bawaan HttpProxyMiddleware (angka prioritas lebih rendah), atau proxy Anda tidak akan diterapkan.
• Mengharapkan SOCKS5 berfungsi. proxy support is HTTP/HTTPS only — use the HTTP endpoint, not a SOCKS URL.
• Crawling terlalu agresif. Aktifkan AUTOTHROTTLE_ENABLED dan gunakan CONCURRENT_REQUESTS/DOWNLOAD_DELAY yang wajar agar bahkan IP rotating tidak dibebani berlebihan.
• IP datacenter pada target yang dilindungi – IP tersebut cepat diblokir; gunakan residential untuk situs yang banyak menggunakan anti-bot.
• Tidak ada penanganan ban. Tambahkan deteksi retry/ban (scrapy-rotating-proxies BanDetectionMiddleware atau RETRY_HTTP_CODES) agar respons yang diblokir dicoba kembali dengan IP baru, bukan diurai sebagai data.

Jenis Proxy Mana untuk Scrapy – Residential, Datacenter, atau Mobile?

• Residential ($1/GB) – default untuk target yang dilindungi (e-commerce, SERP, sosial). Jika Anda memilih satu, pilih ini.
• Mobile ($2/GB) – IP carrier nyata untuk target tersulit dan tampilan web mobile.
• Datacenter ($0.50/GB) – paling murah dan paling cepat untuk crawling tanpa perlindungan, API, dan infrastruktur Anda sendiri; jangan arahkan ke situs yang banyak menggunakan anti-bot.

DataImpulse menawarkan ketiganya dalam satu akun pay-as-you-go, sehingga satu proyek Scrapy dapat merutekan setiap request ke tier yang tepat melalui username dan endpoint.

Cara Memulai dengan DataImpulse + Scrapy

Langkah 1. Buat akun DataImpulse dan ambil kredensial residential. Penawaran awal $5 / 5GB tidak pernah kedaluwarsa – anggaran pengujian yang nyata.

Langkah 2. Set request.meta["proxy"] = "http://YOUR_LOGIN__cr.us:[email protected]:823" per request, atau tambahkan middleware proxy satu baris agar berlaku di mana saja. Tambahkan kode negara ke username untuk geo-targeting.

Langkah 3. Aktifkan AUTOTHROTTLE, tambahkan penanganan retry/ban, dan biarkan gateway rotating memberikan IP baru untuk setiap request. Lihat tutorial DataImpulse dan halaman proxy residential.