2026 میں Scrapy کے لیے بہترین Proxies (+ ایک کو سیٹ اپ کرنے کا طریقہ) | DataImpulse

Scrapy سنجیدہ ویب اسکریپنگ کے لیے production Python فریم ورک ہے: تیز، asynchronous، اور بڑے پیمانے کی کرالنگ کے لیے بنایا گیا۔ لیکن اگر آپ ایک datacenter IP سے کسی حقیقی ہدف کو کرال کریں تو چند منٹوں میں rate-limited یا block ہو سکتے ہیں۔ حل یہ ہے کہ Scrapy کی درخواستوں کو پراکسیز کے ذریعے روٹ کیا جائے، ترجیحا residential پراکسیز سے، تاکہ درخواستیں حقیقی صارفین جیسی دکھائی دیں۔ اچھی بات یہ ہے کہ Scrapy میں request.meta['proxy'] کے ذریعے پراکسی سپورٹ پہلے سے موجود ہے، اور rotating gateway کے ساتھ آپ کو IP فہرست بھی منظم نہیں کرنی پڑتی۔ یہ guide صاف طور پر دکھاتی ہے کہ Scrapy کے ساتھ پراکسی کیسے استعمال کریں (ہر درخواست پر، تمام درخواستوں کے لیے middleware، اور rotation)، پھر 2026 میں Scrapy کے لیے 8 بہترین پراکسیز کی ranking کرتی ہے۔ DataImpulse $1/GB پر value baseline ہے۔

میں Andrii Byzov ہوں، ایک AI-Native Fractional CMO جو روزانہ Scrapy کرالرز چلاتا ہے۔ نیچے آپ کو copy-paste setup، middleware-order gotcha، اور وہ providers ملیں گے جو واقعی آپ کے budget کے قابل ہیں۔

Scrapy کے ساتھ پراکسی کیسے استعمال کریں

1. فی درخواست meta['proxy'] کے ذریعے

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"
    def start_requests(self):
        proxy = "http://YOUR_LOGIN__cr.us:[email protected]:823"  # __cr.us = US
        yield scrapy.Request("https://httpbin.org/ip", meta={"proxy": proxy})

    def parse(self, response):
        self.log(response.text)  # confirm the egress IP

Scrapy کا HttpProxyMiddleware (default طور پر فعال) meta['proxy'] کو پڑھتا ہے اور URL میں موجود اسناد سے Proxy-Authorization ہیڈر سیٹ کر دیتا ہے۔ کسی اضافی کوڈ کی ضرورت نہیں۔

2. ہر درخواست کو پراکسی سے گزارنے کے لیے middleware

پورے پروجیکٹ کے لیے زیادہ صاف طریقہ یہ ہے کہ پراکسی ایک بار سیٹ کریں اور پھر وہ تمام درخواستوں پر لاگو ہو جائے:

# middlewares.py
class DataImpulseProxyMiddleware:
    PROXY = "http://YOUR_LOGIN__cr.us:[email protected]:823"
    def process_request(self, request, spider):
        request.meta["proxy"] = self.PROXY

# settings.py — run BEFORE the built-in HttpProxyMiddleware (750)
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.DataImpulseProxyMiddleware": 350,
}

3. scrapy-rotating-proxies کے ساتھ static IP فہرست کو rotate کرنا

اگر آپ کے پاس rotating gateway کے بجائے پراکسیز کی فہرست ہے تو scrapy-rotating-proxies انہیں rotate کرتا ہے اور پابندیوں کا پتہ لگاتا ہے:

# pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
    "http://YOUR_LOGIN__cr.us:[email protected]:823",
    # ...more endpoints/sessions...
]
DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

DataImpulse کے rotating residential gateway کے ساتھ عموما اس کی ضرورت نہیں پڑتی، کیونکہ ایک endpoint پہلے ہی ہر درخواست پر تازہ IP واپس کر دیتا ہے۔ scrapy-rotating-proxies تب استعمال کریں جب آپ بہت سے الگ sessions منظم کر رہے ہوں یا built-in ban detection چاہتے ہوں۔ نوٹ: Scrapy کی پراکسی سپورٹ صرف HTTP/HTTPS ہے، اس لیے HTTP endpoint (port 823) استعمال کریں، SOCKS5 نہیں؛ session parameters کے لیے DataImpulse tutorials دیکھیں۔

Scrapy کے لیے بہترین پراکسیز ایک نظر میں

انتخاب، مختصرا

DataImpulse Scrapy کرالرز کے لیے value baseline ہے: residential $1/GB pay-as-you-go پر (datacenter $0.50/GB، mobile $2/GB)، 195 ممالک میں 90M+ IPs، ایک rotating HTTP/HTTPS gateway جو ہر درخواست پر نیا IP دیتا ہے، اور username میں country/city/ASN targeting۔ Traffic کبھی expire نہیں ہوتا، اس لیے dev runs subscription ضائع نہیں کرتے۔ شائع شدہ success rate 99.51%؛ G2 4.8/5؛ 24/7 انسانی support۔ بڑے پیمانے کی in-house کرالنگ کے لیے، یہ ہر successful request کی لاگت کو بہت کم رکھتا ہے۔

Bright Data enterprise انتخاب ہے (residential ~$8/GB regular، ~$4 promo) Web Unlocker، SERP API، اور datasets کے ساتھ۔ Oxylabs (from $6/GB، 175M+ pool) scraper APIs کے ساتھ SLA-grade option ہے۔ Decodo (from $3.75/GB، sticky to 24h) balanced mid-market choice ہے۔ IPRoyal (from $7.35/GB، sticky up to 7 days) طویل، session-stable کرالز کے لیے موزوں ہے۔ SOAX ($3.60/GB، 155M+ residential + 33M+ mobile) ایک مضبوط mobile pool بھی دیتا ہے۔ Webshare (free tier، datacenter from $2.99/mo) budget self-serve entry ہے، اور NetNut (from $3.53/GB) ISP-residential stability pick ہے۔

Scrapy کے ساتھ Rotating بمقابلہ Sticky پراکسیز

وسیع پیمانے کی کرالنگ کے لیے rotating residential gateway مثالی ہے۔ ہر Scrapy درخواست کو تازہ IP ملتا ہے، load تقسیم ہو جاتا ہے، اور IP management کے بغیر rate limits سے بچنے میں مدد ملتی ہے۔ stateful flows (login کے بعد follow-up requests) کے لیے sticky session استعمال کریں تاکہ پوری sequence میں وہی IP برقرار رہے، اور cookies کو on رکھیں (Scrapy کا cookies middleware default طور پر on ہوتا ہے)۔ زیادہ تر Scrapy کرالز وسیع اور stateless ہوتے ہیں، اس لیے rotating عموما بہتر default ہے؛ sticky کو authenticated یا multi-step targets کے لیے رکھیں۔

عام Scrapy پراکسی غلطیاں

• Middleware order. custom proxy middleware یا scrapy-rotating-proxies کو built-in HttpProxyMiddleware سے پہلے run ہونا چاہیے (کم priority number)، ورنہ آپ کی پراکسی apply نہیں ہوگی۔
• SOCKS5 کے کام کرنے کی توقع رکھنا۔ Scrapy کی proxy support صرف HTTP/HTTPS ہے۔ HTTP endpoint استعمال کریں، SOCKS URL نہیں۔
• بہت جارحانہ انداز میں کرالنگ کرنا۔ AUTOTHROTTLE_ENABLED اور مناسب CONCURRENT_REQUESTS/DOWNLOAD_DELAY enable کریں تاکہ rotating IPs پر بھی ضرورت سے زیادہ دباؤ نہ پڑے۔
• محفوظ targets پر Datacenter IPs: وہ جلد block ہو جاتے ہیں؛ anti-bot-heavy sites کے لیے residential استعمال کریں۔
• Ban handling نہ ہونا۔ retry/ban detection شامل کریں (scrapy-rotating-proxies‘ BanDetectionMiddleware یا custom RETRY_HTTP_CODES) تاکہ blocked responses کو data کے طور پر parse کرنے کے بجائے نئے IP پر retry کیا جائے۔

Scrapy کے لیے کون سی پراکسی قسم: Residential، Datacenter، یا Mobile؟

• Residential ($1/GB): محفوظ اہداف (ای کامرس، SERPs، سوشل) کے لیے default۔ اگر صرف ایک قسم چننی ہو تو یہی چنیں۔
• Mobile ($2/GB): سب سے مشکل اہداف اور mobile web surfaces کے لیے حقیقی carrier IPs۔
• Datacenter ($0.50/GB): کم تحفظ والی کرالنگ، APIs، اور آپ کے اپنے انفراسٹرکچر کے لیے سب سے سستا اور تیز ترین؛ اسے anti-bot-heavy سائٹس پر استعمال نہ کریں۔

DataImpulse ایک pay-as-you-go اکاؤنٹ پر تینوں پیش کرتا ہے، اس لیے ایک ہی Scrapy پروجیکٹ username اور endpoint کے ذریعے ہر درخواست کو درست درجے پر روٹ کر سکتا ہے۔

DataImpulse + Scrapy کے ساتھ کیسے شروع کریں

Step 1. DataImpulse اکاؤنٹ بنائیں اور residential credentials حاصل کریں۔ $5 / 5GB intro کبھی ختم نہیں ہوتا، اس لیے یہ حقیقی testing budget بن جاتا ہے۔

Step 2. ہر درخواست کے لیے request.meta["proxy"] = "http://YOUR_LOGIN__cr.us:[email protected]:823" سیٹ کریں، یا اسے ہر جگہ لاگو کرنے کے لیے one-line proxy middleware شامل کریں۔ geo-targeting کے لیے username میں country code شامل کریں۔

Step 3. AUTOTHROTTLE فعال کریں، retry/ban handling شامل کریں، اور rotating gateway کو ہر درخواست کے لیے تازہ IP دینے دیں۔ DataImpulse tutorials اور residential proxies صفحہ دیکھیں۔