أفضل بروكسيات Scrapy في 2026 (+ كيفية إعداد واحد) | DataImpulse

Scrapy هو إطار عمل Python المخصص للإنتاج من أجل تجريف الويب الجاد، وهو سريع وغير متزامن ومصمم للزحف على نطاق واسع. لكن إذا زحفت إلى هدف حقيقي من IP واحد لمركز بيانات، فستتعرض لتقييد المعدل أو الحظر خلال دقائق. والحل هو توجيه Scrapy عبر بروكسيات، ويفضل أن تكون سكنية، لتبدو الطلبات كأنها صادرة من مستخدمين حقيقيين. والخبر الجيد هو أن دعم البروكسي في Scrapy مدمج عبر request.meta['proxy']، ومع بوابة تدوير لن تحتاج حتى إلى إدارة قائمة IP. يوضح هذا الدليل بدقة كيفية استخدام بروكسي مع Scrapy، لكل طلب، أو عبر middleware لجميع الطلبات، ومع التدوير، ثم يرتب أفضل 8 بروكسيات لـ Scrapy في 2026. يمثل DataImpulse بسعر $1/GB معيار القيمة.

أنا Andrii Byzov، مدير تسويق جزئي متمرس في الذكاء الاصطناعي، وأشغل زواحف Scrapy يومياً. ستجد أدناه إعداداً جاهزاً للنسخ واللصق، وتنبيهاً بشأن ترتيب middleware، والمزودين الذين يستحقون ميزانيتك.

كيفية استخدام بروكسي مع Scrapy

1. لكل طلب عبر meta['proxy']

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"
    def start_requests(self):
        proxy = "http://YOUR_LOGIN__cr.us:[email protected]:823"  # __cr.us = US
        yield scrapy.Request("https://httpbin.org/ip", meta={"proxy": proxy})

    def parse(self, response):
        self.log(response.text)  # confirm the egress IP

يلتقط HttpProxyMiddleware في Scrapy، والمفعّل افتراضياً، قيمة meta['proxy'] ويضبط ترويسة Proxy-Authorization من بيانات الاعتماد في URL، من دون حاجة إلى شيفرة إضافية.

2. middleware لتطبيق البروكسي على كل طلب

أكثر نظافة للمشروع بأكمله، إذ تعيّن البروكسي مرة واحدة فينطبق على جميع الطلبات:

# middlewares.py
class DataImpulseProxyMiddleware:
    PROXY = "http://YOUR_LOGIN__cr.us:[email protected]:823"
    def process_request(self, request, spider):
        request.meta["proxy"] = self.PROXY

# settings.py — run BEFORE the built-in HttpProxyMiddleware (750)
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.DataImpulseProxyMiddleware": 350,
}

3. تدوير قائمة IP ثابتة باستخدام scrapy-rotating-proxies

إذا كانت لديك قائمة بروكسيات بدلاً من بوابة تدوير واحدة، فإن scrapy-rotating-proxies يدوّرها ويكتشف الحظر:

# pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
    "http://YOUR_LOGIN__cr.us:[email protected]:823",
    # ...more endpoints/sessions...
]
DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

مع بوابة DataImpulse السكنية الدوارة، لن تحتاج عادةً إلى ذلك، فنقطة نهاية واحدة تعيد IP جديداً لكل طلب. استخدم scrapy-rotating-proxies عندما تدير العديد من الجلسات المنفصلة أو تريد اكتشاف الحظر المدمج. ملاحظة: دعم البروكسي في Scrapy يقتصر على HTTP/HTTPS، لذا استخدم نقطة نهاية HTTP، المنفذ 823، وليس SOCKS5. راجع دروس DataImpulse لمعلمات الجلسة.

أفضل بروكسيات Scrapy في لمحة

الاختيارات باختصار

يمثل DataImpulse معيار القيمة لزواحف Scrapy، بسكني مقابل $1/GB وفق الدفع حسب الاستخدام، ومركز بيانات $0.50/GB، ومحمول $2/GB، مع أكثر من 90M+ من IP عبر 195 دولة، وبوابة HTTP/HTTPS دوارة تمنح IP جديداً لكل طلب، واستهداف الدولة والمدينة وASN ضمن اسم المستخدم. لا تنتهي صلاحية حركة المرور، لذلك لا تستهلك عمليات التطوير اشتراكاً. معدل النجاح المنشور 99.51%، وتقييم G2 هو 4.8/5، مع دعم بشري على مدار 24/7. للتجريف الداخلي بحجم كبير، يقدم أقل تكلفة لكل طلب ناجح.

يُعد Bright Data خيار الشركات، بسعر سكني عادي يقارب $8/GB وعرض ترويجي يقارب $4/GB، مع Web Unlocker وSERP API ومجموعات البيانات. أما Oxylabs، من $6/GB ومجموعة 175M+، فهو خيار بدرجة SLA مع API للتجريف. ويقدم Decodo، من $3.75/GB وثبات حتى 24h، خياراً متوازناً للسوق المتوسطة. ويناسب IPRoyal، من $7.35/GB وثبات حتى 7 أيام، عمليات الزحف الطويلة المستقرة للجلسة. ويضيف SOAX، بسعر $3.60/GB و155M+ سكني و33M+ محمول، مجموعة محمول قوية. ويُعد Webshare، بفئة مجانية ومركز بيانات من $2.99/mo، مدخلاً اقتصادياً للخدمة الذاتية، بينما يمثل NetNut، من $3.53/GB، خيار استقرار ISP السكني.

البروكسيات الدوارة مقابل الثابتة مع Scrapy

للزحف الواسع، تعد البوابة السكنية الدوارة مثالية، إذ يحصل كل طلب Scrapy على IP جديد، ما يوزع الحمل ويتجنب قيود المعدل من دون أي إدارة لـ IP. أما التدفقات ذات الحالة، مثل تسجيل الدخول ثم طلبات المتابعة، فاستخدم جلسة ثابتة لكي يستمر IP نفسه خلال التسلسل، وأبقِ ملفات تعريف الارتباط مفعّلة، إذ إن middleware ملفات تعريف الارتباط في Scrapy مفعّل افتراضياً. معظم عمليات زحف Scrapy واسعة ومن دون حالة، لذا فالتدوير هو الإعداد الافتراضي الشائع، واحجز الثبات للأهداف التي تتطلب مصادقة أو خطوات متعددة.

أخطاء شائعة في بروكسي Scrapy

• ترتيب middleware. يجب أن يعمل middleware بروكسي مخصص أو scrapy-rotating-proxies قبل HttpProxyMiddleware المدمج، أي برقم أولوية أقل، وإلا فلن يُطبق البروكسي.
• توقع عمل SOCKS5. يدعم Scrapy HTTP/HTTPS فقط للبروكسيات، لذا استخدم نقطة نهاية HTTP وليس URL لـ SOCKS.
• الزحف بعنف مفرط. فعّل AUTOTHROTTLE_ENABLED واضبط CONCURRENT_REQUESTS/DOWNLOAD_DELAY بشكل معقول حتى لا تتعرض IP الدوارة لضغط مفرط.
• استخدام IP مركز بيانات مع أهداف محمية، إذ تُحظر بسرعة، لذا استخدم السكني للمواقع الثقيلة بأنظمة مكافحة الروبوتات.
• عدم التعامل مع الحظر. أضف اكتشاف إعادة المحاولة أو الحظر، مثل BanDetectionMiddleware في scrapy-rotating-proxies أو RETRY_HTTP_CODES مخصصاً، لكي يعاد الطلب المحظور على IP جديد بدلاً من تحليله كبيانات.

أي نوع بروكسي لـ Scrapy، سكني أم مركز بيانات أم محمول؟

• السكني ($1/GB)، وهو الإعداد الافتراضي للأهداف المحمية، مثل التجارة الإلكترونية وSERPs والشبكات الاجتماعية. إذا اخترت نوعاً واحداً، فاختر هذا.
• المحمول ($2/GB)، وهو IP حقيقي من شركات الاتصالات للأهداف الأصعب وواجهات الويب المحمول.
• مركز البيانات ($0.50/GB)، وهو الأرخص والأسرع للزحف غير المحمي وAPI وبنيتك التحتية الخاصة، لكن لا توجّهه إلى المواقع الثقيلة بأنظمة مكافحة الروبوتات.

يوفر DataImpulse الأنواع الثلاثة ضمن حساب واحد بالدفع حسب الاستخدام، لذلك يمكن لمشروع Scrapy واحد توجيه كل طلب إلى الفئة المناسبة عبر اسم المستخدم ونقطة النهاية.

كيفية البدء مع DataImpulse وScrapy

الخطوة 1. أنشئ حساب DataImpulse واحصل على بيانات اعتماد السكني. العرض التمهيدي $5 / 5GB لا تنتهي صلاحيته، وهو ميزانية اختبار حقيقية.

الخطوة 2. عيّن request.meta["proxy"] = "http://YOUR_LOGIN__cr.us:[email protected]:823" لكل طلب، أو أضف middleware البروكسي ذا السطر الواحد لتطبيقه في كل مكان. أضف رمز الدولة إلى اسم المستخدم للاستهداف الجغرافي.

الخطوة 3. فعّل AUTOTHROTTLE، وأضف التعامل مع إعادة المحاولة أو الحظر، ودع بوابة التدوير تمنح IP جديداً لكل طلب. راجع دروس DataImpulse وصفحة البروكسيات السكنية.