إعداد بروكسي Selenium Wire: دليل Python شامل

يُعد بروكسي Selenium Wire أقصر طريق لتشغيل أتمتة متصفح موثقة في Python، لأن Selenium Wire يقبل URL لبروكسي بصيغة login:password مباشرة ضمن خيار واحد، بدلاً من فرض الحل البديل عبر الإضافة الذي يتطلبه Selenium العادي. كما يتيح الوصول إلى كل طلب HTTP واستجابة ينفذها المتصفح، ولهذا تلجأ إليه أدوات التجريف وفرق ضمان الجودة.

هذا الدليل شرح شامل خطوة بخطوة. يغطي تثبيت المكتبة وتثبيت إصداراتها بأمان، وإعداد بروكسي موثق، والتحقق من عنوان IP للخروج، وفحص الطلبات وانتظارها، وتعديل الترويسات، وتدوير عناوين IP، والتشغيل من دون واجهة، وتقليل استهلاك الذاكرة، والتعامل بوضوح مع شهادة HTTPS، ودمجه مع undetected-chromedriver، ومعرفة موضع البدائل الحديثة.

DataImpulse مزود بروكسيات ملتزم بالممارسات الأخلاقية، يقدم أكثر من 90 مليون عنوان IP سكني ومحمول ومن مركز بيانات في 195 دولة. يعتمد نموذج الدفع حسب الاستخدام بدءاً من 1 دولار لكل GB مع حركة مرور لا تنتهي صلاحيتها، ويُستخدم في تجريف الويب والتحقق من الإعلانات ومراقبة الأسعار وأبحاث السوق وإدارة الحسابات المتعددة.

ما Selenium Wire، وهل لا يزال قيد الصيانة؟

Selenium Wire مكتبة Python توسع Selenium كي يتمكن برنامجك النصي من فحص طلبات HTTP واستجابات المتصفح وانتظارها وتعديلها، وتضيف دعماً أصيلاً للبروكسيات الموثقة. تعمل بتشغيل بروكسي محلي من نوع الرجل في الوسط يوجّه المتصفح إليه، ثم يمرر حركة المرور إلى بروكسي المنبع الفعلي.

لكن يجب التنبيه بوضوح إلى أن المشروع الأصلي مؤرشف ولم يعد يُصان بنشاط. ما زال يعمل جيداً في بيئة الإنتاج، لكن عليك تثبيت الإصدارات واختبار أي ترقية لـ Selenium أو Chrome أو الاعتماديات بمعزل قبل نشرها. توجد تفرعات مجتمعية تحمل إصلاحات التوافق إلى الأمام، ويوضح جدول المقارنة لاحقاً في هذا الدليل متى تكون أداة خاضعة للصيانة مثل Playwright خياراً أفضل على المدى الطويل.

سبب استمرار الفرق في اختياره هو سهولة الاستخدام. إذا كانت لديك بالفعل مجموعة اختبارات أو أداة تجريف مبنية على Selenium، فإن إضافة Selenium Wire تتطلب تغيير سطر استيراد واحداً مع خيار للبروكسي، وستحصل فوراً على دعم للبروكسيات الموثقة وقدرة على قراءة كل طلب تنفذه الصفحة. إعادة بناء هذه الرؤية على مستوى الطلب في Selenium العادي تتطلب عملاً فعلياً، لذا غالباً ما تكون المقايضة مجدية لقواعد الشيفرة الحالية رغم كونه مؤرشفاً. إذا كنت حديث العهد بقيادة المتصفحات الفعلية لجمع البيانات، فدليلنا حول كيفية تجريف صفحات الويب الديناميكية يشرح الصورة الأوسع للعرض ومتى تكون الحاجة إلى متصفح ضرورية أساساً.

كيف تثبت Selenium Wire وتثبت الإصدارات لتجنب الأعطال؟

ثبّت selenium-wire إلى جانب selenium، وثبّت blinker بإصدار أقل من 1.8 لأن ذلك الإصدار أزال اسماً داخلياً يستورده Selenium Wire عند البدء. وبما أن المشروع مؤرشف، فإن الاعتماديات غير المثبتة هي السبب الأكثر شيوعاً لتعطل إعداد يعمل فجأة.

العطل التقليدي هو ImportError متعلق بـ WeakNamespace بعد الترقية التلقائية لـ blinker. يمنع تثبيت الإصدارات ذلك:

# Selenium Wire is archived. Pin known-good versions so an upstream release
# does not break your build overnight.
#
# blinker >= 1.8 removed blinker._saferef / WeakNamespace, which Selenium Wire
# imports at startup. On blinker 1.8+ you get:
#   ImportError: cannot import name 'WeakNamespace' from 'blinker'
# The fix is to hold blinker below 1.8.
pip install "selenium-wire==5.1.0" "selenium==4.9.1" "blinker==1.7.0"

# Selenium Wire also depends on brotli and can trip on very new Selenium.
# If you must run current Selenium, test in a throwaway virtualenv first, or
# move to a maintained fork such as selenium-wire-2 that tracks these fixes.

احتفظ بهذه الإصدارات المثبتة في ملف requirements لكي تحصل بيئة التكامل المستمر وزملاؤك على التركيبة الموثوقة نفسها. وعندما تريد الانتقال إلى Selenium الحالي، تعامل مع ذلك كترقية مقصودة لها تشغيل اختبار خاص بها، بدلاً من ترك pip يحل أحدث إصدارات كل شيء.

كيف تُعد بروكسي موثقاً في Selenium Wire؟

مرر قاموس بروكسي داخل seleniumwire_options عند إنشاء driver، مع تضمين اسم المستخدم وكلمة المرور في URL واستثناء localhost عبر no_proxy. هذه هي الميزة الوحيدة التي تجعل Selenium Wire جديراً بالاستخدام بدلاً من Selenium العادي في عمل البروكسيات.

استورد webdriver من seleniumwire لا من selenium، ثم مرر إليه الخيارات. تأتي بيانات الاعتماد والمضيف والمنفذ من لوحة تحكم مزودك. مع DataImpulse يكون المضيف gw.dataimpulse.com والمنفذ 823:

from seleniumwire import webdriver  # import from seleniumwire, not selenium

proxy_url = "http://login:[email protected]:823"

seleniumwire_options = {
    "proxy": {
        "http": proxy_url,
        "https": proxy_url,
        "no_proxy": "localhost,127.0.0.1",
    }
}

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)
driver.get("https://example.com")
print(driver.title)
driver.quit()

يبقي الإدخال no_proxy العناوين المحلية خارج البروكسي لكي يتواصل driver مباشرة مع ChromeDriver. إذا كانت المصادقة خاطئة، فسترى عادة استجابة 407. توضح ملاحظتنا حول خطأ 407: مصادقة البروكسي مطلوبة كيفية تشخيصه. وللتعرف إلى كيفية عمل البروكسيات المعتمدة على بيانات الاعتماد عموماً، راجع البروكسيات السكنية.

كيف تتحقق من عمل عنوان IP لخروج البروكسي؟

وجّه driver إلى نقطة نهاية لإرجاع IP مثل api.ipify.org، وتأكد من أن العنوان المعاد يخص البروكسي لا جهازك. لا تفترض أبداً أن البروكسي قيد الاستخدام لمجرد تحميل الصفحة.

import json
from seleniumwire import webdriver

proxy_url = "http://login:[email protected]:823"
seleniumwire_options = {
    "proxy": {"http": proxy_url, "https": proxy_url,
              "no_proxy": "localhost,127.0.0.1"}
}

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)
driver.get("https://api.ipify.org/?format=json")

body = driver.find_element("tag name", "body").text
exit_ip = json.loads(body)["ip"]
print("Exit IP:", exit_ip)  # should be the proxy, not your own address

driver.quit()

إذا أظهرت الاستجابة عنوان IP الحقيقي، فهناك ثلاثة أمور تستحق التحقق: ألا يطابق no_proxy هدفك عن طريق الخطأ، وأن تكون بيانات الاعتماد صحيحة، وأنك استوردت webdriver من seleniumwire. نفّذ هذا التحقق كأول خطوة في كل مهمة جديدة، وأعد تنفيذه بعد تغيير إعدادات البروكسي.

كيف تفحص طلبات محددة وتنتظرها؟

اقرأ driver.requests لاستعراض كل طلب واستجابة نفذها المتصفح، واستخدم driver.wait_for_request للانتظار حتى يظهر استدعاء مطابق. هذه هي القدرة التي تميز Selenium Wire عن WebDriver العادي، وهي قيّمة جداً للعثور على JSON API الكامن خلف الصفحة.

from seleniumwire import webdriver

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)
driver.get("https://example.com/products")

# Block until a request whose URL matches the regex is captured.
request = driver.wait_for_request(r"/api/v2/products", timeout=15)
print(request.method, request.url)
print("Status:", request.response.status_code)
print("Type:", request.response.headers["Content-Type"])

# Walk every captured request/response pair the browser made.
for r in driver.requests:
    if r.response:
        print(r.response.status_code, r.url)

driver.quit()

يقبل استدعاء wait_for_request تعبيراً نمطياً يطابق URL ويعيد النتيجة فور التقاط الطلب، فتتجنب فترات الانتظار الثابتة الهشة. بمجرد معرفة الاستدعاء الخلفي الذي يحمل البيانات، يمكنك غالباً تجاوز العرض بالكامل واستدعاء نقطة النهاية مباشرة، وهو أقل كلفة بكثير. هذه التقنية محور أساسي في أفضل ممارسات تجريف الويب.

كيف تعدل ترويسات الطلب باستخدام معترض؟

عيّن دالة إلى driver.request_interceptor لتعمل قبل مغادرة كل طلب للمتصفح، مما يتيح لك استبدال الترويسات أو حقن الرموز أو حذف المعلمات. ويعد ضبط User-Agent واقعي واللغة سبباً شائعاً لاستخدام هذه الميزة.

from seleniumwire import webdriver

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)

def interceptor(request):
    # Delete first, then set, so you replace the header instead of duplicating it.
    del request.headers["User-Agent"]
    request.headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
    request.headers["Accept-Language"] = "en-US,en;q=0.9"

driver.request_interceptor = interceptor
driver.get("https://httpbin.org/headers")
print(driver.find_element("tag name", "body").text)
driver.quit()

احذف الترويسة الحالية قبل تعيين قيمة جديدة، وإلا فقد يرسل Selenium Wire الترويسة الأصلية والبديلة معاً. يتيح response_interceptor المقابل قراءة الاستجابات أو إعادة كتابتها. أبقِ المعترضات خفيفة لأنها تعمل مع كل طلب، بما في ذلك الصور والبرامج النصية. الترويسات المتسقة التي تبدو بشرية إحدى الإشارات الأقل وضوحاً في أفضل ممارسات تجريف الويب.

كيف تدوّر البروكسيات لكل طلب في Selenium Wire؟

لديك نمطان: إعادة تعيين driver.proxy وقت التشغيل لتبديل الإعدادات في المتصفح نفسه، أو إعادة إنشاء driver عندما تريد أيضاً ملفاً شخصياً نظيفاً وحاوية ملفات تعريف الارتباط. تمنح بوابة دوارة مثل DataImpulse بالفعل مخرجاً سكنياً جديداً عند الاتصالات الجديدة، لذلك تحتاج معظم المهام فقط إلى تبديل الإعداد لدولة مختلفة.

from seleniumwire import webdriver

base = "http://login:[email protected]:823"
opts = {"proxy": {"http": base, "https": base,
                  "no_proxy": "localhost,127.0.0.1"}}
driver = webdriver.Chrome(seleniumwire_options=opts)

# Option A: reassign driver.proxy at runtime to switch config (for example a
# different country gateway) without rebuilding the browser. Cheap and fast.
uk = "http://login:[email protected]:823"
driver.proxy = {"http": uk, "https": uk, "no_proxy": "localhost,127.0.0.1"}
driver.get("https://api.ipify.org")
print(driver.find_element("tag name", "body").text)
driver.quit()

# Option B: recreate the driver per job when you need a guaranteed clean
# browser profile and cookie jar as well as a fresh exit IP.
def fresh_driver():
    return webdriver.Chrome(seleniumwire_options=opts)

for _ in range(3):
    d = fresh_driver()
    d.get("https://api.ipify.org")
    print(d.find_element("tag name", "body").text)
    d.quit()

إعادة تعيين driver.proxy منخفضة الكلفة وتحافظ على جاهزية المتصفح، وهذا يناسب الحلقات كبيرة الحجم حيث تهيمن كلفة البدء. إعادة إنشاء driver أثقل لكنها تضمن العزل بين المهام، وهو أمر مهم عندما يربط الهدف الجلسات بملفات تعريف الارتباط والتخزين المحلي إلى جانب IP. اختر بحسب حاجتك إلى هوية نظيفة أو عنوان جديد فقط. قاعدة عملية هي إعادة تعيين البروكسي أثناء جمع الصفحات العامة المجهولة، وإعادة إنشاء driver كلما تجاوزت حد حساب أو تسجيل دخول، كي لا يتبعك ملف تعريف ارتباط متسرب من تشغيل إلى التالي. الأهداف المحمولة التي تستخدم البصمة بقوة تبرر غالباً البروكسيات المحمولة في أصعب الحالات، بينما يمكن للصفحات الأخف البقاء على مخارج أقل سعراً.

كيف تشغّل Selenium Wire من دون واجهة وتحافظ على انخفاض استهلاك الذاكرة؟

أضف خيارات Chrome لوضع التشغيل من دون واجهة والاستقرار، ثم قيّد ما يلتقطه Selenium Wire كي لا ينمو مخزن الطلبات بلا حدود. على الخوادم، يشكل التشغيل من دون واجهة مع الالتقاط المحدد الفرق بين مهمة تعمل لساعات وأخرى تستنفد RAM.

ابدأ بمجموعة موثوقة من أعلام Chrome لحاوية من دون واجهة أو بيئة CI:

from seleniumwire import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--headless=new")     # modern headless mode
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("--window-size=1920,1080")

proxy_url = "http://login:[email protected]:823"
seleniumwire_options = {
    "proxy": {"http": proxy_url, "https": proxy_url,
              "no_proxy": "localhost,127.0.0.1"}
}

driver = webdriver.Chrome(options=chrome_options,
                          seleniumwire_options=seleniumwire_options)
driver.get("https://api.ipify.org")
print(driver.find_element("tag name", "body").text)
driver.quit()

يلتقط Selenium Wire افتراضياً كل طلب واستجابة ويخزنهما في مخزن مؤقت، وهذا بالضبط ما يستهلك الذاكرة في عمليات التشغيل الطويلة. قيّد الالتقاط باستخدام driver.scopes، واحتفظ بالتخزين في الذاكرة، وامسح المخزن المؤقت بين الصفحات:

from seleniumwire import webdriver

seleniumwire_options = {
    "proxy": {"http": proxy_url, "https": proxy_url,
              "no_proxy": "localhost,127.0.0.1"},
    "request_storage": "memory",   # keep the buffer in RAM, not on disk
}

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)

# Only capture the API traffic you care about. Images, fonts, analytics, and
# tracking pixels are ignored, which keeps the capture buffer small.
driver.scopes = [r".*/api/.*"]

driver.get("https://example.com/products")
for request in driver.requests:
    print(request.url)

del driver.requests   # clear the buffer between pages on long-running jobs
driver.quit()

قائمة scopes هي مجموعة من تعبيرات URL النمطية، وكل ما يقع خارجها يمر من دون تخزين. في أداة تجريف تحتاج فقط إلى استجابات API، يمكن أن يقلل هذا المخزن المقيم بدرجة كبيرة. كما أن تقليل ما تنزله يخفض كلفة البروكسي، لأن حركة مرور DataImpulse تُحاسب بالجيجابايت.

كيف يتعامل Selenium Wire مع HTTPS وشهادته؟

لقراءة أجسام الطلبات والاستجابات المشفرة، يفك Selenium Wire تشفير HTTPS كرجل في الوسط باستخدام شهادته الجذرية الخاصة، التي يحقنها تلقائياً في ملف تعريف المتصفح لكل من Chrome وFirefox. هذا قوي، لكنه يحمل حدوداً يجب فهمها بوضوح قبل الاعتماد عليه.

from seleniumwire import webdriver

proxy_url = "http://login:[email protected]:823"
seleniumwire_options = {
    "proxy": {"http": proxy_url, "https": proxy_url,
              "no_proxy": "localhost,127.0.0.1"},
    # Selenium Wire is a man-in-the-middle proxy: to read HTTPS bodies it
    # decrypts traffic using its own root certificate, which it injects into
    # the browser profile automatically. These two options relax verification
    # on the upstream leg so a mismatched or self-signed cert does not abort.
    "verify_ssl": False,
    "suppress_connection_errors": True,
}

driver = webdriver.Chrome(seleniumwire_options=seleniumwire_options)
driver.get("https://example.com")
driver.quit()

تترتب نتيجتان على تصميم الرجل في الوسط. أولاً، سيرفض موقع يستخدم تثبيت الشهادة الشهادة المحقونة وسيفشل اعتراض حركة المرور تلك. في هذه الحالة عطّل الالتقاط للمضيف المتأثر أو تجنب فحص أجسامه. ثانياً، إذا شغلت Chrome بملف تعريف مخصص أو غير افتراضي، فقد تحتاج إلى التأكد من أن CA الخاص بـ Selenium Wire موثوق هناك. يخفف خيارا verify_ssl وsuppress_connection_errors التحقق في مسار المنبع لكيلا تؤدي شهادة غير معتادة إلى إيقاف التشغيل، لكنهما لا يتجاوزان تثبيت الشهادة.

هل يمكنك دمج undetected-chromedriver، وما البدائل؟

نعم. يوفر Selenium Wire تكاملاً مع undetected-chromedriver تستورده باسم seleniumwire.undetected_chromedriver، فيمنحك فحص الطلبات والبروكسيات الموثقة بينما يقلل undetected-chromedriver بصمات الأتمتة. إنه المزيج المفضل للأهداف المحمية.

# Selenium Wire ships its own undetected-chromedriver integration.
import seleniumwire.undetected_chromedriver as uc

proxy_url = "http://login:[email protected]:823"
seleniumwire_options = {
    "proxy": {"http": proxy_url, "https": proxy_url,
              "no_proxy": "localhost,127.0.0.1"}
}

options = uc.ChromeOptions()
options.add_argument("--headless=new")

driver = uc.Chrome(seleniumwire_options=seleniumwire_options, options=options)
driver.get("https://api.ipify.org")
print(driver.find_element("tag name", "body").text)
driver.quit()

عندما لا يكون Selenium Wire مناسباً بحد ذاته، يغطي بديلان معظم الاحتياجات. يمكن لـ Selenium 4 العادي استخدام بروكسي موثق عبر إضافة صغيرة مولدة، تتولى مكتبة مساعدة أتمتتها:

from selenium import webdriver
# Plain Selenium cannot send proxy credentials on its own. A small helper builds
# a throwaway Chrome extension that answers the proxy auth challenge for you.
from selenium_authenticated_proxy import SeleniumAuthenticatedProxy

proxy = SeleniumAuthenticatedProxy(
    proxy_url="http://login:[email protected]:823"
)
options = webdriver.ChromeOptions()
proxy.enrich_options(options)

driver = webdriver.Chrome(options=options)
driver.get("https://api.ipify.org")
print(driver.find_element("tag name", "body").text)
driver.quit()

يتعامل Playwright مع البروكسيات الموثقة أصلياً ويخضع للصيانة النشطة، مما يجعله أساساً أفضل للمشاريع الجديدة:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(
        headless=True,
        proxy={
            "server": "http://gw.dataimpulse.com:823",
            "username": "login",
            "password": "password",
        },
    )
    page = browser.new_page()
    page.goto("https://api.ipify.org")
    print(page.inner_text("body"))
    browser.close()

إليك مقارنة الأدوات الثلاث تحديداً في عمل البروكسيات الموثقة:

نصيحة للانتقال: إذا كنت تحتاج فقط إلى بروكسيات ببيانات اعتماد ولا تحتاج إلى التقاط الطلبات، فإن Selenium العادي مع إضافة مصادقة هو الخيار الأخف ويبقى على شيفرة خاضعة للصيانة. إذا كنت تعتمد على فحص حركة المرور أو إعادة كتابتها وتبدأ من جديد، فإن Playwright يمنحك ذلك أصلياً من دون عبء تثبيت الإصدارات. احتفظ بـ Selenium Wire عندما تكون لديك قاعدة شيفرة Selenium حالية يكون إعادة بناء التحكم فيها على مستوى الطلب مكلفاً. لاختيار عناوين IP عبر أي من هذه الأدوات، قارن البروكسيات السكنية، بروكسيات مركز البيانات، والبروكسيات المحمولة مع دفاعات هدفك.

الأسئلة الشائعة

أدلة ذات صلة

• تجريف صفحات الويب الديناميكية
• ما مصادقة البروكسي
• أفضل ممارسات تجريف الويب

شغّل Selenium Wire عبر بروكسيات موثوقة

لا يكون بروكسي Selenium Wire أفضل من عناوين IP التي تقف خلفه. يمكنك توجيه أتمتة متصفحك عبر عناوين IP سكنية أو محمولة أو من مركز بيانات من مصادر أخلاقية، ضمن حركة مرور بالدفع حسب الاستخدام بدءاً من 1 دولار لكل GB. أنشئ حساب DataImpulse وابدأ بجلسات دوارة أو ثابتة.