Web scraping proxy setup by language - Go, Kotlin, Scala, Perl and Elixir - DataImpulse

هذه صفحة مرجعية وليست درسا تعليميا: تهيئة البروكسي الفعالة للتجريف في خمس لغات يكون فيها الجمهور صغيرا بما يكفي بحيث يكون تخصيص دليل منفصل لكل لغة تكرارا للشيء نفسه خمس مرات. Go وKotlin وScala وPerl وElixir، مع الكود واختيار المكتبة والخطأ الواحد الذي يكلف أكبر قدر من الوقت في كل منها.

القاعدة التي تنطبق عليها جميعا واحدة. يجب أن يكون إعداد بروكسي تجريف الويب على مستوى كائن العميل (client object)، بحيث يُهيأ مرة واحدة ثم يُعاد استخدامه، لأن هذا العميل هو ما يحمل مجمع الاتصالات (connection pool) وملف تعريف الارتباط (cookie jar)، وفي حالة الجلسة الثابتة (sticky session)، عنوان الخروج. أي شيء يُنشئ عميلا جديدا مع كل طلب يفقد هذه العناصر الثلاثة جميعا.


حقائق أساسية

  • قاعدة واحدة تشمل كل لغة هنا: هيئ البروكسي على كائن العميل مرة واحدة ثم أعد استخدام هذا العميل، لأن العميل هو ما يحمل مجمع الاتصالات وملفات تعريف الارتباط وهوية عنوان الخروج.
  • Go: http.Transport مع http.ProxyURL، وcolly لمهام الزاحف (crawler). الخطأ الشائع هو أن http.Client ليس له مهلة زمنية افتراضية (timeout).
  • Kotlin: OkHttp مع proxyAuthenticator. الخطأ الشائع هو مصادق (authenticator) لا يعيد قيمة null أبدا فيدخل في حلقة عند كلمة مرور خاطئة.
  • Scala: sttp مع خيارات backend. الخطأ الشائع هو تعطيل JDK لمصادقة Basic proxy عبر أنفاق HTTPS.
  • Perl وElixir: يحترم LWP متغير HTTPS_PROXY من بيئة النظام ويمكن أن يتجاوز الكود الذي كتبته؛ وفي Elixir تنتمي خيارات البروكسي إلى المهايئ (adapter)، لا إلى Req.

قاعدة الأجزاء الثلاثة التي تنطبق على كل لغة هنا

افصل بين طبقات النقل (transport) والتحليل (parsing) والجدولة (scheduling)، فإذا تعطل التجريف يخبرك ذلك أين حدث العطل بالضبط.

الجزء المسؤولية العرض عند الفشل
1. النقل (Transport) الاتصال، البروكسي، المهلات الزمنية، إعادة المحاولة، TLS حالة استجابة غير 200، مهلات زمنية، أخطاء TLS
2. التحليل (Parsing) تحويل البايتات إلى حقول، والفشل بوضوح عند تغيّر بنية الصفحة (markup) استجابة 200 مع حقول فارغة
3. الجدولة (Scheduling) التزامن لكل مضيف (host)، ضبط الوتيرة، التراجع التدريجي (backoff) معدل نجاح يتراجع خلال دقائق

تنفذ كل لغة أدناه هذه الأجزاء الثلاثة نفسها بأسماء مختلفة. وقسم النقل (transport) هو المكان الذي يوجد فيه البروكسي في اللغات الخمس جميعا.


Go: إعداد البروكسي والمكتبات والخطأ الذي يجب تجنبه

حزمة الأدوات: net/http مع http.Transport مخصص للجلب، وgoquery أو colly لزاحف كامل للتحليل، وchromedp عندما تحتاج الصفحة إلى JavaScript.

proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
    Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
    Timeout:   30 * time.Second,
}
resp, err := client.Get("https://example.com")

لا توجد مهلة زمنية افتراضية. ينتظر http.Client بلا Timeout إلى الأبد. مضيف واحد معلّق يوقف مجمع العمال (worker pool) بالكامل بينما تبدو كل مقاييسك سليمة.

أجسام استجابة غير مغلقة. يجب إغلاق كل جسم استجابة (response body) وإلا لن يعود الاتصال إلى المجمع أبدا، وتنهار الإنتاجية بصمت بعد بضعة آلاف من الطلبات.

تتولى colly مهام الزاحف نيابة عنك: فهي تملك مبدّل بروكسي (proxy switcher) للتدوير، وحدود معدل لكل نطاق (per-domain rate limits)، وقائمة انتظار مدمجة، لذا استخدمها قبل أن تكتب جدولة خاصة بك.

استخدم Go عندما تكون Go بالفعل جزءا من حزمة أدواتك، وتحتاج إلى تزامن عالٍ مع استهلاك ذاكرة يمكن التنبؤ به، وتريد ملفا تنفيذيا ثابتا واحدا (static binary) على جهاز الزاحف. تجنبها عندما يحتاج الهدف إلى متصفح حقيقي لمعظم الصفحات، حيث تملك بيئتا Python وNode أدوات أكثر نضجا.


Kotlin: إعداد البروكسي والمكتبات والخطأ الذي يجب تجنبه

حزمة الأدوات: OkHttp، أو عميل Ktor إذا كنت تستخدم Ktor بالفعل للجلب، وjsoup للتحليل، وPlaywright أو Selenium على JVM عندما يكون العرض (rendering) مطلوبا.

val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
    .proxy(proxy)
    .proxyAuthenticator { _, response ->
        response.request.newBuilder()
            .header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
            .build()
    }
    .callTimeout(Duration.ofSeconds(30))
    .build()

المصادق يدخل في حلقة لا نهائية عند كلمة مرور خاطئة. يعيد OkHttp استدعاء المصادق (authenticator) إلى أن يستسلم. أعد null بعد المحاولة الأولى الفاشلة، وإلا تحول بيان اعتماد خاطئ إلى عاصفة من الطلبات.

عميل واحد، جلسات متعددة. يشارك OkHttp مجمع الاتصالات وملف تعريف الارتباط عبر جميع الاستدعاءات. للحصول على هوية مستقلة لكل جلسة، أنشئ عميلا لكل جلسة أو ثبّت ملف تعريف ارتباط تتحكم فيه بنفسك.

وتنطبق هنا أيضا قاعدة الأنفاق (tunnelling) في JDK التي تسبب مشاكل في Java، إذا لجأت إلى عميل JDK الاحتياطي: تحتاج مصادقة Basic proxy عبر HTTPS إلى مسح خاصية disabled-schemes. أما مصادق OkHttp الخاص فيتجنب هذه المشكلة.

استخدم Kotlin عندما تعمل على JVM وتريد coroutines وAPI حديثا دون الطقوس الشكلية للغة Java. تجنبها عندما لا تملك الفرقة خبرة في JVM، إذ يهيمن تعقيد النشر (deployment) على الكود نفسه.


Scala: إعداد البروكسي والمكتبات والخطأ الذي يجب تجنبه

حزمة الأدوات: sttp مع الـ backend الذي تختاره للجلب، وjsoup من Scala أو scala-scraper للتحليل، وPlaywright على JVM إذا كانت الصفحات تُعرض في جانب العميل (client-side).

import sttp.client3._

val backend = HttpClientSyncBackend(
  options = SttpBackendOptions.httpProxy(
    "gw.dataimpulse.com", 823, "USER", "PASS")
)

val response = basicRequest
  .get(uri"https://example.com")
  .readTimeout(30.seconds)
  .send(backend)

الـ backend هو ما يحدد كل شيء. sttp هي واجهة فقط؛ أما دعم البروكسي والمهلات الزمنية والبث (streaming) فتأتي من الـ backend الذي تختاره. راجع توثيق ذلك الـ backend بدلا من توثيق sttp عندما يتصرف شيء ما بشكل غريب.

مشكلة أنفاق JDK مرة أخرى. إذا كان الـ backend يغلّف عميل JDK، فإن مصادقة Basic proxy عبر HTTPS تكون معطلة افتراضيا وتحتاج إلى مسح خاصية jdk.http.auth.tunneling.disabledSchemes.

تغلّف scala-scraper مكتبة jsoup بواجهة API خاصة بـ Scala، وتستحق استخدامها إذا كان تحليلك يتجاوز حفنة من المحددات (selectors).

استخدم Scala عندما يغذي الزاحف خط أنابيب Spark أو بث بيانات مكتوبا بالفعل بلغة Scala، وحيث يهم ضبط الضغط الخلفي (backpressure). تجنبها عندما تكون المهمة مجرد جلب وتحليل بسيط دون خط أنابيب تالٍ.


Perl: إعداد البروكسي والمكتبات والخطأ الذي يجب تجنبه

حزمة الأدوات: LWP::UserAgent، أو Mojo::UserAgent للحصول على API حديث، للجلب؛ وHTML::TreeBuilder أو Mojo::DOM للتحليل؛ ولا توجد أداة عرض داخل العملية (in-process)، فاستدعِ أداة خارجية عندما يكون العرض مطلوبا.

use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;

# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
           ->https('http://USER:[email protected]:823');

يحتاج HTTPS عبر بروكسي إلى الوحدات الصحيحة. يحتاج LWP إلى LWP::Protocol::https وIO::Socket::SSL يعمل بشكل صحيح، كما أنه يحترم متغير البيئة HTTPS_PROXY، الذي يتجاوز بصمت ما ضبطته في الكود.

متغيرات البيئة تفوز بصمت. يلتقط env_proxy إعدادات النظام التي نسيتها. اضبط البروكسيات صراحة، وفي المهام المجدولة، امسح متغيرات البيئة حتى لا يتمكن إعداد على مستوى المضيف من إعادة توجيه حركة المرور الخاصة بك.

توفر لك Mojo::UserAgent طلبات غير حاجبة (non-blocking) وAPI شبيها بـ jQuery للتعامل مع DOM في تبعية واحدة، ما يجعلها نقطة انطلاق أفضل لأدوات تجريف Perl الجديدة.

استخدم Perl عندما تكون Perl هي لغة النظام المحيط، وعادة في أدوات التشغيل (ops) والبيانات طويلة الأمد. تجنبها عندما تبدأ من الصفر دون وجود Perl في حزمة الأدوات.


Elixir: إعداد البروكسي والمكتبات والخطأ الذي يجب تجنبه

حزمة الأدوات: Req فوق Finch للجلب، وFloki للتحليل، وWallaby أو خدمة متصفح خارجية عندما يكون العرض مطلوبا.

Req.get!("https://example.com",
  connect_options: [
    proxy: {:http, "gw.dataimpulse.com", 823, []},
    proxy_headers: [
      {"proxy-authorization",
       "Basic " <> Base.encode64("USER:PASS")}
    ]
  ],
  receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()

خيارات البروكسي تنتمي إلى المهايئ (adapter). تمرر Req خيارات connect_options إلى Finch وMint. وإذا كنت تستخدم حزمة أقدم قائمة على HTTPoison أو hackney، فإن شكل الخيارات مختلف، وهذا سبب فشل المقتطفات المنسوخة بصمت في كثير من الأحيان.

عملية واحدة لكل URL ليست خطة جيدة. إنشاء Task لكل رابط يبدأ كل الطلبات دفعة واحدة. أما Task.async_stream مع max_concurrency، مضبوطا لكل مضيف، فهو الحد الاصطلاحي المناسب.

تحافظ Floki مع محددات CSS على طابع تصريحي (declarative) للتحليل، كما أن معالجة إعادة المحاولة وإعادة التوجيه المدمجة في Req تزيل معظم الكود المتكرر الذي يكتبه الناس يدويا.

استخدم Elixir عندما يعمل الزاحف داخل نظام Elixir أو Phoenix موجود بالفعل وتريد إشرافا (supervision) وتزامنا دون تكلفة إضافية. تجنبها عندما تحتاج إلى خط أنابيب يعتمد بكثافة على المتصفح، حيث تكون البيئة المحيطة أضعف مما هي عليه في Node أو Python.


ما اللغة التي ينبغي أن تستخدمها فعليا؟

العامل الحاسم هو الصيانة لا القدرة. زاحف مكتوب باللغة التي تستخدمها فرقتك يوميا يصمد أمام أي تغيير قادم في بنية الصفحة (markup)؛ أما الزاحف الذكي المكتوب بلغة غير مألوفة فيُهجر عند أول عطل.

اللغة الأنسب لـ نقطة الضعف
Go تزامن عالٍ مع استهلاك ذاكرة يمكن التنبؤ به، وملف تنفيذي ثابت واحد أدوات عرض المتصفح أضعف مما هي في Python أو Node
Kotlin فرق العمل القائمة على JVM التي تريد coroutines وAPI حديثا ثقل عملية النشر (deployment) لمهمة صغيرة
Scala الزواحف التي تغذي خطوط أنابيب Spark أو بث البيانات سلوك يعتمد على الـ backend وإعداد معقد
Perl أدوات التشغيل (ops) والبيانات الموجودة بالفعل بلغة Perl لا يوجد متصفح عملي داخل العملية (in-process)
Elixir أنظمة Phoenix التي تريد إشرافا وتزامنا دون تكلفة إضافية بيئة أتمتة متصفح محدودة

إذا لم تكن لغتك موجودة هنا، فإن قاعدة الأجزاء الثلاثة نفسها تنطبق عليها: تغطي أدلتنا المنفصلة Java، وC#، وPHP، وR، وC++، وVBA وExcel، وJavaScript.


ما الذي يبقى ثابتا في كل مكان، وأين تكمن الحدود؟

هناك ثلاثة أمور لا تتغير مع اللغة. الجلسات تمتلك عناوين الخروج، فرحلة عبر عدة صفحات تحتفظ بعنوان ثابت واحد طوال حياتها: القواعد موجودة في أفضل ممارسات تدوير البروكسي. والرفض قرار يستدعي التشخيص لا إعادة المحاولة، وهو ما يشرحه دليلنا حول خطأ 403 Forbidden عند التجريف بالترتيب. والبروكسي لا يغيّر سوى عنوان الخروج: فهو لا ينفّذ JavaScript، ولا يصلح عميلا غير متسق، ولا يجعل معدل طلبات عدوانيا مقبولا.

بخصوص القواعد: احترم ملف robots.txt وشروط الموقع، وفضّل واجهات API الرسمية، وابتعد عن أي شيء خلف تسجيل دخول، وتعامل مع البيانات الشخصية باعتبارها مسألة أساس قانوني لا مسألة تحليل بيانات. نحن لا نتناول حل CAPTCHA أو تجاوز ضوابط الوصول. معلومات عامة، وليست استشارة قانونية: راجع هل تجريف الويب قانوني.


الأسئلة الشائعة

كيف أضبط بروكسي في Go؟

حلّل URL البروكسي مع بيانات الاعتماد، وضع http.ProxyURL على http.Transport، وامنح http.Client مهلة زمنية صريحة، لأنه لا يملك واحدة افتراضيا. أعد استخدام ذلك العميل حتى يبقى مجمع الاتصالات وأي جلسة ثابتة سليمين.

لماذا يدخل مصادق بروكسي OkHttp في Kotlin في حلقة؟

لأن OkHttp يواصل استدعاء المصادق (authenticator) إلى أن ينجح أو يستسلم. أعد null بعد المحاولة الأولى الفاشلة حتى يفشل بيان الاعتماد الخاطئ بسرعة بدلا من أن يتحول إلى عاصفة من الطلبات ضد البوابة (gateway).

لماذا تفشل مصادقة Basic proxy عبر HTTPS على JVM؟

يعطّل JDK مصادقة Basic على أنفاق CONNECT افتراضيا، لذا يعمل البروكسي المصادَق عليه مع HTTP ويفشل مع HTTPS. امسح خاصية jdk.http.auth.tunneling.disabledSchemes، أو استخدم عميلا مثل OkHttp يرسل ترويسة (header) Proxy-Authorization بنفسه.

لماذا يتجاهل سكربت Perl الخاص بي البروكسي الذي ضبطته؟

يحترم LWP متغيري البيئة HTTPS_PROXY وHTTP_PROXY، ويلتقط env_proxy إعدادات على مستوى المضيف قد لا تعرف بوجودها. اضبط البروكسيات صراحة في الكود وامسح متغيرات البيئة في المهام المجدولة حتى لا يتمكن إعداد على مستوى الجهاز من إعادة توجيه حركة المرور الخاصة بك.

أين تذهب خيارات البروكسي في Elixir؟

على المهايئ (adapter) لا على Req نفسها: تُمرَّر connect_options إلى Finch وMint، وهذا سبب عدم عمل المقتطفات المكتوبة لحزم قديمة قائمة على hackney بصمت. طابق شكل الخيارات مع المهايئ الذي تستخدمه فعليا.


بيان اعتماد واحد، لكل اللغات أعلاه

يعمل كل مقتطف في هذه الصفحة مع بيان اعتماد بوابة (gateway) من DataImpulse: عناوين خروج سكنية بسعر $1 لكل غيغابايت عبر 195 دولة، جلسات متدورة أو ثابتة، HTTP وHTTPS وSOCKS5، مع استهداف الدول متضمنا. أنشئ حسابا واختبر هدفا واحدا من عميلك الخاص قبل التوسع.

ذو صلة: بروكسيات لتجريف الويب · إعداد بروكسي Crawl4AI · حالة استخدام تجريف الويب.

آخر تحديث: 17 سبتمبر 2026.


Share article: