Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

تجريف الويب بلغة Java هو في الغالب مسألة تتعلق بالعميل (client) الذي ترثه. أي كود مكتوب قبل Java 11 يعتمد على الأرجح على Apache HttpClient أو HttpURLConnection الخام، أما أي كود مكتوب بعد ذلك فيمكنه استخدام java.net.http.HttpClient مع HTTP/2 دون أي اعتمادية إضافية. أما إجابة التحليل (parsing) فقد ظلت ثابتة منذ عقد كامل: jsoup.

إذا وصلت إلى هذا المقال بحثًا عن تجريف الويب بلغة Java، فالخلاصة السريعة هي: ضع إعدادات البروكسي على باني العميل (client builder) مرة واحدة، وأعد استخدام هذا العميل، وتذكر أن JDK يتعامل مع مصادقة البروكسي عبر HTTPS بشكل مختلف عن HTTP. هذا التفصيل الأخير هو السبب الأكثر شيوعًا لعمل سكربت التجريف بلغة Java مع موقع وفشله مع موقع آخر، وسنتناوله أدناه مع الحل.


حقائق أساسية

  • المكدس التقني في Java: java.net.http.HttpClient من Java 11 للجلب (fetching)، وjsoup للتحليل (parsing)، وSelenium أو Playwright للغة Java عند الحاجة إلى العرض (rendering).
  • إعداد البروكسي هو كائن واحد، لا سطر واحد لكل طلب. قم بتهيئته مرة واحدة على العميل وأعد استخدام هذا العميل، وإلا فستفقد تجميع الاتصالات (connection pooling) وتماسك الجلسة.
  • الخطأ الذي يكلف أكبر قدر من الوقت هنا: المصادقة الأساسية (basic auth) معطلة على أنفاق https.
  • التدوير ينتمي إلى الجلسة، لا إلى الطلب. كل مهمة منطقية تحتفظ بمخرج واحد؛ والتدوير في منتصف الجلسة يكسر ملفات تعريف الارتباط (cookies) ويستدعي التحديات.
  • استخدم Java عندما يعيش الزاحف (crawler) داخل خدمة JVM قائمة، وتحتاج إلى نفس أسلوب المراقبة (observability) والنشر (deployment) المتّبع في بقية منصتك. تجنبها عندما تكتب سكربت تجريف بملف واحد قابل للاستغناء عنه، حيث تكلف الإجراءات الشكلية أكثر من المهمة نفسها.

كيف توجّه طلبات Java عبر بروكسي؟

قم بتهيئة البروكسي على العميل مرة واحدة، ثم أعد استخدام هذا العميل لكل طلب في الجلسة. إليك الصيغة العاملة الدنيا مع المصادقة.

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

ثلاثة تفاصيل أهم من الصياغة نفسها. بيانات الاعتماد (credentials) تخص البوابة (gateway)، لا الموقع المستهدف. والمهلة الزمنية (timeout) ليست اختيارية، لأن البروكسي يضيف قفزة (hop) والطلب المعلّق يحتجز عاملاً (worker). والعميل هو وحدة الهوية: نفس العميل يعني نفس تجميع الاتصالات، ونفس ملفات تعريف الارتباط، ومع الجلسة الثابتة (sticky session)، نفس عنوان المخرج.


كيف يبدو إعداد العميل ثلاثي المراحل؟

افصل بين ثلاثة اهتمامات، ويتوقف تصحيح الأخطاء (debugging) عن كونه تخمينًا. نسمي هذا إعداد العميل ثلاثي المراحل.

الجزء ما يتولاه في Java
1. النقل (Transport) الاتصال، البروكسي، المهل الزمنية، إعادة المحاولات، TLS java.net.http.HttpClient من Java 11
2. التحليل (Parsing) تحويل البايتات إلى حقول، والفشل بوضوح عندما تتغير بنية الترميز (markup) jsoup
3. الجدولة (Scheduling) التزامن (concurrency) لكل مضيف، ضبط الوتيرة، التراجع التدريجي (backoff)، إزالة التكرار تجمّع العمال (worker pool) أو قائمة الانتظار الخاصة بك، محدودة لكل هدف

تسهّل JVM دمج هذه الثلاثة معًا داخل فئة خدمة (service class) واحدة، والنتيجة زاحف لا يستطيع فيه أحد أن يجزم ما إذا كان الفشل قادمًا من الشبكة أو الترميز أو الجدولة. الحفاظ على HttpClient وjsoup والمنفّذ (executor) الخاص بك في طبقات منفصلة يعني أن خطأ 403 يشير إلى أحدها، ونتيجة محدد فارغة (empty selector result) تشير إلى آخر، وتدهورًا بطيئًا يشير إلى الثالث.

عندما يتعطل التجريف، فإن السؤال الأول هو أي جزء تعطل. حالة غير 200 تعني مشكلة في النقل. وحالة 200 مع حقول فارغة تعني مشكلة في التحليل، أو صفحة تُعرض من جانب المتصفح (client-side). أما النجاح الذي يتدهور خلال دقائق فهو مشكلة في الجدولة. دمج الثلاثة في دالة واحدة هو سبب إعادة كتابة الكثير من سكربتات التجريف بدلاً من إصلاحها.

jsoup هو المحلل الافتراضي لسبب وجيه: محددات CSS، ومعالجة متسامحة لـ HTML، وواجهة برمجية (API) صغيرة. اقتصر استخدامه على التحليل فقط ودع HttpClient يتولى الشبكة.


ما الذي يحدث خطأ في Java تحديدًا؟

ثلاث مشكلات تفسر معظم الوقت الضائع في Java، وليست أي منها بسبب حظر الهدف لك.

المصادقة الأساسية معطلة على أنفاق HTTPS. هذه هي المشكلة التي تكلف الناس نصف يوم عمل. يحظر JDK افتراضيًا مصادقة البروكسي الأساسية (Basic) على أنفاق CONNECT، لذا يعمل البروكسي الموثّق مع HTTP ويفشل مع HTTPS إلى أن تُفرغ خاصية jdk.http.auth.tunneling.disabledSchemes.

لا يُستدعى Authenticator للبروكسيات في كل إصدار. تغير السلوك عبر إصدارات JDK. إذا تم تجاهل بيانات الاعتماد، أرسل ترويسة (header) Proxy-Authorization بنفسك كحل احتياطي، وثبّت إصدار JDK في بنائك (build).

jsoup يجلب البيانات بمفرده. يفتح Jsoup.connect(url) اتصاله الخاص ولا يعرف شيئًا عن بروكسي HttpClient الخاص بك. اجلب البيانات باستخدام HttpClient، ثم مرر السلسلة النصية (string) إلى Jsoup.parse.

لا شيء من هذا غريب، وكل هذه المشكلات تبدو من الخارج وكأنها سكربت تجريف محظور، وهذا هو سبب أن رد الفعل الأول غالبًا ما يكون شراء بروكسيات لمشكلة أصلها في العميل. يشرح دليلنا حول أخطاء 403 Forbidden عند التجريف خطوات العزل بالترتيب.


كيف تحدّ من التزامن في Java؟

استخدم تجمّعًا ثابتًا (fixed pool) وإذنًا (permit)، لا منفّذًا (executor) غير محدود. تجعل الخيوط الافتراضية (virtual threads) من السهل جدًا بدء عشرة آلاف طلب دفعة واحدة، وهو ما يمثل هجوم حرمان من الخدمة (denial-of-service) ضد هدفك، وحظرًا بسبب تجاوز حد المعدل (rate-limit) بالنسبة لك.

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

أربعة أذونات لكل مضيف نقطة انطلاق معقولة للصفحات العامة. أضف تشويشًا عشوائيًا (jitter) بين عمليات الحصول على الإذن، وضع تراجعًا تدريجيًا أسيًا (exponential backoff) حول استدعاء الإرسال يوقف المهمة بأكملها بعد سلسلة من استجابات 429 أو 403 بدلاً من الاستمرار في إعادة المحاولة في مواجهة جدار مسدود.


ما مكتبات Java التي تستحق الاستخدام؟

المكتبة استخدمها من أجل ملاحظة صريحة
java.net.http.HttpClient كل ما يتعلق بالشبكة، من Java 11 فصاعدًا مضمنة في JDK، دون اعتمادية، وHTTP/2 افتراضيًا. أما مشكلة أنفاق مصادقة البروكسي فهي حدّها الحاد الوحيد
jsoup التحليل والتحديد عبر CSS الخيار الافتراضي لسبب وجيه. استخدمها للتحليل فقط، وليس أبدًا للجلب عبر بروكسي
Apache HttpClient 5 تحكم دقيق في الاتصال والبروكسي واجهة برمجية أثقل، تستحق العناء عندما تحتاج إلى تجمعات اتصال لكل مسار (per-route) أو NTLM
Playwright للغة Java الصفحات التي تُعرض من جانب المتصفح متصفح حقيقي، وتكلفة حقيقية. اقتصر استخدامه على مجموعة فرعية من الصفحات التي تحتاج إليه
HtmlUnit التصفح بلا واجهة (headless) القديم غالبًا طريق مسدود بالنسبة للمواقع الحديثة؛ فمحرك JavaScript الخاص به متأخر عن المتصفحات الحقيقية

المزيج الذي يصمد أمام الصيانة ممل عمدًا: HttpClient للشبكة، وjsoup للترميز، وPlaywright فقط حيث يكون العرض أمرًا لا مفر منه.


متى تكون Java الأداة الخاطئة؟

استخدم Java عندما يعيش الزاحف داخل خدمة JVM قائمة، وتحتاج إلى نفس أسلوب المراقبة والنشر المتّبع في بقية منصتك. تجنبها عندما تكتب سكربت تجريف بملف واحد قابل للاستغناء عنه، حيث تكلف الإجراءات الشكلية أكثر من المهمة نفسها.

العامل الحاسم هو الصيانة، لا القدرة. الزاحف المكتوب باللغة التي يستخدمها فريقك يوميًا يصمد أمام التغيير التالي في الترميز؛ أما الزاحف الذكي بلغة غير مألوفة فيُهجر عند أول عطل. وإذا كانت الإجابة الصادقة أن Java ليست الموطن المناسب لهذه المهمة، فإن زاحفًا صغيرًا في مكان آخر يكتب إلى نفس قاعدة البيانات يُعد تصميمًا مناسبًا، لا هزيمة.

هناك أمران يقعان خارج نطاق هذه الصفحة لأنهما متطابقان في كل لغة، وتكرارهما هنا لن يفعل سوى تصعيب مواكبتهما. قواعد الجلسة والتدوير، بما في ذلك سبب ضرورة احتفاظ الرحلة بمخرج ثابت واحد (sticky)، موجودة في أفضل ممارسات تدوير البروكسي. أما ما يجب فعله عند رفض طلب، وكيفية التمييز بين مشكلة الشبكة ومشكلة العميل، فهو موجود في خطأ 403 Forbidden عند التجريف، والإطار القانوني موجود في هل تجريف الويب قانوني.

بخصوص المخرج نفسه: بروكسي سكني متدوّر (rotating residential) للصفحات العامة، وثابت (sticky) للرحلات، ومركز بيانات (datacenter) لواجهات API والبيانات المفتوحة. البروكسي السكني من DataImpulse بسعر 1 دولار لكل جيجابايت عبر 195 دولة مع استهداف الدولة مضمّنًا، والمقارنة موجودة في أفضل بروكسيات لتجريف الويب.


الأسئلة الشائعة

كيف أقوم بإعداد بروكسي في Java؟

قم بتهيئته على كائن العميل (client object) بدلاً من تهيئته لكل طلب: باستخدام java.net.http.HttpClient من Java 11، تحدد مضيف البروكسي والمنفذ وبيانات الاعتماد مرة واحدة، ثم تعيد استخدام هذا العميل. إعادة استخدامه تحافظ على تجميع الاتصالات ووعاء ملفات تعريف الارتباط (cookie jar) وعنوان المخرج متسقة، وهذا ما يجعل الجلسة تبدو متماسكة.

ما المكتبة التي يجب أن أستخدمها للتحليل في Java؟

jsoup هو الخيار العملي الافتراضي. افصل بين التحليل والجلب: العميل يتولى الشبكة والمحلل يتولى الترميز، بحيث يخبرك الفشل فورًا بأي منهما تعطل.

هل أحتاج إلى متصفح بلا واجهة (headless) في Java؟

فقط عندما تُعرض الحقول من جانب المتصفح. اجلب الصفحة بشكل بسيط وابحث أولاً عن قيمة واحدة معروفة داخل HTML: إذا وُجدت، فتجاوز المتصفح تمامًا. وعندما تحتاج بالفعل إلى واحد، فإن Selenium أو Playwright للغة Java عند الحاجة إلى العرض هو الخيار المتاح في هذه البيئة (ecosystem)، ويكلف أكثر بمقدار رتبة كاملة لكل صفحة من حيث الوقت والذاكرة.

هل المصادقة الأساسية معطلة على أنفاق HTTPS؟

هذه هي المشكلة التي تكلف الناس نصف يوم عمل. يحظر JDK افتراضيًا مصادقة البروكسي الأساسية على أنفاق CONNECT، لذا يعمل البروكسي الموثّق مع HTTP ويفشل مع HTTPS إلى أن تُفرغ خاصية jdk.http.auth.tunneling.disabledSchemes.

هل تُعد Java خيارًا جيدًا لتجريف الويب؟

إنها خيار جيد عندما يعيش الزاحف داخل خدمة JVM قائمة، وتحتاج إلى نفس أسلوب المراقبة والنشر المتّبع في بقية منصتك. وهي الخيار الخاطئ عندما تكتب سكربت تجريف بملف واحد قابل للاستغناء عنه، حيث تكلف الإجراءات الشكلية أكثر من المهمة نفسها. العامل الحاسم عادة هو الصيانة لا القدرة الخام: فسكربت التجريف المكتوب باللغة التي يستخدمها فريقك يوميًا هو الذي يصمد أمام التغيير التالي في الترميز.


وجّه عميل Java الخاص بك نحو مخرج موثوق

يعمل المقتطف أعلاه بتغيير واحد فقط في بيانات الاعتماد: يوفر البروكسي السكني من DataImpulse مخارج دقيقة جغرافيًا بسعر 1 دولار لكل جيجابايت عبر 195 دولة، متدوّرة أو ثابتة، عبر HTTP وHTTPS وSOCKS5. أنشئ حسابًا واختبر هدفًا واحدًا من عميل Java الخاص بك قبل توسيع نطاق المهمة.

ذو صلة: خطأ 403 Forbidden عند التجريف · إعداد بروكسي Crawl4AI · إعداد البروكسي بلغات Go وKotlin وScala وPerl وElixir.

آخر تحديث: 17 سبتمبر 2026.


Share article: