في هذا المقال
Crawl4AI هو زاحف مفتوح المصدر مُصمم لتحويل صفحات الويب إلى نص وبيانات منظمة نظيفة وجاهزة لـ LLM، وهو يعمل عبر تشغيل متصفح حقيقي للقيام بذلك. هذه الحقيقة الوحيدة تحدد طريقة دمج البروكسي: فأنت تقوم بتهيئته على طبقة المتصفح، حيث يُطبَّق على المستند وعلى كل أصل وسكربت وطلب XHR تُطلقه الصفحة.
لذلك يُعد بروكسي Crawl4AI إعدادًا على مستوى المتصفح مرتبطًا بدلالات الجلسة، وليس خيارًا لكل طلب على حدة. يتناول هذا الدليل مكان البروكسي الصحيح ضمن المنظومة، وكيفية الحفاظ على تماسك الجلسات، وكيفية التحكم في المعدل دون قتل الإنتاجية، وكيفية منع الزحف المعتمد على LLM من أن تتجاوز تكلفته العائد منه.
حقائق أساسية
- يعمل Crawl4AI عبر تشغيل متصفح حقيقي، لذا يُهيَّأ البروكسي على طبقة المتصفح ويُطبَّق على كل طلب تجريه الصفحة، وليس فقط على المستند.
- أربع طبقات يجب ضبطها بشكل صحيح: المتصفح، البروكسي، الاستخراج، والتحكم في المعدل. معظم التكلفة ومعظم الحظر ينشآن من الطبقتين اللتين يضبطهما الناس أخيرًا.
- جلسة واحدة، مخرج واحد. سياق متصفح يحتفظ بملفات تعريف الارتباط بينما تصل طلباته من عناوين متغيرة يناقض نفسه ويتعرض للتحدي.
- العرض هو الجزء المكلف، وليس النطاق الترددي. اعرض فقط الصفحات التي تحتاج إلى ذلك واجلب الباقي بشكل عادي.
- تتناسب تكاليف استخراج LLM مع وزن الصفحة، لذا فإن تقليص DOM قبل وصوله إلى النموذج يمثل عادةً أكبر توفير منفرد في المسار.
أين يقع البروكسي في تشغيل Crawl4AI؟
في تهيئة المتصفح، وليس لكل طلب على حدة. يقوم Crawl4AI بتشغيل متصفح والتنقل به، لذا فإن البروكسي المضبوط على سياق المتصفح يوجّه كل ما تقوم به الصفحة. ضبطه في أي مكان آخر ينتج عنه أسوأ نتيجة ممكنة: يصل المستند عبر عنوان واحد بينما تصل سكربتاته واستدعاءات API الخاصة به عبر عنوان آخر، وهو تناقض تلتقطه أي منظومة كشف فورًا.
هناك أثران عمليان. أولًا، تنتمي بيانات الاعتماد إلى تهيئة إطلاق المتصفح حيث يمكن للزاحف تمريرها، باستخدام مضيف البوابة والمنفذ واسم المستخدم وكلمة المرور التي يوفرها مزودك. ثانيًا، ينبغي أن يحتفظ تشغيل الزحف الواحد بمخرج واحد طوال مدته، لأن المتصفح يحتفظ بملفات تعريف الارتباط والتخزين المحلي عبر عمليات التنقل، وهذه مرتبطة بالعنوان الذي حصل عليها.
إذا كنت تزحف عدة مواقع في مهمة واحدة، امنح كل موقع سياق متصفح خاصًا به وجلسة خاصة به بدلًا من إعادة استخدام سياق واحد عبر مضيفين غير مرتبطين.
كيف يبدو الإعداد الكامل؟ نموذج تهيئة الزحف بأربع طبقات
نموذج تهيئة الزحف بأربع طبقات يفصل بين الإعدادات التي يضبطها الناس بالترتيب الخاطئ.
| الطبقة | ما الذي تتحكم فيه | الخطأ الشائع |
|---|---|---|
| 1. المتصفح | الوضع بلا واجهة (headless)، منفذ العرض، اللغة المحلية، المنطقة الزمنية، عميل المستخدم (user agent)، أعلام الأتمتة | لغة محلية أمريكية مع مخرج ألماني، أو عميل مستخدم للهاتف المحمول على منفذ عرض لسطح المكتب |
| 2. البروكسي | البوابة، بيانات الاعتماد، استهداف الدولة، جلسة متغيرة مقابل جلسة ثابتة | تدوير لكل طلب بينما يحتفظ المتصفح بوعاء واحد لملفات تعريف الارتباط |
| 3. الاستخراج | ما الذي يتحول إلى Markdown أو مخرجات منظمة، وما إذا كان LLM متضمنًا | إرسال DOM بالكامل إلى نموذج بينما كان نطاق CSS كافيًا |
| 4. التحكم في المعدل | التزامن، التأخير، إعادة المحاولات، المهلات، التخزين المؤقت | يُضبط أخيرًا، أو لا يُضبط إطلاقًا، وهو ما يتسبب فعليًا في حظر الزحف |
اعمل من الطبقة الرابعة إلى الخلف عندما يتعطل شيء ما. في تسع من كل عشر مرات، لا يكون الزحف الذي بدأ يفشل قد اصطدم بدفاع جديد، بل اصطدم بمعدل كان يفلت به سابقًا.
كيف تحافظ على تماسك الجلسات؟
اربط سياق متصفح واحد بمخرج واحد طوال مدة حياته، ودع الزحف ينهي الموقع قبل أن تتغير الجلسة.
- استخدم جلسة ثابتة لأي موقع يمتد فيه التنقل عبر عدة صفحات، وامنح كل موقع معرّف جلسة خاصًا به حتى لا تتسرب الحالة بين المضيفين.
- طابق اللغة المحلية مع الموقع الجغرافي. إذا كان المخرج في ألمانيا، فينبغي أن تشير اللغة المحلية والمنطقة الزمنية للمتصفح إلى ألمانيا أيضًا.
- حافظ على ملفات تعريف الارتباط لكل سياق بدلًا من مسحها بين الصفحات: الزائر الذي يصل بلا ملفات تعريف ارتباط في كل مشاهدة صفحة لا يبدو كزائر حقيقي.
- دوّر بين عمليات التشغيل، لا داخلها. استخدام عناوين جديدة للزحف التالي أمر سليم؛ أما استخدام عناوين جديدة في منتصف الجلسة فهو تناقض.
يغطي دليلنا حول أفضل ممارسات تدوير البروكسي نموذج الجلسات بشكل عام، وتنطبق المبادئ نفسها على Playwright وPuppeteer، اللذين يقعان تحت العديد من الزواحف من هذا النوع.
كيف تمنع تكلفة الزحف المعتمد على LLM من الارتفاع؟
قلّل ما يصل إلى النموذج، واعرض أقل قدر ممكن. كلاهما مسألة تهيئة، لا براعة.
حدد نطاق الاستخراج. وجّه الزاحف نحو حاوية المحتوى بدلًا من الصفحة كاملة. عناصر التنقل والتذييلات وشرائط ملفات تعريف الارتباط وأشرطة المقالات ذات الصلة هي تكلفة رموز خالصة دون أي قيمة معلوماتية.
فضّل الاستخراج بمخطط على الاستخراج الحر. عندما تكون الحقول معروفة، يكون مخطط CSS أو XPath محددًا ومجانيًا وأسرع من مطالبة نموذج بإيجادها، ويمكنك حجز النموذج للصفحات التي يتغير فيها البنيان فعليًا.
خزّن مؤقتًا بشكل مكثف. إعادة زحف صفحة لم تتغير يكلف نطاقًا تردديًا ووقت عرض ورموزًا. خزّن مؤقتًا حسب URL مع نافذة حداثة، وقارن الفروقات قبل إعادة المعالجة.
اعرض بشكل انتقائي. ليست كل صفحة بحاجة إلى متصفح. إذا كان المحتوى موجودًا في HTML مُصيَّر من جانب الخادم، فإن الجلب العادي أرخص بمقدار كبير، وتعمل المسارات المختلطة التي تجلب أولًا وتعرض فقط عند الفشل بشكل جيد عمليًا.
عادةً ما تقلل هذه العناصر الأربعة معًا من تكلفة الزحف العامل بأكثر مما يفعله أي قرار متعلق بالبروكسي.
أي نوع من البروكسي يناسب هذا النوع من الزحف؟
طابق المخرج مع الهدف ونمط الجلسة، وليس مع الزاحف.
| الهدف | الاستخدام | تجنّبه عندما |
|---|---|---|
| مواقع موجهة للمستهلكين، تنقل عبر صفحات متعددة | سكني ثابت، جلسة واحدة لكل موقع | يكون الموقع واجهة API مفتوحة أو توثيقًا، حيث يكون مركز البيانات كافيًا وأرخص |
| زحف واسع وضحل عبر مضيفين كثر | سكني متغير، جلسة واحدة لكل مضيف | يحتاج كل مضيف إلى جلسة طويلة ذات حالة، وهو ما يكسره التدوير |
| التوثيق، البيانات المفتوحة، خدماتك الخاصة | مركز بيانات | يعامل الهدف نطاقات الاستضافة على أنها أتمتة |
| محتوى أو تسعير خاص بمنطقة معينة | سكني مثبَّت على الدولة | يكون المحتوى متطابقًا في كل مكان، حيث لا تشتري التكلفة الإضافية أي شيء |
يبلغ سعر البروكسي السكني من DataImpulse 1 دولار لكل غيغابايت عبر 195 دولة، مع HTTP وHTTPS وSOCKS5، متغير أو ثابت، مع استهداف الدولة متضمَّنًا. تسحب عمليات الزحف المعتمدة على المتصفح الأصول بالإضافة إلى المستندات، لذا فإن انضباط النطاق الترددي مهم: احظر الصور والخطوط التي لا تحتاجها وستمتد الميزانية نفسها عدة أضعاف.
ما هي الحدود التي يجدر معرفتها؟
البروكسي ليس إذنًا. اقرأ ملف robots.txt وشروط المواقع التي تزحفها، والتزم بها، وفضّل واجهات API الرسمية حيثما وُجدت. تغطي نظرتنا العامة حول ما إذا كان تجريف الويب قانونيًا الإطار الأوسع.
للعرض سقف. الزحف المعتمد على المتصفح شَرِه للذاكرة والمعالج؛ فالتزامن الذي يبدو جيدًا على حاسوب محمول قد يُرهق حاوية صغيرة. قِس عدد الصفحات في الدقيقة لكل غيغابايت من ذاكرة الوصول العشوائي قبل التوسع الأفقي.
استخراج LLM ليس مجانيًا أو دقيقًا تمامًا. النماذج تعيد الصياغة، وتختلق أحيانًا، وتكلف مقابل كل صفحة. تحقق من عينة مقارنة بالمصدر، واحتفظ بالاستخراج المحدد للحقول التي يجب أن تكون صحيحة.
الحظر عادةً ما يكون بسبب وتيرة الطلبات. إذا كان زحف عمل بالأمس يفشل اليوم، تحقق من المعدل ومعالجة الجلسات قبل شراء أي شيء. يستعرض دليلنا حول أخطاء 403 Forbidden عند التجريف التشخيص بالترتيب.
الأسئلة الشائعة
أين أضبط البروكسي في Crawl4AI؟
في تهيئة المتصفح، حتى يُطبَّق على المستند وعلى كل أصل وسكربت وطلب XHR تُطلقه الصفحة. ضبطه لكل طلب على حدة يجعل الصفحة تحمّل مواردها الخاصة عبر عنوان مختلف، وهو تناقض تلتقطه منظومات الكشف فورًا.
هل يجب أن أستخدم جلسات متغيرة أم ثابتة؟
استخدم جلسة ثابتة لأي موقع يتنقل فيه الزحف عبر عدة صفحات، لأن المتصفح يحتفظ بملفات تعريف الارتباط وهي مرتبطة بالعنوان الذي حصل عليها. التدوير بين عمليات التشغيل أمر سليم؛ أما التدوير داخل الجلسة بينما يستمر وعاء ملفات تعريف الارتباط فهو ما ينتج عنه التحديات.
كيف أقلل تكلفة الرموز في زحف معتمد على LLM؟
حدد نطاق الاستخراج على حاوية المحتوى بدلًا من DOM بأكمله، واستخدم مخططات CSS أو XPath حيثما تكون الحقول معروفة واحجز النموذج للصفحات المتغيرة فعليًا، وخزّن مؤقتًا حسب URL مع نافذة حداثة، واعرض فقط الصفحات التي تتطلب متصفحًا.
هل أحتاج إلى بروكسيات سكنية من أجل Crawl4AI؟
فقط حيث يبرر الهدف ذلك: المواقع الموجهة للمستهلكين والمحتوى الخاص بمنطقة معينة. التوثيق والبيانات المفتوحة وواجهات API تكون مناسبة من مخرج مركز بيانات وتكلف أقل. اتخذ القرار حسب كل هدف بدلًا من ضبط نوع مخرج واحد للزاحف بأكمله.
كان الزحف يعمل بالأمس ويفشل اليوم. ما الذي تغير؟
عادةً ما يكون السبب هو معدلك، لا دفاعهم. اخفض إلى عامل واحد مع اهتزاز عشوائي وأعد الاختبار؛ فإذا نجح، يكون السبب هو وتيرة الطلبات، ولن يصلحه التدوير عند المعدل القديم. فقط بعد ذلك عليك اختبار ما إذا كان نوع مخرج مختلف يغيّر النتيجة.
امنح كل عملية زحف مخرجًا ثابتًا
بالنسبة إلى عمليات الزحف المعتمدة على المتصفح، فإن الجلسة المرتبطة بمخرج واحد دقيق جغرافيًا هي ما يحافظ على تماسك الحالة. توفر بروكسيات DataImpulse السكنية جلسات ثابتة أو متغيرة بسعر 1 دولار لكل غيغابايت عبر 195 دولة مع استهداف الدولة متضمَّنًا، عبر HTTP وHTTPS وSOCKS5. أنشئ حسابًا واربطه على طبقة المتصفح، ثم راجع حالة استخدام تجريف الويب لدينا للحصول على الإعداد الأوسع.
أدلة ذات صلة: لماذا يتم حظر الزواحف · هدف ملموس: متاجر Shopify · بروكسيات لتجريف الويب.
آخر تحديث: 17 سبتمبر 2026.
