في هذا المقال
من السهل إيجاد قائمة برموز حالة HTTP، لكن قائمة مكتوبة خصيصًا لمن يشغّلون الزواحف ليست كذلك. هذه الصفحة هي تلك القائمة: ماذا يعني كل رمز عندما يستقبله الزاحف الخاص بك، وهل يستحق إعادة المحاولة، وأي الرموز تشير إلى مشكلة في التهيئة الخاصة بك بدلًا من الهدف.
الفكرة المنظِّمة بسيطة. كل استجابة تخبرك بالقيام بواحد فقط من أربعة أمور: الاستمرار، الانتظار، تغيير الهوية التي تظهر بها، أو التوقف. إتقان هذا التصنيف هو ما يفرّق في الغالب بين زاحف يعمل لأشهر وآخر يستنزف مجموعة عناوين خلال أسبوع.
حقائق أساسية
- رمز الحالة قرار توجيه، وليس نتيجة. إعادة المحاولة، التباطؤ، تغيير الهوية، أو التوقف: كل رمز يقابل واحدًا فقط من هذه الأربعة، والخلط بينها هو سبب استنزاف الزواحف لمجموعات العناوين.
- 200 لا يعني النجاح. رمز 200 مع حاوية بيانات فارغة يعني أن البوابة سمحت لك بالمرور وأن الصفحة تُعرَّض من جهة العميل، وهذه مشكلة في التحليل وليست في الوصول.
- 407 مسؤوليتك، و403 مسؤولية الهدف. 407 يعني أن بيانات اعتماد البروكسي الخاصة بك خاطئة؛ 403 يعني أن الهدف رفضك. يتشابهان في السجلات لكن يحتاجان إلى إصلاحات متعاكسة.
- 429 يخبرك بالمعدل، و403 يخبرك بالهوية. رمز 429 مصحوبًا بـ Retry-After هو تفاوض؛ أما 403 مع نص قصير فهو حكم نهائي.
- لا تعِد المحاولة عشوائيًا أبدًا. إعادة محاولة 404 أو 451 تهدر الميزانية، وفي مجموعات العناوين المشتركة تضر بالسمعة التي تعتمد عليها مهام أخرى.
كيف يجب أن يقرأ الزاحف رموز الحالة؟ قاعدة الفرز من 4 مراحل
صنّف كل استجابة ضمن واحدة من أربع مراحل قبل كتابة أي كود للتعامل معها. نطلق عليها قاعدة الفرز من 4 مراحل.
| المرحلة | الرموز | الإجراء |
|---|---|---|
| 1. المتابعة | 200, 201, 204, 206, 301, 302, 304 | حلّل، تابع، أو تجاوز. لا حاجة لإصلاح شيء، رغم أن 200 لا تزال بحاجة إلى فحص المحتوى |
| 2. الانتظار | 429, 503, 504, 408 | تباطأ مع إضافة تذبذب عشوائي، التزم بـ Retry-After، وقلّل التزامن. الهدف يخبرك أن المعدل غير مناسب |
| 3. تغيير الهوية | 403، 401 عندما يكون الوصول عامًا، 421 | شخّص المشكلة قبل التصرف: عنوان الخروج، وتناسق TLS والترويسات، وبيئة التشغيل. إعادة المحاولة دون تغيير لا تحقق شيئًا |
| 4. التوقف | 400, 404, 405, 410, 451، وتكرار 403 على المسار نفسه | الطلب خاطئ، أو المورد غير موجود، أو الوصول مرفوض بقرار. سجّل الأمر وانتقل إلى ما يليه |
الخطأ المكلف هو التعامل مع المرحلة الثالثة على أنها المرحلة الثانية. هوية محظورة تُعاد محاولتها مئة مرة تعني مئة نقطة بيانات إضافية تؤكد التصنيف، وفي مجموعة عناوين مشتركة يؤدي ذلك إلى إضعاف عناوين تستخدمها مهام أخرى.
ما الرموز التي تظهر فعليًا في عمليات تجريف الويب، وماذا تعني؟
| الرمز | ماذا يعني بالنسبة للزاحف | هل تُعاد المحاولة؟ |
|---|---|---|
| 200 OK | البوابة سمحت بالمرور. قد يظل المحتوى مفقودًا إذا كانت الصفحة تُعرَّض من جهة العميل | لا، لكن تحقق من الحقول المتوقعة |
| 204 No Content | استجابة صالحة، لا يوجد شيء لتحليله. شائع في نقاط التتبع وواجهات API | لا |
| 301 / 302 | تم النقل. سلسلة إعادة توجيه تؤدي إلى صفحة تسجيل دخول أو بوابة دولة هي إشارة وليست ضوضاء | تابعها، لكن سجّل الرابط النهائي |
| 304 Not Modified | طلبك الشرطي نجح والصفحة لم تتغير. أرخص استجابة ممكنة | لا، واسعَ للحصول على المزيد منها |
| 400 Bad Request | طلبك غير صحيح البنية، غالبًا بسبب سلسلة استعلام أو ترويسة معطوبة | لا، أصلح الكود |
| 401 Unauthorized | الهدف يطلب بيانات اعتماد. مع البيانات العامة يعني هذا عادةً أنك وصلت إلى مسار مقيّد | لا |
| 403 Forbidden | تم فهم الطلب ورفضه. قد يكون بسبب الهوية أو السمعة أو النمط، وأحيانًا قاعدة جغرافية بسيطة | ليس دون تغيير |
| 404 Not Found | المورد غير موجود، أو 404 ناعم يعيد صفحة دون بيانات | لا |
| 405 Method Not Allowed | فعل خاطئ، عادةً نقطة نهاية POST تم الوصول إليها بطريقة GET | لا، أصلح الكود |
| 407 Proxy Authentication Required | بيانات اعتماد البروكسي الخاصة بك مفقودة أو خاطئة. لا علاقة للأمر بالهدف | لا، أصلح التهيئة |
| 408 Request Timeout | الخادم توقف عن الانتظار. غالبًا بسبب قفزة بروكسي بطيئة | نعم، مع تباطؤ تدريجي |
| 410 Gone | تمت إزالته عن قصد. أقوى من 404 | لا، وأسقطه من قائمة الانتظار |
| 421 Misdirected Request | اتصال أُعيد استخدامه لمضيف لا يخدمه، يظهر مع دمج اتصالات HTTP/2 عبر البروكسيات | نعم، على اتصال جديد |
| 429 Too Many Requests | تجاوز حد المعدل. اقرأ Retry-After؛ إنها أصدق ترويسة في عالم تجريف الويب | نعم، بعد الانتظار |
| 451 Unavailable For Legal Reasons | محظور لأسباب قانونية أو تنظيمية، وغالبًا جغرافية | لا |
| 500 Internal Server Error | خطأ من جانبهم، أو أن حمولة طلبك تسببت في حدوثه | مرة أو مرتين، ثم توقف |
| 502 / 504 | أخطاء بوابة. قد تأتي من طرف الهدف أو من قفزة البروكسي الخاصة بك | نعم، مع تباطؤ تدريجي |
| 503 Service Unavailable | محمّل بشكل زائد أو يتخلص من الحمل عمدًا، بما في ذلك التخلص الموجّه لمكافحة الزواحف الآلية | نعم، ببطء |
| 520 إلى 526 | خاصة بـ Cloudflare: الخادم الأصلي أعاد شيئًا غير صالح، أو انتهت مهلته، أو فشلت مصافحة TLS معه | نعم، لكن تعامل مع التكرار كإشارة |
ما الرموز التي تشير إلى البروكسي الخاص بك وليس إلى الموقع؟
ثلاثة رموز، والخلط بينها وبين رفض من جانب الهدف يهدر أيامًا.
407 Proxy Authentication Required. رفضت البوابة بيانات اعتمادك. تحقق من تنسيق اسم المستخدم، وكلمة المرور، وما إذا كانت لاحقة الجلسة أو الدولة صحيحة الصياغة. لن تفيد إعادة المحاولة أو التدوير مهما تكررا، لأن الطلب لم يصل إلى الهدف أصلًا.
502 و504 مباشرة بعد تغيير المسار. خطأ بوابة يظهر في اللحظة التي تبدّل فيها عناوين الخروج، ويختفي عند العودة، يكون غالبًا بسبب القفزة الوسيطة وليس المصدر الأصلي. اختبر الرابط نفسه مباشرة وعبر منفذ خروج ثانٍ قبل أن تُلقي باللوم على الموقع.
421 Misdirected Request. نادر، ويكون تقريبًا دائمًا بسبب إعادة استخدام الاتصال عبر مضيفين مختلفين من خلال بروكسي تحت HTTP/2. عطّل دمج الاتصالات أو خصّص مضيفًا واحدًا لكل اتصال.
أسرع طريقة للفصل بين الجانبين هي طلب تحكم: اجلب رابطًا تعرف أنه مستقر، مثل خدمة تعكس عنوان IP، عبر منفذ الخروج نفسه. إذا فشل هذا أيضًا، فالمشكلة في مسارك؛ وإذا نجح، فالهدف هو من يرفضك. يستعرض دليلنا حول أخطاء 403 Forbidden عند تجريف الويب تسلسل العزل الكامل.
ما سياسة إعادة المحاولة التي تنجح فعليًا؟
أربع قواعد تغطي تقريبًا كل حالة، وهي مملة عن قصد.
- أعد المحاولة فقط في المرحلة الثانية وفي أخطاء بنية تحتية مختارة من المرحلة الرابعة. 429، 503، 504، 408، 500 مرة أو مرتين. لا تفعل ذلك أبدًا مع 400، 404، 405، 410، 451، ولا مع 403 دون تغيير.
- تباطؤ أُسّي مع تذبذب عشوائي، يبدأ من ثانية واحدة تقريبًا وينتهي عند حد أقصى دقيقة واحدة. دون التذبذب، تعيد العمليات المتوازية المحاولة في وقت واحد وتُعيد إنتاج الاندفاع الذي تسبب في الحد أصلًا.
- التزم بـ Retry-After حرفيًا. إذا طلب منك الموقع الانتظار ثلاثين ثانية، فإن الانتظار خمس ثوانٍ فقط قرار يعيدك إلى تحديد المعدل مجددًا.
- استخدم قاطع دارة لكل مضيف. بعد بلوغ عتبة من الإخفاقات المتتالية، أوقف المضيف بالكامل خلال فترة تهدئة بدلًا من التدهور التدريجي نحو الحظر.
| الحالة | استخدم إعادة المحاولة عندما | تجنّب إعادة المحاولة عندما |
|---|---|---|
| 429 مع Retry-After | تلتزم بالمهلة المحددة وتخفض التزامن بعدها | تعيد المحاولة داخل المهلة المحددة، وهو ما يضمن حدًا ثانيًا |
| 503 أو 504 | الفشل متقطع عبر مضيفين كثيرين، ما يشير إلى الحمل | مضيف واحد يفشل باستمرار: هذا تخلص من الحمل موجّه ضدك تحديدًا |
| 500 | حدث مرة واحدة على رابط يعمل عادةً بشكل طبيعي | يتكرر مع الحمولة نفسها، ما يعني أن طلبك يُحدِث خللًا لديهم |
| 403 | لا تعِد المحاولة أبدًا دون تغيير؛ فقط بعد عزل متغير واحد | دائمًا، إلى أن تختبر عنوان الخروج والعميل والوتيرة كل على حدة |
| 404، 410، 451 | أبدًا | دائمًا: المورد غير موجود أو الوصول مرفوض كسياسة |
عدّادان يجعلان هذا الأمر قابلًا للقياس: عدد الإخفاقات حسب الرمز لكل مضيف في الساعة، ونسبة إعادة المحاولات إلى الطلبات الناجحة. عندما يرتفع العداد الثاني فوق واحد تقريبًا من كل خمسة، فإن وتيرتك خاطئة بصرف النظر عما يقوله العداد الأول.
لماذا يعني رمز 200 أحيانًا فشلًا؟
لأن اجتياز البوابة والحصول على البيانات حدثان مختلفان. توجد أربع حالات تنتج رمز 200 دون أي محتوى مفيد.
العرض من جهة العميل. يكون HTML مجرد هيكل فارغ وتصل البيانات عبر XHR. الحل إما استخدام محرك متصفح أو، وهو الأفضل، إيجاد نقطة نهاية JSON التي تستدعيها الصفحة نفسها.
404 ناعم. يقدّم الموقع صفحة “غير موجود” ودّية برمز حالة 200. تحقق من وجود عنصر معروف بدلًا من الاعتماد على رمز الحالة.
صفحة تحدٍّ. صفحة وسيطة تعيد 200 بينما تطلب من العميل إثبات هويته. اكتشفها من خلال الحجم ووجود سكربت التحدي، وليس من رمز الحالة.
حاجز جغرافي أو حاجز موافقة. رمز 200 يعيد شعار ملفات تعريف الارتباط أو بوابة دولة بدلًا من المحتوى، وهذا سبب ضرورة إدراج دولة الخروج ضمن مجموعة بياناتك.
القاعدة العملية: لا تعامل رمز الحالة أبدًا كتأكيد على النجاح. تحقق من المحتوى، واحسب عدد الصفوف في كل تشغيل، وأطلق تنبيهًا عندما ينخفض مصدر ما بأكثر من عتبة معينة بدلًا من الانتظار حتى يحدث خطأ.
ما حدود الاعتماد على قراءة الرموز وحدها؟
تصف رموز الحالة القفزة الأخيرة فقط، لا القصة كاملة. فقد يكون 200 صفحة تحدٍّ، وقد يكون 403 قاعدة دولة وليس حكمًا على أنك بوت، وقد يعود 502 إلى البروكسي الخاص بك. تعامل مع الرموز كإشارة أولى في التشخيص، ثم تأكد بحجم المحتوى والترويسات وطلب تحكم.
بخصوص القواعد: الرفض المتكرر قرار يتخذه الموقع، والاستجابة الصحيحة هي احترامه، والتحقق من robots.txt وشروط الاستخدام، وتفضيل واجهة API رسمية عند توفرها. تثير البيانات الشخصية سؤالًا منفصلًا حول الأساس القانوني. هذه معلومات عامة وليست استشارة قانونية؛ راجع هل تجريف الويب قانوني.
للمشكلات ذات الصلة: فرز أخطاء 403، والتدوير والجلسات، وكيف تقيّم أنظمة الكشف طلبًا ما.
الأسئلة الشائعة
ماذا يعني 403 عند تجريف الويب؟
فهم الخادم الطلب ورفضه. بالنسبة إلى الزاحف، يعني ذلك عادةً مشكلة في الهوية أو السمعة أو نمط الطلبات وليس طلبًا معطوبًا، وأحيانًا قاعدة جغرافية بسيطة. إعادة المحاولة دون تغيير لا تفعل شيئًا: غيّر متغيرًا واحدًا في كل مرة، بدءًا بعنوان الخروج، ثم العميل، ثم الوتيرة.
ما الفرق بين 403 و429؟
يمثل 429 بيانًا عن المعدل ويحمل عادةً ترويسة Retry-After، لذا الحل هو التباطؤ. أما 403 فهو بيان عنك أنت، لذا الحل هو تغيير الشكل الذي يظهر به عميلك. التعامل مع 403 كحد للمعدل والاكتفاء بالانتظار هو سبب توقف الزواحف لساعات دون تعلم أي شيء.
لماذا أحصل على 407؟
بيانات اعتماد البروكسي الخاصة بك مفقودة أو غير صحيحة الصياغة، لذا رفضت البوابة الطلب قبل وصوله إلى الهدف. تحقق من تنسيق اسم المستخدم بما في ذلك أي لاحقة جلسة أو دولة، وكلمة المرور، وتطابق المنفذ مع البروتوكول. لا يمكن للتدوير أو إعادة المحاولة إصلاح 407.
هل يجب إعادة محاولة 500؟
مرة أو مرتين مع تباطؤ تدريجي، ثم التوقف وتسجيل الأمر. استمرار 500 على رابط واحد يعني عادةً أن حمولتك تُحدِث خللًا لديهم، وإلحاحك عليه غير مجدٍ وغير لائق في آن واحد. إذا ظهرت أخطاء 500 عبر روابط كثيرة في وقت واحد، فالموقع يمر بعطل ويجب إيقاف المهمة بأكملها مؤقتًا.
لماذا أحصل على 200 دون بيانات؟
لأن البوابة سمحت بالمرور لكن المحتوى لم يصل: فإما أن الصفحة تُعرَّض من جهة العميل، أو أن الموقع قدّم 404 ناعمًا أو صفحة تحدٍّ وسيطة برمز حالة 200، أو أنك اصطدمت بحاجز موافقة أو حاجز جغرافي. تحقق من وجود عنصر معروف في المحتوى بدلًا من الاعتماد على رمز الحالة، واحسب عدد الصفوف في كل تشغيل بحيث يتحول الانخفاض الصامت إلى تنبيه.
تبدأ قلة الرفض باختيار منفذ الخروج الصحيح
عندما يشير الفرز إلى مشكلة في الهوية وليس الوتيرة، توفر بروكسيات DataImpulse السكنية منافذ خروج دقيقة جغرافيًا بسعر 1 دولار لكل جيجابايت عبر 195 دولة، سواء بالتدوير أو بالجلسات الثابتة، عبر HTTP وHTTPS وSOCKS5. أنشئ حسابًا واختبر هدفًا واحدًا قبل التوسع.
مقالات ذات صلة: خطأ 403 Forbidden عند تجريف الويب · أفضل بروكسيات تجريف الويب · حالة استخدام تجريف الويب.
آخر تحديث: 17 سبتمبر 2026.
