HTTP status codes for web scrapers explained - retry rules and proxy codes - DataImpulse

HTTP اسٹیٹس کوڈز کی فہرست ڈھونڈنا آسان ہے، لیکن کرالرز چلانے والے لوگوں کے لیے لکھی گئی فہرست اتنی آسانی سے نہیں ملتی۔ یہ صفحہ وہی فہرست ہے: جب آپ کے اسکریپر کو کوئی کوڈ موصول ہو تو اس کا کیا مطلب ہے، کیا اسے دوبارہ آزمانا فائدہ مند ہے، اور کون سے کوڈز ٹارگٹ کے بجائے آپ کی اپنی کنفیگریشن کی طرف اشارہ کرتے ہیں۔

بنیادی خیال سادہ ہے۔ ہر رسپانس آپ کو ان چار میں سے بالکل ایک کام کرنے کو کہتا ہے: جاری رکھیں، انتظار کریں، اپنی شناخت بدلیں، یا رک جائیں۔ اس نقشہ بندی کو درست کرنا ہی وہ چیز ہے جو مہینوں چلنے والے کرالر کو ایک ہفتے میں پول جلا دینے والے کرالر سے ممتاز کرتی ہے۔


اہم حقائق

  • اسٹیٹس کوڈ ایک روٹنگ فیصلہ ہے، نتیجہ نہیں۔ دوبارہ کوشش کریں، پیچھے ہٹیں، شناخت بدلیں، یا رک جائیں: ہر کوڈ ان چار میں سے بالکل ایک سے مطابقت رکھتا ہے، اور انہیں گڈمڈ کرنا ہی وہ وجہ ہے جس سے کرالرز ایڈریس پولز ضائع کر دیتے ہیں۔
  • 200 کامیابی نہیں ہے۔ خالی ڈیٹا کنٹینر کے ساتھ 200 کا مطلب ہے کہ گیٹ نے آپ کو گزرنے دیا اور صفحہ کلائنٹ سائیڈ پر رینڈر ہوا، جو رسائی کا نہیں بلکہ پارسنگ کا مسئلہ ہے۔
  • 407 آپ کا مسئلہ ہے، 403 ان کا۔ 407 کا مطلب ہے کہ آپ کی پراکسی کریڈنشلز غلط ہیں؛ 403 کا مطلب ہے کہ ٹارگٹ نے آپ کو مسترد کر دیا۔ لاگز میں دونوں ملتے جلتے نظر آتے ہیں لیکن ان کے حل بالکل مختلف ہیں۔
  • 429 آپ کو ریٹ بتاتا ہے، 403 آپ کو شناخت بتاتا ہے۔ Retry-After کے ساتھ 429 ایک گفت و شنید ہے؛ مختصر باڈی کے ساتھ 403 ایک فیصلہ ہے۔
  • کبھی بھی اندھا دھند دوبارہ کوشش نہ کریں۔ 404 یا 451 کو دوبارہ آزمانا بجٹ ضائع کرتا ہے اور مشترکہ پولز پر اس ساکھ کو نقصان پہنچاتا ہے جس پر دوسری جابز کا انحصار ہوتا ہے۔

اسکریپر کو اسٹیٹس کوڈز کیسے پڑھنے چاہئیں؟ 4 مرحلوں پر مبنی ترجیحی جانچ کا اصول

کوئی بھی ہینڈلنگ کوڈ لکھنے سے پہلے ہر رسپانس کو چار مراحل میں سے کسی ایک میں تقسیم کریں۔ ہم اسے 4 مرحلوں پر مبنی ترجیحی جانچ کا اصول کہتے ہیں۔

مرحلہ کوڈز عمل
1. آگے بڑھیں 200, 201, 204, 206, 301, 302, 304 پارس کریں، فالو کریں، یا نظر انداز کریں۔ کچھ ٹھیک کرنے کی ضرورت نہیں، البتہ 200 کے لیے پھر بھی کنٹینٹ چیک درکار ہے
2. انتظار کریں 429, 503, 504, 408 جِٹر کے ساتھ پیچھے ہٹیں، Retry-After کی پاسداری کریں، ہم آہنگی (concurrency) کم کریں۔ ٹارگٹ آپ کو بتا رہا ہے کہ ریٹ غلط ہے
3. شناخت بدلیں 403، 401 جہاں رسائی عوامی ہو، 421 عمل کرنے سے پہلے تشخیص کریں: ایگزٹ ایڈریس، TLS اور ہیڈر کی ہم آہنگی، رن ٹائم۔ بغیر کسی تبدیلی کے دوبارہ کوشش کرنے سے کچھ حاصل نہیں ہوتا
4. رک جائیں 400, 404, 405, 410, 451، ایک ہی پاتھ پر بار بار 403 درخواست غلط ہے، وسیلہ ختم ہو چکا ہے، یا رسائی کو بطور فیصلہ مسترد کیا گیا ہے۔ اسے لاگ کریں اور آگے بڑھیں

مہنگی غلطی مرحلہ تین کو مرحلہ دو سمجھ کر برتنا ہے۔ ایک بلاک شدہ شناخت کو سو بار دوبارہ آزمانا اس درجہ بندی کی تصدیق کرنے والے سو مزید ڈیٹا پوائنٹس پیدا کرتا ہے، اور مشترکہ پول پر یہ ان ایڈریسز کو خراب کرتا ہے جو دوسری جابز استعمال کر رہی ہوتی ہیں۔


اسکریپنگ میں عملی طور پر کون سے کوڈز سامنے آتے ہیں، اور ان کا کیا مطلب ہے؟

کوڈ کرالر کے لیے اس کا مطلب دوبارہ کوشش؟
200 OK گیٹ پار ہو گیا۔ اگر صفحہ کلائنٹ سائیڈ پر رینڈر ہوتا ہے تو کنٹینٹ پھر بھی غائب ہو سکتا ہے نہیں، لیکن متوقع فیلڈز پر تصدیق (assert) کریں
204 No Content درست رسپانس، پارس کرنے کے لیے کچھ نہیں۔ ٹریکنگ اور API اینڈ پوائنٹس پر عام نہیں
301 / 302 منتقل ہو گیا۔ لاگ اِن یا ملکی گیٹ وے کی طرف جانے والا ری ڈائریکٹ چین ایک اشارہ ہے، شور نہیں فالو کریں، لیکن حتمی URL لاگ کریں
304 Not Modified آپ کی کنڈیشنل درخواست کام کر گئی اور صفحہ تبدیل نہیں ہوا۔ ممکنہ حد تک سب سے کم لاگت والا رسپانس نہیں، اور کوشش کریں کہ زیادہ سے زیادہ ایسے رسپانس ملیں
400 Bad Request آپ کی درخواست کی ساخت غلط ہے، اکثر ٹوٹی ہوئی کوئری اسٹرنگ یا ہیڈر کی وجہ سے نہیں، کوڈ ٹھیک کریں
401 Unauthorized ٹارگٹ کو کریڈنشلز درکار ہیں۔ عوامی ڈیٹا پر عام طور پر اس کا مطلب ہے کہ آپ کسی محدود (gated) پاتھ پر پہنچ گئے ہیں نہیں
403 Forbidden سمجھا گیا اور مسترد کر دیا گیا۔ شناخت، ساکھ یا پیٹرن، اور کبھی کبھار محض جغرافیائی قاعدہ بغیر تبدیلی کے نہیں
404 Not Found وسیلہ ختم ہو چکا ہے، یا ایک سافٹ 404 جو بغیر ڈیٹا کے صفحہ واپس کرتا ہے نہیں
405 Method Not Allowed غلط ورب (verb)، عام طور پر POST اینڈ پوائنٹ کو GET سے ہٹ کیا گیا نہیں، کوڈ ٹھیک کریں
407 Proxy Authentication Required آپ کی پراکسی کریڈنشلز غائب ہیں یا غلط ہیں۔ اس کا ٹارگٹ سے کوئی تعلق نہیں نہیں، کنفیگریشن ٹھیک کریں
408 Request Timeout سرور نے انتظار کرنا چھوڑ دیا۔ اکثر سست پراکسی ہاپ کی وجہ سے ہاں، بیک آف کے ساتھ
410 Gone جان بوجھ کر ہٹا دیا گیا۔ 404 سے زیادہ سخت نہیں، اور اسے قطار سے نکال دیں
421 Misdirected Request کنکشن کسی ایسے ہوسٹ کے لیے دوبارہ استعمال ہوا جسے وہ سرو نہیں کرتا، یہ پراکسیز کے ذریعے HTTP/2 coalescing کے ساتھ دیکھا جاتا ہے ہاں، نئے کنکشن پر
429 Too Many Requests ریٹ لمٹ۔ Retry-After پڑھیں؛ یہ اسکریپنگ میں سب سے ایماندار ہیڈر ہے ہاں، انتظار کے بعد
451 Unavailable For Legal Reasons قانونی یا ریگولیٹری وجوہات کی بنا پر بلاک، اکثر جغرافیائی بنیاد پر نہیں
500 Internal Server Error ان کا بگ، یا آپ کے پے لوڈ نے کوئی بگ متحرک کر دیا ایک یا دو بار، پھر رک جائیں
502 / 504 گیٹ وے ایررز۔ یہ ٹارگٹ کے ایج سے یا آپ کے اپنے پراکسی ہاپ سے آ سکتے ہیں ہاں، بیک آف کے ساتھ
503 Service Unavailable زیادہ بوجھ کا شکار یا جان بوجھ کر بوجھ کم کیا جا رہا ہے، بشمول اینٹی بوٹ شیڈنگ ہاں، آہستگی سے
520 تا 526 Cloudflare سے مخصوص: اوریجن نے کوئی غلط چیز واپس کی، ٹائم آؤٹ ہو گیا، یا اوریجن کے ساتھ TLS ہینڈ شیک ناکام ہو گیا ہاں، لیکن بار بار ہونے کو ایک اشارہ سمجھیں

کون سے کوڈز سائٹ کے بجائے آپ کی پراکسی کی طرف اشارہ کرتے ہیں؟

تین کوڈز، اور انہیں ٹارگٹ کی طرف سے انکار کے ساتھ گڈمڈ کرنا دنوں کا وقت ضائع کر دیتا ہے۔

407 Proxy Authentication Required۔ گیٹ وے نے آپ کی کریڈنشلز مسترد کر دیں۔ یوزر نیم کی فارمیٹ، پاس ورڈ، اور یہ چیک کریں کہ کیا آپ کا سیشن یا کنٹری سفکس درست طریقے سے بنا ہے۔ کتنی ہی بار دوبارہ کوشش کرنے یا شناخت بدلنے (rotate) سے کوئی فائدہ نہیں ہوگا، کیونکہ درخواست کبھی ٹارگٹ تک پہنچی ہی نہیں۔

روٹ تبدیل کرنے کے فوراً بعد 502 اور 504۔ ایک گیٹ وے ایرر جو اسی لمحے ظاہر ہو جب آپ ایگزٹ تبدیل کریں، اور واپس بدلنے پر غائب ہو جائے، عام طور پر اوریجن کے بجائے ہاپ کا مسئلہ ہوتا ہے۔ سائٹ کو مورد الزام ٹھہرانے سے پہلے اسی URL کو براہ راست اور دوسرے ایگزٹ کے ذریعے ٹیسٹ کریں۔

421 Misdirected Request۔ نایاب، اور تقریباً ہمیشہ HTTP/2 کے تحت پراکسی کے ذریعے مختلف ہوسٹس کے درمیان کنکشن کے دوبارہ استعمال کی وجہ سے ہوتا ہے۔ کنکشن coalescing کو غیر فعال کریں یا فی کنکشن ایک ہوسٹ مقرر (pin) کریں۔

دونوں پہلوؤں کو الگ کرنے کا تیز ترین طریقہ ایک کنٹرول ریکویسٹ ہے: اسی ایگزٹ کے ذریعے ایسا URL حاصل کریں جسے آپ مستحکم جانتے ہوں، جیسے کوئی IP echo سروس۔ اگر وہ بھی ناکام ہو جائے تو مسئلہ آپ کے روٹ میں ہے؛ اگر وہ کامیاب ہو جائے تو ٹارگٹ آپ کو مسترد کر رہا ہے۔ اسکریپنگ کے دوران 403 Forbidden ایررز سے متعلق ہماری گائیڈ مکمل تنہائی (isolation) کا طریقہ بتاتی ہے۔


عملی طور پر کون سی ری ٹرائی پالیسی کام کرتی ہے؟

چار اصول تقریباً ہر صورتحال کا احاطہ کرتے ہیں، اور یہ جان بوجھ کر سادہ ہیں۔

  • صرف مرحلہ دو اور مرحلہ چار کے منتخب انفراسٹرکچر ایررز کو دوبارہ آزمائیں۔ 429, 503, 504, 408, 500 کو ایک یا دو بار۔ 400, 404, 405, 410, 451 کو کبھی نہیں، اور بغیر تبدیلی کے 403 کو کبھی نہیں۔
  • جِٹر کے ساتھ ایکسپونینشل بیک آف، جو تقریباً ایک سیکنڈ سے شروع ہو کر ایک منٹ پر محدود ہو۔ جِٹر کے بغیر، متوازی ورکرز ایک ساتھ دوبارہ کوشش کرتے ہیں اور اسی برسٹ کو دوبارہ پیدا کر دیتے ہیں جس نے لمٹ کی وجہ بنی تھی۔
  • Retry-After کی لفظی پاسداری کریں۔ اگر کوئی سائٹ آپ کو تیس سیکنڈ انتظار کرنے کو کہے تو صرف پانچ سیکنڈ انتظار کرنا دوبارہ ریٹ لمٹ ہونے کا فیصلہ کرنے کے مترادف ہے۔
  • فی ہوسٹ سرکٹ بریکر استعمال کریں۔ مسلسل ناکامیوں کی ایک حد کے بعد، بتدریج تنزلی کر کے پابندی (ban) میں جانے کے بجائے اس ہوسٹ کو مکمل طور پر ایک کول آف ونڈو کے لیے روک دیں۔
صورتحال دوبارہ کوشش کب کریں دوبارہ کوشش سے کب گریز کریں
Retry-After کے ساتھ 429 آپ بیان کردہ تاخیر کی پاسداری کریں اور بعد میں concurrency کم کر دیں آپ بیان کردہ ونڈو کے اندر دوبارہ کوشش کریں، جو دوسری لمٹ کی ضمانت دیتا ہے
503 یا 504 ناکامی کئی ہوسٹس پر وقفے وقفے سے ہو، جو بوجھ کی نشاندہی کرے ایک ہی ہوسٹ مسلسل ناکام ہو: یہ آپ کو نشانہ بنا کر کی جانے والی شیڈنگ ہے
500 یہ ایسے URL پر ایک بار پیش آیا جو عام طور پر کام کرتا ہے یہ اسی پے لوڈ پر بار بار ہوتا ہے، جس کا مطلب ہے آپ کی درخواست ان کا بگ متحرک کر رہی ہے
403 بغیر تبدیلی کے کبھی نہیں؛ صرف اس وقت جب کسی ایک متغیر کو الگ کر لیا گیا ہو ہمیشہ گریز کریں، جب تک کہ آپ نے ایگزٹ، کلائنٹ اور رفتار کو الگ الگ ٹیسٹ نہ کر لیا ہو
404, 410, 451 کبھی نہیں ہمیشہ گریز کریں: وسیلہ ختم ہو چکا ہے یا رسائی کو بطور پالیسی مسترد کیا گیا ہے

دو شمار کنندے (counters) اسے قابلِ پیمائش بناتے ہیں: فی ہوسٹ فی گھنٹہ کوڈ کے حساب سے ناکامیاں، اور کامیاب درخواستوں کے مقابلے میں دوبارہ کوششوں کا تناسب۔ جب دوسرا اعداد و شمار تقریباً پانچ میں سے ایک سے بڑھ جائے تو آپ کی رفتار غلط ہے، چاہے پہلا اعداد و شمار کچھ بھی کہے۔


200 کبھی کبھار ناکامی کا مطلب کیوں دیتا ہے؟

کیونکہ گیٹ سے گزرنا اور ڈیٹا حاصل کرنا دو مختلف واقعات ہیں۔ چار صورتیں ایسی ہیں جن میں 200 ملتا ہے لیکن اس میں کوئی کارآمد چیز نہیں ہوتی۔

کلائنٹ سائیڈ رینڈرنگ۔ HTML صرف ایک خول ہوتا ہے اور ڈیٹا XHR کے ذریعے آتا ہے۔ حل یا تو براؤزر انجن استعمال کرنا ہے یا، بہتر یہ کہ، وہ JSON اینڈ پوائنٹ تلاش کرنا ہے جسے خود صفحہ کال کرتا ہے۔

سافٹ 404۔ سائٹ 200 اسٹیٹس کے ساتھ ایک خوش اسلوبی سے “نہیں ملا” کا صفحہ پیش کرتی ہے۔ اسٹیٹس کوڈ کے بجائے کسی معلوم عنصر (element) پر تصدیق کریں۔

چیلنج پیج۔ ایک عبوری صفحہ جو 200 واپس کرتا ہے جبکہ کلائنٹ سے خود کو ثابت کرنے کا مطالبہ کرتا ہے۔ اسے اسٹیٹس کے بجائے سائز اور چیلنج اسکرپٹ کی موجودگی سے پہچانیں۔

جغرافیائی یا رضامندی (consent) کی رکاوٹ۔ ایک 200 جو کنٹینٹ کے بجائے کوکی بینر یا کنٹری گیٹ واپس کرتا ہے، یہی وجہ ہے کہ ایگزٹ کنٹری کو آپ کے ڈیٹا سیٹ کا حصہ ہونا چاہیے۔

عملی اصول یہ ہے: کبھی بھی اسٹیٹس کوڈ کو کامیابی کی تصدیق نہ سمجھیں۔ کنٹینٹ پر تصدیق کریں، فی رن قطاریں شمار کریں، اور جب کوئی ذریعہ ایک حد سے زیادہ گر جائے تو الرٹ کریں نہ کہ صرف اس وقت جب وہ ایرر دے۔


صرف کوڈز پڑھنے کی حدود کیا ہیں؟

اسٹیٹس کوڈز آخری ہاپ بیان کرتے ہیں، پوری کہانی نہیں۔ 200 دراصل ایک چیلنج ہو سکتا ہے، 403 بوٹ کے فیصلے کے بجائے ایک ملکی قاعدہ ہو سکتا ہے، اور 502 آپ کی اپنی پراکسی سے تعلق رکھ سکتا ہے۔ کوڈز کو تشخیص میں پہلا اشارہ سمجھیں، پھر باڈی سائز، ہیڈرز اور کنٹرول ریکویسٹ سے تصدیق کریں۔

قواعد کے حوالے سے: بار بار انکار سائٹ کا ایک فیصلہ ہے، اور درست ردعمل اس کا احترام کرنا، robots.txt اور شرائط کو چیک کرنا، اور جہاں کوئی سرکاری API موجود ہو اسے ترجیح دینا ہے۔ ذاتی ڈیٹا قانونی بنیاد کے بارے میں ایک الگ سوال کھڑا کرتا ہے۔ یہ عمومی معلومات ہے قانونی مشورہ نہیں؛ دیکھیں کیا ویب اسکریپنگ قانونی ہے۔

ملتے جلتے مسائل کے لیے: 403 کی ترجیحی جانچ، روٹیشن اور سیشنز، اور ڈیٹیکشن سسٹمز کسی درخواست کا اسکور کیسے لگاتے ہیں۔


اکثر پوچھے جانے والے سوالات

اسکریپنگ کے دوران 403 کا کیا مطلب ہے؟

سرور نے درخواست کو سمجھا اور اسے مسترد کر دیا۔ کرالر کے لیے اس کا عام طور پر مطلب ہے شناخت، ساکھ یا درخواست کا پیٹرن، نہ کہ کوئی خراب درخواست، اور کبھی کبھار محض ایک جغرافیائی قاعدہ۔ بغیر تبدیلی کے دوبارہ کوشش کرنے سے کچھ حاصل نہیں ہوتا: ایک وقت میں ایک متغیر تبدیل کریں، پہلے ایگزٹ ایڈریس سے شروع کریں، پھر کلائنٹ، پھر رفتار۔

403 اور 429 میں کیا فرق ہے؟

429 ریٹ کے بارے میں ایک بیان ہے اور عام طور پر Retry-After ہیڈر رکھتا ہے، تو حل یہ ہے کہ رفتار کم کر دیں۔ 403 آپ کے بارے میں ایک بیان ہے، تو حل یہ ہے کہ اپنے کلائنٹ کی شکل و صورت تبدیل کریں۔ 403 کو ریٹ لمٹ سمجھ کر محض انتظار کرنا ہی وہ وجہ ہے جس سے کرالرز کچھ سیکھے بغیر گھنٹوں رکے رہتے ہیں۔

مجھے 407 کیوں مل رہا ہے؟

آپ کی پراکسی کریڈنشلز غائب ہیں یا غلط ساخت کی ہیں، اس لیے گیٹ وے نے ٹارگٹ تک پہنچنے سے پہلے ہی درخواست مسترد کر دی۔ یوزر نیم کی فارمیٹ چیک کریں بشمول کسی بھی سیشن یا کنٹری سفکس، پاس ورڈ، اور یہ کہ پورٹ پروٹوکول سے مطابقت رکھتا ہو۔ روٹیشن اور دوبارہ کوششیں 407 کو ٹھیک نہیں کر سکتیں۔

کیا مجھے 500 کو دوبارہ آزمانا چاہیے؟

بیک آف کے ساتھ ایک یا دو بار، پھر رک جائیں اور اسے لاگ کریں۔ ایک URL پر مسلسل 500 کا عام طور پر مطلب ہے کہ آپ کا پے لوڈ ان کی طرف کوئی بگ متحرک کر رہا ہے، اور اسے بار بار دہرانا نہ صرف بے سود ہے بلکہ نامناسب بھی ہے۔ اگر بہت سے URLs پر بیک وقت 500 نظر آئیں تو سائٹ کسی مسئلے کا شکار ہے اور پوری جاب کو روک دینا چاہیے۔

مجھے 200 تو ملتا ہے لیکن ڈیٹا کیوں نہیں ملتا؟

کیونکہ گیٹ پار ہو گیا لیکن کنٹینٹ نہیں پہنچا: صفحہ کلائنٹ سائیڈ پر رینڈر ہوتا ہے، سائٹ نے 200 اسٹیٹس کے ساتھ سافٹ 404 یا چیلنج انٹرسٹیشل پیش کیا، یا آپ کسی رضامندی یا جغرافیائی رکاوٹ سے ٹکرا گئے۔ اسٹیٹس کوڈ کے بجائے باڈی میں کسی معلوم عنصر پر تصدیق کریں، اور فی رن قطاریں شمار کریں تاکہ خاموش کمی بھی ایک الرٹ بن جائے۔


کم انکار درست ایگزٹ سے شروع ہوتے ہیں

جب ترجیحی جانچ رفتار کے بجائے شناخت کی طرف اشارہ کرے تو DataImpulse کی رہائشی پراکسیز 195 ممالک میں $1 فی GB پر جغرافیائی طور پر درست ایگزٹس فراہم کرتی ہیں، متغیر یا سٹکی، HTTP، HTTPS اور SOCKS5 کے ذریعے۔ اسکیل کرنے سے پہلے اکاؤنٹ بنائیں اور ایک ٹارگٹ کو ٹیسٹ کریں۔

متعلقہ: اسکریپنگ کے دوران 403 Forbidden · ویب اسکریپنگ کے لیے پراکسیز · ویب اسکریپنگ کا استعمال۔

آخری تازہ کاری: ستمبر 17, 2026۔


Share article: