اس مضمون میں
C# کے ساتھ ویب اسکریپنگ ایک بار کلائنٹ کی عمر (lifetime) کا مسئلہ طے ہو جائے تو غیر معمولی طور پر خوشگوار ہوتی ہے، اور اس سے پہلے غیر معمولی طور پر تکلیف دہ۔ HttpClient بمعہ ایک ترتیب شدہ HttpClientHandler نیٹ ورک کو سنبھالتا ہے، AngleSharp رسپانس کو CSS سلیکٹرز کے ساتھ ایک حقیقی DOM میں تبدیل کرتا ہے، اور Playwright ان صفحات کو سنبھالتا ہے جو کلائنٹ سائیڈ پر رینڈر ہوتے ہیں۔
اگر آپ یہاں “C# کے ساتھ ویب اسکریپنگ” تلاش کرتے ہوئے پہنچے ہیں تو مختصر جواب یہ ہے: ہر پراکسی کنفیگریشن کے لیے ایک HttpClient بنائیں اور اسے پورے پراسیس کی زندگی بھر زندہ رکھیں۔ ہر ریکویسٹ کے لیے اسے using بلاک میں لپیٹنے کی جبلت ہی وہ سوکٹ ایگزاسشن (socket exhaustion) پیدا کرتی ہے جو ایک کام کرنے والے اسکریپر کو بڑے پیمانے پر ناکام بنا دیتی ہے، اور یہ پہلی چیز ہے جسے جانچنا چاہیے جب ایک .NET کرالر ایک گھنٹے بعد کمزور پڑنے لگے۔
اہم حقائق
- C# میں اسٹیک: فیچنگ کے لیے HttpClient بمعہ HttpClientHandler، پارسنگ کے لیے AngleSharp یا HtmlAgilityPack، اور جب صفحہ کلائنٹ سائیڈ پر رینڈر ہو تو Playwright for .NET۔
- پراکسی سیٹ اپ ایک آبجیکٹ ہے، ہر ریکویسٹ کے لیے ایک لائن نہیں۔ اسے کلائنٹ پر ایک بار ترتیب دیں اور اسی کلائنٹ کو دوبارہ استعمال کریں، ورنہ آپ کنکشن پولنگ اور سیشن کی ہم آہنگی سے محروم ہو جائیں گے۔
- وہ غلطی جو یہاں سب سے زیادہ وقت ضائع کرتی ہے: ہر ریکویسٹ کے لیے نیا httpclient سوکٹس کو ختم کر دیتا ہے۔
- گردش (rotation) سیشن سے تعلق رکھتی ہے، ریکویسٹ سے نہیں۔ ایک منطقی کام ایک ہی exit برقرار رکھتا ہے؛ سیشن کے دوران گردش کرنے سے کوکیز ٹوٹ جاتی ہیں اور چیلنجز کو دعوت ملتی ہے۔
- C# استعمال کریں جب آپ کی ڈیٹا پائپ لائن .NET ہو، آپ مضبوط ٹائپنگ اور موجودہ سروسز کے ساتھ آسان ڈیپلائمنٹ کے حامل ایسنک پائپ لائنز چاہتے ہوں۔ اسے اس وقت گریز کریں جب پروجیکٹ ایک چھوٹی ریسرچ اسکرپٹ ہو اور ٹیم میں کوئی روزانہ C# نہ لکھتا ہو۔
آپ C# کی ریکویسٹس کو پراکسی کے ذریعے کیسے روٹ کرتے ہیں؟
پراکسی کو کلائنٹ پر ایک بار ترتیب دیں، پھر سیشن کی ہر ریکویسٹ کے لیے اسی کلائنٹ کو دوبارہ استعمال کریں۔ یہاں تصدیق (authentication) کے ساتھ کم سے کم کام کرنے والی شکل دی گئی ہے۔
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
نحو (syntax) سے زیادہ تین تفصیلات اہم ہیں۔ کریڈینشلز گیٹ وے سے تعلق رکھتی ہیں، ہدف سائٹ سے نہیں۔ ٹائم آؤٹ اختیاری نہیں ہے، کیونکہ پراکسی ایک ہاپ (hop) شامل کرتی ہے اور ایک اٹکی ہوئی ریکویسٹ ایک ورکر کو روکے رکھتی ہے۔ اور کلائنٹ شناخت کی اکائی ہے: وہی کلائنٹ کا مطلب ہے وہی کنکشن پول، وہی کوکیز اور، سٹکی سیشن کے ساتھ، وہی exit ایڈریس۔
3 حصوں پر مشتمل ہینڈلر ماڈل کیسا دکھتا ہے؟
تین معاملات کو الگ رکھیں، اور ڈیبگنگ اندازوں کا کھیل نہیں رہتی۔ ہم اسے 3 حصوں پر مشتمل ہینڈلر ماڈل کہتے ہیں۔
| حصہ | یہ کس کا ذمہ دار ہے | C# میں |
|---|---|---|
| 1. ٹرانسپورٹ | کنکشن، پراکسی، ٹائم آؤٹس، ری ٹرائز، TLS | HttpClient بمعہ HttpClientHandler |
| 2. پارسنگ | بائٹس کو فیلڈز میں تبدیل کرنا، اور جب مارک اپ بدل جائے تو واضح طور پر ناکام ہونا | AngleSharp یا HtmlAgilityPack |
| 3. شیڈولنگ | فی ہوسٹ کنکرنسی، رفتار کا تعین، بیک آف، ڈی ڈپلیکیشن | آپ کا اپنا ورکر پول یا قطار، فی ہدف محدود |
.NET میں یہ حد برقرار رکھنا آسان ہے کیونکہ ٹائپس خود ہی اس کا اشارہ دیتے ہیں: HttpClient ٹرانسپورٹ کا مالک ہے، AngleSharp دستاویز کا مالک ہے، اور آپ کی Task پائپ لائن شیڈولنگ کی مالک ہے۔ غلطی یہ ہے کہ ری ٹرائی لاجک کو پارسنگ میتھڈ کے اندر رکھا جائے، جہاں یہ ٹرانسپورٹ کی ناکامیوں کو غائب فیلڈز کے طور پر چھپا دیتی ہے۔
جب ایک اسکریپ ناکام ہو جائے تو پہلا سوال یہ ہے کہ کون سا حصہ ٹوٹا۔ نان-200 اسٹیٹس ٹرانسپورٹ کا مسئلہ ہے۔ خالی فیلڈز کے ساتھ 200 پارسنگ کا مسئلہ ہے، یا ایسا صفحہ جو کلائنٹ سائیڈ پر رینڈر ہوتا ہے۔ کامیابی جو منٹوں میں زوال پذیر ہو جائے شیڈولنگ کا مسئلہ ہے۔ تینوں کو ایک فنکشن میں ملا دینا ہی وہ وجہ ہے کہ اتنے سارے اسکریپرز کو ٹھیک کرنے کے بجائے دوبارہ لکھا جاتا ہے۔
AngleSharp ایک حقیقی DOM میں پارس کرتا ہے اور CSS سلیکٹرز کو سپورٹ کرتا ہے، جو اسے جدید مارک اپ کے لیے HtmlAgilityPack کے مقابلے میں بہتر ڈیفالٹ بناتا ہے۔
C# میں خاص طور پر کیا غلط ہوتا ہے؟
C# میں ضائع ہونے والے زیادہ تر وقت کی وجہ تین مسائل ہیں، اور ان میں سے کوئی بھی یہ نہیں کہ ہدف آپ کو بلاک کر رہا ہے۔
ہر ریکویسٹ کے لیے نیا HttpClient سوکٹس کو ختم کر دیتا ہے۔ ایک لوپ میں HttpClient بنانا اور ضائع کرنا سوکٹس کو TIME_WAIT میں چھوڑ دیتا ہے اور بالآخر پراسیس کنکشنز کھول نہیں پاتا۔ فی پراکسی کنفیگریشن ایک طویل عرصے تک زندہ رہنے والا کلائنٹ استعمال کریں، یا ASP.NET Core میں IHttpClientFactory۔
پہلی بار استعمال کے بعد ہینڈلرز ناقابلِ تبدیل ہو جاتے ہیں۔ آپ ایسے ہینڈلر پر پراکسی تبدیل نہیں کر سکتے جو پہلے ہی ایک ریکویسٹ بھیج چکا ہو۔ تبدیلی کرنے کے بجائے فی exit کنفیگریشن ایک کلائنٹ بنائیں اور ان کے درمیان انتخاب کریں۔
کوکیز بطورِ ڈیفالٹ مشترک ہوتی ہیں۔ تمام ریکویسٹس میں ایک CookieContainer سیشنز کو آپس میں ملا دیتا ہے۔ ہر منطقی سیشن کو اپنا کلائنٹ دیں یا کنٹینر کو غیر فعال کر کے کوکیز خود منظم کریں۔
ان میں سے کوئی بھی غیر معمولی نہیں ہے، اور یہ سب باہر سے ایک بلاک شدہ اسکریپر جیسے دکھتے ہیں، یہی وجہ ہے کہ پہلا ردعمل اکثر یہ ہوتا ہے کہ کلائنٹ میں موجود مسئلے کے لیے پراکسیز خرید لی جائیں۔ ہماری گائیڈ اسکریپنگ کے دوران 403 Forbidden کی خرابیاں ان تنہائی (isolation) کے مراحل کو ترتیب وار بیان کرتی ہے۔
آپ C# میں کنکرنسی کو کیسے محدود کرتے ہیں؟
مشترکہ کلائنٹ کے گرد SemaphoreSlim استعمال کریں، اور نیٹ ورک کالز پر کبھی Parallel.ForEach استعمال نہ کریں۔
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach IO-باؤنڈ کام کے لیے تھریڈز کو بلاک کر دیتا ہے اور خوشی خوشی تھریڈ پول کو سیر کر دیتا ہے جبکہ نیٹ ورک بیکار پڑا رہتا ہے۔ سیمافور کے ساتھ ایسنک تھریڈ کاؤنٹ کو کم اور ریکویسٹ کی رفتار کو سوچی سمجھی رکھتا ہے۔ ہاتھ سے بیک آف بنانے کے بجائے جِٹر کے ساتھ ری ٹرائی کے لیے Polly شامل کریں۔
کون سی .NET لائبریریاں استعمال کرنے کے قابل ہیں؟
| لائبریری | اسے کس کے لیے استعمال کریں | کھری بات |
|---|---|---|
| HttpClient بمعہ HttpClientHandler | تمام فیچنگ | بلٹ ان۔ فی exit کنفیگریشن ایک انسٹنس، جسے دوبارہ استعمال کیا جائے |
| AngleSharp | CSS سلیکٹرز کے ساتھ ایک حقیقی DOM میں پارسنگ | جدید مارک اپ کے لیے بہتر ڈیفالٹ |
| HtmlAgilityPack | بے ترتیب HTML پر XPath | اب بھی ٹھیک ہے، پرانا API، اسے تب استعمال کریں جب آپ XPath میں سوچتے ہوں |
| Polly | ری ٹرائی، سرکٹ بریکر، ٹائم آؤٹ پالیسیاں | کرالر میں سب سے زیادہ ہاتھ سے لکھا جانے والا اور سب سے زیادہ غلط کوڈ ختم کر دیتا ہے |
| Playwright for .NET | کلائنٹ رینڈرڈ صفحات | اچھی طرح مینٹین شدہ، اور آج .NET پر واحد معقول براؤزر آپشن |
اگر کرالر ASP.NET Core کے اندر چلتا ہے، تو کلائنٹ کو IHttpClientFactory کے ذریعے رجسٹر کریں تاکہ عمر (lifetime) اور DNS ریفریش خود بخود سنبھالے جائیں، بجائے اس کے کہ کسی جامد (static) فیلڈ پر انحصار کیا جائے جسے کوئی بھول جاتا ہے۔
C# کب غلط ٹول ہے؟
C# اس وقت استعمال کریں جب آپ کی ڈیٹا پائپ لائن .NET ہو، آپ مضبوط ٹائپنگ اور موجودہ سروسز کے ساتھ آسان ڈیپلائمنٹ کے حامل ایسنک پائپ لائنز چاہتے ہوں۔ اسے اس وقت گریز کریں جب پروجیکٹ ایک چھوٹی ریسرچ اسکرپٹ ہو اور ٹیم میں کوئی روزانہ C# نہ لکھتا ہو۔
فیصلہ کن عنصر دیکھ بھال (maintenance) ہے، صلاحیت نہیں۔ جو کرالر اس زبان میں لکھا گیا ہو جو آپ کی ٹیم روزانہ استعمال کرتی ہے وہ اگلی مارک اپ تبدیلی سے بچ جاتا ہے؛ کسی غیر مانوس زبان میں لکھا گیا ہوشیار کرالر پہلی خرابی پر ہی ترک کر دیا جاتا ہے۔ اگر دیانتدارانہ جواب یہ ہے کہ C# اس کام کے لیے غلط جگہ ہے، تو کہیں اور ایک چھوٹا کرالر بنا کر اسی ڈیٹابیس میں لکھنا ایک جائز (legitimate) ڈیزائن ہے، شکست نہیں۔
دو چیزیں اس صفحے سے باہر رہتی ہیں کیونکہ وہ ہر زبان میں یکساں ہیں، اور انہیں یہاں دہرانا انہیں تازہ رکھنا مزید مشکل بنا دے گا۔ سیشن اور گردش کے اصول، بشمول یہ کہ ایک سفر کو ایک سٹکی exit کیوں برقرار رکھنا چاہیے، پراکسی گردش کے بہترین اصول میں موجود ہیں۔ جب کوئی ریکویسٹ مسترد ہو جائے تو کیا کریں، اور نیٹ ورک کے مسئلے کو کلائنٹ کے مسئلے سے کیسے پہچانیں، یہ اسکریپنگ کے وقت 403 Forbidden میں ہے، اور قانونی پہلو کیا ویب اسکریپنگ قانونی ہے میں ہے۔
خود exit کی بات کریں تو: عوامی صفحات کے لیے متغیر رہائشی، سفر کے لیے سٹکی، اور APIs اور اوپن ڈیٹا کے لیے ڈیٹا سینٹر۔ DataImpulse رہائشی 195 ممالک میں $1 فی GB ہے جس میں ملک کے حساب سے ہدف بندی شامل ہے، اور موازنہ ویب اسکریپنگ کے لیے بہترین پراکسیز میں ہے۔
اکثر پوچھے جانے والے سوالات
میں C# میں پراکسی کیسے سیٹ کروں؟
اسے فی ریکویسٹ کے بجائے کلائنٹ آبجیکٹ پر ترتیب دیں: HttpClient بمعہ HttpClientHandler کے ساتھ آپ پراکسی ہوسٹ، پورٹ اور کریڈینشلز ایک بار سیٹ کرتے ہیں، پھر اسی کلائنٹ کو دوبارہ استعمال کرتے ہیں۔ اسے دوبارہ استعمال کرنا کنکشن پول، کوکی جار اور exit ایڈریس کو مستقل رکھتا ہے، جو ایک سیشن کو ہم آہنگ دکھاتا ہے۔
C# میں پارسنگ کے لیے مجھے کون سی لائبریری استعمال کرنی چاہیے؟
AngleSharp یا HtmlAgilityPack عملی ڈیفالٹ ہے۔ پارسنگ کو فیچنگ سے الگ رکھیں: کلائنٹ نیٹ ورک کا مالک ہے اور پارسر مارک اپ کا مالک ہے، تاکہ کوئی ناکامی فوری طور پر بتا دے کہ ان دونوں میں سے کون سا ٹوٹا۔
کیا مجھے C# کے لیے ہیڈ لیس براؤزر کی ضرورت ہے؟
صرف اس وقت جب فیلڈز کلائنٹ سائیڈ پر رینڈر ہوں۔ پہلے صفحے کو سادگی سے فیچ کریں اور HTML میں ایک معلوم ویلیو تلاش کریں: اگر وہ موجود ہے تو براؤزر کو مکمل طور پر چھوڑ دیں۔ جب آپ کو واقعی ایک کی ضرورت ہو، تو جب صفحہ کلائنٹ سائیڈ پر رینڈر ہوتا ہے تو Playwright for .NET اس ماحولیاتی نظام میں آپشن ہے، اور یہ فی صفحہ وقت اور میموری میں کئی گنا زیادہ خرچ کرتا ہے۔
ہر ریکویسٹ کے لیے نیا HttpClient سوکٹس کو ختم کر دیتا ہے؟
ایک لوپ میں HttpClient بنانا اور ضائع کرنا سوکٹس کو TIME_WAIT میں چھوڑ دیتا ہے اور بالآخر پراسیس کنکشنز کھول نہیں پاتا۔ فی پراکسی کنفیگریشن ایک طویل عرصے تک زندہ رہنے والا کلائنٹ استعمال کریں، یا ASP.NET Core میں IHttpClientFactory۔
کیا C# ویب اسکریپنگ کے لیے اچھا انتخاب ہے؟
یہ اچھا انتخاب ہے جب آپ کی ڈیٹا پائپ لائن .NET ہو، آپ مضبوط ٹائپنگ اور موجودہ سروسز کے ساتھ آسان ڈیپلائمنٹ کے حامل ایسنک پائپ لائنز چاہتے ہوں۔ یہ غلط انتخاب ہے جب پروجیکٹ ایک چھوٹی ریسرچ اسکرپٹ ہو اور ٹیم میں کوئی روزانہ C# نہ لکھتا ہو۔ فیصلہ کن عنصر عام طور پر خام صلاحیت کے بجائے دیکھ بھال ہوتا ہے: وہ اسکریپر جو اس زبان میں لکھا گیا ہو جو آپ کی ٹیم روزانہ استعمال کرتی ہے، وہی اگلی مارک اپ تبدیلی سے بچ جاتا ہے۔
اپنے C# کلائنٹ کو ایک قابلِ بھروسہ exit کی طرف رخ دیں
اوپر دیا گیا اسنپٹ صرف ایک کریڈینشل تبدیلی کے ساتھ کام کرتا ہے: DataImpulse رہائشی 195 ممالک میں $1 فی GB پر جغرافیائی طور پر درست exits فراہم کرتا ہے، متغیر یا سٹکی، HTTP، HTTPS اور SOCKS5 پر۔ کام کو بڑے پیمانے پر لے جانے سے پہلے اکاؤنٹ بنائیں اور اپنے C# کلائنٹ سے ایک ہدف کو آزمائیں۔
متعلقہ: اسکریپنگ کے وقت 403 Forbidden · Crawl4AI پراکسی سیٹ اپ · Go، Kotlin، Scala، Perl اور Elixir میں پراکسی سیٹ اپ۔
آخری تازہ کاری: 17 ستمبر 2026۔
