C# web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

تجريف الويب بلغة C# ممتع بشكل غير معتاد بمجرد حسم مسألة عمر العميل (client lifetime)، ومؤلم بشكل غير معتاد قبل ذلك. يتولى HttpClient مع HttpClientHandler مهيأ التعامل مع الشبكة، ويحوّل AngleSharp الاستجابة إلى DOM حقيقي بمحددات CSS، ويغطي Playwright الصفحات التي تُعرض من جانب العميل.

إذا وصلت إلى هنا بحثًا عن تجريف الويب بلغة C#، فالخلاصة هي هذه: أنشئ HttpClient واحدًا لكل تهيئة بروكسي وأبقه حيًا طوال عمر العملية. الميل إلى تغليفه داخل كتلة using لكل طلب هو ما يؤدي إلى استنفاد المقابس (sockets) الذي يجعل أداة تجريف تعمل جيدًا تفشل عند التوسع، وهو أول شيء يجب فحصه عندما يتدهور أداء زاحف مبني على .NET بعد ساعة من التشغيل.


حقائق أساسية

  • مجموعة الأدوات في C#: HttpClient مع HttpClientHandler للجلب، وAngleSharp أو HtmlAgilityPack للتحليل، وPlaywright لـ.NET عندما تُعرض الصفحة من جانب العميل.
  • إعداد البروكسي كائن واحد، لا سطر واحد لكل طلب. اضبطه مرة واحدة على العميل وأعد استخدام هذا العميل، وإلا فقدت تجميع الاتصالات (connection pooling) وتماسك الجلسة.
  • الخطأ الذي يكلف أكبر قدر من الوقت هنا: إنشاء httpclient جديد لكل طلب يستنفد المقابس.
  • التدوير ينتمي إلى الجلسة، لا إلى الطلب. تحتفظ المهمة المنطقية الواحدة بمخرج واحد؛ والتدوير في منتصف الجلسة يكسر ملفات تعريف الارتباط ويستدعي التحديات.
  • استخدم C# عندما يكون خط أنابيب بياناتك مبنيًا على .NET، وتريد خطوط أنابيب غير متزامنة بأنواع بيانات قوية ونشر سهل إلى جانب الخدمات القائمة. تجنبها عندما يكون المشروع سكربتًا بحثيًا صغيرًا ولا أحد في الفريق يكتب C# يوميًا.

كيف توجّه طلبات C# عبر بروكسي؟

اضبط البروكسي على العميل مرة واحدة، ثم أعد استخدام ذلك العميل لكل طلب في الجلسة. فيما يلي الصيغة العاملة الأدنى مع المصادقة.

var handler = new HttpClientHandler {
    Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
        Credentials = new NetworkCredential("USER", "PASS")
    },
    UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };

ثلاثة تفاصيل تهم أكثر من الصياغة نفسها. بيانات الاعتماد تخص البوابة (gateway)، لا الموقع المستهدف. المهلة الزمنية ليست اختيارية، لأن البروكسي يضيف قفزة شبكية، والطلب المعلّق يحتجز عامل معالجة. والعميل هو وحدة الهوية: العميل نفسه يعني تجميع الاتصالات نفسه، وملفات تعريف الارتباط نفسها، ومع الجلسة الثابتة (sticky session)، عنوان الخروج نفسه.


كيف يبدو نموذج المعالج ثلاثي الأجزاء؟

افصل الاهتمامات الثلاثة عن بعضها، عندها يتوقف تصحيح الأخطاء عن أن يكون تخمينًا. نسمّيه نموذج المعالج ثلاثي الأجزاء.

الجزء ما الذي يتولاه في C#
1. النقل (Transport) الاتصال، البروكسي، المهلات الزمنية، إعادة المحاولة، TLS HttpClient مع HttpClientHandler
2. التحليل (Parsing) تحويل البايتات إلى حقول، والفشل بوضوح عندما تتغير بنية الصفحة AngleSharp أو HtmlAgilityPack
3. الجدولة (Scheduling) التزامن لكل مضيف، ضبط الوتيرة، التراجع التدريجي، إزالة التكرار مجمّع عمّال أو طابور خاص بك، محدود لكل هدف

في .NET يسهل الحفاظ على هذا الفصل لأن الأنواع نفسها تقترحه: يتولى HttpClient النقل، ويتولى AngleSharp المستند، ويتولى خط أنابيب Task الجدولة. الخطأ هو وضع منطق إعادة المحاولة داخل دالة التحليل، حيث يُخفي فشل النقل على هيئة حقول مفقودة.

عندما تتعطل عملية التجريف، فالسؤال الأول هو أي جزء تعطل. حالة غير 200 تعني مشكلة في النقل. حالة 200 مع حقول فارغة تعني مشكلة في التحليل، أو أن الصفحة تُعرض من جانب العميل. النجاح الذي يتراجع تدريجيًا على مدى دقائق يعني مشكلة في الجدولة. خلط الأجزاء الثلاثة في دالة واحدة هو سبب إعادة كتابة الكثير من أدوات التجريف بدلًا من إصلاحها.

يحلّل AngleSharp إلى DOM حقيقي ويدعم محددات CSS، ما يجعله الخيار الافتراضي الأفضل مقارنة بـHtmlAgilityPack مع بنية الصفحات الحديثة.


ما الذي يسوء تحديدًا في C#؟

ثلاث مشكلات تفسر معظم الوقت الضائع في C#، ولا واحدة منها هي حظر الموقع المستهدف لك.

إنشاء HttpClient جديد لكل طلب يستنفد المقابس. إنشاء HttpClient والتخلص منه ضمن حلقة تكرار يترك المقابس في حالة TIME_WAIT، وفي النهاية لا تستطيع العملية فتح اتصالات جديدة. استخدم عميلًا واحدًا طويل العمر لكل تهيئة بروكسي، أو IHttpClientFactory في ASP.NET Core.

المعالجات غير قابلة للتغيير بعد أول استخدام. لا يمكنك تغيير البروكسي على معالج سبق أن أرسل طلبًا. أنشئ عميلًا واحدًا لكل تهيئة مخرج واختر بينها، بدلًا من تعديل معالج قائم.

ملفات تعريف الارتباط مشتركة افتراضيًا. استخدام CookieContainer واحد عبر جميع الطلبات يخلط بين الجلسات. امنح كل جلسة منطقية عميلها الخاص، أو عطّل الحاوية وأدر ملفات تعريف الارتباط بنفسك.

لا شيء من هذا غريب، وكلها تبدو من الخارج وكأنها أداة تجريف محظورة، وهذا هو سبب أن رد الفعل الأول غالبًا ما يكون شراء بروكسيات لمشكلة تكمن في العميل نفسه. يشرح دليلنا حول أخطاء 403 Forbidden عند التجريف خطوات العزل بالترتيب.


كيف تحدّ من التزامن في C#؟

استخدم SemaphoreSlim حول عميل مشترك، ولا تستخدم أبدًا Parallel.ForEach على استدعاءات الشبكة.

var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
    await gate.WaitAsync();
    try { return await client.GetStringAsync(url); }
    finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);

يحجب Parallel.ForEach مؤشرات الترابط في العمل المرتبط بالإدخال والإخراج، ويشبع بكل سرور مجمّع مؤشرات الترابط بينما تبقى الشبكة خاملة. أما الأسلوب غير المتزامن مع إشارة تزامن (semaphore) فيبقي عدد مؤشرات الترابط منخفضًا ومعدل الطلبات مدروسًا. أضف Polly لإعادة المحاولة مع تشويش عشوائي (jitter) بدلًا من كتابة منطق التراجع التدريجي يدويًا.


ما المكتبات التي تستحق الاستخدام في .NET؟

المكتبة استخدمها من أجل ملاحظة صريحة
HttpClient مع HttpClientHandler كل عمليات الجلب مدمجة في اللغة. نسخة واحدة لكل تهيئة مخرج، تُعاد استخدامها
AngleSharp التحليل إلى DOM حقيقي بمحددات CSS الخيار الافتراضي الأفضل لبنية الصفحات الحديثة
HtmlAgilityPack XPath على HTML غير منظم لا تزال جيدة، واجهة برمجية أقدم، الجأ إليها حين تفكر بمنطق XPath
Polly سياسات إعادة المحاولة، قاطع الدائرة، والمهلات الزمنية يزيل الكود الأكثر شيوعًا في الكتابة اليدوية والأكثر عرضة للخطأ في أي زاحف
Playwright لـ.NET الصفحات المُعرضة من جانب العميل مُصان جيدًا، والخيار الوحيد المعقول من متصفحات .NET اليوم

إذا كان الزاحف يعمل داخل ASP.NET Core، سجّل العميل عبر IHttpClientFactory حتى تُدار مدة العمر وتحديث DNS نيابة عنك، بدلًا من الاعتماد على حقل ثابت ينساه أحدهم.


متى تكون C# الأداة الخاطئة؟

استخدم C# عندما يكون خط أنابيب بياناتك مبنيًا على .NET، وتريد خطوط أنابيب غير متزامنة بأنواع بيانات قوية ونشر سهل إلى جانب الخدمات القائمة. تجنبها عندما يكون المشروع سكربتًا بحثيًا صغيرًا ولا أحد في الفريق يكتب C# يوميًا.

العامل الحاسم هو الصيانة، لا القدرة. الزاحف المكتوب باللغة التي يستخدمها فريقك يوميًا يصمد أمام تغيير بنية الصفحة القادم؛ أما الزاحف الذكي المكتوب بلغة غير مألوفة فيُهجر عند أول عطل. إذا كانت الإجابة الصادقة أن C# ليست الموطن المناسب لهذه المهمة، فإن زاحفًا صغيرًا في مكان آخر يكتب إلى قاعدة البيانات نفسها هو تصميم مبرر، لا هزيمة.

يوجد أمران خارج هذه الصفحة لأنهما متطابقان في كل لغة، وتكرارهما هنا لن يزيد الأمر إلا صعوبة في تحديثه. قواعد الجلسة والتدوير، بما في ذلك سبب ضرورة أن تحافظ الرحلة على مخرج ثابت واحد، موجودة في أفضل ممارسات تدوير البروكسي. وما يجب فعله عندما يُرفض طلب، وكيفية التمييز بين مشكلة الشبكة ومشكلة العميل، موجود في أخطاء 403 Forbidden عند التجريف، والإطار القانوني موجود في هل تجريف الويب قانوني.

أما بخصوص المخرج نفسه: بروكسي سكني متدوّر للصفحات العامة، وثابت (sticky) للرحلات، ومركز بيانات لواجهات API والبيانات المفتوحة. البروكسي السكني من DataImpulse سعره 1 دولار لكل غيغابايت عبر 195 دولة مع استهداف الدولة مضمّنًا، والمقارنة موجودة في أفضل بروكسيات لتجريف الويب.


الأسئلة الشائعة

كيف أضبط بروكسي في C#؟

اضبطه على كائن العميل بدلًا من ضبطه لكل طلب: باستخدام HttpClient مع HttpClientHandler تضبط مضيف البروكسي والمنفذ وبيانات الاعتماد مرة واحدة، ثم تعيد استخدام ذلك العميل. إعادة استخدامه تحافظ على تجميع الاتصالات وحاوية ملفات تعريف الارتباط وعنوان الخروج متسقة، وهذا ما يجعل الجلسة تبدو متماسكة.

ما المكتبة التي يجب استخدامها للتحليل في C#؟

AngleSharp أو HtmlAgilityPack هو الخيار الافتراضي العملي. أبقِ التحليل منفصلًا عن الجلب: العميل يتولى الشبكة والمحلل يتولى بنية الصفحة، بحيث يخبرك الفشل فورًا أي الجزأين تعطل.

هل أحتاج إلى متصفح بلا واجهة في C#؟

فقط عندما تُعرض الحقول من جانب العميل. اجلب الصفحة ببساطة وابحث في HTML عن قيمة معروفة واحدة أولًا: إذا وُجدت، فتجاوز المتصفح تمامًا. وعندما تحتاج فعلًا إلى متصفح، فإن Playwright لـ.NET هو الخيار في هذه المنظومة عندما تُعرض الصفحة من جانب العميل، وتكلفته أعلى بمقدار مرتبة كاملة لكل صفحة من حيث الوقت والذاكرة.

هل إنشاء HttpClient جديد لكل طلب يستنفد المقابس؟

إنشاء HttpClient والتخلص منه ضمن حلقة تكرار يترك المقابس في حالة TIME_WAIT، وفي النهاية لا تستطيع العملية فتح اتصالات جديدة. استخدم عميلًا واحدًا طويل العمر لكل تهيئة بروكسي، أو IHttpClientFactory في ASP.NET Core.

هل C# خيار جيد لتجريف الويب؟

إنها خيار جيد عندما يكون خط أنابيب بياناتك مبنيًا على .NET، وتريد خطوط أنابيب غير متزامنة بأنواع بيانات قوية ونشر سهل إلى جانب الخدمات القائمة. وهي خيار خاطئ عندما يكون المشروع سكربتًا بحثيًا صغيرًا ولا أحد في الفريق يكتب C# يوميًا. العامل الحاسم عادة هو الصيانة وليس القدرة الخام: أداة التجريف المكتوبة باللغة التي يستخدمها فريقك يوميًا هي التي تصمد أمام تغيير بنية الصفحة القادم.


وجّه عميل C# الخاص بك نحو مخرج موثوق

يعمل المقتطف أعلاه بتغيير واحد فقط لبيانات الاعتماد: يوفر البروكسي السكني من DataImpulse مخارج دقيقة جغرافيًا بسعر 1 دولار لكل غيغابايت عبر 195 دولة، متدوّرة أو ثابتة، عبر HTTP وHTTPS وSOCKS5. أنشئ حسابًا واختبر هدفًا واحدًا من عميل C# الخاص بك قبل توسيع نطاق المهمة.

ذات صلة: أخطاء 403 Forbidden عند التجريف · إعداد بروكسي Crawl4AI · إعداد البروكسي بلغات Go وKotlin وScala وPerl وElixir.

آخر تحديث: 17 سبتمبر 2026.


Share article: