How to use curl full guide cover

cURL هي أداة سطر أوامر يستخدمها كل مطور عاجلاً أم آجلاً. لا يتطلب الأمر الكثير من الموارد ويتم تضمينه عادةً بشكل افتراضي في معظم أنظمة التشغيل. ومع ذلك، بمجرد البدء في استخدامه لمهام أكثر تقدمًا، مثل تجريف الويب أو تجاوز القيود الإقليمية أو اختبار واجهات برمجة التطبيقات من مواقع متعددة، فقد تواجه مشكلات مثل حدود الأسعار أو المحتوى الذي لا يمكن الوصول إليه.

عند إرسال طلبات cURL الخاصة بك من خلال خادم بروكسي، يمكنك تعديل عنوان IP الذي يكتشفه موقع الويب المستهدف. باستخدام cURL، يمكنك جمع البيانات العالمية والوصول إلى المحتوى المحدود حسب المنطقة ومنع عمليات الحظر التي تحدث عند إرسال عدد كبير جدًا من الطلبات من عنوان IP واحد. يشرح هذا الدليل كيفية استخدام cURL مع البروكسي، بما في ذلك بناء الجملة الضروري وطرق المصادقة والسيناريوهات المحددة حيث يكون هذا الأسلوب مفيدًا.

حقائق أساسية

  • يدعم cURL البروكسيات عبر إشارات سطر الأوامر أو متغيرات البيئة أو ملفات التكوين
  • هناك أنواع مختلفة من البروكسي، بما في ذلك البروكسي السكني والمتنقل ومركز البيانات
  • يتم استخدام البروكسيات لإجراء عمليات فحص واسعة النطاق واختبار API والتغلب على عمليات الحظر والنتائج الجغرافية المحددة
  • للحصول على أفضل النتائج، قم بمطابقة نوع البروكسي الصحيح مع التكوين المناسب لحالة الاستخدام المحددة الخاصة بك
  • هناك جلسات لزجة ودورية. تُستخدم الجلسات الثابتة لتسجيلات الدخول والأنشطة ذات الحالة، بينما تُستخدم الجلسات الدورية لتجميع المهام

ما هو cURL وكيف يعمل

تم إصدار cURL في 1996، وهو يرمز إلى Client وURL. إنها آلية مهمة لإرسال طلبات HTTP ونقل البيانات. يتم استخدام cURL من خلال سطر الأوامر، مما يعني أنك تكتب أمرًا في الوحدة الطرفية، ويرسل الطلب، ويطبع الاستجابة.  

يعمل cURL على libcurl، وهي مكتبة C محمولة. العملية نفسها بسيطة للغاية. إليك ما يحدث عند كتابة أمر:

  1. تحليل URL – cURL يقسمه إلى بروتوكول ومضيف ومنفذ ومسار. 
  2. افتح اتصالاً بالمضيف.
  3. أرسل الطلب – سطر الطلب وبعض الرؤوس والنص الاختياري.
  4. تلقي الرد – يرسل الخادم الرؤوس والنص مرة أخرى.
  5. طباعة النتيجة النهائية إلى المحطة.

cURL عالمي. اختبار نقاط النهاية، وجلب الصفحات، والضغط على واجهات برمجة التطبيقات، وجمع البيانات – هذه ليست سوى جزء صغير من الأنشطة التي يتم استخدام cURL من أجلها. يمكنه التعامل مع ملفات تعريف الارتباط والرؤوس المخصصة وإعادة المحاولة والمصادقة. كما أنه يدعم تكوين البروكسي. عندما يتعطل شيء ما بين تطبيقك والخادم، curl – v غالبًا ما يكشف تفاصيل الطلب والاستجابة لتسهيل تصحيح الأخطاء. سنستكشف هذه الطريقة بشكل أكبر في الفصول القادمة. 

ما هو البروكسي في cURL

يتوسط بروكسي cURL الاتصال بين العميل والخادم الوجهة. وهي تعمل كطبقة إعادة توجيه لتوجيه طلبات HTTP أو HTTPS. يتكون الاتصال المعتاد بدون بروكسي من عنصرين: العميل والهدف. في إعداد البروكسي، يعمل البروكسي كنقطة إنهاء لجلسة العميل ويعيد تأسيس الاتصال تجاه الهدف. 

يرسل cURL الطلب الكامل إلى الخادم البروكسي أولاً بدلاً من توصيله مباشرة بالهدف. بعد ذلك، ينفذ البروكسي تحليل DNS لتحويل اسم المجال إلى عنوان IP، ويفتح مأخذ توصيل جديدًا، ثم يعيد توجيه الطلب برؤوسه ونصه الأساسي. يقوم البروكسيات بإخفاء IP الأصلي الخاص بك، وتصفية حركة المرور، وجعل التصفح الخاص بك خاصًا، ويسمح لك بالوصول إلى الهدف من موقع آخر. تتم معالجة حركة مرور HTTP كبيانات تطبيق عادية، بحيث يمكن للبروكسيات إدارة محتويات الطلب. يعمل HTTPS بشكل مختلف. في هذه الحالة، يرسل cURL أمر CONNECT لإنشاء نفق بحيث تمر بيانات TLS المشفرة دون فك تشفيرها. 

عندما تحتاج إلى استخدام cURL مع بروكسي

يعتبر cURL بحد ذاته قويًا بالفعل، ولكن نادرًا ما يتم استخدامه بمفرده في بيئات الإنتاج. تجمع الفرق عادةً بين cURL وخادم بروكسي موثوق. فيما يلي أربع حالات استخدام حيث يقطع هذا الإعداد شوطًا طويلاً. 

  • تجريف الويب على نطاق واسع

تحتاج العديد من فرق التجارة الإلكترونية إلى تتبع أسعار المنافسين عبر العديد من صفحات المنتجات بشكل يومي. لا تكفي كتابة مكشطة نظيفة تعتمد على cURL، حيث تميل الطلبات عادةً إلى الفشل في غضون عشرين دقيقة. في هذه الحالة، قد يساعد توجيه cURL عبر مجموعة من البروكسيات المتناوبين كثيرًا. سيأتي كل طلب من IP آخر، ولن يقوم موقع الويب المستهدف بتقييد النشاط، لأنه يشبه السلوك الطبيعي. 

  • التغلب على حظر IP

تتطلب المهام الأسبوعية وصولاً مستقرًا إلى البيانات الدقيقة. على سبيل المثال، إذا كانت عملية التدقيق الأسبوعية الخاصة بك غير مدعومة بواسطة البروكسيات، فمن المحتمل أن تواجه أخطاء 403. كما أن التبديل إلى شبكة مختلفة لا يساعد دائمًا. هذه المرة، حاول إرسال نفس طلب cURL عبر بروكسي سكني لمحاكاة سلوك المستخدم الحقيقي من خلال اتصال إنترنت منزلي نموذجي. 

  • إنشاء طلبات مستهدفة جغرافيًا

يؤثر موقعك على المحتوى الذي تراه. يتعين على فرق التسويق عادةً التحقق مما إذا كانت الصفحات المقصودة المترجمة للعميل قد تم عرضها بشكل صحيح. من خلال اتصالها الخاص، قد لا يتم تحميل الصفحات بالإصدارات التي تحتاجها. الحل هو تنفيذ عناوين IP سكنية من مصادر أخلاقية من مزود موثوق مثل DataImpulse. بمجرد أن يقوم فريقك بإعداده، سيعرض كل طلب الصفحة تمامًا كما سيراها المستخدم المحلي، بما في ذلك الأسعار المحلية وأي عروض ترويجية خاصة بمنطقة جغرافية معينة. 

  • اختبار API العالمي 

كجزء من مهامهم، قد يجد المطورون صعوبة في التحقق من سلوك API عبر مواقع مختلفة دون الأدوات المناسبة. لا تكتشف تطبيقات المراقبة دائمًا المشكلة، ويصبح إعادة إنتاجها في بيئة محلية أمرًا مستحيلًا. قم بحل المشكلة عن طريق إرسال طلبات cURL إلى API عبر بروكسي. ستصل إلى نفس العقد الطرفية، ونفس قاعدة البيانات الإقليمية، ونفس مسارات الشبكة التي يستخدمها المستخدمون لديك. تساعدك البروكسيات على تصحيح المشكلات التي تجاوزت أدوات المراقبة لديك. 

ما تحتاجه لاستخدام بروكسي مع cURL

استخدام بروكسي مع cURL لا يتطلب الكثير. ستحتاج إلى خمسة أشياء للبدء.

  1. cURL، تم تثبيته وجاهز للاستخدام. إنه متوفر افتراضيًا في معظم أنظمة macOS وLinux. عروضنا التعليمية الملائمة للمبتدئين كيفية تثبيت cURL على أي نظام تشغيل، بما في ذلك Windows. 
  2. الوصول إلى نقطة نهاية البروكسي. يمكن أن يكون هذا بروكسي HTTP أو HTTPS أو SOCKS5. وهذا ما يعطي cURL طلبات طريق آخر إلى الهدف بدلاً من التوجه مباشرة. 
  3. بيانات اعتماد البروكسي إذا كانت المصادقة مطلوبة.
  4. نقطة النهاية المستهدفة. يمكن أن يكون موقع API أو موقع ويب أو أي شيء تحاول الوصول إليه.
  5. أداة فحص البروكسي. للتحقق من مرور حركة المرور عبر البروكسي، استخدم خدمة سريعة مثل https://ipinfo.io/ أو https://whatismyipaddress.com/. 

بمجرد وضع هذه العناصر في مكانها الصحيح، يمكننا تكوين إعدادات البروكسي cURL، مع معالجة التوجيه على مستوى الشبكة. بدلاً من الاتصال بالهدف مباشرةً، يستخدم cURL البروكسي كوسيط.

كيفية استخدام cURL مع البروكسي – خطوة بخطوة

أمر البروكسي cURL الأساسي

لتوجيه طلب cURL عبر بروكسي، استخدم ملف -x علامة لتحديد الخادم البروكسي. سيقوم cURL بإرسال الطلب عبر هذا البروكسي. 


curl -x http://proxy-ip:port https://example.com
      
        
      

إنه أبسط شكل من أشكال استخدام البروكسي ويعمل مع طلبات HTTP أو HTTPS الأساسية التي لا تحتاج إلى مصادقة.

بروكسي cURL مع المصادقة

إذا كان البروكسي يتطلب خطوات مصادقة إضافية، فيمكنك تمرير اسم المستخدم وكلمة المرور مباشرة في سلسلة البروكسي. وإليك كيفية القيام بذلك: 


curl -x http://username:password@proxy-ip:port https://example.com
      
        
      

تعتمد أوامر cURL على بيانات الاعتماد هذه للمصادقة مع البروكسي قبل تمرير الطلب. 

باستخدام بروكسي HTTPS

باستخدام بروكسي HTTPS، لا يزال cURL يوجه حركة المرور عبر البروكسي مع التأكد من الحفاظ على تشفير TLS على طول الطريق إلى الوجهة. 


curl -x https://proxy-ip:port https://example.com
      
        
      

يكون هذا الإعداد مفيدًا عندما يلزم تشفير الارتباط إلى البروكسي نفسه.

باستخدام بروكسي SOCKS5

تقوم بروكسيات SOCKS5 بترحيل حركة المرور دون لمس بيانات الطلب.


curl -x socks5://proxy-ip:port https://example.com
      
        
      

نظرًا لأن SOCKS5 يتعامل مع أنواع متعددة من حركة المرور، فإن هذه البروكسيات تعد خيارًا مرنًا للمهندسين الذين يعملون باستخدام بروتوكولات مختلفة. 

تكوين البروكسي المتقدم في cURL

استخدام متغيرات البيئة

يمكن لـ cURL التقاط إعدادات البروكسي من متغيرات البيئة على مستوى النظام تلقائيًا. يكون هذا مفيدًا عندما تريد أن يمر كل طلب من جلسة طرفية أو تطبيق عبر نفس البروكسي، دون الحاجة إلى تحديده في كل مرة. 


export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
      
        
        
      

بمجرد تعيين هذه المتغيرات، يقوم cURL بتطبيقها على الطلبات الصادرة من تلقاء نفسه، بناءً على البروتوكول الذي تستخدمه.

باستخدام ملف .curlrc

ال .curlrc يتم استخدام ملف التكوين لإعدادات cURL المستمرة. أضف إعدادات البروكسي الخاصة بك إليه مرة واحدة، وسيتم توجيه كل طلب عبر هذا البروكسي تلقائيًا. قم بتجاوزه في سطر الأوامر عندما تحتاج إلى إعداد آخر.


proxy=http://proxy-ip:port
      
        
      

إعداد البروكسي لكل طلب مقابل العالمية

يمنحك cURL طريقتين لتعريف البروكسي: لكل طلب، باستخدام علامة، أو عالميًا، باستخدام متغيرات البيئة أو ملف التكوين. عادةً ما يجمع معظم المطورين بين هاتين الطريقتين. 

يستخدم الإعداد لكل طلب -x العلم على سطر الأوامر. إنه الأسلوب الأكثر استجابة لأنه يمكنك التحكم بالضبط في الطلب الذي يمر عبر أي بروكسي. هذا هو ما تريده عند تصحيح الأخطاء، أو مقارنة الاستجابات عبر المناطق، أو تشغيل أوامر مخصصة حيث قد تحتاج كل مكالمة إلى إعداد منفصل. إليك المثال المقدم:


curl -x http://proxy.example.com:8080 https://api.example.com
      
        
      

يقوم الإعداد العام بنقل البروكسي من سطر الأوامر إلى بيئتك، إما من خلال متغيرات مثل HTTP_PROXY وHTTPS_PROXY، أو .curlrc ملف. بمجرد تكوينه، يقوم cURL بتوجيه كل طلب صادر عبر نفس البروكسي حتى تقوم بتغييره. يعد هذا خيارًا رائعًا للنصوص الطويلة وخطوط أنابيب CI/CD والمهام المجدولة في أي مكان -x في كل سطر سيكون مجرد تكرار. قم بتعيين هذا الأمر:


export HTTPS_PROXY=http://proxy.example.com:8080 
curl https://api.example.com
      
        
        
      

تجاهل البروكسي لطلبات محددة

البروكسي العالمي مناسب. ومع ذلك، ليس دائما ما تريد. عادةً ما تحتاج واجهات برمجة التطبيقات الداخلية وخدمات المضيف المحلي ونقاط نهاية البيانات التعريفية السحابية إلى تخطي البروكسي بالكامل. يمكن أن يؤدي توجيهها إلى إبطاء الطلبات في أحسن الأحوال أو حظر الاتصال تمامًا في أسوأ الأحوال.

يمنحك cURL ثلاث طرق للتعامل معها:

1. –noproxy “*” . ويعني تجاوز البروكسي لهذا الطلب، بغض النظر عن الوجهة.


curl --noproxy "*" https://localhost:8000
      
        
      

2. –noproxy “host1,host2”. هذا يعني التجاوز فقط للمضيفين الذين تدرجهم.


curl --noproxy "localhost,*.internal" https://api.internal/status
      
        
      

3. NO_PROXY متغير البيئة. يقوم بتعيين قائمة دائمة بالمضيفين الذين يتخطون البروكسي دائمًا، حتى عند تكوين بروكسي عام.


export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal" 
      
        
      

بعد تعيين NO_PROXY، يقوم cURL بتوجيه أي شيء يطابق القائمة مباشرةً، بينما يستمر كل شيء آخر في التدفق عبر البروكسي. 

استخدام cURL مع البروكسيات الدوارين

واحد IP لا يكفي إذا كنت تريد إرسال مئات الطلبات. حتى البروكسيات السكنيون يحصلون على أسعار محدودة إذا كان كل طلب يأتي من نفس العنوان. الحل هو التناوب، وهو توزيع جميع الطلبات عبر العديد من عناوين IP المختلفة بحيث لا يلفت أي منها انتباهًا غير ضروري. يمكن للموفر القيام بذلك نيابةً عنك، أو يمكنك تدوير البروكسيات يدويًا. 

1. دوران البوابة 

يقدم العديد من بائعي البروكسيات نقطة نهاية واحدة تقوم بتدوير عناوين IP بشكل منهجي. يتصل المستخدم عادةً بعنوان واحد، ثم تمر الطلبات عبر IP مختلف من تجمع الموفر. 


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

2. الدوران اليدوي

يكون لدى المستخدمين أحيانًا قائمة خاصة بهم من البروكسيات، لذا يقومون بتدويرها يدويًا داخل البرنامج النصي. إليك المثال في بايثون:


import random
import subprocess

proxies = [
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
]

with open("urls.txt") as f:
    for url in f:
        proxy = random.choice(proxies)
        subprocess.run(["curl", "-x", proxy, url.strip()])

      
        
        
        
        
        
        
        
        
        
        
        
        
        
      

لماذا يهم التناوب؟

يمكن أن تحدث حدود المعدلات وكتل CAPTCHA وIP والحظر الصارم والأخطاء والعديد من المشكلات إذا تم استخدام IP كثيرًا. من خلال نشر الطلبات عبر عناوين IP المختلفة، لا يبدو أي عنوان مريبًا للهدف. يبدو أن حركة المرور عادية من العديد من الزوار المختلفين. هذا هو السبب الرئيسي لاستخدام دوران البروكسي – حتى لا يبدو وكأنه عميل آلي.  

مثال مع نقطة نهاية البروكسي الدوارة

فيما يلي المثال الأساسي للبروكسي الدوار باستخدام cURL. بعد تشغيل هذا الأمر ثلاث مرات متتالية، ستحصل على ثلاث نتائج مختلفة. 


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

httpbin.org/ip هي نقطة نهاية مفيدة للتحقق، حيث تقوم بإرجاع المصدر IP الذي لاحظه الخادم. 

لزجة مقابل الدورية الجلسات

في وضع التدوير، يكون كل طلب مستقلاً. يمر عبر IP مختلف عن مجموعة الموفر. هذا هو الاختيار الصحيح إذا كنت من مستخدمي الويب وتحتاج إلى جمع الكثير من بيانات الأسعار والمنتج. إذا استمر اكتشاف عنوان واحد، فإن التبديل إلى عنوان جديد يحافظ على أمان طلباتك. 

 

في الوضع الثابت، يتم الاحتفاظ بنفس عنوان IP لفترة معينة. وعادة ما تكون من دقائق 5 إلى 60. إنه يعمل بشكل جيد إذا كنت تعمل مع عمليات تسجيل الدخول أو المصادقة وتحتاج إلى تناسق IP لتتصرف بالطريقة التي يتصرف بها المستخدم الحقيقي. 

أفضل أنواع البروكسي لـ cURL 

يعمل cURL بنفس الطريقة، بغض النظر عن نوع البروكسي الذي تشير إليه. تتطلب العملية منك تعيين العلامة -x وتمرير بيانات الاعتماد الخاصة بك وإرسال الطلب. ما يتغير هو كيفية إدراك الخادم الهدف لحركة المرور الخاصة بك، ويتم تحديد ذلك بالكامل تقريبًا حسب نوع IP خلف البروكسي.

أنا كتلة HTML الخام.
انقر فوق زر تحرير لتغيير HTML هذا

الأخطاء الشائعة وكيفية إصلاحها

1. تم رفض اتصال البروكسي

عندما يتعذر على cURL فتح اتصال TCP بالبروكسي، فمن المحتمل أن تتلقى رسالة تفيد برفض الاتصال. وهذا يعني أن البروكسي إما غير قابل للوصول أو محظور. قد تتضمن الخطوات المفيدة التحقق من جدار الحماية وإعدادات البروكسي، بما في ذلك المضيف والمنفذ. اختبر البروكسي باستخدام هذا الأمر: 


curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip

      
        
      

2. فشلت المصادقة

يظهر عادةً كخطأ 407 ويعني أن البروكسي رفض بيانات الاعتماد الخاصة بك. تحقق جيدًا من اسم المستخدم وكلمة المرور والمضيف والمنفذ. لا تقم بتضمين بيانات الاعتماد في عناوين URL واستخدم العلامة -U بدلاً من ذلك. على سبيل المثال:


curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip

      
        
      

3. أخطاء SSL/الشهادة

عادةً ما تأتي الأخطاء هنا من مخزن شهادات CA قديم، أو من بروكسي يعترض حركة مرور TLS، أو من الموقع المستهدف الذي يحتوي على شهادة خاطئة. في هذه الحالة، قم بتحديث حزمة CA الخاصة بك، واستخدم -k فقط للاختبار، وتحقق مما إذا كان البروكسي نفسه يقوم بفك تشفير حركة المرور. 

4. قضايا المهلة

يحدث ذلك بسبب التحميل الزائد على الخادم، أو قد يعمل البروكسي ببطء. يمكنك إصلاحه عن طريق تعيين مهلات صريحة كما يظهر في مثال التعليمات البرمجية هذا:


curl --connect-timeout 10 --max-time 30 \
       -x http://proxy.example.com:8080 https://target.com

      
        
           
      

عندما لا تكون رسالة الخطأ وحدها كافية لمعرفة مكان الفشل، فإن الوضع المطول هو الأداة الأكثر فائدة في مجموعة أدوات تصحيح الأخطاء cURL. يقوم بطباعة تسلسل الاتصال الكامل حتى تتمكن من معرفة الخطوة التي نجحت وأي خطوة تم كسرها بالضبط.


curl -v -x http://proxy.example.com:8080 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
           
             
      

أفضل ممارسات البروكسي cURL

فيما يلي بعض العادات المفيدة للتعلم. 

  • قم بتدوير عناوين IP بشكل افتراضي، ولا يتم تثبيتها إلا عند الحاجة إليها
  • خنق معدل الطلب حتى تبدو حركة المرور طبيعية
  • الجمع بين البروكسيات مع الرؤوس المخصصة
  • استخدم –مضغوط لقص حجم النقل بنسبة 70–80%
  • تخطي البروكسيات المجانيين

* تخبر العلامة –compressed cURL بإرسال ترميز القبول: gzip وdeflate وbr وفك ضغط كل ما يعود. 


curl --compressed \
     -x http://gw.dataimpulse.com:823 \
     -U "user:pass" \
     https://target.com

      
        
           
             
               
      

أمثلة البروكسي cURL لحالات الاستخدام الحقيقي

دعونا نلقي نظرة على ثلاثة سيناريوهات شائعة لاستخدام cURL مع البروكسي. 

1. كشط موقع على شبكة الإنترنت

سيتم تشغيل هذا الإعداد عبر آلاف الصفحات وسينتج مخرجات نظيفة جاهزة للتحليل. يتضمن بروكسيات سكنيين دوارين، ورؤوس مخصصة تتطابق مع متصفح حقيقي، وضغط لعمليات نقل أسرع، وتأخير بسيط بين الطلبات.

فيما يلي مثال سيعمل على Linux، وmacOS، وWSL. ستحتاج إلى ملف urls.txt يتضمن تفاصيل النطاق domain.com، مثل google.com أو example.com.

شفرة:


while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue

full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac

file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"

curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt

wait

      
        
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

2. الوصول إلى المحتوى المقيد جغرافيا

في هذا الكود، يصل كل طلب إلى الموقع المستهدف كما لو أنه جاء من مستخدم حقيقي في ذلك البلد. تلتقط ملفات الإخراج النسخة المترجمة تمامًا كما سيراها الزائر المحلي. 


# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.br:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o br.html

# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.jp:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o jp.html

# Check the German version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.de:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o de.html

      
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

3. اختبار واجهات برمجة التطبيقات

من هنا، يمكن للفريق التعمق في توجيه قاعدة البيانات الإقليمية، أو العقد الطرفية CDN، أو أي شيء آخر يختلف بين الموقعين.


curl -o /dev/null -s \
     -x http://gw.dataimpulse.com:823 \
     -U "username__cr.sg:password" \
     -w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
     https://api.client.com/v1/users/me

      
               
                        
           
             
               
      

التعليمات

كيفية استخدام curl مع البروكسي؟

استخدم العلامة -x لتحديد عنوان ومنفذ البروكسي DataImpulse. إذا كان البروكسي يتطلب المصادقة، أضف -U "اسم المستخدم: كلمة المرور" لتمرير بيانات الاعتماد الخاصة بك.

مصادقة البروكسي cURL لا تعمل

السبب الأكثر شيوعًا هو بيانات الاعتماد الخاطئة أو الأحرف الخاصة في كلمة المرور - استخدم علامة -U "user:pass" بدلاً من تضمين بيانات الاعتماد في URL، وقم بتشفير أي حرف @ أو : أو / URL.

SOCKS5 cURL مقابل بروكسي http

يتعامل بروكسي HTTP مع حركة مرور HTTP وHTTPS فقط، بينما يقوم بروكسي SOCKS5 بترحيل أي حركة مرور TCP دون فحص الطلب. استخدم بروكسيات DataImpulse HTTP لتجريف الويب ومكالمات API؛ استخدم SOCKS5 عندما تحتاج إلى مرونة البروتوكول أو التوجيه ذي المستوى الأدنى.

كيفية تدوير البروكسيات في curl

قم بالاتصال بنقطة نهاية واحدة، وسيقوم الموفر بتعيين IP مختلف لكل طلب تلقائيًا. للتدوير اليدوي، قم بتخزين قائمة بالبروكسيات في برنامج نصي واختيار بروكسي عشوائي لكل طلب.

خاتمة

تعد cURL مع البروكسي إحدى تلك المجموعات التي يجب أن يمتلكها أي مطور أو أي شخص يريد عملية جمع بيانات آمنة ودقيقة. أداة سطر أوامر واحدة، وعلامة واحدة، وفجأة يمكنك الاستكشاف على نطاق واسع، وأتمتة الاختبار عبر المناطق، والوصول إلى واجهات برمجة التطبيقات من أي مكان في العالم. إنه مضغوط وقابل للبرمجة ويعمل بنفس الطريقة على كل نظام سيتم نشره عليه.

التكوين يلعب دورا كبيرا. تحديد نوع البروكسي المناسب لهدفك، سواء كان سكنيًا أو مركز بيانات أو هاتفًا محمولاً. تدوير عناوين IP بالسرعة الصحيحة. إرسال رؤوس HTTP مع cURL يبدو وكأنه متصفح حقيقي، وليس برنامج نصي. بناء عمليات إعادة المحاولة والمهلات وحدود الأسعار قبل أن تحتاج إليها فعليًا. قم بتنفيذ هذه الخطوات، وسيصبح cURL عمودًا فقريًا موثوقًا به لسير عمل بيانات الإنتاج لديك.

Share article: