Web scraping proxy setup by language - Go, Kotlin, Scala, Perl and Elixir - DataImpulse

یہ ایک ٹیوٹوریل کے بجائے حوالہ جاتی صفحہ ہے: پانچ زبانوں میں اسکریپنگ کے لیے کارآمد پراکسی کنفیگریشن، جہاں سامعین اتنے کم ہیں کہ ہر ایک کے لیے الگ گائیڈ ایک ہی بات پانچ بار دہرائے گی۔ Go، Kotlin، Scala، Perl اور Elixir، ساتھ میں کوڈ، لائبریری کا انتخاب، اور ہر ایک میں سب سے زیادہ وقت ضائع کرنے والا ایک نقصان۔

ان سب پر لاگو ہونے والا اصول ایک ہی ہے۔ ویب اسکریپنگ پراکسی سیٹ اپ کلائنٹ آبجیکٹ پر ہونا چاہیے، ایک بار کنفیگر ہو کر دوبارہ استعمال کیا جائے، کیونکہ یہی کلائنٹ کنکشن پول، کوکی جار، اور سٹکی سیشن کی صورت میں خارجی پتہ رکھتا ہے۔ کوئی بھی چیز جو ہر درخواست کے لیے نیا کلائنٹ بناتی ہے، یہ تینوں چیزیں ضائع کر دیتی ہے۔


اہم حقائق

  • یہاں ہر زبان کے لیے ایک ہی اصول ہے: پراکسی کو کلائنٹ آبجیکٹ پر ایک بار کنفیگر کریں اور اسی کلائنٹ کو دوبارہ استعمال کریں، کیونکہ کلائنٹ ہی کنکشن پول، کوکیز اور خارجی شناخت رکھتا ہے۔
  • Go: فیچنگ کے لیے http.ProxyURL کے ساتھ http.Transport، اور کرالر سے متعلق معاملات کے لیے colly۔ نقصان یہ ہے کہ http.Client کے پاس کوئی ڈیفالٹ ٹائم آؤٹ نہیں ہوتا۔
  • Kotlin: proxyAuthenticator کے ساتھ OkHttp۔ نقصان ایک ایسا authenticator ہے جو کبھی null واپس نہیں کرتا اور غلط پاس ورڈ پر لوپ میں پھنس جاتا ہے۔
  • Scala: بیک اینڈ آپشنز کے ساتھ sttp۔ نقصان یہ ہے کہ JDK، HTTPS ٹنلز پر Basic پراکسی توثیق کو غیر فعال کر دیتا ہے۔
  • Perl اور Elixir: LWP ماحول سے HTTPS_PROXY کا احترام کرتا ہے اور آپ کے کوڈ کو اوور رائیڈ کر سکتا ہے؛ Elixir میں پراکسی آپشنز adapter سے تعلق رکھتے ہیں، Req سے نہیں۔

وہ 3 حصوں پر مشتمل اصول جو یہاں ہر زبان پر لاگو ہوتا ہے

ٹرانسپورٹ، پارسنگ اور شیڈولنگ کو الگ الگ تہوں میں رکھیں، تاکہ جب اسکریپ ناکام ہو تو آپ کو پتہ چل سکے کہ خرابی کہاں ہوئی۔

حصہ ذمہ داری ناکامی کی علامت
1. ٹرانسپورٹ کنکشن، پراکسی، ٹائم آؤٹس، ری ٹرائز، TLS Non-200 اسٹیٹس، ٹائم آؤٹس، TLS خرابیاں
2. پارسنگ بائٹس کو فیلڈز میں تبدیل کرنا، اور جب مارک اپ بدلے تو واضح طور پر ناکام ہونا 200 مگر خالی فیلڈز
3. شیڈولنگ فی ہوسٹ کنکرنسی، رفتار کا تعین، بیک آف کامیابی جو منٹوں میں کم ہوتی جائے

نیچے دی گئی ہر زبان انہی تین حصوں کو مختلف ناموں کے ساتھ نافذ کرتی ہے۔ ٹرانسپورٹ سیکشن ہی وہ جگہ ہے جہاں پانچوں میں پراکسی موجود ہوتی ہے۔


Go: پراکسی سیٹ اپ، لائبریریاں اور بچنے کے قابل نقصان

اسٹیک: فیچنگ کے لیے کسٹم http.Transport کے ساتھ net/http، پارسنگ کے لیے goquery یا مکمل کرالر کے لیے colly، اور جب صفحے کو JavaScript درکار ہو تو chromedp۔

proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
    Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
    Timeout:   30 * time.Second,
}
resp, err := client.Get("https://example.com")

کوئی ڈیفالٹ ٹائم آؤٹ نہیں۔ بغیر Timeout کے http.Client ہمیشہ کے لیے انتظار کرتا ہے۔ ایک اٹکا ہوا ہوسٹ ایسے ورکر پول کو روک دیتا ہے جو آپ کے ہر میٹرک میں صحت مند دکھائی دیتا ہے۔

غیر بند باڈیز۔ ہر رسپانس باڈی کو بند کرنا ضروری ہے، ورنہ کنکشن کبھی پول میں واپس نہیں آتا، اور چند ہزار درخواستوں کے بعد تھرو پُٹ خاموشی سے گر جاتا ہے۔

colly کرالر سے متعلق معاملات آپ کے لیے سنبھالتا ہے: اس میں گردش کے لیے پراکسی سوئچر، فی ڈومین ریٹ لمٹس اور ایک بلٹ اِن قطار موجود ہے، اس لیے اپنا شیڈولر لکھنے سے پہلے اسے استعمال کریں۔

Go استعمال کریں جب Go پہلے سے آپ کا اسٹیک ہو، آپ کو متوقع میموری کے ساتھ زیادہ کنکرنسی درکار ہو، اور آپ کرالر باکس پر ایک واحد اسٹیٹک بائنری چاہتے ہوں۔ اس سے گریز کریں جب ہدف کو زیادہ تر صفحات کے لیے حقیقی براؤزر درکار ہو، جہاں Python اور Node کے ماحولیاتی نظام میں زیادہ پختہ ٹولنگ موجود ہے۔


Kotlin: پراکسی سیٹ اپ، لائبریریاں اور بچنے کے قابل نقصان

اسٹیک: فیچنگ کے لیے OkHttp، یا اگر آپ پہلے سے Ktor پر ہیں تو Ktor کلائنٹ، پارسنگ کے لیے jsoup، اور جب رینڈرنگ درکار ہو تو JVM پر Playwright یا Selenium۔

val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
    .proxy(proxy)
    .proxyAuthenticator { _, response ->
        response.request.newBuilder()
            .header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
            .build()
    }
    .callTimeout(Duration.ofSeconds(30))
    .build()

Authenticator غلط پاس ورڈ پر ہمیشہ کے لیے لوپ میں پھنس جاتا ہے۔ OkHttp اس وقت تک authenticator کو دوبارہ کال کرتا رہتا ہے جب تک وہ ہار نہ مان لے۔ پہلی ناکام کوشش کے بعد null واپس کریں، ورنہ ایک غلط کریڈینشل درخواستوں کے طوفان میں بدل جاتا ہے۔

ایک کلائنٹ، کئی سیشنز۔ OkHttp اپنا کنکشن پول اور کوکی جار تمام کالز میں مشترکہ رکھتا ہے۔ فی سیشن شناخت کے لیے، ہر سیشن کے لیے الگ کلائنٹ بنائیں یا اپنا کنٹرول کردہ کوکی جار انسٹال کریں۔

JDK ٹنلنگ کا وہ اصول جو Java کو متاثر کرتا ہے، یہاں بھی لاگو ہوتا ہے اگر آپ JDK کلائنٹ پر واپس جائیں: HTTPS پر Basic پراکسی توثیق کے لیے disabled-schemes پراپرٹی کو صاف کرنا ضروری ہے۔ OkHttp کا اپنا authenticator اس مسئلے سے بچ جاتا ہے۔

Kotlin استعمال کریں جب آپ JVM پر ہوں اور Java کی رسمی پیچیدگی کے بغیر coroutines اور ایک جدید API چاہتے ہوں۔ اس سے گریز کریں جب ٹیم کے پاس کوئی JVM تجربہ نہ ہو، کیونکہ ڈیپلائمنٹ کا معاملہ کوڈ پر حاوی ہو جاتا ہے۔


Scala: پراکسی سیٹ اپ، لائبریریاں اور بچنے کے قابل نقصان

اسٹیک: فیچنگ کے لیے آپ کی پسند کے بیک اینڈ کے ساتھ sttp، پارسنگ کے لیے Scala سے jsoup یا scala-scraper، اور اگر صفحات کلائنٹ سائیڈ پر رینڈر ہوتے ہوں تو JVM پر Playwright۔

import sttp.client3._

val backend = HttpClientSyncBackend(
  options = SttpBackendOptions.httpProxy(
    "gw.dataimpulse.com", 823, "USER", "PASS")
)

val response = basicRequest
  .get(uri"https://example.com")
  .readTimeout(30.seconds)
  .send(backend)

بیک اینڈ ہی سب کچھ طے کرتا ہے۔ sttp ایک انٹرفیس ہے؛ پراکسی سپورٹ، ٹائم آؤٹس اور اسٹریمنگ اسی بیک اینڈ سے آتے ہیں جو آپ منتخب کرتے ہیں۔ جب کچھ عجیب برتاؤ کرے تو sttp کے بجائے اس بیک اینڈ کی دستاویزات پڑھیں۔

پھر وہی JDK ٹنلنگ۔ اگر بیک اینڈ JDK کلائنٹ کو ریپ کرتا ہے، تو HTTPS پر Basic پراکسی توثیق ڈیفالٹ طور پر غیر فعال ہوتی ہے اور اسے فعال کرنے کے لیے jdk.http.auth.tunneling.disabledSchemes پراپرٹی کو صاف کرنا ضروری ہے۔

scala-scraper، jsoup کو Scala API کے ساتھ ریپ کرتا ہے اور اگر آپ کی پارسنگ محض چند سلیکٹرز سے زیادہ ہو تو اسے اپنانا فائدہ مند ہے۔

Scala استعمال کریں جب کرالر کسی ایسے Spark یا اسٹریمنگ پائپ لائن کو فیڈ کرے جو پہلے سے Scala میں ہو، اور بیک پریشر اہمیت رکھتا ہو۔ اس سے گریز کریں جب کام محض ایک سادہ فیچ اینڈ پارس جاب ہو جس میں کوئی ڈاؤن اسٹریم پائپ لائن نہ ہو۔


Perl: پراکسی سیٹ اپ، لائبریریاں اور بچنے کے قابل نقصان

اسٹیک: فیچنگ کے لیے LWP::UserAgent، یا جدید API کے لیے Mojo::UserAgent، پارسنگ کے لیے HTML::TreeBuilder یا Mojo::DOM، اِن-پراسیس رینڈرنگ کے لیے کچھ نہیں؛ جب رینڈرنگ درکار ہو تو کوئی بیرونی ٹول کال کریں۔

use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;

# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
           ->https('http://USER:[email protected]:823');

پراکسی کے ذریعے HTTPS کے لیے صحیح ماڈیولز درکار ہیں۔ LWP کو LWP::Protocol::https اور ایک کارآمد IO::Socket::SSL درکار ہوتا ہے، اور یہ HTTPS_PROXY ماحولیاتی متغیر کا بھی احترام کرتا ہے، جو خاموشی سے آپ کے کوڈ میں سیٹ کردہ چیز کو اوور رائیڈ کر دیتا ہے۔

ماحولیاتی متغیرات خاموشی سے حاوی ہو جاتے ہیں۔ env_proxy وہ سسٹم سیٹنگز اٹھا لیتا ہے جنہیں آپ بھول چکے ہوں۔ پراکسیز کو کوڈ میں واضح طور پر سیٹ کریں اور، شیڈول شدہ جابز میں، ماحول کو صاف کریں تاکہ ہوسٹ سطح کی کوئی سیٹنگ آپ کے ٹریفک کو ری ڈائریکٹ نہ کر سکے۔

Mojo::UserAgent ایک ہی ڈیپینڈنسی میں نان بلاکنگ درخواستیں اور jQuery جیسا DOM API فراہم کرتا ہے، جو اسے نئے Perl اسکریپرز کے لیے بہتر نقطہ آغاز بناتا ہے۔

Perl استعمال کریں جب Perl ارد گرد کے سسٹم کی زبان ہو، عام طور پر دیرپا آپس اور ڈیٹا ٹولنگ میں۔ اس سے گریز کریں جب آپ نئے سرے سے شروع کر رہے ہوں اور اسٹیک میں کوئی Perl موجود نہ ہو۔


Elixir: پراکسی سیٹ اپ، لائبریریاں اور بچنے کے قابل نقصان

اسٹیک: فیچنگ کے لیے Finch کے اوپر Req، پارسنگ کے لیے Floki، اور جب رینڈرنگ درکار ہو تو Wallaby یا کوئی بیرونی براؤزر سروس۔

Req.get!("https://example.com",
  connect_options: [
    proxy: {:http, "gw.dataimpulse.com", 823, []},
    proxy_headers: [
      {"proxy-authorization",
       "Basic " <> Base.encode64("USER:PASS")}
    ]
  ],
  receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()

پراکسی آپشنز adapter سے تعلق رکھتے ہیں۔ Req، connect_options کو Finch اور Mint تک پہنچاتا ہے۔ اگر آپ پرانا HTTPoison یا hackney اسٹیک استعمال کرتے ہیں، تو آپشن کی ساخت مختلف ہوتی ہے، یہی وجہ ہے کہ کاپی کیے گئے اسنیپٹس اکثر خاموشی سے ناکام ہو جاتے ہیں۔

ہر URL کے لیے ایک الگ پراسیس کوئی منصوبہ نہیں۔ ہر لنک کے لیے ایک Task شروع کرنا تمام درخواستوں کو ایک ساتھ چلا دیتا ہے۔ max_concurrency کے ساتھ Task.async_stream، جس کا سائز فی ہوسٹ طے کیا گیا ہو، مناسب حد ہے۔

CSS سلیکٹرز کے ساتھ Floki پارسنگ کو ڈیکلیریٹو رکھتا ہے، اور Req کا بلٹ اِن ری ٹرائی اور ری ڈائریکٹ ہینڈلنگ زیادہ تر وہ بوائلر پلیٹ ختم کر دیتا ہے جو لوگ ہاتھ سے لکھتے ہیں۔

Elixir استعمال کریں جب کرالر کسی موجودہ Elixir یا Phoenix سسٹم کے اندر چلتا ہو اور آپ مفت میں سپرویژن اور کنکرنسی چاہتے ہوں۔ اس سے گریز کریں جب آپ کو براؤزر پر بھاری پائپ لائن درکار ہو، جہاں ماحولیاتی نظام Node یا Python کے مقابلے میں پتلا ہے۔


آپ کو دراصل کون سی زبان استعمال کرنی چاہیے؟

فیصلہ کن عنصر صلاحیت نہیں بلکہ دیکھ بھال ہے۔ ایسی زبان میں لکھا گیا کرالر جسے آپ کی ٹیم روزانہ استعمال کرتی ہے، اگلی مارک اپ تبدیلی سے بچ جاتا ہے؛ جبکہ کسی اجنبی زبان میں لکھا ہوا ہوشیار کرالر پہلی ہی خرابی پر ترک کر دیا جاتا ہے۔

زبان بہترین موزونیت کمزور ترین نکتہ
Go متوقع میموری کے ساتھ زیادہ کنکرنسی، واحد اسٹیٹک بائنری براؤزر رینڈرنگ ٹولنگ Python یا Node کے مقابلے میں پتلی ہے
Kotlin وہ JVM ادارے جو coroutines اور جدید API چاہتے ہیں چھوٹے کام کے لیے ڈیپلائمنٹ کا بوجھ
Scala وہ کرالرز جو Spark یا اسٹریمنگ پائپ لائنز کو فیڈ کرتے ہیں بیک اینڈ پر منحصر رویہ اور مشکل سیٹ اپ
Perl موجودہ آپس اور ڈیٹا ٹولنگ جو پہلے سے Perl میں ہو کوئی عملی اِن-پراسیس براؤزر نہیں
Elixir وہ Phoenix سسٹمز جو مفت میں سپرویژن اور کنکرنسی چاہتے ہیں پتلا براؤزر آٹومیشن ماحولیاتی نظام

اگر آپ کی زبان یہاں موجود نہیں ہے، تو وہی تین حصوں پر مشتمل اصول لاگو ہوتا ہے: ہماری الگ گائیڈز Java، C#، PHP، R، C++، VBA اور Excel اور JavaScript کا احاطہ کرتی ہیں۔


ہر جگہ کیا یکساں ہے، اور حدود کہاں ہیں؟

تین چیزیں زبان کے ساتھ نہیں بدلتیں۔ سیشنز ہی خارجی پتوں کے مالک ہوتے ہیں، اس لیے صفحات کے درمیان کا سفر اپنی پوری زندگی میں ایک ہی سٹکی پتہ برقرار رکھتا ہے: اصول پراکسی گردش کے بہترین طریقے میں موجود ہیں۔ انکار دراصل دوبارہ کوشش کرنے کے بجائے تشخیص کرنے کا فیصلہ ہے، جسے ہماری گائیڈ اسکریپنگ کے دوران 403 Forbidden ترتیب وار بیان کرتی ہے۔ اور پراکسی صرف خارجی پتہ بدلتی ہے: یہ نہ تو JavaScript چلاتی ہے، نہ کسی غیر مستقل کلائنٹ کو ٹھیک کرتی ہے، اور نہ ہی کسی جارحانہ ریٹ کو قابل قبول بناتی ہے۔

اصولوں کے بارے میں: robots.txt اور سائٹ کی شرائط کا احترام کریں، سرکاری APIs کو ترجیح دیں، لاگ اِن کے پیچھے موجود کسی بھی چیز سے دور رہیں، اور ذاتی ڈیٹا کو پارسنگ کے مسئلے کے بجائے قانونی جواز کا سوال سمجھیں۔ ہم CAPTCHA حل کرنے یا رسائی کے کنٹرولز کو شکست دینے کا احاطہ نہیں کرتے۔ عمومی معلومات، قانونی مشورہ نہیں: دیکھیں کیا ویب اسکریپنگ قانونی ہے۔


اکثر پوچھے جانے والے سوالات

میں Go میں پراکسی کیسے سیٹ کروں؟

پراکسی URL کو کریڈینشلز کے ساتھ پارس کریں، http.Transport پر http.ProxyURL لگائیں، اور http.Client کو واضح ٹائم آؤٹ دیں، کیونکہ ڈیفالٹ طور پر اس کے پاس کوئی نہیں ہوتا۔ اسی کلائنٹ کو دوبارہ استعمال کریں تاکہ کنکشن پول اور کوئی بھی سٹکی سیشن برقرار رہے۔

میرا Kotlin OkHttp پراکسی authenticator لوپ میں کیوں پھنستا ہے؟

کیونکہ OkHttp authenticator کو اس وقت تک کال کرتا رہتا ہے جب تک یہ کامیاب نہ ہو جائے یا ہار نہ مان لے۔ پہلی ناکام کوشش کے بعد null واپس کریں تاکہ غلط کریڈینشل فوری طور پر ناکام ہو جائے، بجائے اس کے کہ گیٹ وے کے خلاف درخواستوں کا طوفان بن جائے۔

JVM پر HTTPS کے ساتھ Basic پراکسی توثیق کیوں ناکام ہو جاتی ہے؟

JDK ڈیفالٹ طور پر CONNECT ٹنلز پر Basic توثیق کو غیر فعال کر دیتا ہے، اس لیے ایک توثیق شدہ پراکسی HTTP کے لیے کام کرتی ہے مگر HTTPS کے لیے ناکام ہو جاتی ہے۔ jdk.http.auth.tunneling.disabledSchemes پراپرٹی کو صاف کریں، یا OkHttp جیسا کلائنٹ استعمال کریں جو خود Proxy-Authorization ہیڈر بھیجتا ہے۔

میرا Perl اسکرپٹ میری سیٹ کردہ پراکسی کو نظر انداز کیوں کر رہا ہے؟

LWP، HTTPS_PROXY اور HTTP_PROXY ماحولیاتی متغیرات کا احترام کرتا ہے، اور env_proxy ہوسٹ سطح کی وہ سیٹنگز اٹھا لیتا ہے جن کے بارے میں آپ کو شاید علم بھی نہ ہو۔ پراکسیز کو کوڈ میں واضح طور پر سیٹ کریں اور شیڈول شدہ جابز میں ماحول کو صاف کریں تاکہ مشین کی کوئی سیٹنگ آپ کے ٹریفک کو ری ڈائریکٹ نہ کر سکے۔

Elixir میں پراکسی آپشنز کہاں جاتے ہیں؟

خود Req پر نہیں بلکہ adapter پر: connect_options، Finch اور Mint تک پہنچائے جاتے ہیں، یہی وجہ ہے کہ پرانے hackney پر مبنی اسٹیکس کے لیے لکھے گئے اسنیپٹس خاموشی سے کچھ نہیں کرتے۔ آپشن کی ساخت کو اس adapter سے ملائیں جو آپ اصل میں استعمال کر رہے ہیں۔


ایک کریڈینشل، اوپر دی گئی ہر زبان کے لیے

اس صفحے پر موجود ہر اسنیپٹ ایک DataImpulse گیٹ وے کریڈینشل کے ساتھ کام کرتا ہے: 195 ممالک میں $1 فی GB پر رہائشی پراکسیز، متغیر یا سٹکی سیشنز، HTTP، HTTPS اور SOCKS5، ملک کی ٹارگٹنگ بھی شامل ہے۔ اسکیل کرنے سے پہلے اکاؤنٹ بنائیں اور اپنے کلائنٹ سے ایک ہدف کی جانچ کریں۔

متعلقہ: ویب اسکریپنگ کے لیے پراکسیز · Crawl4AI پراکسی سیٹ اپ · ویب اسکریپنگ یوز کیس۔

آخری تازہ کاری: 17 ستمبر 2026۔


Share article: