اس مضمون میں
جاوا کے ساتھ ویب اسکریپنگ زیادہ تر اس بات پر منحصر ہے کہ آپ کو کون سا کلائنٹ وراثت میں ملتا ہے۔ Java 11 سے پہلے لکھی گئی کوئی بھی چیز غالباً Apache HttpClient یا خام HttpURLConnection پر ہوگی، جبکہ اس کے بعد لکھی گئی کوئی بھی چیز java.net.http.HttpClient کو HTTP/2 کے ساتھ اور بغیر کسی dependency کے استعمال کر سکتی ہے۔ پارسنگ کا جواب ایک دہائی سے مستحکم ہے: jsoup۔
اگر آپ یہاں web scraping with java تلاش کرتے ہوئے پہنچے ہیں تو مختصر بات یہ ہے: پراکسی کو ایک بار کلائنٹ بلڈر پر سیٹ کریں، اسی کلائنٹ کو دوبارہ استعمال کریں، اور یاد رکھیں کہ JDK، HTTPS پر پراکسی کی تصدیق کو HTTP سے مختلف انداز میں برتتا ہے۔ یہی آخری تفصیل اس بات کی سب سے عام وجہ ہے کہ ایک جاوا اسکریپر ایک سائٹ کے خلاف کام کرتا ہے لیکن دوسری کے خلاف ناکام ہو جاتا ہے، اور اسے حل کے ساتھ نیچے بیان کیا گیا ہے۔
اہم حقائق
- جاوا میں اسٹیک: فیچنگ کے لیے Java 11 سے java.net.http.HttpClient، پارسنگ کے لیے jsoup، اور جب رینڈرنگ درکار ہو تو Selenium یا Playwright for Java۔
- پراکسی سیٹ اپ ایک آبجیکٹ ہے، فی درخواست ایک لائن نہیں۔ اسے ایک بار کلائنٹ پر ترتیب دیں اور اسی کلائنٹ کو دوبارہ استعمال کریں، ورنہ آپ کنکشن پولنگ اور سیشن کی مطابقت کھو دیں گے۔
- وہ غلطی جو یہاں سب سے زیادہ وقت ضائع کرتی ہے: https ٹنلز پر basic auth غیر فعال ہوتا ہے۔
- روٹیشن کا تعلق سیشن سے ہے، درخواست سے نہیں۔ ایک منطقی کام ایک ہی exit برقرار رکھتا ہے؛ سیشن کے دوران روٹیٹ کرنا cookies کو توڑ دیتا ہے اور چیلنجز کو دعوت دیتا ہے۔
- جاوا اس وقت استعمال کریں جب کرالر کسی موجودہ JVM سروس کے اندر موجود ہو، اور آپ کو اپنے پلیٹ فارم کے باقی حصے جیسی ہی observability اور deployment کی کہانی درکار ہو۔ اس سے گریز کریں جب آپ ایک ڈسپوزایبل، ایک فائل والا اسکریپر لکھ رہے ہوں، جہاں رسمی انتظام کام سے زیادہ مہنگا پڑتا ہے۔
آپ جاوا کی درخواستوں کو پراکسی کے ذریعے کیسے روٹ کرتے ہیں؟
پراکسی کو ایک بار کلائنٹ پر ترتیب دیں، پھر سیشن کی ہر درخواست کے لیے اسی کلائنٹ کو دوبارہ استعمال کریں۔ یہاں تصدیق کے ساتھ کم از کم کام کرنے والی شکل دی گئی ہے۔
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
یہاں نحو (syntax) سے زیادہ تین تفصیلات اہم ہیں۔ اسناد (credentials) گیٹ وے سے تعلق رکھتی ہیں، ہدف سائٹ سے نہیں۔ ٹائم آؤٹ اختیاری نہیں ہے، کیونکہ پراکسی ایک اضافی hop شامل کرتا ہے اور ایک اٹکی ہوئی درخواست ایک worker کو روکے رکھتی ہے۔ اور کلائنٹ ہی شناخت کی اکائی ہے: ایک ہی کلائنٹ کا مطلب ہے ایک ہی کنکشن پول، ایک ہی cookies، اور سٹکی سیشن کے ساتھ، ایک ہی exit ایڈریس۔
3 مرحلوں پر مشتمل کلائنٹ سیٹ اپ کیسا نظر آتا ہے؟
تین امور کو الگ رکھیں، اور ڈیبگنگ اندازوں کا کھیل نہیں رہتی۔ ہم اسے 3 مرحلوں پر مشتمل کلائنٹ سیٹ اپ کہتے ہیں۔
| حصہ | یہ کس چیز کا ذمہ دار ہے | جاوا میں |
|---|---|---|
| 1. ٹرانسپورٹ | کنکشن، پراکسی، ٹائم آؤٹس، ری ٹرائیز، TLS | Java 11 سے java.net.http.HttpClient |
| 2. پارسنگ | بائٹس کو فیلڈز میں بدلنا، اور جب markup تبدیل ہو جائے تو واضح طور پر ناکام ہونا | jsoup |
| 3. شیڈولنگ | فی ہوسٹ کنکرنسی، رفتار کا تعین، backoff، ڈی ڈپلیکیشن | آپ کا اپنا worker pool یا queue، فی ہدف محدود |
JVM ان تینوں کو ایک ہی سروس کلاس کے اندر ملانا آسان بنا دیتا ہے، اور نتیجہ ایک ایسا کرالر ہوتا ہے جس میں کوئی نہیں بتا سکتا کہ ناکامی نیٹ ورک سے آئی، markup سے یا شیڈیولر سے۔ HttpClient، jsoup اور آپ کے executor کو الگ الگ layers میں رکھنے کا مطلب ہے کہ 403 ان میں سے ایک کی طرف اشارہ کرتا ہے، خالی selector نتیجہ دوسرے کی طرف، اور سست زوال تیسرے کی طرف۔
جب کوئی اسکریپ ٹوٹتی ہے، تو پہلا سوال یہ ہوتا ہے کہ کون سا حصہ ٹوٹا۔ non-200 status ٹرانسپورٹ کا مسئلہ ہے۔ خالی فیلڈز کے ساتھ 200 پارسنگ کا مسئلہ ہے، یا ایسا صفحہ جو کلائنٹ سائیڈ پر رینڈر ہوتا ہے۔ کامیابی جو منٹوں میں زوال پذیر ہو جائے شیڈولنگ کا مسئلہ ہے۔ تینوں کو ایک ہی فنکشن میں ملا دینا ہی وہ وجہ ہے کہ اتنے سارے اسکریپرز کو ٹھیک کرنے کے بجائے دوبارہ لکھا جاتا ہے۔
jsoup ایک وجہ سے ڈیفالٹ پارسر ہے: CSS selectors، معاف کرنے والی HTML ہینڈلنگ اور ایک چھوٹا API۔ اسے صرف پارسنگ کے لیے رکھیں اور نیٹ ورک کا کام HttpClient پر چھوڑ دیں۔
جاوا میں خاص طور پر کیا غلط ہوتا ہے؟
تین مسائل جاوا میں ضائع ہونے والے زیادہ تر وقت کے ذمہ دار ہیں، اور ان میں سے کوئی بھی ہدف کی جانب سے آپ کو بلاک کرنا نہیں ہے۔
HTTPS ٹنلز پر basic auth غیر فعال ہوتا ہے۔ یہی وہ چیز ہے جو لوگوں کی ایک دوپہر ضائع کرتی ہے۔ JDK بائی ڈیفالٹ CONNECT ٹنلز پر Basic پراکسی تصدیق کو بلاک کرتا ہے، لہٰذا ایک تصدیق شدہ پراکسی HTTP کے لیے کام کرتا ہے لیکن HTTPS کے لیے ناکام ہو جاتا ہے، جب تک کہ آپ jdk.http.auth.tunneling.disabledSchemes property کو صاف نہ کریں۔
ہر ورژن میں پراکسیز کے لیے Authenticator کو کال نہیں کیا جاتا۔ رویہ JDK کے مختلف ریلیزز میں بدلتا رہا ہے۔ اگر اسناد نظر انداز ہو جائیں، تو بطور متبادل خود Proxy-Authorization header بھیجیں اور اپنے build میں JDK ورژن کو pin کریں۔
jsoup اپنے طور پر فیچ کرتا ہے۔ Jsoup.connect(url) اپنا الگ کنکشن کھولتا ہے اور آپ کے HttpClient پراکسی کے بارے میں کچھ نہیں جانتا۔ HttpClient سے فیچ کریں، پھر اسٹرنگ کو Jsoup.parse کے حوالے کریں۔
ان میں سے کوئی بھی غیرمعمولی نہیں ہے، اور یہ سب باہر سے ایک بلاک شدہ اسکریپر جیسے دکھائی دیتے ہیں، یہی وجہ ہے کہ اکثر پہلا ردعمل ایک ایسے مسئلے کے لیے پراکسیز خریدنا ہوتا ہے جو دراصل کلائنٹ میں موجود ہے۔ ہماری اسکریپنگ کے دوران 403 Forbidden ایررز کی گائیڈ الگ تھلگ کرنے کے مراحل کو ترتیب وار بیان کرتی ہے۔
آپ جاوا میں کنکرنسی کو کیسے محدود کرتے ہیں؟
ایک fixed pool اور permit استعمال کریں، غیر محدود executor نہیں۔ Virtual threads کی مدد سے ایک ساتھ دس ہزار درخواستیں شروع کرنا انتہائی آسان ہو جاتا ہے، جو آپ کے ہدف کے خلاف denial-of-service اور آپ کے لیے rate-limit پابندی کا باعث بنتا ہے۔
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
عوامی صفحات کے لیے فی ہوسٹ چار permits ایک معقول ابتدائی نقطہ ہے۔ acquisitions کے درمیان jitter شامل کریں، اور send کال کے گرد ایک exponential backoff رکھیں جو 429 یا 403 جوابات کے تسلسل کے بعد پوری job کو روک دے، بجائے اس کے کہ دیوار سے ٹکراتے ہوئے دوبارہ کوشش کرتا رہے۔
کون سی جاوا لائبریریاں استعمال کرنے کے قابل ہیں؟
| لائبریری | اسے کس کام کے لیے استعمال کریں | ایماندارانہ نوٹ |
|---|---|---|
| java.net.http.HttpClient | Java 11 سے آگے ہر نیٹ ورک سے متعلق کام | JDK کے اندر، کوئی dependency نہیں، بائی ڈیفالٹ HTTP/2۔ proxy-auth ٹنلنگ کی خامی اس کا واحد نازک پہلو ہے |
| jsoup | پارسنگ اور CSS سلیکشن | اچھی وجہ سے ڈیفالٹ۔ اسے صرف پارسنگ کے لیے استعمال کریں، پراکسی کے ذریعے فیچنگ کے لیے کبھی نہیں |
| Apache HttpClient 5 | باریک کنکشن اور پراکسی کنٹرول | بھاری API، اس وقت مفید جب آپ کو فی route کنکشن پولز یا NTLM درکار ہوں |
| Playwright for Java | وہ صفحات جو کلائنٹ سائیڈ پر رینڈر ہوتے ہیں | حقیقی براؤزر، حقیقی لاگت۔ اسے صرف ان صفحات کے لیے مخصوص رکھیں جنہیں اس کی ضرورت ہو |
| HtmlUnit | پرانے طرز کی ہیڈلیس براؤزنگ | جدید سائٹس کے لیے زیادہ تر ایک بند گلی ہے؛ اس کا JavaScript انجن حقیقی براؤزرز سے پیچھے رہ جاتا ہے |
وہ امتزاج جو دیکھ بھال کے مرحلے میں زندہ رہتا ہے جان بوجھ کر سادہ رکھا گیا ہے: نیٹ ورک کے لیے HttpClient، markup کے لیے jsoup، اور Playwright صرف وہاں جہاں رینڈرنگ ناگزیر ہو۔
جاوا کب غلط ٹول ہوتا ہے؟
جاوا اس وقت استعمال کریں جب کرالر کسی موجودہ JVM سروس کے اندر موجود ہو، اور آپ کو اپنے پلیٹ فارم کے باقی حصے جیسی ہی observability اور deployment کی کہانی درکار ہو۔ اس سے گریز کریں جب آپ ایک ڈسپوزایبل، ایک فائل والا اسکریپر لکھ رہے ہوں، جہاں رسمی انتظام کام سے زیادہ مہنگا پڑتا ہے۔
فیصلہ کن عنصر دیکھ بھال ہے، صلاحیت نہیں۔ وہ زبان جو آپ کی ٹیم روزانہ استعمال کرتی ہے اس میں لکھا گیا کرالر اگلی markup تبدیلی میں زندہ رہتا ہے؛ کسی اجنبی زبان میں لکھا گیا ہوشیار کرالر پہلی ہی خرابی پر ترک کر دیا جاتا ہے۔ اگر ایماندارانہ جواب یہ ہو کہ جاوا اس کام کے لیے صحیح مقام نہیں ہے، تو کہیں اور ایک چھوٹا کرالر لکھنا جو اسی ڈیٹابیس میں لکھے ایک جائز ڈیزائن ہے، شکست نہیں۔
دو چیزیں اس صفحے سے باہر رہتی ہیں کیونکہ وہ ہر زبان میں یکساں ہیں، اور انہیں یہاں دہرانا صرف انہیں تازہ رکھنا مشکل بنا دے گا۔ سیشن اور روٹیشن کے اصول، بشمول یہ کہ ایک سفر کو ایک ہی سٹکی exit کیوں برقرار رکھنا چاہیے، پراکسی روٹیشن کے بہترین طریقوں میں موجود ہیں۔ جب کوئی درخواست مسترد کر دی جائے تو کیا کیا جائے، اور نیٹ ورک کے مسئلے کو کلائنٹ کے مسئلے سے کیسے پہچانا جائے، یہ اسکریپنگ کے دوران 403 Forbidden میں ہے، اور قانونی پہلو کیا ویب اسکریپنگ جائز ہے میں ہے۔
خود exit کے بارے میں: عوامی صفحات کے لیے متغیر رہائشی پراکسی، سفروں کے لیے سٹکی، اور APIs اور open data کے لیے ڈیٹا سینٹر۔ DataImpulse رہائشی پراکسی کی قیمت 195 ممالک میں $1 فی GB ہے جس میں country targeting شامل ہے، اور موازنہ ویب اسکریپنگ کے لیے بہترین پراکسیز میں ہے۔
اکثر پوچھے جانے والے سوالات
میں جاوا میں پراکسی کیسے سیٹ کروں؟
اسے فی درخواست کے بجائے کلائنٹ آبجیکٹ پر ترتیب دیں: Java 11 سے java.net.http.HttpClient کے ساتھ آپ پراکسی ہوسٹ، پورٹ اور اسناد ایک بار سیٹ کرتے ہیں، پھر اسی کلائنٹ کو دوبارہ استعمال کرتے ہیں۔ اسے دوبارہ استعمال کرنا کنکشن پول، cookie jar اور exit ایڈریس کو مستقل رکھتا ہے، اور یہی وہ چیز ہے جو ایک سیشن کو مربوط ظاہر کرتی ہے۔
مجھے جاوا میں پارسنگ کے لیے کون سی لائبریری استعمال کرنی چاہیے؟
jsoup عملی طور پر ڈیفالٹ انتخاب ہے۔ پارسنگ کو فیچنگ سے الگ رکھیں: کلائنٹ نیٹ ورک کا ذمہ دار ہے اور پارسر markup کا، تاکہ ایک ناکامی فوراً بتا دے کہ ان دونوں میں سے کون سا ٹوٹا۔
کیا مجھے جاوا کے لیے ہیڈلیس براؤزر کی ضرورت ہے؟
صرف اس وقت جب فیلڈز کلائنٹ سائیڈ پر رینڈر ہوتی ہوں۔ پہلے صفحے کو سادہ طریقے سے فیچ کریں اور HTML میں ایک معلوم قدر تلاش کریں: اگر وہ موجود ہو، تو براؤزر کو مکمل طور پر نظر انداز کریں۔ جب آپ کو واقعی ایک کی ضرورت ہو، تو اس ماحولیاتی نظام میں Selenium یا Playwright for Java جب رینڈرنگ درکار ہو ایک آپشن ہے، اور اس کی قیمت فی صفحہ وقت اور میموری میں کئی گنا زیادہ پڑتی ہے۔
کیا HTTPS ٹنلز پر basic auth غیر فعال ہوتا ہے؟
یہی وہ چیز ہے جو لوگوں کی ایک دوپہر ضائع کرتی ہے۔ JDK بائی ڈیفالٹ CONNECT ٹنلز پر Basic پراکسی تصدیق کو بلاک کرتا ہے، لہٰذا ایک تصدیق شدہ پراکسی HTTP کے لیے کام کرتا ہے لیکن HTTPS کے لیے ناکام ہو جاتا ہے، جب تک کہ آپ jdk.http.auth.tunneling.disabledSchemes property کو صاف نہ کریں۔
کیا جاوا ویب اسکریپنگ کے لیے ایک اچھا انتخاب ہے؟
یہ ایک اچھا انتخاب ہے جب کرالر کسی موجودہ JVM سروس کے اندر موجود ہو، اور آپ کو اپنے پلیٹ فارم کے باقی حصے جیسی ہی observability اور deployment کی کہانی درکار ہو۔ یہ غلط انتخاب ہے جب آپ ایک ڈسپوزایبل، ایک فائل والا اسکریپر لکھ رہے ہوں، جہاں رسمی انتظام کام سے زیادہ مہنگا پڑتا ہے۔ فیصلہ کن عنصر عام طور پر دیکھ بھال ہوتا ہے، خام صلاحیت نہیں: وہ اسکریپر جو آپ کی ٹیم روزانہ استعمال ہونے والی زبان میں لکھا گیا ہو، وہی اگلی markup تبدیلی میں زندہ رہتا ہے۔
اپنے جاوا کلائنٹ کو ایک قابل اعتماد exit کی طرف موڑیں
اوپر دیا گیا snippet صرف ایک credential تبدیلی کے ساتھ کام کرتا ہے: DataImpulse رہائشی پراکسی 195 ممالک میں $1 فی GB پر جغرافیائی طور پر درست exits فراہم کرتا ہے، متغیر یا سٹکی، HTTP، HTTPS اور SOCKS5 پر۔ ایک اکاؤنٹ بنائیں اور job کو بڑھانے سے پہلے اپنے جاوا کلائنٹ سے ایک ہدف کو ٹیسٹ کریں۔
متعلقہ: اسکریپنگ کے دوران 403 Forbidden · Crawl4AI پراکسی سیٹ اپ · Go، Kotlin، Scala، Perl اور Elixir میں پراکسی سیٹ اپ۔
آخری تازہ کاری: ستمبر 17، 2026۔
