In this Article
بہت سے لوگوں کا خیال ہے کہ ChatGPT یا Gemini جیسے AI ٹولز ہمارے کام کا بڑا حصہ سنبھال رہے ہیں، انسانی محنت کی جگہ لے رہے ہیں، اور ہمارے سوچنے اور فیصلے کرنے کے انداز کو بھی بدل رہے ہیں۔ اس سے ملازمتوں اور تخلیقی صلاحیتوں کے مستقبل کے بارے میں خدشات پیدا ہوتے ہیں۔ مگر کیا AI واقعی حد سے بڑھا ہوا خطرہ ہے، یا مناسب توازن کے ساتھ استعمال کیا جائے تو محض ایک معاون ہے؟
ویب سکریپنگ کو مثال کے طور پر دیکھیں۔ روایتی طور پر ایک سکریپر بنانے کے لیے کوڈنگ کا اچھا علم، باریک بینی اور ڈیبگنگ کی مہارت درکار ہوتی ہے۔ ChatGPT کی مدد سے ابتدائی افراد بھی چند سیکنڈ میں استعمال کے لیے تیار سکریپنگ اسکرپٹس بنا سکتے ہیں، جبکہ پیشہ ور بار بار ہونے والے کوڈنگ کے کام AI کے سپرد کر کے گھنٹوں بچا سکتے ہیں۔ AI ڈویلپرز کی جگہ لینے کے بجائے ایک طاقتور پیداواری ٹول ہے جو معمول کے کام کم کرتا ہے۔
اس قسم کی سکریپنگ ڈیٹا جمع کرنے والے محققین، کاروباری حریفوں پر نظر رکھنے والوں اور Python سیکھنے والے طلبہ کے لیے مفید ہو سکتی ہے۔ Python کی سکریپنگ لائبریریوں کے ساتھ کوڈ لکھنے اور اس کی وضاحت کرنے کی ChatGPT کی صلاحیت ملا کر کوئی بھی مؤثر اور تیز سکریپر بنا سکتا ہے۔
شروع کرنے کے لیے درکار اہم ٹولز
Python کے ذریعے Amazon کے صفحات کی ویب سکریپنگ شروع کرنے سے پہلے، آئیے یقینی بنائیں کہ ہمارا ماحول درست طور پر تیار ہے۔ ہمیں ان چیزوں کی ضرورت ہو گی:
- Visual Studio Code (یا کوئی دوسرا کوڈ ایڈیٹر)
VS Code کو یہاں سے ڈاؤن لوڈ کریں: سرکاری ویب سائٹ اور اپنے آپریٹنگ سسٹم کے لیے انسٹالیشن کی ہدایات پر عمل کریں۔ پھر اسے کھولیں اور سائڈبار میں مربع آئیکن پر کلک کر کے Python ایکسٹینشن انسٹال کریں۔ جس فولڈر میں آپ پروجیکٹ بنانا چاہتے ہیں اسے کھولنے کے لیے فائل – فولڈر کھولیں۔. اپنی اسکرپٹ کے لیے ایک نئی Python فائل بنائیں، جیسے، scraping_gpt_test.py
- Python اور اس کی لائبریریاں (Requests, BeautifulSoup)
اگر آپ کے کمپیوٹر پر Python 3.x انسٹال نہیں ہے تو اسے یہاں سے ڈاؤن لوڈ کریں: https://www.python.org/. یہ جانچنے کے لیے کہ Python انسٹال ہے، ان میں سے کوئی ایک کمانڈ چلائیں:
python --version
python3 --version
کچھ سسٹمز میں python اب بھی python3 (اور pip3یہ یقینی بنانے کے لیے کہ آپ Python 3 چلا رہے ہیں۔ Python لائبریریوں کو استعمال کرنے کے لیے، پہلے انسٹال کریں۔ pip استعمال کریں۔ Python لائبریریاں استعمال کرنے کے لیے پہلے
python -m ensurepip
python3 -m ensurepip
پھر اپنے کمپیوٹر پر Terminal کھولیں اور Python لائبریریاں انسٹال کرنے کے لیے یہ کمانڈ چلائیں:
pip install requests beautifulsoup4
pip3 install requests beautifulsoup4
Enter دبائیں، پھر آپ کو معلوم ہو جائے گا کہ یہ انسٹال ہیں یا نہیں۔
- ChatGPT اکاؤنٹ
رسائی کے لیے ایک مفت یا ادا شدہ OpenAI اکاؤنٹ بنائیں ChatGPT، جسے آپ اپنی سکریپنگ اسکرپٹس کو لکھنے، ڈیبگ کرنے اور بہتر بنانے کے لیے استعمال کریں گے۔
- DataImpulse پراکسی
ہم پراکسی اسناد کے ذریعے پراکسی ترتیب دیں گے۔ آپ تمام ضروری معلومات DataImpulse dashboardآپ کے منتخب کردہ پلان کی تفصیلات کے اندر۔
آپ کے تحت صحیح تفصیلات بھی کاپی کر سکتے ہیں۔ بنیادی URL مثال سیکشن۔
- وہ ویب سائٹ جسے آپ سکریپ کرنا چاہتے ہیں۔
اس ٹیوٹوریل میں ہم Wikipedia کا آبادی کے لحاظ سے ممالک کی فہرست. یاد رکھیں کہ کوڈ میں اسے اپنی مطلوبہ ویب سائٹ سے بدل دیں۔
👉 ہمیشہ اصولوں پر عمل کریں: چیک اے ویب سائٹ کی سروس کی شرائط اور محفوظ اور اخلاقی رہنے کے لیے سکریپ کرنے سے پہلے robots.txt فائل۔
کیا ChatGPT Python کے لیے سکریپنگ کوڈ بنا سکتا ہے؟ آئیے آزماتے ہیں۔
1. مطلوبہ صفحے کا معائنہ کریں اور سکریپنگ کے لیے عناصر تلاش کریں۔
اپنے مطلوبہ عنصر، مثلاً ملک کے نام یا آبادی کے عدد، پر دایاں کلک کریں اور معائنہ کریں۔ آپ کے براؤزر میں۔ منتخب کریں۔ اس سے Developer Tools پینل صحیح عنصر منتخب ہونے کی تصدیق کے لیے نمایاں HTML پر کرسر لے جائیں۔
2. ان عناصر کے HTML کوڈ کو محفوظ کریں۔
عنصر مل جانے کے بعد پینل میں HTML پر دایاں کلک کریں اور CSS سلیکٹر۔
3. ChatGPT کے لیے ایک تفصیلی پرامپٹ بنائیں۔
ایسا پرامپٹ لکھیں جس میں یہ معلومات شامل ہوں:
- ہدف URL؛
- جن سلیکٹرز کو آپ نے کاپی کیا؛
- وہ لائبریریاں جو آپ استعمال کرنا چاہتے ہیں (جیسے، requests, BeautifulSoup);
پراکسی اور ہیڈرز کا ذکر کریں، لیکن اپنی اسناد ChatGPT کے ساتھ شیئر نہ کریں۔
اپنا پرامپٹ ChatGPT میں چسپاں کریں۔ ہماری مثال:
“Python، Beautiful Soup، اور Requests لائبریریوں کا استعمال کرتے ہوئے ایک ویب سکریپر بنائیں۔ وقت درآمد کریں۔ ویب سائٹ کو ہدف بنائیں:
https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population
مقصد: مطلوبہ صفحے سے ممالک اور ان کی آبادی کے اعداد سکریپ کریں۔ DataImpulse پراکسی کو اضافی تحفظ کے طور پر استعمال کریں۔ ہیڈر شامل کریں
یہ CSS سلیکٹرز ہیں:
- Country: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(1) > a
- Population: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(2)
آؤٹ پٹ: سکریپ کیا گیا تمام ڈیٹا CSV فائل میں محفوظ کریں۔
اضافی ہدایات: آؤٹ پٹ CSV میں ناپسندیدہ علامتوں کو ہٹا دیں۔
ChatGPT کا جواب یہ ہے:
- حتمی کوڈ کا جائزہ لیں اور اسے چلائیں۔
اسکرپٹ کو اپنے ایڈیٹر میں کاپی کریں اور اسے چلائیں۔ اگر سلیکٹرز یا فارمیٹنگ مختلف ہوں تو کچھ ڈیبگنگ ضروری ہو سکتی ہے۔ اگر آپ پراکسی استعمال کر رہے ہیں تو ہمیشہ User-Agent ہیڈر مسلسل رسائی کی حمایت کرتا ہے۔ شامل کرنا import time آپ کو درخواستوں کے درمیان تاخیر کا استعمال کرنے دیتا ہے (time.sleep())، جو بیلنس کی درخواست کے بوجھ میں مدد کرتا ہے۔ یہاں کوڈ ہے:
import requests
from bs4 import BeautifulSoup
import csv
import re
import time
# DataImpulse proxy configuration
PROXY = "http://username:[email protected]:8000"
proxies = {
"http": PROXY,
"https": PROXY
}
url = "https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/119.0.0.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
# Try with retry logic
for attempt in range(3):
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=15)
response.raise_for_status()
break
except requests.exceptions.HTTPError as e:
print(f"Attempt {attempt+1}: HTTP error {e}. Retrying...")
time.sleep(2)
else:
raise SystemExit("Failed to fetch the page after retries.")
soup = BeautifulSoup(response.text, "html.parser")
# Locate the first wikitable
table = soup.find("table", {"class": "wikitable"})
rows = table.find_all("tr")
data = []
for row in rows[1:]: # skip header row
cols = row.find_all("td")
if len(cols) >= 2:
country = cols[0].get_text(strip=True)
population = cols[1].get_text(strip=True)
# Clean unwanted symbols
population = re.sub(r"\[.*?\]", "", population) # remove [1], [note] etc.
population = population.replace(",", "").replace("\xa0", " ").strip()
data.append([country, population])
# Save results to CSV
with open("countries_population.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Country", "Population"])
writer.writerows(data)
print("Scraping completed. Data saved to countries_population.csv")
اسکرپٹ چلنے کے بعد VS Code کا ٹرمینل یہ دکھائے گا:
اب countries_population.csv فائل کھولیں۔ اس میں آپ کو ممالک اور ان کی آبادی پر مشتمل ایک منظم شیٹ ملے گی۔ کام مکمل کرنے پر مبارکباد!
عام مسائل
سکریپنگ کے دوران چیزیں ہمیشہ توقع کے مطابق نہیں چلتیں۔ یہاں کچھ عام مسائل ہیں:
- 403 کلائنٹ کی خرابی: کچھ ویب سائٹس ایسی درخواستوں کو روکتی ہیں جو ایسا نہیں لگتی ہیں کہ وہ کسی حقیقی براؤزر سے آئی ہیں۔ ہمیشہ User-Agent جیسے ہیڈرز شامل کریں، خاص طور پر جب آپ پراکسی استعمال کرتے ہیں۔
- بلاک شدہ IP یا رفتار کی حد: بار بار کی درخواستیں عموماً آپ کے IP کو نمایاں کر دیتی ہیں، اور ویب سائٹس رسائی سے انکار کر سکتی ہیں یا آپ سے تصدیق کروا سکتی ہیں۔ استعمال کریں۔ رہائشی پراکسی (تیز اور قابل اعتماد، اصلی گھریلو آلات سے) یا موبائل پراکسی (متحرک اور پتہ لگانا مشکل، موبائل کیریئرز سے) تصدیق کی رکاوٹوں کا امکان کم کرنے کے لیے۔
- ٹائم آؤٹ یا سست جوابات: ویب سائٹ یا آپ کا کنکشن سست ہو سکتا ہے، جس کی وجہ سے درخواستیں ناکام ہو سکتی ہیں۔ شامل کریں time.sleep() کو درخواستوں کے درمیان استعمال کریں اور دوبارہ کوشش کی منطق نافذ کریں۔
- ٹوٹے ہوئے CSS سلیکٹرز: ویب سائٹس اکثر اپنا لے آؤٹ تبدیل کرتی ہیں، اس لیے آپ کے محفوظ کردہ سلیکٹرز کام کرنا بند کر سکتے ہیں۔ براؤزر میں عناصر کا دوبارہ معائنہ کریں اور اپنے اسکرپٹ میں سلیکٹرز کو اپ ڈیٹ کریں۔
- گندا ڈیٹا: HTML میں اضافی علامتیں، خالی اقدار، یا غیر متوقع فارمیٹنگ ہو سکتی ہے۔ CSV میں محفوظ کرنے سے پہلے Python میں موجود ڈیٹا کو صاف کریں، مثلاً خصوصی حروف ہٹا کر یا غیر ضروری خالی جگہ ختم کر کے۔
کیا AI کی مدد سے ویب سکریپنگ کا کوئی مستقبل ہے؟
مختصر جواب: ہاں۔ AI ٹولز جیسے ChatGPT ڈویلپرز کی جگہ نہیں لے رہے ہیں۔ وہ ان کی صلاحیت بڑھا رہے ہیں۔ ایسے ٹولز بار بار کوڈنگ کے کاموں کو سنبھالتے ہیں، سکریپنگ اسکرپٹ کو تیزی سے تیار کرتے ہیں، اور عام غلطیوں کا حل تجویز کرتے ہیں۔ AI کی مدد سے سکریپنگ پیشہ ور افراد کو زیادہ تیزی اور مؤثریت سے کام کرنے، اور دستی کوڈنگ کے بجائے اعلیٰ سطح کے تجزیے پر توجہ دینے میں مدد دے گی۔ پھر بھی، توازن برقرار رکھنا ضروری ہے۔
یقیناً، AI کے ساتھ بھی ذمہ دارانہ طریقے سے سکریپنگ ضروری ہے۔ قابل اعتماد پراکسی استعمال کریں، شرح کی حدود کا احترام کریں، اور اخلاقی سکریپنگ طریقوں کے لیے ویب سائٹ کی سروس کی شرائط پر عمل کریں۔
*یہ ٹیوٹوریل صرف تعلیمی مقاصد کے لیے ہے۔ اس میں ویب سکریپنگ کی تکنیکیں دکھائی گئی ہیں۔ اس کا مقصد کسی کو سروس کی شرائط یا قابل اطلاق قوانین کی خلاف ورزی کرتے ہوئے ویب سائٹس سکریپ کرنے کی ترغیب یا ہدایت دینا نہیں ہے۔ ہمیشہ یقینی بنائیں کہ آپ کی سکریپنگ سرگرمیاں اخلاقی، قانونی اور ویب سائٹ کے قواعد کے مطابق ہوں۔