In this Article
بوٹس کو انسانوں سے الگ کرنے والے پیٹرنز کی شناخت کے لیے تیار کیے گئے CAPTCHA سسٹمز کو دھوکا دیا جا سکتا ہے۔ اپنے scraper میں غیر متوقعیت اور انسان جیسی حرکات شامل کرنے سے سسٹم الجھ جاتا ہے، جس سے بلاک ہونے سے بچنے میں مدد ملتی ہے۔ Selenium ایک Python لائبریری ہے جو براؤزرز کو کنٹرول کرنے کے لیے صارف دوست API فراہم کرتی ہے۔ بطور ڈیفالٹ، Selenium ایک نظر آنے والی براؤزر ونڈو کے ساتھ چلتا ہے، لیکن اسے headless mode میں چلانے کے لیے سیٹ کیا جا سکتا ہے۔ کچھ plugins دستیاب ہیں اور automation کو چھپانے میں مدد کر سکتے ہیں، جس سے براؤزر حقیقی صارف جیسا محسوس ہوتا ہے اور detection کا خطرہ کم ہوتا ہے۔
اس ٹیوٹوریل میں، ہم CAPTCHAs کو بائی پاس کرنے کے کچھ طریقوں کا جائزہ اور تجزیہ کریں گے، جن میں Undetected ChromeDriver، Proxy Rotation، انسانی رویے کی نقل، اور بیرونی سروسز (CapSolver) شامل ہیں۔ ہم ان میں سے ہر ایک کو دیکھیں گے اور آپ یہ فیصلہ کرنے کے لیے تیار ہوں گے کہ آپ کے لیے کون سا طریقہ سب سے زیادہ موزوں ہے۔
Undetected ChromeDriver کا استعمال
Undetected ChromeDriver: یہ کیا ہے؟
Developers ویب سائٹس کے anti-bot میکانزم سے بچنے کے لیے Selenium جیسے headless browsers استعمال کرنے کی کوشش کرتے ہیں۔ Selenium Undetected ChromeDriver ایک بہتر بنایا گیا ChromeDriver ہے جو شناخت سے بچنے کے لیے ڈیزائن کیا گیا ہے۔ معیاری ChromeDriver کے برعکس، جو ایسی معلومات ظاہر کرتا ہے جنہیں anti-bot systems bots کی شناخت کے لیے استعمال کرتے ہیں، Undetected ChromeDriver ان لیکس کو حل کرتا ہے، جس سے اس بات کا امکان کم ہو جاتا ہے کہ DataDome، Imperva، اور BotProtect.io جیسے سسٹمز آپ کے bot کو بلاک کریں گے۔
تیاری:
- یقینی بنائیں کہ Python 3.6 یا اس سے نیا ورژن استعمال کریں اور Selenium انسٹال کریں۔
- Chrome ڈاؤن لوڈ اور انسٹال کریں۔
اہم مراحل:
1. اگر آپ نے ابھی تک Selenium انسٹال نہیں کیا تو اسے انسٹال کریں۔
pip3 install selenium
2. آگے بڑھنے کے لیے، undetected-chromedriver ماڈیول کو Terminal میں درج ذیل کمانڈ چلا کر انسٹال کریں:
pip3 install undetected-chromedriver
اگر یہ کامیاب ہو تو آپ کو یہ پیغام نظر آئے گا:
3. اس ٹیوٹوریل میں ہم VS Code ایڈیٹر استعمال کرتے ہیں۔ اگلا مرحلہ Undetected ChromeDriver کے لیے لائبریریز امپورٹ کرنا ہے۔ اس کے بعد، ایک ویب پیج منتخب کریں جس سے آپ ڈیٹا اسکریپ کرنا چاہتے ہیں۔ اپنے ہدف ویب پیج کا اسکرین شاٹ بنائیں تاکہ چیک کیا جا سکے کہ آیا یہ CAPTCHA کے بغیر درست طور پر لوڈ ہوا ہے۔ درج ذیل کمانڈز چلائیں:
import undetected_chromedriver as uc
import time
# Initialize Chrome with undetected ChromeDriver
browser = uc.Chrome(headless=True, use_subprocess=True)
# Navigate to the target page
browser.get("https://example.com")
# Wait a few seconds to ensure the page loads fully
time.sleep(3)
# Save a screenshot to verify page loading
browser.save_screenshot("screenshot.png")
print("Screenshot taken and saved as 'screenshot.png'")
# Close the browser after the task
browser.quit()
آپ نے کر دکھایا! Undetected ChromeDriver کے ساتھ، CAPTCHA اب کوئی مسئلہ نہیں رہا، اور اب آپ ویب سائٹ کی scraping شروع کر سکتے ہیں۔ یہ طریقہ چھوٹے پروجیکٹس کے لیے بہترین ہے۔ بڑے پیمانے کے scraping پروجیکٹس کے لیے اس کے زیادہ مؤثر نہ ہونے کی بنیادی وجہ یہ ہے کہ یہ آپ کے IP address کو بلاک ہونے سے نہیں بچا پاتا۔ اگلی حکمتِ عملی ایک زیادہ محفوظ متبادل ہے۔
پراکسی روٹیشن کا استعمال
ویب سائٹس بوٹ سرگرمی کی نشاندہی کے لیے ایک مخفی CAPTCHA نافذ کر سکتی ہیں۔ اگر بہت سی درخواستیں ایک ہی IP ایڈریس سے آئیں، تو ویب سائٹس اسے بوٹ رویے کے طور پر شناخت کرتی ہیں اور نتیجتاً رسائی بلاک کر دیتی ہیں۔ گھومتے ہوئے IP ایڈریسز کا استعمال اس مسئلے کو حل کرنے میں مدد دے سکتا ہے۔ اپنے ٹیوٹوریل میں، ہم DataImpulse کی رہائشی پراکسیز استعمال کر رہے ہیں۔ اگر آپ انہیں آزمانا چاہیں، تو بس سائن اپ کریں اور اپنا ترجیحی پلان منتخب کریں۔ تمام ضروری معلومات آپ کے ڈیش بورڈ پر دستیاب ہیں، اور آپ اپنے پلان کے اندر پراکسی رسائی سیکشن کے تحت اپنی DataImpulse اسناد تلاش کر سکتے ہیں۔
مزید یہ کہ، ہماری جامع گائیڈ میں، آپ ہماری کمیونٹی میں شامل ہونے کے طریقے کے بارے میں معلومات حاصل کر سکتے ہیں، ساتھ ہی ہمارے صارف دوست ڈیش بورڈ اور اس میں شامل سیکشنز کا ایک جائزہ بھی دیکھ سکتے ہیں۔
آپ کو proxies کا ایک پول بنانا ہوگا یا آپ ایک single proxy استعمال کرنے کی کوشش کر سکتے ہیں۔ ایسا کرنے کے لیے، proxy list کے بجائے بس “your_single_proxy:port” استعمال کریں۔
برای “your_single_proxy:port” اپنا host اور port متعین کریں۔
برای driver.get(“https://example.com“) مطلوبہ website درج کریں۔ تمام ضروری libraries انسٹال کرنے کے بعد، آپ یہ code آزما سکتے ہیں:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
# List of DataImpulse proxies
proxy_list = [
"proxy1:port",
"proxy2:port",
"proxy3:port",
# Add more proxies from your DataImpulse pool
]
def start_selenium_with_proxy(proxy):
# Set up Chrome options
chrome_options = Options()
chrome_options.add_argument("--headless=new")
# Add proxy to Chrome options
chrome_options.add_argument(f'--proxy-server=http://{proxy}')
# Initialize the Selenium browser with the proxy settings
driver = webdriver.Chrome(options=chrome_options)
return driver
# Example scraping function with using rotating proxies
def scrape_website():
for proxy in proxy_list:
driver = start_selenium_with_proxy(proxy)
try:
# Navigate to the target website
driver.get("https://httpbin.io/ip")
print(driver.find_element(By.TAG_NAME, "body").text)
finally:
driver.quit()
# Run the scraping function
scrape_website()
مفت proxies عموماً کمزور تحفظ فراہم کرتے ہیں اور حتیٰ کہ خطرہ بھی بن سکتے ہیں۔ سست کنیکشنز، phishing، اور بلاک شدہ IP addresses ان کے استعمال کے ممکنہ خطرات میں سے چند ہیں۔ یہی Proxy Rotation اپروچ کے بنیادی مسئلے کی طرف لے جاتا ہے، جو proxy providers کی لاگت ہے۔ اس صورت میں، تحقیق کریں اور وہ انتخاب کریں جو آپ کو تمام مطلوبہ فیچرز سمیت زیادہ قابلِ اعتماد اور بجٹ کے موافق لگے۔
کوئی نشان چھوڑے بغیر براؤز کریں
proxies کے ساتھ، sites کبھی آپ پر شک نہیں کریں گی، آپ سے captcha داخل کرنے کو نہیں کہیں گی، یا حتیٰ کہ آپ کو ban بھی نہیں کریں گی۔ DataImpulse پر، آپ کو تازہ ترین data، کوئی blacklisted IPs نہیں، Captcha ہینڈلنگ، intuitive APIs، اور 24/7 پیشہ ورانہ انسانی support ملتی ہے۔ ہمارے rates مارکیٹ میں سب سے کم میں سے ہیں – صرف $1 per GB! ابھی آزمائیں!
Human Behavior Simulation کا استعمال
human behavior synthesizers نافذ کر کے، آپ کا headless browser صارف کی interactions کو زیادہ مستند انداز میں simulate کر سکتا ہے۔ حقیقی صارف کے actions کو simulate کرنے کے چند اہم طریقے یہ ہیں:
- Mouse movements – یہ قدرتی curves، مختلف speeds، اور accelerations بناتے ہیں، اس بات کی نقل کرتے ہوئے کہ حقیقی صارفین mouse کیسے حرکت دیتے ہیں۔
- Random clicks – clicks کے timing اور معمولی positional shifts کو randomize کیا جاتا ہے تاکہ حقیقی صارف کے behavior کی نقل کی جا سکے۔
- Keystrokes – typing کو قدرتی typing speeds، pauses، اور کبھی کبھار typos کی عکاسی کے لیے adjust کیا جاتا ہے تاکہ human-like rhythm بنے۔
actions کے درمیان چھوٹے delays شامل کریں تاکہ human behavior simulate ہو، mouse کے path کو randomize کریں، اور click locations کو adjust کریں۔ آئیے https://www.scrapingcourse.com/ecommerce کے 3 pages کو targets کے طور پر استعمال کریں۔ code کی ایک مثال یہ ہے:
import time
import random
import requests
# make a GET request to the given URL and print the status code
def make_request(url):
response = requests.get(url)
print(f"Request to {url} returned status code: {response.status_code}")
# list of URLs to request
urls = [
"https://www.scrapingcourse.com/ecommerce/page/1/",
"https://www.scrapingcourse.com/ecommerce/page/2/",
"https://www.scrapingcourse.com/ecommerce/page/3/",
]
# range for random wait time (in seconds)
min_wait = 1
max_wait = 5
# iterate through each URL in the list
for url in urls:
make_request(url)
wait_time = random.uniform(min_wait, max_wait)
print(f"Waiting for {wait_time:.2f} seconds before the next request...")
time.sleep(wait_time)
print("All requests completed.")
اگر یہ درست طریقے سے کیا گیا ہو تو آپ اسی طرح کا جواب دیکھ سکیں گے:
درحقیقت، انسانی رویے کی نقل استعمال کرنے سے خودکار اسکرپٹس میں حقیقت پسندی شامل ہو جاتی ہے۔ تاہم، ان بے ترتیب اقدامات کی وجہ سے یہ simulations پیچیدگی بڑھا سکتی ہیں اور مجموعی scraping رفتار کو سست کر سکتی ہیں۔
External Services (CapSolver) کا استعمال
بہت سی اضافی services موجود ہیں جو مختلف اقسام کے CAPTCHAs کو handle کرنے میں آپ کی مدد کر سکتی ہیں۔ اس tutorial میں، ہم نے CapSolver service کا ذکر کرنے کا انتخاب کیا۔ CapSolver مختلف proxy types کے ساتھ integrate ہوتا ہے تاکہ users کئی IP addresses پر CAPTCHA-solving کو manage کر سکیں۔ proxies استعمال کرنے سے requests یوں دکھائی دیتی ہیں جیسے وہ متعدد devices اور locations سے آ رہی ہوں، جس سے anonymity بہتر ہوتی ہے اور detection کا خطرہ کم ہوتا ہے۔ DataImpulse کو CapSolver کے ساتھ integrate کرنے کے اہم مراحل کے بارے میں مزید جاننے کے لیے آپ ایک مختصر guide پڑھ سکتے ہیں۔
ہمیں ایک API key کی ضرورت ہوگی جو آپ اپنے CapSolver dashboard پر تلاش کر سکتے ہیں۔
ذیل میں Python کی ایک مثال ہے جو دکھاتی ہے کہ CAPTCHAs کو ہینڈل کرنے کے لیے CapSolver’s API کو کیسے استعمال کیا جائے۔ کوڈ چلانے سے پہلے، YOUR_API_KEY، XXX، اور site_url کو اصل اقدار سے تبدیل کریں۔
# pip3 install requests
import requests
import time
# TODO: Set your configuration
api_key = "YOUR_API_KEY" # Your CapSolver API key
site_key = "XXX" # The site key for the target CAPTCHA
site_url = "" # URL of the page with the CAPTCHA
def capsolver():
payload = {
"clientKey": api_key,
"task": {
"type": 'ReCaptchaV2TaskProxyLess',
"websiteKey": site_key,
"websiteURL": site_url
}
}
response = requests.post("https://api.capsolver.com/createTask", json=payload)
result = response.json()
task_id = result.get("taskId")
if not task_id:
print("Failed to create task:", response.text)
return
print(f"Task ID received: {task_id} / Fetching result...")
while True:
time.sleep(3) # Delay between checks
payload = {"clientKey": api_key, "taskId": task_id}
response = requests.post("https://api.capsolver.com/getTaskResult", json=payload)
result = response.json()
status = result.get("status")
if status == "ready":
return result.get("solution", {}).get('gRecaptchaResponse')
if status == "failed" or result.get("errorId"):
print("Solution retrieval failed! Response:", response.text)
return
token = capsolver()
print(token)
بیرونی سروسز کارکردگی، اسکیل ایبلٹی، اور پیچیدہ کاموں کو سنبھالنے کے لیے زیادہ کامیابی کی شرح کے بارے میں ہوتی ہیں۔ ایسی سروسز کے ساتھ، ڈویلپرز آسانی سے پروجیکٹ کی دیگر ضروریات پر توجہ دے سکتے ہیں۔ کچھ نقصانات میں لاگت، تھرڈ پارٹی کی قابلِ اعتماد کارکردگی پر انحصار، اور ڈیٹا پر محدود کنٹرول کی وجہ سے پرائیویسی سے متعلق خدشات شامل ہو سکتے ہیں۔
خلاصہ
Python اپنی سادگی اور وسیع لائبریری سپورٹ کے لیے مشہور ہے، جس سے ویب آٹومیشن اور ڈیٹا اسکریپنگ آسان ہو جاتی ہے۔ Selenium اور Playwright جیسی لائبریریز کے ساتھ، آپ براؤزر کے کاموں کو آٹومیٹ کر سکتے ہیں اور درست ٹولز کے ذریعے CAPTCHA کو بائی پاس کر سکتے ہیں۔ بہترین طریقہ یہ ہے کہ اپنے ویب اسکریپر کو پراکسیز کے ساتھ انٹیگریٹ کریں کیونکہ یہ ان پابندیوں کو بائی پاس کرنے، گمنامی برقرار رکھنے، اور پابندیوں سے بچنے میں مدد دیتا ہے۔
ہم سے رابطہ کریں تاکہ متعدد اسکریپنگ ٹولز اور ہمارے کسٹم حل کے بارے میں مزید جان سکیں۔