DataImpulse Logo and Java Logo

Java پلیٹ فارم سے آزاد زبان ہے اور اس میں مضبوط لائبریریاں، ملٹی تھریڈنگ کی صلاحیت، اور مؤثر ایرر ہینڈلنگ موجود ہے، اس لیے یہ ویب اسکریپنگ کے لیے اچھا انتخاب ہے۔ اس تفصیلی ٹیوٹوریل میں ہم بتائیں گے کہ آپ کو کن ٹولز کی ضرورت ہے اور Java میں اسکریپنگ آسان بنانے کے لیے کن مراحل پر عمل کرنا ہوگا۔

Java کے ذریعے ویب اسکریپنگ: اہم نکات

اگرچہ Python جیسی نسبتاً آسان زبانیں ویب اسکریپنگ کے لیے زیادہ مقبول ہیں، Java کی بھی اپنی نمایاں خوبیاں ہیں، مثلاً:

  • JSoup اور HtmlUnit جیسی لائبریریاں HTML کی پارسنگ کو آسان بناتی ہیں
  • بہتر کارکردگی، رفتار، اور مؤثر میموری مینجمنٹ Java کو بڑے پیمانے کے پروجیکٹس کے لیے موزوں بناتے ہیں
  • سخت ٹائپنگ کی وجہ سے Java کمپائل ٹائم پر غلطیاں پکڑنے میں مدد دیتا ہے

مزید یہ کہ اگر آپ کا انفراسٹرکچر Java پر مبنی ہے یا آپ طویل مدتی پروجیکٹ بنا رہے ہیں تو Java ایک موزوں انتخاب ہے۔ ویب اسکریپنگ میں اکثر IP بلاک ہونے، جغرافیائی پابندیوں اور سیکیورٹی کے مسائل جیسے چیلنجز پیش آتے ہیں۔ اپنے Java پروجیکٹ میں پراکسی شامل کرنے سے آپ ان رکاوٹوں سے بچ کر مطلوبہ ڈیٹا حاصل کر سکتے ہیں۔

کوڈنگ شروع کرنے سے پہلے، آئیے دیکھتے ہیں کہ آپ کو کن ٹولز کی ضرورت ہوگی:

  • Visual Studio Code (Visual Studio 2022 یا Java کو سپورٹ کرنے والا کوئی بھی دوسرا IDE بھی مناسب ہے)
  • Coding Pack for Java
  • Extension Pack for Java
  • Apache Maven 

اگر آپ Visual Studio Code یا Java میں نئے ہیں تو یہاں Coding Pack اور Extension Pack انسٹال کرنے کی تفصیلی ہدایات موجود ہیں۔ یہ ٹیوٹوریل Apache Maven انسٹال کرنے کے لیے بھی مفید ہے۔

نوٹ: صرف “hostname:port” فارمیٹ سپورٹ ہوتا ہے، اس لیے کوڈ چلانے سے پہلے اپنا IP ایڈریس وائٹ لسٹ کریں۔ یہ کام آپ اپنے DataImpulse اکاؤنٹ میں کر سکتے ہیں۔ متعلقہ پراکسی پلان کھولیں، اوپر دائیں جانب موجود مینو سے “Manage Whitelist IPs” منتخب کریں، پھر اپنا ایڈریس وائٹ لسٹ کر دیں۔ مدد درکار ہو یا کوئی مسئلہ پیش آئے تو ہماری DataImpulse اکاؤنٹ کا نظم کرنے کی تفصیلی گائیڈ دیکھیں۔

HttpClientApp کے ساتھ شروعات

پراکسی سرور کے ذریعے ٹریفک بھیجنے کے لیے آپ کو ایک HTTP کلائنٹ بنانا ہوگا۔ یہ ایپ مخصوص URL پر درخواستیں بھیجتی اور جوابات وصول کرتی ہے۔ آپ درج ذیل کوڈ استعمال کر سکتے ہیں:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;


public class HttpClientApp {


    public static final String proxyHost = "gw.dataimpulse.com";
    public static final int proxyPort = 823;


    public static void main(String[] args) {
        System.out.println("Performing request through proxy...");


        try {
            String response = request("https://api.ipify.org");
            System.out.println("Your IP address: " + response);
        } catch (IOException e) {
            System.err.println("Request error: " + e.getMessage());
        }
    }


    public static String request(String url) throws IOException {
        // Configure the proxy without authentication
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        // Handle the response
        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        if (responseCode == 200) {
            // Successful response
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            // Error response with detailed output
            StringBuilder errorResponse = new StringBuilder();
            if (connection.getErrorStream() != null) {
                try (BufferedReader reader = new BufferedReader(
                        new InputStreamReader(connection.getErrorStream()))) {
                    String line;
                    while ((line = reader.readLine()) != null) {
                        errorResponse.append(line);
                    }
                }
            }
            throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
                    (errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

آؤٹ پٹ کچھ یوں نظر آنا چاہیے:

پراکسی روٹیٹر بنائیں

پراکسی سرور کے ذریعے ٹریفک بھیجنا ہی کافی نہیں۔ رازداری بہتر بنانے کے لیے ہر درخواست کے لیے نیا IP استعمال کرنا ضروری ہے۔ اسی لیے آپ کو ایک پراکسی روٹیٹر درکار ہے۔ ذیل میں ایک کوڈ مثال دی گئی ہے:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyRotator {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    public static void main(String[] args) {
        // URL to request
        String url = "https://api.ipify.org";


        for (Proxy proxy : proxies) {
            System.out.println("Using proxy: " + proxy.address());
            try {
                String response = sendRequestWithProxy(url, proxy);
                System.out.println("Request succeeded with proxy " + proxy.address());
                System.out.println("IP address from API website: " + response);
            } catch (IOException e) {
                System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to send request using a specific proxy
    private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

اس کا نتیجہ کچھ یوں ہونا چاہیے:

پراکسی چیکر بنائیں

اب یہ جانچنے کا وقت ہے کہ ہماری پراکسی کسی مخصوص ویب سائٹ کے ساتھ کام کر رہی ہے یا نہیں۔ اس کے لیے پراکسی چیکر ایپ بنائیں اور جانچ کے لیے URL فراہم کریں:

آپ یہ کوڈ آزما سکتے ہیں:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyChecker {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    // Website to check through proxies
    private static final String websiteUrl = "https://api.ipify.org";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Checker...");


        for (Proxy proxy : proxies) {
            System.out.println("\nChecking proxy: " + proxy.address());
            try {
                boolean isWorking = checkProxy(proxy, websiteUrl);
                if (isWorking) {
                    System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
                } else {
                    System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
                }
            } catch (IOException e) {
                System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to check if proxy works with the given website
    private static boolean checkProxy(Proxy proxy, String url) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
        connection.setConnectTimeout(5000); // 5 seconds timeout
        connection.setReadTimeout(5000);    // 5 seconds timeout


        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        System.out.println("Response: " + responseCode + " " + responseMessage);


        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                System.out.println("IP Returned: " + response);
            }
            return true;
        } else {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getErrorStream()))) {
                StringBuilder errorResponse = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    errorResponse.append(line);
                }
                System.out.println("Error details: " + errorResponse);
            }
            return false;
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

نتائج کچھ یوں نظر آنے چاہئیں:

اب ویب اسکریپنگ کی طرف بڑھیں

آخر میں، ویب اسکریپنگ ایپ بناتے ہیں۔ یہ مطلوبہ ڈیٹا نکالے گی، اس لیے آپ کو ہدف URL دینا ہوگا اور بتانا ہوگا کہ پروگرام کون سا ڈیٹا حاصل کرے۔ اس مثال میں ہم اپنے ہوم پیج سے لنکس اسکریپ کریں گے۔ آپ اس کوڈ کو بطور حوالہ استعمال کر سکتے ہیں:


package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;


public class ProxyWebScraper {


    // Proxy configuration
    private static final String PROXY_HOST = "gw.dataimpulse.com";
    private static final int PROXY_PORT = 823;


    // Target website to scrape
    private static final String TARGET_URL = "https://dataimpulse.com/";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Web Scraper...");


        try {
            // Perform the web scraping through the proxy
            String htmlContent = getHtmlContent(TARGET_URL);
            if (htmlContent != null) {
                // Parse and extract links from the HTML content
                parseHtml(htmlContent);
            } else {
                System.out.println("Failed to retrieve HTML content.");
            }
        } catch (IOException e) {
            System.err.println("Error during scraping: " + e.getMessage());
        }
    }


    // Method to get HTML content through the proxy
    private static String getHtmlContent(String url) throws IOException {
        // Configure proxy
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
        connection.setConnectTimeout(10000);
        connection.setReadTimeout(10000);


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            // Read and return the HTML content
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
                StringBuilder content = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    content.append(line);
                }
                return content.toString();
            }
        } else {
            System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
            return null;
        }
    }


    // Method to parse HTML and extract links using jsoup
    private static void parseHtml(String htmlContent) {
        Document doc = Jsoup.parse(htmlContent);
        Elements links = doc.select("a[href]");


        if (links.isEmpty()) {
            System.out.println("No links found on the page.");
        } else {
            System.out.println("Links found:");
            for (Element link : links) {
                String href = link.attr("abs:href");
                String title = link.text();
                System.out.println("Title: " + title + ", Link: " + href);
            }
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

تاہم، ایک کام اور بھی کرنا ہوگا۔ عمل مکمل کرنے اور اپنی اسکریپنگ ایپ کو درست طور پر چلانے کے لیے Maven کے ذریعے JSoup لائبریری انسٹال کریں۔ طریقہ درج ذیل ہے:

  1. متعلقہ بٹن سے Java پروجیکٹ بنائیں۔
  1. منتخب کریں Maven کو پروجیکٹ کی قسم کے طور پر۔
  1. ظاہر ہونے والی فہرست میں سے “maven-archetype-quickstart” منتخب کریں:
  1. maven-archetype-quickstart کا “1.4” ورژن منتخب کریں۔
  1. group id کے لیے “com.dataimpulse” درج کریں۔
  1. “artifact Id” فیلڈ میں “proxy-scraper” درج کریں۔
  1. لائبریری اور ProxyWebScraper ایپ محفوظ کرنے کے لیے فولڈر منتخب کریں۔ اس کے بعد proxy-scraper فولڈر نظر آنا چاہیے۔ اب اپنا کوڈ درج ذیل مقام پر شامل کریں: proxy-scraper/src/main/java/com/dataimpulse:
  1. نیچے اسکرین شاٹ میں دکھائے گئے طریقے کے مطابق Apache Maven کے ذریعے JSoup لائبریری شامل کریں۔ درست طریقے سے شامل کرنے پر لائبریری “pom.xml” فائل میں نظر آئے گی۔
  1. “pom.xml” فائل میں “maven.compiler.source” اور “maven.compiler.target” پیرامیٹرز کی قدر 1.8 کر دیں۔ Windows میں CTRL+S یا Mac میں CMD+S دبا کر فائل محفوظ کریں۔
  1. اب آپ کا کوڈ درست طور پر کام کرنا چاہیے۔ اسے چلانے کے لیے اسکرین کے اوپر دائیں کونے میں موجود بٹن استعمال کریں۔

یہ ہمارے اسکریپنگ پروجیکٹ کا حتمی نتیجہ ہے:

جیسا کہ آپ دیکھ سکتے ہیں، اب ہمارے پاس مطلوبہ تمام ڈیٹا موجود ہے۔ کوڈ میں تبدیلی کر کے آپ اپنی ضرورت کا کوئی بھی HTML ڈیٹا حاصل کر سکتے ہیں۔ پراکسی کا انتخاب احتیاط سے کریں، کیونکہ قابلِ اعتماد نتائج کے لیے قانونی طور پر حاصل کردہ IPs ضروری ہیں۔ DataImpulse میں 15 ملین اخلاقی طور پر حاصل شدہ ایڈریسز دستیاب ہیں، جو نقصان دہ سافٹ ویئر پھیلانے جیسی غیر قانونی سرگرمیوں سے وابستہ نہیں۔ اگر آپ کو مدد درکار ہو تو ہماری انسانی سپورٹ ٹیم 24/7 دستیاب ہے۔ علاقائی رسائی کی پالیسیوں کے مطابق آپ ٹارگٹنگ بھی ایڈجسٹ کر سکتے ہیں۔ ہماری پراکسی سروس آپ کے بجٹ پر بوجھ نہیں ڈالے گی، کیونکہ ہم استعمال کے مطابق ادائیگی کے ماڈل پر کام کرتے ہیں اور 1GB کے لیے $1 کی مناسب قیمت پیش کرتے ہیں۔ شروع کرنے کے لیے [email protected] پر رابطہ کریں یا اسکرین کے اوپر دائیں کونے میں موجود “ابھی آزمائیں” بٹن استعمال کریں۔

Share article: