DataImpulse Logo and Java Logo

بفضل كون Java لغة مستقلة عن المنصة وتضم مكتبات قوية وقدرات على تعدد الخيوط وآليات فعالة لمعالجة الأخطاء، فهي خيار جيد لتجريف الويب. في هذا الدليل المفصل، نوضح الأدوات التي تحتاج إليها والخطوات التي ينبغي اتباعها لتبسيط التجريف باستخدام Java.

تجريف الويب باستخدام Java: نقاط أساسية

رغم أن اللغات الأبسط، مثل Python، أكثر شيوعاً في تجريف الويب، فإن Java تتميز أيضاً بنقاط قوة، منها: 

  • تسهّل مكتبات مثل JSoup وHtmlUnit تحليل HTML 
  • يجعل الأداء والسرعة والإدارة الفعالة للذاكرة من Java خياراً مناسباً للمشاريع واسعة النطاق 
  • وباعتبارها لغة ذات أنواع صارمة، تتيح Java اكتشاف الأخطاء أثناء الترجمة البرمجية 

كذلك، إذا كانت بنيتك التحتية تعتمد على Java أو كنت تستهدف مشاريع طويلة الأمد، فتبقى Java خياراً مناسباً. وفي الوقت نفسه، غالباً ما يواجه تجريف الويب تحديات مثل حظر IP والقيود الجغرافية والمخاوف الأمنية. إن دعم مشروع Java ببروكسيات يساعدك على تجاوز هذه العقبات والحصول على البيانات اللازمة. 

قبل البدء في البرمجة، إليك الأدوات التي ستحتاج إليها:

  • Visual Studio Code (في الواقع، يصلح أيضاً Visual Studio 2022 أو أي IDE آخر يدعم Java)
  • حزمة Coding Pack لـ Java
  • حزمة Extension Pack لـ Java
  • Apache Maven 

إذا كنت جديداً على Visual Studio Code أو Java، فإن هنا ستجد وثائق تشرح بالتفصيل كيفية تثبيت Coding Pack وExtension Pack. وقد يفيدك أيضاً هذا الدليل حول تثبيت Apache Maven. 

ملاحظة: لا يُدعَم سوى تنسيق “hostname:port”، لذا ستحتاج إلى إدراج عنوان IP الخاص بك في القائمة البيضاء قبل تنفيذ الشفرة. يمكنك فعل ذلك من حسابك في DataImpulse. انتقل إلى خطة البروكسي المناسبة، واختر “Manage Whitelist IPs” من القائمة العلوية اليمنى، ثم أدرج عنوانك في القائمة البيضاء. إذا احتجت إلى مساعدة أو واجهت مشكلات، فراجع دليلنا المفصل لإدارة حسابك في DataImpulse. 

بدء العمل باستخدام HttpClientApp 

يجب إنشاء عميل HTTP لتوجيه حركة المرور عبر خادم بروكسي. يرسل هذا التطبيق طلبات إلى URL المحدد ويتلقى الاستجابات. يمكنك استخدام الشفرة التالية:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;


public class HttpClientApp {


    public static final String proxyHost = "gw.dataimpulse.com";
    public static final int proxyPort = 823;


    public static void main(String[] args) {
        System.out.println("Performing request through proxy...");


        try {
            String response = request("https://api.ipify.org");
            System.out.println("Your IP address: " + response);
        } catch (IOException e) {
            System.err.println("Request error: " + e.getMessage());
        }
    }


    public static String request(String url) throws IOException {
        // Configure the proxy without authentication
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        // Handle the response
        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        if (responseCode == 200) {
            // Successful response
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            // Error response with detailed output
            StringBuilder errorResponse = new StringBuilder();
            if (connection.getErrorStream() != null) {
                try (BufferedReader reader = new BufferedReader(
                        new InputStreamReader(connection.getErrorStream()))) {
                    String line;
                    while ((line = reader.readLine()) != null) {
                        errorResponse.append(line);
                    }
                }
            }
            throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
                    (errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

يجب أن تبدو النتيجة كما يلي:

إنشاء أداة لتدوير البروكسيات

لا يكفي توجيه حركة المرور عبر خادم بروكسي. لتعزيز الخصوصية، يجب استخدام IP جديد لكل طلب. ولهذا تحتاج إلى أداة لتدوير البروكسيات. إليك مثالاً على شفرة يمكنك استخدامها:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyRotator {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    public static void main(String[] args) {
        // URL to request
        String url = "https://api.ipify.org";


        for (Proxy proxy : proxies) {
            System.out.println("Using proxy: " + proxy.address());
            try {
                String response = sendRequestWithProxy(url, proxy);
                System.out.println("Request succeeded with proxy " + proxy.address());
                System.out.println("IP address from API website: " + response);
            } catch (IOException e) {
                System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to send request using a specific proxy
    private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

يُفترض أن تحصل على النتيجة التالية:

إنشاء أداة للتحقق من البروكسيات

حان الوقت للتأكد من أن بروكسياتنا تعمل مع موقع ويب محدد. لذلك، عليك إنشاء تطبيق للتحقق من البروكسيات وتزويده بـ URL للتحقق منه:

إليك شفرة يمكنك تجربتها:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyChecker {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    // Website to check through proxies
    private static final String websiteUrl = "https://api.ipify.org";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Checker...");


        for (Proxy proxy : proxies) {
            System.out.println("\nChecking proxy: " + proxy.address());
            try {
                boolean isWorking = checkProxy(proxy, websiteUrl);
                if (isWorking) {
                    System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
                } else {
                    System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
                }
            } catch (IOException e) {
                System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to check if proxy works with the given website
    private static boolean checkProxy(Proxy proxy, String url) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
        connection.setConnectTimeout(5000); // 5 seconds timeout
        connection.setReadTimeout(5000);    // 5 seconds timeout


        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        System.out.println("Response: " + responseCode + " " + responseMessage);


        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                System.out.println("IP Returned: " + response);
            }
            return true;
        } else {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getErrorStream()))) {
                StringBuilder errorResponse = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    errorResponse.append(line);
                }
                System.out.println("Error details: " + errorResponse);
            }
            return false;
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

يجب أن تبدو النتائج التي تراها كما يلي:

الانتقال إلى تجريف الويب نفسه

أخيراً، حان وقت إنشاء تطبيق لتجريف الويب. سيستخرج جميع البيانات المطلوبة، لذا يجب تزويده بـ URL المستهدف للتجريف وتحديد البيانات التي تريد من البرنامج استردادها. في حالتنا، سنستخرج الروابط من صفحتنا الرئيسية. يمكنك استخدام هذه الشفرة كمرجع:


package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;


public class ProxyWebScraper {


    // Proxy configuration
    private static final String PROXY_HOST = "gw.dataimpulse.com";
    private static final int PROXY_PORT = 823;


    // Target website to scrape
    private static final String TARGET_URL = "https://dataimpulse.com/";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Web Scraper...");


        try {
            // Perform the web scraping through the proxy
            String htmlContent = getHtmlContent(TARGET_URL);
            if (htmlContent != null) {
                // Parse and extract links from the HTML content
                parseHtml(htmlContent);
            } else {
                System.out.println("Failed to retrieve HTML content.");
            }
        } catch (IOException e) {
            System.err.println("Error during scraping: " + e.getMessage());
        }
    }


    // Method to get HTML content through the proxy
    private static String getHtmlContent(String url) throws IOException {
        // Configure proxy
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
        connection.setConnectTimeout(10000);
        connection.setReadTimeout(10000);


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            // Read and return the HTML content
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
                StringBuilder content = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    content.append(line);
                }
                return content.toString();
            }
        } else {
            System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
            return null;
        }
    }


    // Method to parse HTML and extract links using jsoup
    private static void parseHtml(String htmlContent) {
        Document doc = Jsoup.parse(htmlContent);
        Elements links = doc.select("a[href]");


        if (links.isEmpty()) {
            System.out.println("No links found on the page.");
        } else {
            System.out.println("Links found:");
            for (Element link : links) {
                String href = link.attr("abs:href");
                String title = link.text();
                System.out.println("Title: " + title + ", Link: " + href);
            }
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

لكن هناك أمراً آخر ينبغي عليك فعله. لإتمام العملية وضمان عمل تطبيق التجريف بصورة صحيحة، تحتاج إلى تثبيت مكتبة JSoup باستخدام Maven. إليك شرحاً خطوة بخطوة:

  1. أنشئ مشروع Java باستخدام الزر المقابل. 
  1. اختر Maven كنوع للمشروع. 
  1. من القائمة التي ظهرت، اختر “maven-archetype-quickstart”:
  1. اختر الإصدار “1.4” من maven-archetype-quickstart.
  1. أدخل “com.dataimpulse” باعتباره معرّف المجموعة.
  1. أدخل “proxy-scraper” في حقل “artifact Id”.
  1. اختر مجلداً لحفظ المكتبة وتطبيق ProxyWebScraper نفسه. بعد ذلك، ينبغي أن يظهر مجلد proxy-scraper. الآن، انقل الشفرة إلى proxy-scraper/src/main/java/com/dataimpulse:
  1. أضف مكتبة JSoup عبر Apache Maven، كما هو موضح في لقطة الشاشة أدناه. إذا فعلت ذلك بشكل صحيح، فستظهر المكتبة في ملف “pom.xml”. 
  1. في ملف “pom.xml”، غيّر معلمتي “maven.compiler.source” و”maven.compiler.target” إلى 1.8. احفظ الملف باستخدام CTRL+S في Windows أو CMD+S في Mac.
  1. ينبغي أن تعمل شفرتك الآن دون مشكلة. لتنفيذها، استخدم الزر في الزاوية العلوية اليمنى من الشاشة.

إليك النتيجة النهائية لمشروع التجريف لدينا:

كما ترى، لدينا الآن كل البيانات التي أردناها. ومع ذلك، يتيح لك تعديل الشفرة الحصول على أي بيانات HTML تحتاج إليها. كما ينبغي اختيار البروكسيات بعناية، إذ إن هذه النتائج مستحيلة دون عناوين IP من مصادر قانونية. في DataImpulse، يمكنك الحصول على 15 مليون عنوان تم الحصول عليه بصورة أخلاقية ولا يرتبط بأنشطة مخالفة للقانون، مثل نشر البرمجيات الخبيثة. وإذا واجهت أي صعوبات، فإن فريق الدعم البشري لدينا في خدمتك على مدار 24/7. يمكنك أيضاً ضبط الاستهداف ليتوافق مع سياسات الوصول الإقليمية. وفي الوقت نفسه، لن تستنزف بروكسياتنا ميزانيتك، إذ نعمل وفق نموذج تسعير الدفع حسب الاستخدام ونقدم سعراً مناسباً قدره $1 لكل 1GB. ابدأ معنا عبر [email protected] أو استخدم زر “جرّب الآن” في الزاوية العلوية اليمنى من الشاشة. 

Share article: