DataImpulse Logo and Java Logo

Karena Java adalah bahasa lintas platform dengan library yang andal, kemampuan multithreading, serta mekanisme penanganan error yang efektif, Java merupakan pilihan yang baik untuk web scraping. Dalam tutorial terperinci ini, kami menjelaskan alat yang Anda perlukan dan langkah yang perlu diambil untuk menyederhanakan scraping di Java.

Web scraping dengan Java: poin utama

Meskipun bahasa yang lebih sederhana, seperti Python, lebih populer untuk web scraping, Java juga memiliki keunggulan, misalnya: 

  • Library seperti JSoup atau HtmlUnit mempermudah penguraian HTML 
  • Performa, kecepatan, dan pengelolaan memori yang efisien menjadikan Java cocok untuk proyek berskala besar 
  • Sebagai bahasa dengan tipe yang kuat, Java memungkinkan penangkapan error saat kompilasi 

Selain itu, jika infrastruktur Anda mengandalkan Java atau Anda menargetkan proyek jangka panjang, Java juga dapat menjadi pilihan. Pada saat yang sama, web scraping sering menghadapi tantangan seperti pemblokiran IP, pembatasan berbasis lokasi geografis, dan masalah keamanan. Mendukung proyek Java Anda dengan proxy membantu Anda mengatasi hambatan tersebut dan memperoleh data yang diperlukan. 

Sebelum mulai menulis kode, mari lihat alat yang Anda perlukan:

  • Visual Studio Code (sebenarnya, Visual Studio 2022 atau IDE lain yang mendukung Java juga dapat digunakan)
  • The Coding Pack for Java
  • Extension Pack for Java
  • Apache Maven 

Jika Anda baru menggunakan Visual Studio Code atau Java, di sini berisi dokumentasi dengan penjelasan terperinci tentang cara menginstal Coding Pack dan Extension Pack. Anda juga dapat memanfaatkan tutorial ini tentang cara menginstal Apache Maven. 

Catatan: Hanya format “hostname:port” yang didukung, jadi Anda perlu memasukkan alamat IP ke whitelist sebelum menjalankan kode. Anda dapat melakukannya di akun DataImpulse. Buka paket proxy yang diperlukan, pilih “Manage Whitelist IPs” dari menu kanan atas, lalu masukkan alamat Anda ke whitelist. Jika Anda memerlukan bantuan atau mengalami masalah, silakan lihat panduan terperinci untuk mengelola akun DataImpulse Anda. 

Memulai dengan HttpClientApp 

Anda harus membuat HTTP client untuk merutekan lalu lintas melalui server proxy. Aplikasi ini mengirim request ke URL yang ditentukan dan menerima respons. Anda dapat menggunakan kode di bawah ini:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;


public class HttpClientApp {


    public static final String proxyHost = "gw.dataimpulse.com";
    public static final int proxyPort = 823;


    public static void main(String[] args) {
        System.out.println("Performing request through proxy...");


        try {
            String response = request("https://api.ipify.org");
            System.out.println("Your IP address: " + response);
        } catch (IOException e) {
            System.err.println("Request error: " + e.getMessage());
        }
    }


    public static String request(String url) throws IOException {
        // Configure the proxy without authentication
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        // Handle the response
        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        if (responseCode == 200) {
            // Successful response
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            // Error response with detailed output
            StringBuilder errorResponse = new StringBuilder();
            if (connection.getErrorStream() != null) {
                try (BufferedReader reader = new BufferedReader(
                        new InputStreamReader(connection.getErrorStream()))) {
                    String line;
                    while ((line = reader.readLine()) != null) {
                        errorResponse.append(line);
                    }
                }
            }
            throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
                    (errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Output akan terlihat seperti ini:

Membuat proxy rotator

Merutekan lalu lintas melalui server proxy saja tidak cukup. Untuk meningkatkan privasi, Anda harus menggunakan IP baru untuk setiap request. Karena itu, Anda memerlukan proxy rotator. Berikut contoh kode yang dapat Anda gunakan:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyRotator {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    public static void main(String[] args) {
        // URL to request
        String url = "https://api.ipify.org";


        for (Proxy proxy : proxies) {
            System.out.println("Using proxy: " + proxy.address());
            try {
                String response = sendRequestWithProxy(url, proxy);
                System.out.println("Request succeeded with proxy " + proxy.address());
                System.out.println("IP address from API website: " + response);
            } catch (IOException e) {
                System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to send request using a specific proxy
    private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                return response.toString();
            }
        } else {
            throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Anda seharusnya mendapatkan hasil seperti ini:

Membuat proxy checker

Saatnya memastikan proxy kami berfungsi dengan situs web tertentu. Untuk itu, Anda harus membuat aplikasi proxy checker dan memasukkan URL yang akan diperiksa:

Berikut kode yang dapat Anda coba:


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;


public class ProxyChecker {


    // List of proxies to rotate through
    private static final List proxies = Arrays.asList(
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
            new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
    );


    // Website to check through proxies
    private static final String websiteUrl = "https://api.ipify.org";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Checker...");


        for (Proxy proxy : proxies) {
            System.out.println("\nChecking proxy: " + proxy.address());
            try {
                boolean isWorking = checkProxy(proxy, websiteUrl);
                if (isWorking) {
                    System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
                } else {
                    System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
                }
            } catch (IOException e) {
                System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
            }
            System.out.println("------------------------------------------------");
        }
    }


    // Function to check if proxy works with the given website
    private static boolean checkProxy(Proxy proxy, String url) throws IOException {
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
        connection.setConnectTimeout(5000); // 5 seconds timeout
        connection.setReadTimeout(5000);    // 5 seconds timeout


        int responseCode = connection.getResponseCode();
        String responseMessage = connection.getResponseMessage();


        System.out.println("Response: " + responseCode + " " + responseMessage);


        if (responseCode == 200) {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    response.append(line);
                }
                System.out.println("IP Returned: " + response);
            }
            return true;
        } else {
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getErrorStream()))) {
                StringBuilder errorResponse = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    errorResponse.append(line);
                }
                System.out.println("Error details: " + errorResponse);
            }
            return false;
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Hasil yang Anda lihat seharusnya seperti ini:

Mulai melakukan web scraping

Akhirnya, saatnya membuat aplikasi web scraping. Aplikasi ini akan mengekstrak semua data yang diperlukan, jadi Anda harus memasukkan URL target untuk di-scrape dan menentukan data yang ingin diambil program. Dalam contoh ini, kami akan mengambil link dari homepage kami. Anda dapat menggunakan kode ini sebagai referensi:


package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;


public class ProxyWebScraper {


    // Proxy configuration
    private static final String PROXY_HOST = "gw.dataimpulse.com";
    private static final int PROXY_PORT = 823;


    // Target website to scrape
    private static final String TARGET_URL = "https://dataimpulse.com/";


    public static void main(String[] args) {
        System.out.println("Starting Proxy Web Scraper...");


        try {
            // Perform the web scraping through the proxy
            String htmlContent = getHtmlContent(TARGET_URL);
            if (htmlContent != null) {
                // Parse and extract links from the HTML content
                parseHtml(htmlContent);
            } else {
                System.out.println("Failed to retrieve HTML content.");
            }
        } catch (IOException e) {
            System.err.println("Error during scraping: " + e.getMessage());
        }
    }


    // Method to get HTML content through the proxy
    private static String getHtmlContent(String url) throws IOException {
        // Configure proxy
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));


        // Create and configure the connection
        HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
        connection.setRequestMethod("GET");
        connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
        connection.setConnectTimeout(10000);
        connection.setReadTimeout(10000);


        int responseCode = connection.getResponseCode();
        if (responseCode == 200) {
            // Read and return the HTML content
            try (BufferedReader reader = new BufferedReader(
                    new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
                StringBuilder content = new StringBuilder();
                String line;
                while ((line = reader.readLine()) != null) {
                    content.append(line);
                }
                return content.toString();
            }
        } else {
            System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
            return null;
        }
    }


    // Method to parse HTML and extract links using jsoup
    private static void parseHtml(String htmlContent) {
        Document doc = Jsoup.parse(htmlContent);
        Elements links = doc.select("a[href]");


        if (links.isEmpty()) {
            System.out.println("No links found on the page.");
        } else {
            System.out.println("Links found:");
            for (Element link : links) {
                String href = link.attr("abs:href");
                String title = link.text();
                System.out.println("Title: " + title + ", Link: " + href);
            }
        }
    }
}

      
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
      

Namun, ada hal lain yang perlu Anda lakukan. Untuk menyelesaikan proses dan memastikan aplikasi scraping Anda berfungsi dengan benar, Anda perlu menginstal library JSoup menggunakan Maven. Berikut penjelasan langkah demi langkah:

  1. Buat proyek Java dengan menggunakan tombol yang sesuai. 
  1. Pilih Maven sebagai tipe proyek. 
  1. Dari daftar yang muncul, pilih “maven-archetype-quickstart”:
  1. Pilih maven-archetype-quickstart versi “1.4”.
  1. Masukkan “com.dataimpulse” sebagai group id.
  1. Masukkan “proxy-scraper” pada kolom “artifact Id”.
  1. Pilih folder untuk menyimpan library dan aplikasi ProxyWebScraper. Setelah itu, folder proxy-scraper seharusnya muncul. Sekarang, pindahkan kode ke proxy-scraper/src/main/java/com/dataimpulse:
  1. Tambahkan library JSoup melalui Apache Maven, seperti yang ditunjukkan pada tangkapan layar di bawah. Jika dilakukan dengan benar, library akan muncul di file “pom.xml”. 
  1. Dalam file “pom.xml”, ubah parameter “maven.compiler.source” dan “maven.compiler.target” menjadi 1.8. Simpan file dengan CTRL+S untuk Windows atau CMD+S untuk Mac.
  1. Sekarang, kode Anda seharusnya berfungsi dengan baik. Untuk menjalankannya, gunakan tombol di pojok kanan atas layar.

Berikut hasil akhir proyek scraping kami:

Seperti yang Anda lihat, kini kami telah mendapatkan semua data yang diinginkan. Namun, dengan mengubah kode, Anda dapat memperoleh data HTML apa pun yang diperlukan. Anda juga harus memilih proxy dengan cermat karena hasil seperti ini tidak mungkin diperoleh tanpa IP yang bersumber secara legal. Di DataImpulse, Anda dapat memperoleh 15 juta alamat yang didapatkan secara etis dan tidak terkait dengan kegiatan melanggar hukum seperti penyebaran malware. Jika Anda mengalami kesulitan, tim dukungan manusia kami siap membantu 24/7. Anda juga dapat menyesuaikan targeting agar selaras dengan kebijakan akses wilayah. Pada saat yang sama, proxy kami tidak akan menguras anggaran Anda karena kami menerapkan model harga pay-as-you-go dan menawarkan harga terjangkau sebesar $1 per 1GB. Mulai bersama kami di [email protected] atau gunakan tombol “Coba sekarang” di pojok kanan atas layar. 

Share article: