ในบทความนี้
เนื่องจาก Java เป็นภาษาที่ไม่ขึ้นกับแพลตฟอร์ม มีไลบรารีที่แข็งแกร่ง รองรับการทำงานหลายเธรด และมีกลไกจัดการข้อผิดพลาดที่มีประสิทธิภาพ จึงเป็นตัวเลือกที่ดีสำหรับ web scraping ในบทแนะนำแบบละเอียดนี้ เราจะบอกว่าต้องใช้เครื่องมือใดและควรทำตามขั้นตอนใดเพื่อให้การ scraping ใน Java มีประสิทธิภาพยิ่งขึ้น
ประเด็นสำคัญของ web scraping ด้วย Java
แม้ภาษาที่เรียบง่ายกว่าอย่าง Python จะเป็นที่นิยมสำหรับ web scraping มากกว่า แต่ Java ก็มีจุดแข็งของตัวเอง เช่น
- ไลบรารีอย่าง JSoup หรือ HtmlUnit ช่วยให้การแยกวิเคราะห์ HTML ง่ายขึ้น
- ประสิทธิภาพ ความเร็ว และการจัดการหน่วยความจำอย่างมีประสิทธิภาพ ทำให้ Java เหมาะกับโครงการขนาดใหญ่
- Java เป็นภาษาที่กำหนดชนิดข้อมูลอย่างเข้มงวด จึงตรวจจับข้อผิดพลาดได้ตั้งแต่เวลาคอมไพล์
นอกจากนี้ หากโครงสร้างพื้นฐานของคุณใช้ Java หรือคุณมุ่งทำโครงการระยะยาว Java ก็เป็นอีกทางเลือกหนึ่ง ขณะเดียวกัน web scraping มักมีความท้าทาย เช่น การแบน IP ข้อจำกัดตามภูมิศาสตร์ และข้อกังวลด้านความปลอดภัย การเสริมโครงการ Java ด้วย proxy ช่วยให้คุณก้าวข้ามอุปสรรคเหล่านี้และได้ข้อมูลที่จำเป็น
ก่อนเริ่มเขียนโค้ด มาดูกันว่าคุณต้องใช้เครื่องมือใดบ้าง
- Visual Studio Code (ที่จริง Visual Studio 2022 หรือ IDE อื่นใดที่รองรับ Java ก็ใช้ได้)
- Coding Pack สำหรับ Java
- Extension Pack สำหรับ Java
- Apache Maven
หากคุณเพิ่งเริ่มใช้ Visual Studio Code หรือ Java ที่นี่ คือเอกสารที่อธิบายรายละเอียดวิธีติดตั้ง Coding Pack และ Extension Pack คุณอาจสนใจบทแนะนำนี้เกี่ยวกับการติดตั้ง Apache Maven ด้วย
หมายเหตุ: รองรับเฉพาะรูปแบบ “hostname:port” ดังนั้นคุณต้องเพิ่ม ที่อยู่ IP ของคุณลงใน รายการอนุญาต ก่อนรันโค้ด คุณทำได้ในบัญชี DataImpulse ไปที่แผน proxy ที่ต้องการ เลือก “จัดการ IP ในรายการอนุญาต” จากเมนูมุมขวาบน แล้วเพิ่ม ที่อยู่ ของคุณลงใน รายการอนุญาต หากต้องการความช่วยเหลือหรือพบปัญหา โปรดดูคู่มือโดยละเอียดเกี่ยวกับการจัดการบัญชี DataImpulse ของเรา
เริ่มต้นใช้งาน HttpClientApp
คุณต้องสร้าง ไคลเอนต์ HTTP เพื่อกำหนดเส้นทางทราฟฟิกผ่าน เซิร์ฟเวอร์ proxy แอปนี้จะส่งคำขอ ไปยัง URL ที่กำหนดและรับการตอบกลับ คุณสามารถใช้โค้ดด้านล่างได้
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
public class HttpClientApp {
public static final String proxyHost = "gw.dataimpulse.com";
public static final int proxyPort = 823;
public static void main(String[] args) {
System.out.println("Performing request through proxy...");
try {
String response = request("https://api.ipify.org");
System.out.println("Your IP address: " + response);
} catch (IOException e) {
System.err.println("Request error: " + e.getMessage());
}
}
public static String request(String url) throws IOException {
// Configure the proxy without authentication
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));
// Create and configure the connection
HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
connection.setRequestMethod("GET");
connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
// Handle the response
int responseCode = connection.getResponseCode();
String responseMessage = connection.getResponseMessage();
if (responseCode == 200) {
// Successful response
try (BufferedReader reader = new BufferedReader(
new InputStreamReader(connection.getInputStream()))) {
StringBuilder response = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
response.append(line);
}
return response.toString();
}
} else {
// Error response with detailed output
StringBuilder errorResponse = new StringBuilder();
if (connection.getErrorStream() != null) {
try (BufferedReader reader = new BufferedReader(
new InputStreamReader(connection.getErrorStream()))) {
String line;
while ((line = reader.readLine()) != null) {
errorResponse.append(line);
}
}
}
throw new IOException("HTTP error: " + responseCode + " " + responseMessage +
(errorResponse.length() > 0 ? "\nError details: " + errorResponse : ""));
}
}
}
ผลลัพธ์ควรมีลักษณะดังนี้
สร้าง ตัวสลับ proxy
การกำหนดเส้นทางทราฟฟิกผ่าน เซิร์ฟเวอร์ proxy อย่างเดียวไม่เพียงพอ เพื่อเพิ่มความเป็นส่วนตัว คุณต้องใช้ IP ใหม่สำหรับทุกคำขอ ดังนั้นคุณจึงต้องมี ตัวสลับ proxy นี่คือตัวอย่างโค้ดที่ใช้ได้
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;
public class ProxyRotator {
// List of proxies to rotate through
private static final List proxies = Arrays.asList(
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
);
public static void main(String[] args) {
// URL to request
String url = "https://api.ipify.org";
for (Proxy proxy : proxies) {
System.out.println("Using proxy: " + proxy.address());
try {
String response = sendRequestWithProxy(url, proxy);
System.out.println("Request succeeded with proxy " + proxy.address());
System.out.println("IP address from API website: " + response);
} catch (IOException e) {
System.err.println("Request failed with proxy " + proxy.address() + ": " + e.getMessage());
}
System.out.println("------------------------------------------------");
}
}
// Function to send request using a specific proxy
private static String sendRequestWithProxy(String url, Proxy proxy) throws IOException {
HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
connection.setRequestMethod("GET");
connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
int responseCode = connection.getResponseCode();
if (responseCode == 200) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
StringBuilder response = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
response.append(line);
}
return response.toString();
}
} else {
throw new IOException("HTTP error code: " + responseCode + " " + connection.getResponseMessage());
}
}
}
คุณควรได้ผลลัพธ์เช่นนี้
สร้าง ตัวตรวจสอบ proxy
ถึงเวลาตรวจสอบให้แน่ใจว่า proxy ของเราใช้งานกับเว็บไซต์ที่กำหนดได้ สำหรับเรื่องนี้ คุณต้องสร้างแอป ตัวตรวจสอบ proxy และระบุ URL ที่จะตรวจสอบ
นี่คือโค้ดที่คุณลองใช้ได้
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.Arrays;
import java.util.List;
public class ProxyChecker {
// List of proxies to rotate through
private static final List proxies = Arrays.asList(
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10000)),
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10001)),
new Proxy(Proxy.Type.HTTP, new InetSocketAddress("gw.dataimpulse.com", 10002))
);
// Website to check through proxies
private static final String websiteUrl = "https://api.ipify.org";
public static void main(String[] args) {
System.out.println("Starting Proxy Checker...");
for (Proxy proxy : proxies) {
System.out.println("\nChecking proxy: " + proxy.address());
try {
boolean isWorking = checkProxy(proxy, websiteUrl);
if (isWorking) {
System.out.println("✅ Proxy " + proxy.address() + " works with " + websiteUrl);
} else {
System.out.println("❌ Proxy " + proxy.address() + " does not work with " + websiteUrl);
}
} catch (IOException e) {
System.out.println("❌ Proxy " + proxy.address() + " failed: " + e.getMessage());
}
System.out.println("------------------------------------------------");
}
}
// Function to check if proxy works with the given website
private static boolean checkProxy(Proxy proxy, String url) throws IOException {
HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
connection.setRequestMethod("GET");
connection.setRequestProperty("User-Agent", "JavaHttpURLConnection");
connection.setConnectTimeout(5000); // 5 seconds timeout
connection.setReadTimeout(5000); // 5 seconds timeout
int responseCode = connection.getResponseCode();
String responseMessage = connection.getResponseMessage();
System.out.println("Response: " + responseCode + " " + responseMessage);
if (responseCode == 200) {
try (BufferedReader reader = new BufferedReader(
new InputStreamReader(connection.getInputStream()))) {
StringBuilder response = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
response.append(line);
}
System.out.println("IP Returned: " + response);
}
return true;
} else {
try (BufferedReader reader = new BufferedReader(
new InputStreamReader(connection.getErrorStream()))) {
StringBuilder errorResponse = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
errorResponse.append(line);
}
System.out.println("Error details: " + errorResponse);
}
return false;
}
}
}
ผลลัพธ์ที่เห็นควรมีลักษณะดังนี้
เริ่มทำ web scraping
สุดท้าย ถึงเวลาสร้างแอป web scraping แอปจะดึงข้อมูลทั้งหมดที่ต้องการ ดังนั้นคุณต้องระบุ URL เป้าหมายที่จะดึงข้อมูล และกำหนดข้อมูลที่ต้องการให้โปรแกรมดึงข้อมูล ในกรณีของเรา เราจะ ดึงลิงก์ จากหน้าแรกของเรา คุณสามารถใช้โค้ดนี้เป็นข้อมูลอ้างอิงได้
package com.dataimpulse;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.nio.charset.StandardCharsets;
public class ProxyWebScraper {
// Proxy configuration
private static final String PROXY_HOST = "gw.dataimpulse.com";
private static final int PROXY_PORT = 823;
// Target website to scrape
private static final String TARGET_URL = "https://dataimpulse.com/";
public static void main(String[] args) {
System.out.println("Starting Proxy Web Scraper...");
try {
// Perform the web scraping through the proxy
String htmlContent = getHtmlContent(TARGET_URL);
if (htmlContent != null) {
// Parse and extract links from the HTML content
parseHtml(htmlContent);
} else {
System.out.println("Failed to retrieve HTML content.");
}
} catch (IOException e) {
System.err.println("Error during scraping: " + e.getMessage());
}
}
// Method to get HTML content through the proxy
private static String getHtmlContent(String url) throws IOException {
// Configure proxy
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(PROXY_HOST, PROXY_PORT));
// Create and configure the connection
HttpURLConnection connection = (HttpURLConnection) new URL(url).openConnection(proxy);
connection.setRequestMethod("GET");
connection.setRequestProperty("User-Agent", "JavaWebScraper/1.0");
connection.setConnectTimeout(10000);
connection.setReadTimeout(10000);
int responseCode = connection.getResponseCode();
if (responseCode == 200) {
// Read and return the HTML content
try (BufferedReader reader = new BufferedReader(
new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8))) {
StringBuilder content = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
content.append(line);
}
return content.toString();
}
} else {
System.err.println("Failed to fetch HTML. HTTP error code: " + responseCode);
return null;
}
}
// Method to parse HTML and extract links using jsoup
private static void parseHtml(String htmlContent) {
Document doc = Jsoup.parse(htmlContent);
Elements links = doc.select("a[href]");
if (links.isEmpty()) {
System.out.println("No links found on the page.");
} else {
System.out.println("Links found:");
for (Element link : links) {
String href = link.attr("abs:href");
String title = link.text();
System.out.println("Title: " + title + ", Link: " + href);
}
}
}
}
อย่างไรก็ตาม ยังมีสิ่งที่ต้องทำอีก เพื่อให้กระบวนการเสร็จสมบูรณ์และแอป web scraping ทำงานได้อย่างถูกต้อง คุณต้องติดตั้งไลบรารี JSoup โดยใช้ Maven ต่อไปนี้คือคำอธิบายแบบทีละขั้นตอน
- สร้างโครงการ Java โดยใช้ปุ่มที่เกี่ยวข้อง
- เลือก Maven เป็นประเภทโครงการ
- จากรายการที่ปรากฏ ให้เลือก “maven-archetype-quickstart”
- ป้อน “com.dataimpulse” เป็น group id
- ป้อน “proxy-scraper” ในช่อง “artifact Id”
- เลือกโฟลเดอร์เพื่อเก็บไลบรารีและแอป ProxyWebScraper หลังจากนั้น โฟลเดอร์ proxy-scraper ควรปรากฏขึ้น จากนั้นย้ายโค้ดไปที่ proxy-scraper/src/main/java/com/dataimpulse:
- เพิ่มไลบรารี JSoup ผ่าน Apache Maven ตามที่แสดงในภาพหน้าจอด้านล่าง หากทำถูกต้อง ไลบรารีจะปรากฏในไฟล์ “pom.xml”
- ในไฟล์ “pom.xml” ให้เปลี่ยนพารามิเตอร์ “maven.compiler.source” และ “maven.compiler.target” เป็น 1.8 บันทึกไฟล์โดยใช้ CTRL+S สำหรับ Windows หรือ CMD+S สำหรับ Mac
- ตอนนี้โค้ดของคุณควรทำงานได้อย่างราบรื่น หากต้องการรัน ให้ใช้ปุ่มที่มุมขวาบนของหน้าจอ
นี่คือผลลัพธ์สุดท้ายของโครงการ web scraping ของเรา
อย่างที่เห็น ตอนนี้เรามีข้อมูลทั้งหมดที่ต้องการแล้ว อย่างไรก็ตาม การปรับแก้โค้ดช่วยให้คุณรับข้อมูล HTML ใดก็ได้ที่ต้องการ นอกจากนี้ คุณควรเลือก proxy อย่างรอบคอบ เพราะผลลัพธ์เช่นนี้เป็นไปไม่ได้หากไม่มี IP ที่จัดหาอย่างถูกต้องตามกฎหมาย ที่ DataImpulse คุณสามารถรับ ที่อยู่ 15 ล้าน รายการที่ได้มาอย่างมีจริยธรรมและไม่เกี่ยวข้องกับกิจกรรมที่ละเมิดกฎหมาย เช่น การเผยแพร่ มัลแวร์ หากพบปัญหา ทีมสนับสนุนที่เป็นมนุษย์ของเราพร้อมให้บริการตลอด 24/7 คุณยังปรับ การกำหนดเป้าหมาย ให้สอดคล้องกับนโยบายการเข้าถึงตามพื้นที่ได้ด้วย ขณะเดียวกัน proxy ของเราจะไม่ทำให้งบประมาณของคุณบานปลาย เพราะเราใช้รูปแบบราคา คิดค่าบริการตามการใช้งาน และเสนอราคาเพียง $1 ต่อ 1GB เริ่มต้นกับเราได้ที่ [email protected] หรือใช้ปุ่ม “ลองใช้ตอนนี้” ที่มุมขวาบนของหน้าจอ















