Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

Web scraping ด้วย Java ส่วนใหญ่แล้วเป็นเรื่องของว่าคุณได้รับ client แบบไหนมาสืบทอด โค้ดที่เขียนก่อน Java 11 มักใช้ Apache HttpClient หรือ HttpURLConnection แบบดั้งเดิม ส่วนโค้ดที่เขียนหลังจากนั้นสามารถใช้ java.net.http.HttpClient ที่รองรับ HTTP/2 ได้โดยไม่ต้องพึ่งพา dependency ใด ๆ เลย ส่วนคำตอบเรื่องการแยกวิเคราะห์ (parsing) นั้นคงที่มานานนับสิบปีแล้ว นั่นคือ jsoup

หากคุณเข้ามาที่นี่เพราะค้นหาเรื่อง web scraping ด้วย java เวอร์ชันสั้น ๆ คือ ตั้งค่า proxy บน client builder เพียงครั้งเดียว แล้วนำ client นั้นกลับมาใช้ซ้ำ และจำไว้ว่า JDK จัดการการยืนยันตัวตนของ proxy ผ่าน HTTPS แตกต่างจาก HTTP รายละเอียดสุดท้ายนี้คือสาเหตุที่พบบ่อยที่สุดที่ทำให้ Java scraper ทำงานได้กับเว็บไซต์หนึ่งแต่ล้มเหลวกับอีกเว็บไซต์หนึ่ง ซึ่งจะอธิบายพร้อมวิธีแก้ไขด้านล่างนี้


ข้อเท็จจริงสำคัญ

  • สแตกใน Java: java.net.http.HttpClient จาก Java 11 สำหรับการดึงข้อมูล jsoup สำหรับการแยกวิเคราะห์ และ Selenium หรือ Playwright for Java เมื่อจำเป็นต้องมีการเรนเดอร์
  • การตั้งค่า proxy คือหนึ่งอ็อบเจกต์ ไม่ใช่หนึ่งบรรทัดต่อคำขอ ตั้งค่าเพียงครั้งเดียวบน client แล้วนำ client นั้นกลับมาใช้ซ้ำ ไม่เช่นนั้นคุณจะเสีย connection pooling และความสอดคล้องของ session ไป
  • ข้อผิดพลาดที่เสียเวลามากที่สุดในที่นี้: basic auth ถูกปิดใช้งานบน https tunnel
  • การ rotate เป็นของ session ไม่ใช่ของคำขอแต่ละครั้ง งานเชิงตรรกะหนึ่งงานควรคงทางออก (exit) เดียวไว้ การ rotate กลางคัน session จะทำให้ cookie เสียหายและเชิญชวนให้เกิด challenge
  • ใช้ Java เมื่อ crawler อยู่ภายใน JVM service ที่มีอยู่แล้ว และคุณต้องการ observability และรูปแบบการ deploy แบบเดียวกับส่วนอื่นของแพลตฟอร์ม หลีกเลี่ยงเมื่อคุณกำลังเขียน scraper ไฟล์เดียวแบบใช้แล้วทิ้ง ซึ่งพิธีการต่าง ๆ มีต้นทุนสูงกว่างานที่ทำ

จะส่งคำขอ Java ผ่าน proxy ได้อย่างไร

ตั้งค่า proxy บน client เพียงครั้งเดียว แล้วนำ client นั้นกลับมาใช้ซ้ำสำหรับทุกคำขอใน session รูปแบบขั้นต่ำที่ใช้งานได้จริงพร้อมการยืนยันตัวตนมีดังนี้

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

มีรายละเอียดสามอย่างที่สำคัญกว่าไวยากรณ์ ข้อมูลรับรอง (credentials) เป็นของ gateway ไม่ใช่ของเว็บไซต์เป้าหมาย การตั้งค่า timeout ไม่ใช่ทางเลือก เพราะ proxy เพิ่ม hop เข้ามาอีกหนึ่งจุด และคำขอที่ค้างอยู่จะกักตัว worker ไว้ และ client คือหน่วยของอัตลักษณ์ (identity) client เดียวกันหมายถึง connection pool เดียวกัน cookie เดียวกัน และเมื่อใช้ sticky session ก็หมายถึงที่อยู่ทางออก (exit address) เดียวกันด้วย


การตั้งค่า client แบบ 3 ขั้นตอนมีลักษณะอย่างไร

แยกสามประเด็นความรับผิดชอบออกจากกัน แล้วการดีบักจะไม่ใช่การเดาสุ่มอีกต่อไป เราเรียกสิ่งนี้ว่า การตั้งค่า client แบบ 3 ขั้นตอน

ส่วน สิ่งที่รับผิดชอบ ใน Java
1. Transport การเชื่อมต่อ, proxy, timeout, การลองใหม่ (retry), TLS java.net.http.HttpClient จาก Java 11
2. Parsing การแปลงไบต์ให้เป็นฟิลด์ และแสดงข้อผิดพลาดอย่างชัดเจนเมื่อ markup เปลี่ยนไป jsoup
3. Scheduling Concurrency ต่อโฮสต์ การควบคุมจังหวะ (pacing), backoff, การขจัดข้อมูลซ้ำ (deduplication) worker pool หรือคิวของคุณเอง ที่จำกัดขอบเขตต่อเป้าหมาย

JVM ทำให้การผสมสามส่วนนี้เข้าด้วยกันในคลาส service เดียวเป็นเรื่องง่าย และผลลัพธ์ที่ได้คือ crawler ที่ไม่มีใครบอกได้ว่าความล้มเหลวมาจากเครือข่าย markup หรือตัว scheduler การแยก HttpClient, jsoup และ executor ของคุณออกเป็นชั้น ๆ หมายความว่า 403 จะชี้ไปที่หนึ่งในนั้น ผลลัพธ์ selector ที่ว่างเปล่าจะชี้ไปที่อีกอันหนึ่ง และการเสื่อมประสิทธิภาพอย่างช้า ๆ จะชี้ไปที่อันที่สาม

เมื่อการ scrape ล้มเหลว คำถามแรกคือส่วนไหนที่พัง สถานะที่ไม่ใช่ 200 คือปัญหาของ transport สถานะ 200 ที่มีฟิลด์ว่างเปล่าคือปัญหาของ parsing หรืออาจเป็นเพราะหน้าเว็บเรนเดอร์ฝั่ง client ความสำเร็จที่ค่อย ๆ ลดลงในช่วงเวลาไม่กี่นาทีคือปัญหาของ scheduling การรวมทั้งสามส่วนไว้ในฟังก์ชันเดียวคือสาเหตุที่ scraper จำนวนมากถูกเขียนใหม่ทั้งหมดแทนที่จะแก้ไข

jsoup เป็นตัวแยกวิเคราะห์เริ่มต้นด้วยเหตุผลที่ชัดเจน นั่นคือ CSS selector การจัดการ HTML ที่ยืดหยุ่น และ API ขนาดเล็ก ใช้มันสำหรับการ parsing เท่านั้น และปล่อยให้ HttpClient เป็นผู้รับผิดชอบเครือข่าย


อะไรที่มักผิดพลาดใน Java โดยเฉพาะ

มีปัญหาสามอย่างที่เป็นสาเหตุของเวลาที่เสียไปส่วนใหญ่ใน Java และไม่มีปัญหาใดเลยที่มาจากการที่เป้าหมายบล็อกคุณ

Basic auth ถูกปิดใช้งานบน HTTPS tunnel นี่คือปัญหาที่เสียเวลาคนไปครึ่งวัน โดยค่าเริ่มต้น JDK จะบล็อกการยืนยันตัวตน Basic ของ proxy บน CONNECT tunnel ทำให้ proxy ที่มีการยืนยันตัวตนใช้งานได้กับ HTTP แต่ล้มเหลวกับ HTTPS จนกว่าคุณจะล้างค่าพร็อพเพอร์ตี้ jdk.http.auth.tunneling.disabledSchemes

Authenticator ไม่ถูกเรียกใช้สำหรับ proxy ในทุกเวอร์ชัน พฤติกรรมนี้เปลี่ยนแปลงไปตามรุ่นของ JDK แต่ละรุ่น หากข้อมูลรับรองถูกละเลย ให้ส่ง header Proxy-Authorization ด้วยตัวเองเป็นทางเลือกสำรอง และกำหนดเวอร์ชัน JDK ให้ตายตัวใน build ของคุณ

jsoup ดึงข้อมูลด้วยตัวเอง Jsoup.connect(url) เปิดการเชื่อมต่อของตัวเองและไม่รู้อะไรเลยเกี่ยวกับ proxy ของ HttpClient ของคุณ ให้ดึงข้อมูลด้วย HttpClient แล้วส่งสตริงนั้นให้กับ Jsoup.parse

ไม่มีปัญหาข้อใดที่แปลกประหลาด และทุกข้อล้วนดูเหมือน scraper ที่ถูกบล็อกจากภายนอก ซึ่งเป็นสาเหตุที่การตอบสนองแรกมักเป็นการซื้อ proxy สำหรับปัญหาที่แท้จริงอยู่ใน client คู่มือของเราเรื่อง ข้อผิดพลาด 403 Forbidden เมื่อ scraping จะอธิบายขั้นตอนการแยกปัญหาตามลำดับ


จะจำกัดขอบเขต concurrency ใน Java ได้อย่างไร

ใช้ pool ขนาดคงที่และ permit ไม่ใช่ executor ที่ไม่มีขอบเขต virtual thread ทำให้การเริ่มคำขอหนึ่งหมื่นรายการพร้อมกันเป็นเรื่องง่ายเกินไป ซึ่งเท่ากับเป็นการทำ denial-of-service ต่อเป้าหมายของคุณ และนำไปสู่การแบนแบบ rate-limit สำหรับตัวคุณเอง

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

permit สี่รายการต่อโฮสต์เป็นจุดเริ่มต้นที่สมเหตุสมผลสำหรับหน้าเว็บสาธารณะ เพิ่ม jitter ระหว่างการขอ permit และตั้งค่า exponential backoff รอบคำสั่ง send ที่จะหยุดงานทั้งหมดหลังจากได้รับการตอบสนอง 429 หรือ 403 ต่อเนื่องกัน แทนที่จะพยายามใหม่เรื่อย ๆ จนชนกำแพง


ไลบรารี Java ใดที่คุ้มค่าแก่การใช้งาน

ไลบรารี ใช้สำหรับ หมายเหตุตามตรง
java.net.http.HttpClient ทุกอย่างที่เกี่ยวกับเครือข่าย ตั้งแต่ Java 11 เป็นต้นไป อยู่ใน JDK ไม่มี dependency รองรับ HTTP/2 โดยค่าเริ่มต้น จุดที่ต้องระวังเพียงจุดเดียวคือความแปลกของการยืนยันตัวตน proxy ผ่าน tunnel
jsoup การ parsing และการเลือกด้วย CSS เป็นตัวเลือกเริ่มต้นด้วยเหตุผลที่ดี ใช้สำหรับ parsing เท่านั้น อย่านำไปใช้ดึงข้อมูลผ่าน proxy เด็ดขาด
Apache HttpClient 5 การควบคุมการเชื่อมต่อและ proxy อย่างละเอียด API ที่หนักกว่า แต่คุ้มค่าเมื่อคุณต้องการ connection pool แยกตามเส้นทาง (route) หรือต้องใช้ NTLM
Playwright for Java หน้าเว็บที่เรนเดอร์ฝั่ง client เบราว์เซอร์จริง ต้นทุนจริง สงวนไว้สำหรับกลุ่มย่อยของหน้าเว็บที่จำเป็นต้องใช้เท่านั้น
HtmlUnit การท่องเว็บแบบ headless แบบดั้งเดิม ส่วนใหญ่เป็นทางตันสำหรับเว็บไซต์สมัยใหม่ เนื่องจากเอนจิน JavaScript ล้าหลังกว่าเบราว์เซอร์จริง

ชุดผสมผสานที่ทนทานต่อการดูแลรักษาคือแบบที่จงใจให้ธรรมดาไว้ก่อน นั่นคือ HttpClient สำหรับเครือข่าย jsoup สำหรับ markup และ Playwright เฉพาะเมื่อการเรนเดอร์เป็นสิ่งที่หลีกเลี่ยงไม่ได้เท่านั้น


เมื่อใดที่ Java เป็นเครื่องมือที่ผิด

ใช้ Java เมื่อ crawler อยู่ภายใน JVM service ที่มีอยู่แล้ว และคุณต้องการ observability และรูปแบบการ deploy แบบเดียวกับส่วนอื่นของแพลตฟอร์ม หลีกเลี่ยงเมื่อคุณกำลังเขียน scraper ไฟล์เดียวแบบใช้แล้วทิ้ง ซึ่งพิธีการต่าง ๆ มีต้นทุนสูงกว่างานที่ทำ

ปัจจัยตัดสินคือการดูแลรักษา ไม่ใช่ความสามารถ crawler ที่เขียนด้วยภาษาที่ทีมของคุณใช้ทุกวันจะอยู่รอดผ่านการเปลี่ยนแปลง markup ครั้งถัดไป ในขณะที่ crawler ที่ฉลาดแต่เขียนด้วยภาษาที่ไม่คุ้นเคยจะถูกทิ้งร้างเมื่อพังครั้งแรก หากคำตอบตามตรงคือ Java ไม่ใช่บ้านที่เหมาะสมสำหรับงานนี้ การมี crawler ขนาดเล็กในที่อื่นที่เขียนข้อมูลลงฐานข้อมูลเดียวกันก็เป็นการออกแบบที่ชอบธรรม ไม่ใช่ความพ่ายแพ้

มีสองเรื่องที่ไม่ได้กล่าวถึงในหน้านี้ เพราะเป็นเรื่องเดียวกันในทุกภาษา และการกล่าวซ้ำที่นี่จะยิ่งทำให้ยากต่อการรักษาให้เป็นปัจจุบัน กฎเรื่อง session และการ rotate รวมถึงเหตุผลว่าทำไม journey หนึ่งต้องคงทางออกแบบ sticky เดียวไว้ อยู่ใน proxy rotation best practices สิ่งที่ควรทำเมื่อคำขอถูกปฏิเสธ และวิธีแยกแยะปัญหาเครือข่ายออกจากปัญหา client อยู่ใน 403 Forbidden when scraping และกรอบด้านกฎหมายอยู่ใน is web scraping legal

สำหรับตัวทางออกเอง ใช้ rotating residential สำหรับหน้าเว็บสาธารณะ sticky สำหรับ journey และ datacenter สำหรับ API และข้อมูลเปิด DataImpulse residential ราคา $1 ต่อ GB ครอบคลุม 195 ประเทศ พร้อมการกำหนดเป้าหมายตามประเทศ (country targeting) รวมอยู่ด้วย และการเปรียบเทียบอยู่ใน best proxies for web scraping


คำถามที่พบบ่อย

ตั้งค่า proxy ใน Java ได้อย่างไร

ตั้งค่าบนอ็อบเจกต์ client แทนที่จะตั้งค่าต่อคำขอ ด้วย java.net.http.HttpClient จาก Java 11 คุณกำหนด host, port และข้อมูลรับรองของ proxy เพียงครั้งเดียว แล้วนำ client นั้นกลับมาใช้ซ้ำ การใช้ซ้ำจะรักษา connection pool, cookie jar และที่อยู่ทางออกให้สอดคล้องกัน ซึ่งเป็นสิ่งที่ทำให้ session ดูเป็นเนื้อเดียวกัน

ควรใช้ไลบรารีใดสำหรับ parsing ใน Java

jsoup เป็นตัวเลือกเริ่มต้นที่ใช้งานได้จริง แยก parsing ออกจากการดึงข้อมูล client รับผิดชอบเครือข่าย ส่วนตัว parser รับผิดชอบ markup เพื่อให้เมื่อเกิดความล้มเหลว คุณจะรู้ทันทีว่าส่วนไหนในสองส่วนนี้ที่พัง

จำเป็นต้องใช้ headless browser สำหรับ Java หรือไม่

จำเป็นเฉพาะเมื่อฟิลด์ถูกเรนเดอร์ฝั่ง client เท่านั้น ให้ดึงหน้าเว็บแบบธรรมดาก่อน แล้วค้นหาค่าที่รู้จักหนึ่งค่าใน HTML หากพบค่านั้น ก็ข้ามการใช้เบราว์เซอร์ไปได้เลย เมื่อจำเป็นต้องใช้จริง ๆ Selenium หรือ Playwright for Java เมื่อจำเป็นต้องมีการเรนเดอร์คือตัวเลือกในระบบนิเวศนี้ และมันมีต้นทุนสูงกว่าหลายเท่าต่อหน้าทั้งในแง่เวลาและหน่วยความจำ

Basic auth ถูกปิดใช้งานบน HTTPS tunnel ใช่หรือไม่

นี่คือปัญหาที่เสียเวลาคนไปครึ่งวัน โดยค่าเริ่มต้น JDK จะบล็อกการยืนยันตัวตน Basic ของ proxy บน CONNECT tunnel ทำให้ proxy ที่มีการยืนยันตัวตนใช้งานได้กับ HTTP แต่ล้มเหลวกับ HTTPS จนกว่าคุณจะล้างค่าพร็อพเพอร์ตี้ jdk.http.auth.tunneling.disabledSchemes

Java เป็นตัวเลือกที่ดีสำหรับ web scraping หรือไม่

เป็นตัวเลือกที่ดีเมื่อ crawler อยู่ภายใน JVM service ที่มีอยู่แล้ว และคุณต้องการ observability และรูปแบบการ deploy แบบเดียวกับส่วนอื่นของแพลตฟอร์ม แต่เป็นตัวเลือกที่ผิดเมื่อคุณกำลังเขียน scraper ไฟล์เดียวแบบใช้แล้วทิ้ง ซึ่งพิธีการต่าง ๆ มีต้นทุนสูงกว่างานที่ทำ ปัจจัยตัดสินโดยทั่วไปคือการดูแลรักษามากกว่าความสามารถดิบ นั่นคือ scraper ที่เขียนด้วยภาษาที่ทีมของคุณใช้ทุกวันคือตัวที่จะอยู่รอดผ่านการเปลี่ยนแปลง markup ครั้งถัดไป


ชี้ client Java ของคุณไปยังทางออกที่เชื่อถือได้

โค้ดตัวอย่างด้านบนใช้งานได้ด้วยการเปลี่ยนข้อมูลรับรองเพียงจุดเดียว DataImpulse residential มอบทางออกที่แม่นยำตามภูมิศาสตร์ในราคา $1 ต่อ GB ครอบคลุม 195 ประเทศ ทั้งแบบ rotating หรือ sticky ผ่าน HTTP, HTTPS และ SOCKS5 สร้างบัญชี แล้วทดสอบเป้าหมายหนึ่งรายการจาก client Java ของคุณก่อนขยายขนาดงาน

เนื้อหาที่เกี่ยวข้อง: 403 Forbidden when scraping · การตั้งค่า proxy สำหรับ Crawl4AI · การตั้งค่า proxy ใน Go, Kotlin, Scala, Perl และ Elixir

อัปเดตล่าสุด: 17 กันยายน 2026


Share article: