이 글의 내용
Java를 이용한 웹 스크래핑은 대체로 어떤 클라이언트를 물려받았는지의 문제입니다. Java 11 이전에 작성된 것은 아마 Apache HttpClient 또는 원시 HttpURLConnection을 사용할 것이고, 그 이후의 것은 HTTP/2를 지원하며 의존성이 전혀 없는 java.net.http.HttpClient를 사용할 수 있습니다. 파싱에 대한 답은 10년 동안 안정적이었습니다. 바로 jsoup입니다.
java를 이용한 웹 스크래핑을 찾다가 여기 오셨다면, 짧은 답은 다음과 같습니다. 클라이언트 빌더에 프록시를 한 번만 설정하고 그 클라이언트를 재사용하십시오. 또한 JDK가 HTTPS를 통한 프록시 인증을 HTTP와 다르게 처리한다는 점을 기억해야 합니다. 이 마지막 세부 사항은 Java 스크래퍼가 한 사이트에서는 작동하지만 다른 사이트에서는 실패하는 가장 흔한 단일 이유이며, 아래에서 해결 방법과 함께 다룹니다.
핵심 사항
- Java의 스택: 가져오기에는 Java 11의 java.net.http.HttpClient, 파싱에는 jsoup, 렌더링이 필요한 경우에는 Java용 Selenium 또는 Playwright를 사용합니다.
- 프록시 설정은 요청당 한 줄이 아니라 하나의 객체입니다. 클라이언트에 한 번 설정하고 해당 클라이언트를 재사용해야 합니다. 그렇지 않으면 연결 풀링과 세션 일관성을 잃게 됩니다.
- 여기서 가장 많은 시간을 소모하는 실수: https 터널에서 Basic 인증이 비활성화됩니다.
- 로테이션은 요청이 아니라 세션에 속합니다. 하나의 논리적 작업은 하나의 출구를 유지해야 합니다. 세션 중간에 로테이팅하면 쿠키가 깨지고 챌린지를 유발합니다.
- Java를 사용할 때: 크롤러가 기존 JVM 서비스 안에 있고 플랫폼의 나머지 부분과 같은 관측 가능성과 배포 방식을 필요로 할 때입니다. 한 파일짜리 일회용 스크래퍼를 작성하는 경우에는 작업보다 준비 절차의 비용이 더 크므로 피하십시오.
Java 요청을 프록시를 통해 어떻게 라우팅합니까?
클라이언트에 프록시를 한 번 설정한 다음 세션의 모든 요청에 그 클라이언트를 재사용하십시오. 다음은 인증을 포함한 최소 작동 형태입니다.
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
문법보다 중요한 세 가지 세부 사항이 있습니다. 자격 증명은 대상 사이트가 아니라 게이트웨이에 속합니다. 프록시는 한 번의 홉을 추가하고 멈춘 요청은 워커를 점유하므로 타임아웃은 선택 사항이 아닙니다. 또한 클라이언트는 ID의 단위입니다. 같은 클라이언트는 같은 연결 풀, 같은 쿠키, 그리고 스티키 세션에서는 같은 출구 주소를 의미합니다.
3단계 클라이언트 설정은 어떤 모습입니까?
세 가지 관심사를 분리하면 디버깅은 더 이상 추측이 아닙니다. 이를 3단계 클라이언트 설정이라고 부릅니다.
| 부분 | 담당 영역 | Java에서 |
|---|---|---|
| 1. 전송 | 연결, 프록시, 타임아웃, 재시도, TLS | Java 11의 java.net.http.HttpClient |
| 2. 파싱 | 바이트를 필드로 변환하고 마크업이 변경되었을 때 명확하게 실패 처리 | jsoup |
| 3. 스케줄링 | 호스트별 동시성, 페이싱, 백오프, 중복 제거 | 대상별로 제한된 자체 워커 풀 또는 큐 |
JVM에서는 이 세 가지를 하나의 서비스 클래스 안에서 쉽게 뒤섞을 수 있으며, 그 결과 누구도 실패가 네트워크, 마크업, 스케줄러 중 어디에서 왔는지 말할 수 없는 크롤러가 됩니다. HttpClient, jsoup, 실행기를 별도 계층에 두면 403은 그중 하나를, 빈 선택자 결과는 다른 하나를, 느린 성능 저하는 세 번째를 가리킵니다.
스크래핑이 중단되면 첫 질문은 어느 부분이 망가졌는가입니다. 200이 아닌 상태는 전송 문제입니다. 필드가 비어 있는 200은 파싱 문제이거나 클라이언트 측에서 렌더링되는 페이지입니다. 수분에 걸쳐 저하되는 성공률은 스케줄링 문제입니다. 이 세 가지를 하나의 함수에 섞는 것이 매우 많은 스크래퍼가 수정되는 대신 재작성되는 이유입니다.
jsoup이 기본 파서인 데에는 이유가 있습니다. CSS 선택자, 관대한 HTML 처리, 작은 API를 제공합니다. 파싱에만 사용하고 네트워크는 HttpClient가 담당하게 하십시오.
특히 Java에서 무엇이 잘못됩니까?
Java에서 시간 손실 대부분은 세 가지 문제에서 발생하며, 어느 것도 대상이 차단하는 문제는 아닙니다.
HTTPS 터널에서 Basic 인증이 비활성화됩니다. 사람들이 오후 한나절을 쓰게 되는 문제입니다. JDK는 기본적으로 CONNECT 터널에서 Basic 프록시 인증을 차단하므로, jdk.http.auth.tunneling.disabledSchemes 속성을 해제하기 전까지 인증된 프록시는 HTTP에서는 작동하고 HTTPS에서는 실패합니다.
모든 버전에서 프록시에 대해 Authenticator가 호출되지는 않습니다. 동작은 JDK 릴리스마다 달라졌습니다. 자격 증명이 무시되면 대안으로 Proxy-Authorization 헤더를 직접 보내고 빌드에서 JDK 버전을 고정하십시오.
jsoup은 자체적으로 가져옵니다. Jsoup.connect(url)는 자체 연결을 열며 HttpClient 프록시에 대해서는 알지 못합니다. HttpClient로 가져온 뒤 문자열을 Jsoup.parse에 전달하십시오.
이들은 어느 것도 이례적이지 않지만, 겉으로는 모두 차단된 스크래퍼처럼 보입니다. 그래서 첫 대응이 클라이언트에 있는 문제를 위해 프록시를 구매하는 일이 매우 흔합니다. 스크래핑 시 403 Forbidden 오류에 관한 가이드는 격리 단계를 순서대로 안내합니다.
Java에서 동시성에 어떻게 제한을 둡니까?
제한 없는 실행기가 아니라 고정 풀과 퍼밋을 사용하십시오. 가상 스레드는 한 번에 만 건의 요청을 시작하기를 아주 쉽게 만들지만, 이는 대상에 대한 서비스 거부 공격이자 자신에게는 속도 제한 차단입니다.
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
호스트당 4개의 퍼밋은 공개 페이지에 적절한 출발점입니다. 획득 사이에 지터를 추가하고, 벽을 향해 재시도하는 대신 429 또는 403 응답이 연속되면 전체 작업을 중지하는 지수 백오프를 send 호출 주위에 두십시오.
사용할 가치가 있는 Java 라이브러리는 무엇입니까?
| 라이브러리 | 용도 | 솔직한 메모 |
|---|---|---|
| java.net.http.HttpClient | Java 11 이후의 모든 네트워크 작업 | JDK에 포함되어 있고 의존성이 없으며 기본적으로 HTTP/2를 사용합니다. 프록시 인증 터널링의 특이점이 유일한 주의점입니다. |
| jsoup | 파싱 및 CSS 선택 | 타당한 이유로 기본값입니다. 파싱에만 사용하고 프록시를 통한 가져오기에는 사용하지 마십시오. |
| Apache HttpClient 5 | 세밀한 연결 및 프록시 제어 | API가 더 무겁지만 경로별 연결 풀이나 NTLM이 필요할 때는 가치가 있습니다. |
| Playwright for Java | 클라이언트 측에서 렌더링되는 페이지 | 실제 브라우저에는 실제 비용이 듭니다. 필요한 페이지의 일부에만 사용하십시오. |
| HtmlUnit | 레거시 헤드리스 브라우징 | 현대 사이트에서는 대체로 막다른 길입니다. JavaScript 엔진이 실제 브라우저보다 뒤처집니다. |
유지보수를 견디는 조합은 의도적으로 평범합니다. 네트워크에는 HttpClient, 마크업에는 jsoup, 렌더링을 피할 수 없는 곳에만 Playwright를 사용합니다.
언제 Java가 잘못된 도구입니까?
크롤러가 기존 JVM 서비스 안에 있고 플랫폼의 나머지 부분과 같은 관측 가능성과 배포 방식을 필요로 할 때 Java를 사용하십시오. 한 파일짜리 일회용 스크래퍼를 작성하는 경우에는 작업보다 준비 절차의 비용이 더 크므로 피하십시오.
결정 요인은 기능이 아니라 유지보수입니다. 팀이 매일 사용하는 언어로 작성된 크롤러는 다음 마크업 변경도 견디지만, 낯선 언어로 만든 영리한 크롤러는 처음 고장 났을 때 버려집니다. 솔직한 답이 Java가 이 작업에 맞지 않는 환경이라는 것이라면, 같은 데이터베이스에 기록하는 소규모 크롤러를 다른 곳에 두는 것은 패배가 아니라 정당한 설계입니다.
모든 언어에서 동일한 두 가지는 이 페이지 밖에 둡니다. 여기서 반복하면 최신 상태를 유지하기만 더 어려워지기 때문입니다. 여정에서 하나의 스티키 출구를 유지해야 하는 이유를 포함한 세션 및 로테이션 규칙은 프록시 로테이션 모범 사례에 있습니다. 요청이 거부되었을 때 할 일과 네트워크 문제를 클라이언트 문제와 구별하는 방법은 스크래핑 시 403 Forbidden에, 법적 프레임은 웹 스크래핑은 정당한가에 있습니다.
출구 자체에 대해서는 공개 페이지에는 로테이팅 레지덴셜 프록시(residential proxy), 여정에는 스티키, API와 공개 데이터에는 데이터센터 프록시(datacenter proxy)를 사용합니다. DataImpulse 레지덴셜 프록시는 국가 타기팅을 포함하여 195개 국가에서 GB당 $1이며, 비교 내용은 웹 스크래핑에 가장 적합한 프록시에 있습니다.
자주 묻는 질문
Java에서 프록시를 어떻게 설정합니까?
요청마다가 아니라 클라이언트 객체에 설정하십시오. Java 11의 java.net.http.HttpClient에서는 프록시 호스트, 포트, 자격 증명을 한 번 설정한 다음 그 클라이언트를 재사용합니다. 재사용하면 연결 풀, 쿠키 저장소, 출구 주소가 일관되게 유지되며, 이것이 세션을 일관성 있게 보이도록 만듭니다.
Java에서 파싱에 어떤 라이브러리를 사용해야 합니까?
jsoup이 실용적인 기본값입니다. 파싱과 가져오기를 분리하십시오. 클라이언트는 네트워크를 담당하고 파서는 마크업을 담당하므로, 실패가 발생하면 둘 중 무엇이 망가졌는지 즉시 알 수 있습니다.
Java에 헤드리스 브라우저가 필요합니까?
필드가 클라이언트 측에서 렌더링될 때만 필요합니다. 먼저 일반적으로 페이지를 가져와 알려진 값 하나를 HTML에서 찾으십시오. 값이 있으면 브라우저를 완전히 건너뛰십시오. 필요할 때 이 생태계에서 렌더링이 필요한 경우의 선택지는 Java용 Selenium 또는 Playwright이며, 페이지당 시간과 메모리 비용이 10배 더 듭니다.
HTTPS 터널에서 Basic 인증이 비활성화됩니까?
사람들이 오후 한나절을 쓰게 되는 문제입니다. JDK는 기본적으로 CONNECT 터널에서 Basic 프록시 인증을 차단하므로, jdk.http.auth.tunneling.disabledSchemes 속성을 해제하기 전까지 인증된 프록시는 HTTP에서는 작동하고 HTTPS에서는 실패합니다.
Java는 웹 스크래핑에 좋은 선택입니까?
크롤러가 기존 JVM 서비스 안에 있고 플랫폼의 나머지 부분과 같은 관측 가능성과 배포 방식을 필요로 할 때 좋은 선택입니다. 한 파일짜리 일회용 스크래퍼를 작성하는 경우에는 작업보다 준비 절차의 비용이 더 크므로 잘못된 선택입니다. 결정 요인은 보통 순수한 기능보다 유지보수입니다. 팀이 매일 사용하는 언어로 작성한 스크래퍼가 다음 마크업 변경을 견뎌 냅니다.
신뢰할 수 있는 출구로 Java 클라이언트를 연결하십시오
위 스니펫은 자격 증명 하나만 바꾸면 작동합니다. DataImpulse 레지덴셜 프록시는 195개 국가에서 GB당 $1로 지리적으로 정확한 출구를 제공하며, 로테이팅 또는 스티키 방식이고 HTTP, HTTPS 및 SOCKS5를 지원합니다. 계정 만들기를 통해 계정을 만든 뒤 작업을 확장하기 전에 Java 클라이언트에서 대상 하나를 테스트하십시오.
관련: 스크래핑 시 403 Forbidden · Crawl4AI 프록시 설정 · Go, Kotlin, Scala, Perl 및 Elixir의 프록시 설정.
최종 업데이트: 2026년 9월 17일.
