Web scraping proxy setup by language - Go, Kotlin, Scala, Perl and Elixir - DataImpulse

이 페이지는 튜토리얼이 아니라 참고 자료입니다. 독자가 많지 않아 언어별 가이드를 따로 만들면 같은 내용을 다섯 번 반복하게 되는 5개 언어의 실전 웹 스크래핑 프록시 설정을 담았습니다. Go, Kotlin, Scala, Perl, Elixir별 코드, 라이브러리 선택, 그리고 가장 많은 시간을 소모하게 하는 함정을 다룹니다.

모든 언어에 적용되는 규칙은 같습니다. 웹 스크래핑 프록시 설정은 클라이언트 객체에 한 번 구성하여 재사용해야 합니다. 클라이언트가 연결 풀, 쿠키 저장소, 그리고 스티키 세션에서는 종료 IP 주소를 유지하기 때문입니다. 요청마다 새 클라이언트를 생성하면 이 세 가지를 모두 잃게 됩니다.


핵심 정보

  • 여기의 모든 언어에 적용되는 단 하나의 규칙: 프록시를 클라이언트 객체에 한 번 설정하고 그 클라이언트를 재사용하십시오. 클라이언트가 연결 풀, 쿠키, 종료 ID를 유지합니다.
  • Go: http.ProxyURL을 사용하는 http.Transport, 크롤러 관련 기능에는 colly를 사용합니다. 함정은 http.Client에 기본 타임아웃이 없다는 점입니다.
  • Kotlin: proxyAuthenticator를 사용하는 OkHttp를 사용합니다. null을 절대 반환하지 않는 인증자는 잘못된 비밀번호에서 루프에 빠집니다.
  • Scala: 백엔드 옵션을 사용하는 sttp를 사용합니다. 함정은 JDK가 HTTPS 터널에서 Basic 프록시 인증을 비활성화한다는 점입니다.
  • Perl 및 Elixir: LWP는 환경의 HTTPS_PROXY를 따르며 코드 설정을 덮어쓸 수 있습니다. Elixir에서는 프록시 옵션이 Req가 아니라 어댑터에 속합니다.

여기의 모든 언어에 적용되는 3단계 규칙

전송, 파싱, 스케줄링을 별도 계층으로 유지하면 스크래핑이 실패했을 때 어디서 실패했는지 알 수 있습니다.

부분 담당 항목 실패 시 증상
1. 전송 연결, 프록시, 타임아웃, 재시도, TLS 200이 아닌 상태, 타임아웃, TLS 오류
2. 파싱 바이트를 필드로 변환하고 마크업이 바뀌면 명확하게 실패 처리 빈 필드가 있는 200
3. 스케줄링 호스트별 동시성, 속도 조절, 백오프 몇 분에 걸쳐 성공률이 저하됨

아래의 모든 언어는 이름만 다를 뿐 같은 세 부분을 구현합니다. 다섯 언어 모두에서 프록시는 전송 섹션에 위치합니다.


Go: 프록시 설정, 라이브러리 및 피해야 할 함정

스택: 가져오기에는 사용자 지정 http.Transport를 포함한 net/http, 파싱에는 goquery 또는 전체 크롤러용 colly, 페이지에 JavaScript가 필요할 때는 chromedp를 사용합니다.

proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
    Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
    Timeout:   30 * time.Second,
}
resp, err := client.Get("https://example.com")

기본 타임아웃이 없습니다. Timeout이 없는 http.Client는 무한정 대기합니다. 하나의 멈춘 호스트가 모든 지표에서 정상으로 보이는 워커 풀을 멈춥니다.

닫히지 않은 본문. 모든 응답 본문을 닫아야 합니다. 그렇지 않으면 연결이 풀로 돌아가지 않고 수천 건의 요청 후 처리량이 조용히 무너집니다.

colly는 로테이팅용 프록시 스위처, 도메인별 속도 제한, 내장 큐를 제공하여 크롤러 관련 기능을 처리합니다. 따라서 자체 스케줄러를 작성하기 전에 먼저 고려할 만합니다.

Go를 사용할 때 이미 Go가 스택에 있고, 예측 가능한 메모리로 높은 동시성이 필요하며, 크롤러 서버에서 단일 고정 바이너리를 원할 때입니다. 피해야 할 때 대상 페이지 대부분에 실제 브라우저가 필요할 때입니다. 이 경우 Python과 Node 생태계의 도구가 더 성숙합니다.


Kotlin: 프록시 설정, 라이브러리 및 피해야 할 함정

스택: 가져오기에는 OkHttp 또는 이미 Ktor를 사용 중이라면 Ktor client, 파싱에는 jsoup, 렌더링이 필요하면 JVM에서 Playwright 또는 Selenium을 사용합니다.

val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
    .proxy(proxy)
    .proxyAuthenticator { _, response ->
        response.request.newBuilder()
            .header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
            .build()
    }
    .callTimeout(Duration.ofSeconds(30))
    .build()

잘못된 비밀번호에서 인증자가 무한 루프에 빠집니다. OkHttp는 포기할 때까지 인증자를 재시도합니다. 첫 실패 후 null을 반환해야 잘못된 자격 증명이 요청 폭주로 이어지지 않습니다.

클라이언트 하나, 세션 여럿. OkHttp는 호출 간 연결 풀과 쿠키 저장소를 공유합니다. 세션별 ID가 필요하면 세션마다 클라이언트를 만들거나 직접 제어하는 쿠키 저장소를 설치하십시오.

JDK 클라이언트로 대체할 경우 Java에서 문제를 일으키는 JDK 터널링 규칙이 여기에도 적용됩니다. HTTPS를 통한 Basic 프록시 인증에는 disabled-schemes 속성을 해제해야 합니다. OkHttp 자체 인증자는 이를 피합니다.

Kotlin을 사용할 때 JVM을 사용하면서 Java의 장황함 없이 코루틴과 현대적인 API를 원할 때입니다. 피해야 할 때 팀에 JVM 경험이 없을 때입니다. 배포 방식이 코드보다 더 큰 비중을 차지하기 때문입니다.


Scala: 프록시 설정, 라이브러리 및 피해야 할 함정

스택: 가져오기에는 원하는 백엔드와 함께 사용하는 sttp, 파싱에는 Scala에서 사용하는 jsoup 또는 scala-scraper, 페이지가 클라이언트 측에서 렌더링되면 JVM의 Playwright를 사용합니다.

import sttp.client3._

val backend = HttpClientSyncBackend(
  options = SttpBackendOptions.httpProxy(
    "gw.dataimpulse.com", 823, "USER", "PASS")
)

val response = basicRequest
  .get(uri"https://example.com")
  .readTimeout(30.seconds)
  .send(backend)

백엔드가 모든 것을 결정합니다. sttp는 인터페이스입니다. 프록시 지원, 타임아웃, 스트리밍은 선택한 백엔드에서 제공됩니다. 이상하게 동작할 때는 sttp 문서가 아니라 해당 백엔드 문서를 읽으십시오.

다시 JDK 터널링입니다. 백엔드가 JDK 클라이언트를 감싸는 경우 HTTPS를 통한 Basic 프록시 인증은 기본적으로 비활성화되며 jdk.http.auth.tunneling.disabledSchemes 속성을 해제해야 합니다.

scala-scraper는 Scala API로 jsoup를 감싸며, 파싱에 선택자 몇 개 이상이 필요하다면 사용할 가치가 있습니다.

Scala를 사용할 때 크롤러가 이미 Scala로 구축된 Spark 또는 스트리밍 파이프라인에 데이터를 공급하고 백프레셔가 중요할 때입니다. 피해야 할 때 후속 파이프라인 없는 단순 가져오기 및 파싱 작업일 때입니다.


Perl: 프록시 설정, 라이브러리 및 피해야 할 함정

스택: 가져오기에는 LWP::UserAgent 또는 현대적 API를 위한 Mojo::UserAgent, 파싱에는 HTML::TreeBuilder 또는 Mojo::DOM을 사용합니다. 프로세스 내 렌더링은 없으므로 필요할 때 외부 도구를 호출합니다.

use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;

# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
           ->https('http://USER:[email protected]:823');

프록시를 통한 HTTPS에는 올바른 모듈이 필요합니다. LWP에는 LWP::Protocol::https와 정상 작동하는 IO::Socket::SSL이 필요하며, HTTPS_PROXY 환경 변수도 따릅니다. 이 변수는 코드에서 설정한 값을 조용히 덮어씁니다.

환경 변수가 조용히 우선합니다. env_proxy는 잊고 있던 시스템 설정을 가져옵니다. 프록시를 명시적으로 설정하고 예약 작업에서는 환경을 비워 호스트 수준 설정이 트래픽을 리디렉션하지 못하게 하십시오.

Mojo::UserAgent는 하나의 의존성으로 논블로킹 요청과 jQuery 같은 DOM API를 제공하므로 새 Perl 스크래퍼에는 더 나은 출발점입니다.

Perl을 사용할 때 Perl이 주변 시스템의 언어일 때이며, 보통 장기간 운영되는 운영 및 데이터 도구에서 그렇습니다. 피해야 할 때 스택에 Perl이 전혀 없는 상태에서 새로 시작할 때입니다.


Elixir: 프록시 설정, 라이브러리 및 피해야 할 함정

스택: 가져오기에는 Finch 위의 Req, 파싱에는 Floki, 렌더링이 필요할 때는 Wallaby 또는 외부 브라우저 서비스를 사용합니다.

Req.get!("https://example.com",
  connect_options: [
    proxy: {:http, "gw.dataimpulse.com", 823, []},
    proxy_headers: [
      {"proxy-authorization",
       "Basic " <> Base.encode64("USER:PASS")}
    ]
  ],
  receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()

프록시 옵션은 어댑터에 속합니다. Req는 connect_options를 Finch와 Mint로 전달합니다. 오래된 HTTPoison 또는 hackney 스택을 사용하면 옵션 형식이 다르므로, 복사한 코드 조각은 흔히 조용히 실패합니다.

URL당 프로세스 하나는 계획이 아닙니다. 링크마다 Task를 생성하면 모든 요청이 한꺼번에 시작됩니다. 호스트별로 크기를 정한 max_concurrency와 함께 쓰는 Task.async_stream가 관용적인 제한 방식입니다.

CSS 선택자를 쓰는 Floki는 파싱을 선언적으로 유지하고, Req의 내장 재시도 및 리디렉션 처리는 사람들이 직접 작성하는 상용구 대부분을 없애 줍니다.

Elixir를 사용할 때 크롤러가 기존 Elixir 또는 Phoenix 시스템에서 실행되고 감독과 동시성을 기본으로 원할 때입니다. 피해야 할 때 브라우저 비중이 큰 파이프라인이 필요할 때입니다. 이 생태계는 Node나 Python보다 얇습니다.


실제로 어떤 언어를 사용해야 할까요?

결정 요인은 기능보다 유지 관리입니다. 팀이 매일 사용하는 언어로 만든 크롤러는 다음 마크업 변경에도 살아남지만, 익숙하지 않은 언어로 만든 영리한 크롤러는 첫 고장에서 버려집니다.

언어 가장 적합한 경우 가장 약한 점
Go 예측 가능한 메모리의 높은 동시성, 단일 고정 바이너리 브라우저 렌더링 도구가 Python이나 Node보다 얇음
Kotlin 코루틴과 현대적 API를 원하는 JVM 팀 작은 작업에 비해 무거운 배포
Scala Spark 또는 스트리밍 파이프라인에 데이터를 공급하는 크롤러 백엔드 의존 동작과 어려운 설정
Perl 기존 운영 및 데이터 도구가 이미 Perl로 구축됨 실용적인 프로세스 내 브라우저 없음
Elixir 감독과 동시성을 기본으로 원하는 Phoenix 시스템 얇은 브라우저 자동화 생태계

사용하는 언어가 여기에 없다면 같은 3단계 규칙이 적용됩니다. 별도 가이드에서 Java, C#, PHP, R, C++, VBA 및 Excel, JavaScript를 다룹니다.


어디서나 같은 것은 무엇이고 한계는 어디에 있을까요?

언어와 관계없이 바뀌지 않는 세 가지가 있습니다. 세션이 종료 IP를 소유하므로 페이지 간 이동은 전체 수명 동안 하나의 스티키 주소를 유지합니다. 규칙은 프록시 로테이팅 모범 사례에 있습니다. 거부는 재시도가 아니라 진단해야 할 판단이며, 스크래핑 시 403 Forbidden 가이드에서 순서대로 설명합니다. 그리고 프록시는 종료 IP 주소만 바꿉니다. JavaScript를 실행하거나, 일관성 없는 클라이언트를 고치거나, 공격적인 요청 속도를 허용 가능한 수준으로 만들지는 않습니다.

규칙에 관해서는 robots.txt와 사이트 약관을 준수하고, 공식 API를 우선하며, 로그인 뒤에 있는 항목에는 접근하지 말고, 개인정보는 파싱 문제가 아니라 적법한 근거의 문제로 다루십시오. CAPTCHA 해결이나 접근 제어 무력화는 다루지 않습니다. 일반 정보이며 법률 자문이 아닙니다. 웹 스크래핑은 정당한가를 참조하십시오.


자주 묻는 질문

Go에서 프록시를 어떻게 설정하나요?

자격 증명이 포함된 프록시 URL을 파싱하고, http.Transport에 http.ProxyURL을 설정한 뒤, 기본값이 없으므로 http.Client에 명시적 타임아웃을 지정하십시오. 연결 풀과 모든 스티키 세션이 유지되도록 해당 클라이언트를 재사용하십시오.

Kotlin OkHttp 프록시 인증자가 왜 루프에 빠지나요?

OkHttp가 성공하거나 포기할 때까지 인증자를 계속 호출하기 때문입니다. 첫 실패 후 null을 반환하면 잘못된 자격 증명이 게이트웨이에 대한 요청 폭주가 되는 대신 빠르게 실패합니다.

JVM에서 HTTPS를 통한 Basic 프록시 인증이 왜 실패하나요?

JDK는 기본적으로 CONNECT 터널에서 Basic 인증을 비활성화합니다. 따라서 인증된 프록시는 HTTP에서는 작동하고 HTTPS에서는 실패합니다. jdk.http.auth.tunneling.disabledSchemes 속성을 해제하거나 Proxy-Authorization 헤더를 직접 보내는 OkHttp 같은 클라이언트를 사용하십시오.

Perl 스크립트가 설정한 프록시를 무시하는 이유는 무엇인가요?

LWP는 HTTPS_PROXY와 HTTP_PROXY 환경 변수를 따르며 env_proxy는 알지 못하는 호스트 수준 설정을 가져옵니다. 코드에서 프록시를 명시적으로 설정하고 예약 작업에서는 환경을 비워 컴퓨터 설정이 트래픽을 리디렉션하지 못하게 하십시오.

Elixir에서 프록시 옵션은 어디에 설정하나요?

Req 자체가 아니라 어댑터에 설정합니다. connect_options는 Finch와 Mint로 전달되므로, 오래된 hackney 기반 스택용 코드 조각은 조용히 아무 작업도 하지 않습니다. 실제로 사용하는 어댑터에 맞는 옵션 형식을 사용하십시오.


위의 모든 언어에서 사용하는 하나의 자격 증명

이 페이지의 각 코드 조각은 DataImpulse 게이트웨이 자격 증명으로 작동합니다. 195개 국가에서 GB당 $1의 레지덴셜 프록시(residential proxy) 종료 IP, 로테이팅 또는 스티키 세션, HTTP, HTTPS, SOCKS5 및 국가 타기팅이 포함됩니다. 계정을 만들고 규모를 확장하기 전에 자체 클라이언트에서 하나의 대상을 테스트하십시오.

관련: 웹 스크래핑용 프록시 · Crawl4AI 프록시 설정 · 웹 스크래핑 활용 사례.

최종 업데이트: 2026년 9월 17일.


Share article: