Web scraping proxy setup by language - Go, Kotlin, Scala, Perl and Elixir - DataImpulse

これはチュートリアルではなくリファレンスページです。対象者が少ない5言語でのスクレイピング用プロキシ設定を扱います。言語ごとに個別のガイドを作っても、同じことを5回繰り返すだけになるためです。Go、Kotlin、Scala、Perl、Elixirについて、コード、ライブラリの選択、そしてそれぞれで最も時間を失いやすい落とし穴をまとめます。

すべてに共通する原則は同じです。Webスクレイピングのプロキシ設定は、1回設定して再利用するクライアントオブジェクトに置くべきです。接続プール、Cookie jar、sticky sessionを使う場合は出口アドレスを保持するのがクライアントだからです。リクエストごとに新しいクライアントを作ると、この3つをすべて失います。


重要ポイント

  • ここで扱うすべての言語に共通する原則: プロキシはクライアントオブジェクトに1回設定し、そのクライアントを再利用します。接続プール、Cookie、出口IDを保持するのがクライアントだからです。
  • Go: http.ProxyURLを使うhttp.Transportと、クローラー機能にはcolly。落とし穴は、http.Clientにはデフォルトのタイムアウトがないことです。
  • Kotlin: proxyAuthenticatorを使うOkHttp。落とし穴は、nullを返さない認証器が不正なパスワードでループすることです。
  • Scala: バックエンドオプションを使うsttp。落とし穴は、JDKがHTTPSトンネルでのBasicプロキシ認証を無効にすることです。
  • PerlとElixir: LWPは環境のHTTPS_PROXYを尊重するためコードの設定を上書きすることがあり、ElixirではプロキシオプションはReqではなくアダプターに指定します。

ここで扱うすべての言語に共通する3つの原則

トランスポート、パース、スケジューリングを別々の層に保てば、スクレイピングが壊れたときにどこで壊れたか分かります。

部分 担当するもの 失敗時の症状
1. トランスポート 接続、プロキシ、タイムアウト、リトライ、TLS 200以外のステータス、タイムアウト、TLSエラー
2. パース バイト列からフィールドへの変換、マークアップ変更時の明確な失敗通知 200だがフィールドが空
3. スケジューリング ホストごとの並行数、ペーシング、バックオフ 数分かけて成功率が低下する

以下の各言語では、この3つの部分を異なる名前で実装します。5言語すべてで、プロキシはトランスポートの部分にあります。


Go: プロキシ設定、ライブラリ、避けるべき落とし穴

構成: 取得にはカスタムhttp.Transportを使うnet/http、パースにはgoquery、または本格的なクローラーにはcolly、ページでJavaScriptが必要な場合はchromedp。

proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
    Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
    Timeout:   30 * time.Second,
}
resp, err := client.Get("https://example.com")

デフォルトのタイムアウトなし。 Timeoutのないhttp.Clientはいつまでも待機します。ハングしたホストが1つあるだけで、見えているすべてのメトリクスでは健全に見えるワーカープールが停止します。

閉じられないbody。 すべてのレスポンスbodyを閉じる必要があります。そうしないと接続はプールに戻らず、数千リクエスト後にスループットが静かに崩れます。

collyはクローラーに関する処理を担います。ローテーション用のプロキシ切替、ドメインごとのレート制限、組み込みキューを備えているため、自前のスケジューラーを書く前に使うことを検討してください。

Goを使う場合 Goがすでにスタックにあり、予測可能なメモリ使用量で高い並行性が必要で、クローラーマシン上で単一の静的バイナリを使いたい場合です。避けるべき場合 対象の大半のページで実ブラウザが必要なときです。この領域ではPythonとNodeのエコシステムのほうがツールが成熟しています。


Kotlin: プロキシ設定、ライブラリ、避けるべき落とし穴

構成: 取得にはOkHttp、すでにKtorを使っている場合はKtor client、パースにはjsoup、レンダリングが必要な場合はJVM上のPlaywrightまたはSelenium。

val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
    .proxy(proxy)
    .proxyAuthenticator { _, response ->
        response.request.newBuilder()
            .header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
            .build()
    }
    .callTimeout(Duration.ofSeconds(30))
    .build()

不正なパスワードでAuthenticatorが無限ループする。 OkHttpは諦めるまで認証器を再試行します。最初の失敗後にnullを返してください。そうしないと、誤った認証情報がリクエストストームになります。

1つのクライアント、多数のセッション。 OkHttpは呼び出し間で接続プールとCookie jarを共有します。セッションごとのIDが必要なら、セッションごとにクライアントを構築するか、制御できるCookie jarを導入します。

JDKクライアントにフォールバックする場合、Javaで問題になるJDKトンネリングのルールはここでも当てはまります。HTTPS経由のBasicプロキシ認証にはdisabled-schemesプロパティの解除が必要です。OkHttp独自の認証器ならこれを回避できます。

Kotlinを使う場合 JVM上で、Javaの煩雑さなしにコルーチンとモダンなAPIが欲しい場合です。避けるべき場合 チームにJVMの経験がないときです。デプロイの事情がコードより大きな比重を占めます。


Scala: プロキシ設定、ライブラリ、避けるべき落とし穴

構成: 取得には任意のバックエンドを使うsttp、パースにはScalaから使うjsoupまたはscala-scraper、ページがクライアントサイドでレンダリングされる場合はJVM上のPlaywright。

import sttp.client3._

val backend = HttpClientSyncBackend(
  options = SttpBackendOptions.httpProxy(
    "gw.dataimpulse.com", 823, "USER", "PASS")
)

val response = basicRequest
  .get(uri"https://example.com")
  .readTimeout(30.seconds)
  .send(backend)

すべてを決めるのはバックエンドです。 sttpはインターフェースです。プロキシ対応、タイムアウト、ストリーミングは選択したバックエンドに由来します。挙動がおかしいときは、sttpのドキュメントではなくそのバックエンドのドキュメントを読んでください。

再びJDKトンネリング。 バックエンドがJDKクライアントをラップしている場合、HTTPS経由のBasicプロキシ認証はデフォルトで無効であり、jdk.http.auth.tunneling.disabledSchemesプロパティを解除する必要があります。

scala-scraperはjsoupをScala APIでラップしており、パース処理が数個のセレクターを超えるなら使う価値があります。

Scalaを使う場合 クローラーがすでにScalaであるSparkまたはストリーミングパイプラインにデータを渡し、バックプレッシャーが重要な場合です。避けるべき場合 下流パイプラインのない、単純な取得とパースの作業である場合です。


Perl: プロキシ設定、ライブラリ、避けるべき落とし穴

構成: 取得にはLWP::UserAgent、またはモダンなAPIにはMojo::UserAgent、パースにはHTML::TreeBuilderまたはMojo::DOM。レンダリングが必要ならプロセス内では行わず、外部ツールを呼び出します。

use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;

# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
           ->https('http://USER:[email protected]:823');

プロキシ経由のHTTPSには適切なモジュールが必要です。 LWPにはLWP::Protocol::httpsと動作するIO::Socket::SSLが必要です。また、HTTPS_PROXY環境変数も尊重するため、コードで設定した内容が静かに上書きされます。

環境変数が静かに優先されます。 env_proxyは忘れていたシステム設定を取り込みます。プロキシは明示的に設定し、スケジュール実行ジョブでは環境をクリアしてください。ホストレベルの設定がトラフィックをリダイレクトするのを防げます。

Mojo::UserAgentはノンブロッキングリクエストとjQuery風のDOM APIを1つの依存関係で提供するため、新しいPerlスクレイパーの出発点としてより適しています。

Perlを使う場合 周辺システムの言語がPerlである場合です。通常は長期運用やデータツールです。避けるべき場合 スタックにPerlがない状態で新たに始める場合です。


Elixir: プロキシ設定、ライブラリ、避けるべき落とし穴

構成: 取得にはFinch上のReq、パースにはFloki、レンダリングが必要な場合はWallabyまたは外部ブラウザサービス。

Req.get!("https://example.com",
  connect_options: [
    proxy: {:http, "gw.dataimpulse.com", 823, []},
    proxy_headers: [
      {"proxy-authorization",
       "Basic " <> Base.encode64("USER:PASS")}
    ]
  ],
  receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()

プロキシオプションはアダプターに指定します。 Reqはconnect_optionsをFinchとMintに渡します。古いHTTPoisonやhackneyスタックを使う場合はオプションの形式が異なるため、コピーしたスニペットがしばしば何もせず静かに失敗します。

URLごとにプロセスを1つ作るのは計画ではありません。 リンクごとにTaskを生成すると、すべてのリクエストが一度に開始されます。ホストごとに適切なサイズにしたmax_concurrency付きのTask.async_streamが慣用的な上限です。

CSSセレクターを使うFlokiならパースを宣言的に保てます。また、Req組み込みのリトライとリダイレクト処理により、人が手で書く定型コードの大半が不要になります。

Elixirを使う場合 クローラーが既存のElixirまたはPhoenixシステム内で動作し、監視と並行性を追加コストなしで得たい場合です。避けるべき場合 ブラウザ中心のパイプラインが必要な場合です。このエコシステムはNodeやPythonより薄いです。


実際にはどの言語を使うべきか

決め手は機能ではなく保守性です。チームが日常的に書く言語のクローラーなら、次のマークアップ変更を乗り越えられます。慣れない言語で巧妙に作ったものは、最初の障害で放置されます。

言語 最適な用途 最も弱い点
Go 予測可能なメモリ使用量での高並行性、単一の静的バイナリ ブラウザレンダリングのツールはPythonやNodeより少ない
Kotlin コルーチンとモダンなAPIを求めるJVMチーム 小規模ジョブにはデプロイが重い
Scala Sparkまたはストリーミングパイプラインにデータを渡すクローラー バックエンド依存の挙動と急な学習曲線
Perl 既存のopsおよびデータツールがすでにPerlである場合 実用的なプロセス内ブラウザがない
Elixir 監視と並行性を追加コストなしで得たいPhoenixシステム ブラウザ自動化エコシステムが薄い

使用する言語がここにない場合も、同じ3つの原則が当てはまります。個別ガイドではJava、C#、PHP、R、C++、VBAとExcel、JavaScriptを扱っています。


どこでも同じことと、その限界は何か

言語が変わっても3つのことは変わりません。セッションが出口を保持するため、複数ページにまたがる処理では、その全期間にわたり1つのstickyアドレスを維持します。ルールはプロキシローテーションのベストプラクティスにあります。拒否は再試行ではなく診断すべき判断であり、スクレイピング時の403 Forbiddenのガイドで順に説明しています。プロキシが変えるのは出口アドレスだけです。JavaScriptを実行したり、一貫性のないクライアントを直したり、過剰なレートを許容可能にしたりはしません。

ルールについては、robots.txtとサイトの利用規約を守り、公式APIを優先し、ログインの向こう側には入らず、個人データはパースの問題ではなく適法な根拠の問題として扱ってください。CAPTCHAの解決やアクセス制御の突破は扱いません。一般的な情報であり、法的助言ではありません。Webスクレイピングは合法かをご覧ください。


よくある質問

Goでプロキシを設定するにはどうすればよいですか?

認証情報を含むプロキシURLをパースし、http.Transportにhttp.ProxyURLを設定して、http.Clientにはデフォルトでタイムアウトがないため明示的なタイムアウトを与えます。接続プールとsticky sessionを維持するため、そのクライアントを再利用してください。

KotlinのOkHttpプロキシ認証器がループするのはなぜですか?

OkHttpは成功するか諦めるまで認証器を呼び続けるためです。最初の失敗後にnullを返してください。誤った認証情報がゲートウェイに対するリクエストストームになるのを防げます。

JVMでHTTPS経由のBasicプロキシ認証が失敗するのはなぜですか?

JDKはデフォルトでCONNECTトンネル上のBasic認証を無効にしているため、認証付きプロキシはHTTPでは動作してもHTTPSでは失敗します。jdk.http.auth.tunneling.disabledSchemesプロパティを解除するか、Proxy-Authorizationヘッダーを自ら送るOkHttpのようなクライアントを使用してください。

Perlスクリプトが設定したプロキシを無視するのはなぜですか?

LWPはHTTPS_PROXYおよびHTTP_PROXY環境変数を尊重し、env_proxyは知らないうちにホストレベルの設定を取り込みます。コードで明示的にプロキシを設定し、スケジュール実行ジョブでは環境をクリアして、マシン設定がトラフィックをリダイレクトしないようにしてください。

Elixirではプロキシオプションをどこに指定しますか?

Req自体ではなくアダプターに指定します。connect_optionsはFinchとMintに渡されるため、古いhackneyベースのスタック用に書かれたスニペットは何もせず静かに終わります。実際に使うアダプターに合わせてオプションの形式を選んでください。


1つの認証情報で、上記のすべての言語に対応

このページの各スニペットは、DataImpulseゲートウェイ認証情報で動作します。195か国でGBあたり$1のレジデンシャル出口、ローテーションまたはsticky session、HTTP、HTTPS、SOCKS5、国別ターゲティングが含まれます。アカウントを作成し、拡張する前に自分のクライアントから1つの対象をテストしてください。

関連: Webスクレイピング用プロキシ · Crawl4AIのプロキシ設定 · Webスクレイピングのユースケース。

最終更新: 2026年9月17日。


Share article: