Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

JavaでのWebスクレイピングは、主にどのクライアントを引き継いでいるかの問題です。Java 11より前に書かれたものは、おそらくApache HttpClientか生のHttpURLConnectionを使っています。以降のものは、HTTP/2対応で依存関係が一切ないjava.net.http.HttpClientを使えます。パースの答えは10年間変わっていません。jsoupです。

javaでのWebスクレイピングを探してここに来たなら、要点はこうです。クライアントビルダーで一度だけプロキシを設定し、そのクライアントを再利用してください。そして、JDKはHTTPS経由のプロキシ認証をHTTPとは異なる扱いにすることを覚えておいてください。この最後の詳細は、Javaスクレイパーがあるサイトでは動作するのに別のサイトでは失敗する最もよくある原因であり、以下で修正方法を説明します。


要点

  • Javaのスタック: 取得にはJava 11からのjava.net.http.HttpClient、パースにはjsoup、レンダリングが必要な場合にはSeleniumまたはPlaywright for Javaを使います。
  • プロキシ設定は、リクエストごとに1行書くのではなく1つのオブジェクトです。 クライアントに一度設定して再利用してください。そうしないと、接続プーリングとセッションの一貫性を失います。
  • ここで最も時間を失うミス: httpsトンネルではbasic authが無効になっています。
  • ローテーションはリクエストではなくセッションに属します。 1つの論理タスクは1つの出口を維持します。セッション途中でローテーションするとCookieが壊れ、チャレンジを招きます。
  • Javaを使うべき場合 クローラーが既存のJVMサービス内で動作し、プラットフォームの他の部分と同じ可観測性とデプロイの仕組みが必要なときです。使い捨ての1ファイルスクレイパーを書く場合は避けてください。その場合、儀式的な作業のコストが仕事そのものを上回ります。

Javaのリクエストをプロキシ経由にするには?

クライアントにプロキシを一度設定し、セッション内のすべてのリクエストでそのクライアントを再利用します。認証を含む最小限の動作例は次のとおりです。

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

構文より重要な詳細が3つあります。認証情報はターゲットサイトではなくゲートウェイ用です。プロキシは1ホップ増え、停止したリクエストはワーカーを占有するため、タイムアウトは必須です。そして、クライアントはアイデンティティの単位です。同じクライアントなら同じ接続プール、同じCookie、さらにsticky sessionでは同じ出口アドレスになります。


3段階のクライアント設定とは?

関心事を3つに分けておけば、デバッグは推測作業ではなくなります。これを3段階のクライアント設定と呼びます。

部分 担当するもの Javaでは
1. トランスポート 接続、プロキシ、タイムアウト、再試行、TLS Java 11からのjava.net.http.HttpClient
2. パース バイト列をフィールドに変換し、マークアップが変わった場合に明確に失敗させる jsoup
3. スケジューリング ホストごとの並行性、ペーシング、バックオフ、重複排除 ターゲットごとに上限を設けた独自のワーカープールまたはキュー

JVMでは、この3つを1つのサービスクラス内で混ぜ合わせるのは簡単です。その結果、失敗がネットワーク、マークアップ、スケジューラーのどこで起きたのか誰にも分からないクローラーになります。HttpClient、jsoup、エグゼキューターを別々のレイヤーにしておけば、403はそのうちの1つを、空のセレクター結果は別の1つを、ゆっくりした成功率低下は3つ目を指し示します。

スクレイピングが壊れたとき、最初の問いはどの部分が壊れたかです。200以外のステータスはトランスポートです。フィールドが空の200はパース、またはクライアント側でレンダリングされるページです。数分かけて成功が低下するならスケジューリングです。3つを1つの関数に混ぜることが、多くのスクレイパーが修正ではなく書き直しになる理由です。

jsoupがデフォルトのパーサーであるのには理由があります。CSSセレクター、寛容なHTML処理、小さなAPIです。パースだけに使い、ネットワークはHttpClientに任せてください。


Java特有で何がうまくいかないのか?

Javaで時間を失う原因の大半は3つの問題で、いずれもターゲットによるブロックではありません。

HTTPSトンネルではBasic authが無効です。 これは午後いっぱいを費やしかねない問題です。JDKはデフォルトでCONNECTトンネル上のBasicプロキシ認証をブロックするため、認証付きプロキシはHTTPでは動作しても、jdk.http.auth.tunneling.disabledSchemesプロパティをクリアするまでHTTPSでは失敗します。

すべてのバージョンでAuthenticatorがプロキシに対して呼び出されるわけではありません。 動作はJDKリリース間で変わってきました。認証情報が無視される場合は、フォールバックとしてProxy-Authorizationヘッダーを自分で送信し、ビルドでJDKバージョンを固定してください。

jsoupは独自に取得します。 Jsoup.connect(url)は独自の接続を開くため、HttpClientのプロキシを認識しません。HttpClientで取得してから、文字列をJsoup.parseに渡してください。

これらはどれも珍しいものではなく、外から見るとすべてブロックされたスクレイパーのように見えます。そのため、問題がクライアントにあるのにプロキシを買うのが最初の対応になりがちです。スクレイピング時の403 Forbiddenエラーに関するガイドでは、切り分け手順を順に解説しています。


Javaで並行性に上限を設けるには?

上限のないエグゼキューターではなく、固定プールと許可枠を使います。virtual threadを使うと、一度に1万件のリクエストを始めるのは驚くほど簡単です。それはターゲットへのサービス拒否であり、あなたにはレート制限による禁止をもたらします。

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

公開ページでは、ホストごとに4つの許可枠が妥当な出発点です。取得の間にジッターを加え、send呼び出しの周囲に指数バックオフを置いてください。壁に向かって再試行するのではなく、429または403レスポンスが続いたらジョブ全体を停止させます。


使う価値のあるJavaライブラリは?

ライブラリ 用途 率直な注記
java.net.http.HttpClient Java 11以降のネットワーク処理すべて JDK内蔵で依存関係なし、デフォルトでHTTP/2です。プロキシ認証トンネリングの癖が唯一の注意点です
jsoup パースとCSS選択 もっともな理由でデフォルトです。パースだけに使い、プロキシ経由の取得には決して使わないでください
Apache HttpClient 5 きめ細かな接続およびプロキシ制御 APIは重めですが、ルートごとの接続プールまたはNTLMが必要なら価値があります
Playwright for Java クライアント側でレンダリングされるページ 本物のブラウザーには本物のコストが伴います。必要なページの部分集合に限定してください
HtmlUnit 旧式のヘッドレスブラウジング 現代のサイトでは大半が行き止まりです。そのJavaScriptエンジンは実ブラウザーに遅れています

保守に耐える組み合わせは意図的に地味です。ネットワークにはHttpClient、マークアップにはjsoup、レンダリングが避けられない場合にだけPlaywrightを使います。


Javaが不適切なツールなのはいつ?

クローラーが既存のJVMサービス内で動作し、プラットフォームの他の部分と同じ可観測性とデプロイの仕組みが必要なときはJavaを使ってください。使い捨ての1ファイルスクレイパーを書く場合は避けてください。その場合、儀式的な作業のコストが仕事そのものを上回ります。

決め手は機能ではなく保守性です。チームが日常的に使う言語で書かれたクローラーは次のマークアップ変更を乗り越えますが、不慣れな言語で書かれた巧妙なものは最初の不具合で放棄されます。正直な答えが、この仕事にJavaは適切な場所ではないというものなら、同じデータベースに書き込む小さな別言語のクローラーは、敗北ではなく正当な設計です。

2つの事柄はすべての言語で同じであり、ここで繰り返すと最新の状態を保ちにくくなるだけなので、このページの外にあります。1つの行程でstickyな出口を維持すべき理由を含むセッションとローテーションのルールは、プロキシローテーションのベストプラクティスにあります。リクエストが拒否されたときの対応と、ネットワークの問題をクライアントの問題と見分ける方法は、スクレイピング時の403 Forbiddenに、法的な枠組みはWebスクレイピングは正当かにあります。

出口自体については、公開ページにはローテーション型residential、行程にはsticky、APIとオープンデータにはdatacenterを使います。DataImpulse residentialは国別ターゲティング込みで195か国にわたり1 GBあたり$1であり、比較はWebスクレイピング向けの最適なプロキシにあります。


よくある質問

Javaでプロキシを設定するには?

リクエストごとではなくクライアントオブジェクトに設定します。Java 11からのjava.net.http.HttpClientでは、プロキシホスト、ポート、認証情報を一度設定してから、そのクライアントを再利用します。再利用により接続プール、Cookie jar、出口アドレスの一貫性が保たれ、セッション全体が整合して見えます。

Javaでのパースにはどのライブラリを使うべきですか?

jsoupが実用的なデフォルトです。パースと取得は分離してください。クライアントはネットワークを、パーサーはマークアップを担当するので、失敗すればどちらが壊れたかすぐに分かります。

Javaにはヘッドレスブラウザーが必要ですか?

フィールドがクライアント側でレンダリングされる場合にだけ必要です。まず通常どおりページを取得し、既知の値を1つHTML内で探してください。それがあればブラウザーは完全に省けます。必要な場合は、レンダリングが必要なときのSeleniumまたはPlaywright for Javaがこのエコシステムでの選択肢であり、ページあたりの時間とメモリのコストは1桁大きくなります。

HTTPSトンネルではBasic authが無効ですか?

これは午後いっぱいを費やしかねない問題です。JDKはデフォルトでCONNECTトンネル上のBasicプロキシ認証をブロックするため、認証付きプロキシはHTTPでは動作しても、jdk.http.auth.tunneling.disabledSchemesプロパティをクリアするまでHTTPSでは失敗します。

JavaはWebスクレイピングに適した選択ですか?

クローラーが既存のJVMサービス内で動作し、プラットフォームの他の部分と同じ可観測性とデプロイの仕組みが必要な場合には、適した選択です。使い捨ての1ファイルスクレイパーを書く場合には不適切です。その場合、儀式的な作業のコストが仕事そのものを上回ります。決め手は通常、純粋な機能より保守性です。チームが日常的に使う言語で書かれたスクレイパーこそ、次のマークアップ変更を乗り越えるものです。


信頼できる出口へJavaクライアントを向ける

上のスニペットは認証情報を1つ変更するだけで動作します。DataImpulse residentialは、195か国にわたり1 GBあたり$1で、ローテーション型またはstickyの地理的に正確な出口をHTTP、HTTPS、SOCKS5経由で提供します。アカウントを作成し、ジョブを拡大する前にJavaクライアントから1つのターゲットをテストしてください。

関連: スクレイピング時の403 Forbidden · Crawl4AIのプロキシ設定 · Go、Kotlin、Scala、Perl、Elixirでのプロキシ設定.

最終更新: 2026年9月17日。


Share article: