プロキシリストとは? 無料と有料の違い

プロキシリストは、プロキシを初めて使う人にとって最も一般的な出発点の一つであり、同時に最も誤解されやすいものの一つです。無料のプロキシリストを探したことがあるなら、ほとんど機能しないIPとポートの組み合わせを何千件も見つけたはずです。

この記事では、プロキシリストとは実際に何か、プロキシリストがどう機能するか、無料の項目がなぜすぐ使えなくなるのか、そして実務ではいつ管理型プロバイダーのほうが適しているのかを説明します。

DataImpulseは、195か国にわたる90 million超の住宅、モバイル、データセンターIPアドレスを提供する倫理的なプロキシプロバイダーです。1ドル/GBからの従量課金モデルを採用し、期限切れのないトラフィックを提供します。用途にはウェブスクレイピング、広告検証、価格監視、市場調査、複数アカウント管理があります。

プロキシリストとは?

プロキシリストは、通常IP:port形式で書かれたプロキシエントリーを集めたもので、通信を中継サーバー経由で送ります。各行は、ブラウザー、クライアントアプリ、またはスクリプトに設定できる1つのプロキシを表します。

多くのリストには、項目を絞り込むための追加情報があります。一般的に記載される情報は次のとおりです。

• HTTP、HTTPS、SOCKS5などのプロトコルの種類。
• IPの所在国または都市。
• 元のリクエストのどれだけをプロキシが隠すかを示す匿名性レベル。
• その項目が最後に確認された時刻と、応答したかどうか。

リストは単なるデータです。プロキシを管理したり、利用不能なエントリーを入れ替えたり、読み込んだ時点で各行が動作することを保証したりするものではありません。

プロキシリストはどのように機能しますか?

プロキシリストは、リクエストの送信先アドレスをソフトウェアに指定することで機能します。その結果、宛先サイトにはあなたのIPではなくプロキシIPが見えます。エントリーを選んでツールに設定すると、トラフィックはそのサーバーを通ります。

仕組みは単純です。クライアントがプロキシIPとポートに接続し、プロキシがリクエストを対象のウェブサイトに転送すると、レスポンスは同じ経路で返ります。エントリーがSOCKS5プロキシの場合、クライアントにはSOCKS5対応が必要です。HTTPの場合は、HTTP対応クライアントで十分です。

問題は、静的リストがスナップショットであることです。リストの作成者はある時点でIPアドレスの範囲をスキャンし、応答したものを記録しました。そのスナップショットを正確に保つものはないため、リストの品質は作成された瞬間から劣化します。

無料プロキシリストは安全に使えますか?

無料プロキシリストを比較的安心して使えるのは、重要度の低い一時的なテストだけです。それ以外では実際のリスクがあります。正直に言えば、多くのエントリーは利用不能か、遅いか、過負荷であり、サーバーの運営者が誰なのかもほとんど分かりません。

実務上の問題はすぐ現れます。

• 多くの項目はまったく応答しないため、作業ではなくフィルタリングに時間を使うことになります。
• 応答するものも、同じ公開リストを使う全員が同じ少数の稼働IPを叩くため、過負荷になりがちです。
• 不明な運営者があなたとサイトの間に入るため、ログイン、トークン、個人データを含むリクエストではセキュリティ上の懸念になります。
• 無料のエントリーは短命で、サイトがトラフィックに気づくとすぐブロックされがちです。

これは無料リストが無意味だということではありません。別の国からページがどう見えるかを一度だけ確認する場合や、機密情報を送らない短時間のテストであれば、無料のエントリーで足りることがあります。継続的な作業やアカウントに関わる用途では、リスクが節約分を上回ります。詳しい内訳は、無料プロキシに依存すべきでない理由のガイドを参照してください。

リスト上の無料プロキシはなぜすぐ使えなくなるのですか?

リスト上の無料プロキシは、共有・乱用され、入れ替えられるより速くブロックされるため、すぐ使えなくなります。無料である理由と同じ性質が、不安定さの原因にもなっています。

入れ替わりを生む要因はいくつかあります。

• 公開リストでは何千人もの利用者が同じIPを使用するため、それらのサーバーは常に過負荷になり、接続を落とします。
• 誰でも使えるため、一部のトラフィックは乱用的になり、そのIPは多くのサイトで不正利用の疑いがあると判定され、ブロックされます。
• 多くの無料プロキシは設定不備のあるサーバーや短命のホストで、本来公開されたままにするものではないため、自然に消えます。
• 対象サイトは既知の公開プロキシIPを認識して即座にブロックします。そのため、確認ツールでは生きているように見えても、実際のウェブサイトでは失敗することがあります。

これが静的リストモデルの中心的な弱点です。劣化するスナップショットを元に作業しているのであり、何度再チェックしても、使い古された公開IPは使えるIPには戻りません。

プロキシリストの代替は何ですか?

静的なプロキシリストの代替は、収集したアドレスのファイルを渡すのではなく、稼働中のIPプールを維持して自動的にローテーションする管理型プロバイダーです。死んだ行を次々に試す代わりに、必要なときに動作するIPを渡す単一のエンドポイントを使います。

管理型プールでは、未加工のリストではできない部分をプロバイダーが処理します。IPは最新の状態に保たれ、使用不能なものは削除され、ローテーションが組み込まれているため、手動で項目を入れ替える必要がありません。DataImpulseはそのようなプロバイダーの一つで、195か国にわたり90M超の住宅、モバイル、データセンターIPを提供し、参加に同意して報酬を受けるユーザーから倫理的に取得しています。HTTP、HTTPS、SOCKS5をサポートし、国ターゲティング込みで、ローテーションまたは固定セッションを使えます。

用途によって、適したプールの種類は異なります。住宅プロキシは実際の家庭に割り当てられたIPを使うため、通常ユーザーと区別されにくく、データセンタープロキシは高速で安価ですが検出されやすくなります。管理型プロバイダーなら選択できますが、静的なテキストリストではできません。

プロキシを正しく使うには?

プロキシを正しく使うには、3つの基本が重要です。単一のエンドポイントで認証すること、リクエストを分散するためにIPをローテーションすること、対象に合わせてプロキシの場所と種類を選ぶことです。これらは管理型プールでは簡単で、未加工のリストでは難しい点です。

認証する。 個別のIP:port行を設定する代わりに、ユーザー名とパスワードで1つのゲートウェイに接続し、プロバイダーが利用可能なものへルーティングします。つまり、手動のリスト管理も、露出したオープンプロキシも不要です。

ローテーションする。 多数のIPにリクエストを分散すると、単一アドレスが残す痕跡を減らせます。これはブロックされずにスクレイピングするうえで中心的です。ローテーションセッションではリクエストごとに新しいIPが割り当てられ、固定セッションは複数ステップのログインなど継続性が必要なときに一定期間、1つのIPを維持します。

対象に合わせて選ぶ。 実際に必要な国と、タスクに合うプール種別を選びます。DataImpulseには国ターゲティングが含まれており、用途上必要な場合は有料アドオンで州、市、ZIP、ASNのより細かいターゲティングを利用できます。

プロキシリストの先へ進むには?

始めるには、プールの種類を選び、プロバイダーのエンドポイント経由で接続し、拡張する前に小さな実行でテストすることです。リストを整理する手間は完全に省けます。

妥当な流れはこうです。住宅、モバイル、データセンターIPのどれが対象に合うかを決め、アカウントを作成して、エンドポイントと認証情報を取得します。クライアントまたはスクリプトをそのエンドポイントへ向け、ローテーションまたは固定セッションを選び、国を設定します。本格的なワークロードに進む前に、少数のリクエストを実行して成功率を確認します。DataImpulseは1ドル/GBからの従量課金制で、期限切れのないトラフィックを提供するため、小さなテストにサブスクリプションは不要です。

よくある質問

リストではなく管理型プールを試す

プロキシリストが利用不能なIPばかり含まれているなら、管理型プールが実用的な解決策です。何かを拡張する前に、DataImpulseアカウントを作成し、1ドル/GBからの少量の従量課金利用をテストできます。