この記事の内容
cURLは、どの開発者も遅かれ早かれ使うことになるコマンドラインツールです。軽量で、ほとんどのオペレーティングシステムに標準搭載されています。しかし、Webスクレイピング、地域制限の回避、複数の場所からのAPIテストなど、より高度なタスクに使い始めると、レート制限やコンテンツにアクセスできないといった問題に直面することがあります。
cURLのリクエストをプロキシサーバー経由で送信すると、ターゲットのWebサイトが検出するIPアドレスを変更できます。cURLとプロキシを組み合わせることで、世界各地のデータを収集し、地域限定コンテンツにアクセスし、単一のIPアドレスから大量のリクエストを送ることで生じるブロックを回避できます。このガイドでは、必要な構文、認証方法、この手法が役立つ具体的なシナリオを含め、cURLをプロキシと組み合わせて使う方法を解説します。
重要ポイント
- cURLはコマンドラインフラグ、環境変数、設定ファイルを通じてプロキシをサポートします
- プロキシにはレジデンシャル、モバイル、データセンターなどさまざまな種類があります
- プロキシは大規模なスクレイピング、APIテスト、ブロック回避、地域別の結果取得に使われます
- 最良の結果を得るには、ユースケースに合わせて適切なプロキシタイプと設定を組み合わせましょう
- セッションにはスティッキーとローテーティングがあります。スティッキーセッションはログインなどステートフルな操作に、ローテーティングセッションはスクレイピングタスクに使われます
cURLとは何か、どのように動作するのか
1996年にリリースされたcURLは、Client and URLの略です。HTTPリクエストの送信やデータ転送に広く使われるツールです。cURLはコマンドラインから使います。つまり、ターミナルでコマンドを入力すると、リクエストが送信され、レスポンスが表示されます。
cURLは、移植性の高いCライブラリであるlibcurl上で動作します。処理の流れは非常にシンプルです。コマンドを入力すると、次の処理が行われます。
- URLの解析: cURLがURLをプロトコル、ホスト、ポート、パスに分解します。
- ホストへの接続を開きます。
- リクエストの送信: リクエストライン、ヘッダー、必要に応じてボディを送信します。
- レスポンスの受信: サーバーがヘッダーとボディを返します。
- 最終結果をターミナルに表示します。
cURLは万能です。エンドポイントのテスト、ページの取得、APIの呼び出し、データ収集など、これらはcURLの用途のほんの一部にすぎません。Cookie、カスタムヘッダー、リトライ、認証にも対応しています。プロキシ設定もサポートしています。アプリとサーバーの間で何かがうまくいかないとき、 curl -v を使うと、リクエストとレスポンスの詳細が表示され、デバッグが容易になります。この方法については後の章で詳しく見ていきます。
cURLにおけるプロキシとは
cURLで使うプロキシは、クライアントと宛先サーバーの間の通信を仲介します。HTTPまたはHTTPSリクエストを中継するレイヤーとして機能します。プロキシなしの通常の接続は、クライアントとターゲットの2つの要素で構成されます。プロキシを使う場合、プロキシがクライアントからの接続を受け、ターゲットへの接続を新たに確立します。
cURLはターゲットに直接接続する代わりに、まず完全なリクエストをプロキシサーバーに送ります。次に、プロキシがDNS解決を行ってドメイン名をIPアドレスに変換し、新しいソケットを開いて、ヘッダーとボディを含むリクエストを転送します。プロキシは元のIPを隠し、トラフィックをフィルタリングし、ブラウジングをプライベートにし、別の場所からターゲットへアクセスできるようにします。HTTPトラフィックは平文のアプリケーションデータとして処理されるため、プロキシはリクエストの内容を管理できます。HTTPSでは動作が異なります。この場合、cURLはCONNECTコマンドを送ってトンネルを確立し、暗号化されたTLSデータは復号されずに通過します。
cURLでプロキシが必要になるのはどんなときか
cURL単体でもすでに強力ですが、本番環境で単独で使われることはほとんどありません。チームは通常、cURLを信頼できるプロキシサーバーと組み合わせます。この構成が特に役立つ4つのユースケースを紹介します。
- 大規模なWebスクレイピング
多くのeコマースチームは、多数の商品ページで競合の価格を毎日追跡する必要があります。cURLベースのスクレイパーを作るだけでは不十分で、20分ほどでリクエストが失敗し始めることも珍しくありません。この状況では、ローテーティングプロキシのプール経由でcURLリクエストを送ると効果的です。すべてのリクエストが別のIPから送られるため、自然な振る舞いに見え、ターゲットのWebサイトに過剰なアクセスと判断されにくくなります。
- IPブロックを回避する
定期的な業務では、正確なデータに安定してアクセスする必要があります。たとえば、たとえば、毎週の監査でプロキシを使わないと、403エラーが発生する可能性が高まります。別のネットワークに切り替えても必ずしも解決しません。そんなときは、同じcURLリクエストをレジデンシャルプロキシ経由で送信し、一般的な家庭用インターネット接続からのアクセスに近い状態を再現できます。
- 地域を指定したリクエストの送信
アクセス元の地域は、表示されるコンテンツに影響します。マーケティングチームは通常、クライアントのローカライズされたランディングページが正しく表示されているかを確認しなければなりません。自分たちの接続からでは、確認したい地域向けのページが表示されないことがあります。解決策は、DataImpulseのような信頼できるプロバイダーから適法かつ倫理的に調達されたレジデンシャルIPを利用することです。チームが設定を済ませれば、すべてのリクエストが、現地の価格や地域限定のプロモーションを含めて、現地ユーザーが見るのとまったく同じページを返すようになります。
- グローバルなAPIテスト
開発者にとって、適切なツールなしで各地域におけるAPIの挙動を検証するのは困難です。監視アプリケーションが常に問題を捕捉できるわけではなく、ローカル環境では問題を再現できないことがあります。プロキシ経由でAPIにcURLリクエストを送ることで、この問題を解決しましょう。ユーザーと同じエッジノード、地域データベース、ネットワーク経路からAPIにアクセスできます。プロキシは、監視ツールが見逃した問題のデバッグに役立ちます。
cURLでプロキシを使うために必要なもの
cURLでプロキシを使うのに多くは必要ありません。始めるには次の5つが必要です。
- インストール済みですぐ使えるcURL。ほとんどのmacOSおよびLinuxシステムでは標準で利用できます。初心者向けのチュートリアルでは、 cURLのインストール方法 をWindowsを含むあらゆるオペレーティングシステム向けに紹介しています。
- プロキシエンドポイントへのアクセス。HTTP、HTTPS、またはSOCKS5プロキシのいずれかです。これにより、cURLリクエストは直接ではなく別のルートでターゲットに到達できます。
- 認証が必要な場合はプロキシの認証情報。
- ターゲットのエンドポイント。API、Webサイトなど、アクセスしたい対象なら何でも構いません。
- プロキシチェッカーツール。トラフィックがプロキシを経由しているか確認するには、https://ipinfo.io/ や https://whatismyipaddress.com/ のような手軽なサービスを使いましょう。
これらがそろえば、ネットワークレベルのルーティングを行うcURLのプロキシ設定を開始できます。cURLはターゲットに直接接続する代わりに、プロキシを仲介役として使います。
cURLをプロキシで使う方法 – ステップバイステップ
基本のcURLプロキシコマンド
cURLリクエストをプロキシ経由でルーティングするには、 -x フラグでプロキシサーバーを指定します。cURLはそのプロキシ経由でリクエストを送信します。
curl -x http://proxy-ip:port https://example.com
これは最も基本的なプロキシの使い方で、認証不要のHTTPまたはHTTPSリクエストに適しています。
認証付きのcURLプロキシ
プロキシで追加の認証手順が必要な場合は、ユーザー名とパスワードをプロキシURLに直接指定できます。次のように記述します。
curl -x http://username:password@proxy-ip:port https://example.com
cURLはこれらの認証情報でプロキシに認証した後、リクエストを転送します。
HTTPSプロキシの使用
HTTPSプロキシでは、cURLはトラフィックをプロキシ経由でルーティングしつつ、宛先までTLS暗号化が維持されるようにします。
curl -x https://proxy-ip:port https://example.com
この構成は、プロキシまでの接続も暗号化したい場合に便利です。
SOCKS5プロキシの使用
SOCKS5プロキシは、リクエストデータに手を加えずにトラフィックを中継します。
curl -x socks5://proxy-ip:port https://example.com
SOCKS5は複数種類のトラフィックを扱えるため、さまざまなプロトコルを扱うエンジニアにとって柔軟な選択肢です。
cURLの高度なプロキシ設定
環境変数の使用
cURLは、システムレベルの環境変数からプロキシ設定を自動的に読み取れます。ターミナルセッションやアプリケーションからのすべてのリクエストを、毎回指定せずに同じプロキシ経由にしたいときに便利です。
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
これらの変数を設定すると、cURLは使用しているプロトコルに基づいて、送信するリクエストに自動的に適用します。
.curlrcファイルの使用
.curlrc 設定ファイルは、cURLの設定を永続的に保存するために使われます。プロキシ設定を一度追加すれば、すべてのリクエストが自動的にそのプロキシ経由になります。別の構成が必要なときは、コマンドラインで上書きしてください。
proxy=http://proxy-ip:port
リクエストごとのプロキシ設定とグローバル設定
cURLでは、プロキシを定義する方法が2つあります。フラグを使ってリクエストごとに設定する方法と、環境変数や設定ファイルを使ってグローバルに設定する方法です。多くの開発者は、この2つを組み合わせて使います。
リクエストごとの設定では、コマンドラインで -x フラグを使います。どのリクエストがどのプロキシを通るかを正確に制御できるため、最も柔軟なアプローチです。デバッグ時、地域間でレスポンスを比較するとき、呼び出しごとに別の設定が必要になるアドホックなコマンドを実行するときに最適です。例を示します:
curl -x http://proxy.example.com:8080 https://api.example.com
グローバル設定では、プロキシをコマンドラインから環境側へ移します。HTTP_PROXYやHTTPS_PROXYのような変数、または .curlrc ファイルを使います。一度設定すると、cURLは変更するまですべての送信リクエストを同じプロキシ経由でルーティングします。長いスクリプト、CI/CDパイプライン、定期ジョブなど、すべての行に -x を書くのが単なる繰り返しになる場面に最適です。次のコマンドを設定します:
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
特定のリクエストでプロキシを無視する
グローバルプロキシは便利です。しかし、常に望ましいとは限りません。内部API、localhostのサービス、クラウドのメタデータエンドポイントは通常、プロキシを完全にスキップする必要があります。これらをプロキシ経由にすると、良くてもリクエストが遅くなり、最悪の場合は接続が完全にブロックされます。
cURLには3つの対処方法があります:
1. –noproxy “*” 。宛先に関係なく、このリクエストではプロキシをバイパスするという意味です。
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2″。こちらは、指定したホストに対してのみプロキシをバイパスします。
curl --noproxy "localhost,*.internal" https://api.internal/status
3. NO_PROXY環境変数。グローバルプロキシが設定されていても、常にプロキシをスキップするホストの恒久的なリストを設定します。
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
NO_PROXYを設定すると、cURLはリストに一致するホストへ直接接続し、それ以外の通信は引き続きプロキシ経由にします。
ローテーションプロキシでcURLを使う
何百ものリクエストを送りたい場合、1つのIPアドレスだけでは不十分です。レジデンシャルプロキシでも、すべてのリクエストが同じアドレスから来ればレート制限を受けます。解決策はローテーション、つまりすべてのリクエストを多数の異なるIPに分散させ、特定のIPにアクセスが集中しないようにすることです。プロバイダーに任せることも、手動でプロキシをローテーションすることもできます。
1. ゲートウェイローテーション
多くのプロキシベンダーは、IPを体系的にローテーションする単一のエンドポイントを提供しています。ユーザーは通常1つのアドレスに接続し、リクエストはプロバイダーのプールにある別のIPを経由します。
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. 手動ローテーション
ユーザーが自前のプロキシリストを持っていて、スクリプト内で手動でローテーションすることもあります。Pythonでの例を示します:
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
ローテーションが重要な理由
1つのIPを使いすぎると、レート制限、CAPTCHA、IPブロック、恒久的な禁止、エラーなど、多くの問題が発生し得ます。リクエストをさまざまなIPに分散させれば、どのアドレスもターゲットにとって疑わしく見えません。多数の異なる訪問者からの通常のトラフィックのように見えます。これこそがプロキシローテーションを使う理由であり、自動化されたクライアントに見えないようにするためです。
ローテーションプロキシエンドポイントの例
cURLでのローテーションプロキシの基本例です。このコマンドを3回続けて実行すると、3つの異なる結果が得られます。
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip は、サーバーが観測した送信元IPを返すため、検証用エンドポイントとして便利です。
スティッキーセッション vs ローテーティングセッション
ローテーティングモードでは、各リクエストは独立しています。プロバイダーのプールにある異なるIPを経由します。Webスクレイパーとして大量の価格・商品データを収集する必要があるなら、これが正しい選択です。1つのIPアドレスがブロックされても、新しいIPへ切り替えることで処理を継続できます。
スティッキーモードでは、同じIPアドレスが一定期間維持されます。通常は5分から60分です。ログインや認証を扱っていて、実際のユーザーのように振る舞うためにIPの一貫性が必要な場合に適しています。
cURLに最適なプロキシタイプ
どのタイプのプロキシを指定しても、cURLでの基本的な使い方は同じです。-xフラグを設定し、認証情報を渡し、リクエストを送信するというプロセスです。変わるのは、ターゲットサーバーがトラフィックをどう認識するかであり、それはプロキシの背後にあるIPの種類でほぼ完全に決まります。
I am raw html block.
Click edit button to change this html
よくあるエラーと解決方法
1. プロキシ接続の拒否
cURLがプロキシへのTCP接続を開けない場合、接続が拒否されたことを示すメッセージが表示されます。これは、プロキシに到達できないかブロックされていることを意味します。ファイアウォールと、ホスト名やポート番号を含むプロキシ設定を確認してください。次のコマンドでプロキシをテストしてください:
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. 認証の失敗
通常は407エラーとして現れ、プロキシが認証情報を拒否したことを意味します。ユーザー名、パスワード、ホスト、ポートを再確認してください。認証情報をURLに埋め込まず、代わりに-Uフラグを使いましょう。例:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. SSL/証明書エラー
このエラーは通常、古いCA証明書ストア、TLSトラフィックを傍受するプロキシ、または証明書が正しくないターゲットサイトが原因です。この場合、CAバンドルを更新し、-kはテスト時のみ使用し、プロキシ自体がトラフィックを復号していないか確認してください。
4. タイムアウトの問題
サーバーが過負荷になっているか、プロキシの動作が遅いために発生します。次の例のように明示的なタイムアウトを設定すると改善できます。
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
エラーメッセージだけでは障害の場所を特定できないとき、verboseモードはcURLのデバッグツールの中で最も役立ちます。接続シーケンス全体を出力するため、どのステップが成功し、どこで失敗したかを正確に確認できます。
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
cURLプロキシのベストプラクティス
実践したいポイントをいくつか紹介します。
- デフォルトでIPをローテーションし、必要なときだけスティッキーを使う
- トラフィックが自然に見えるようリクエストレートを抑える
- プロキシとカスタムヘッダーを組み合わせる
- –compressed を使って転送サイズを70-80%削減する
- 無料プロキシは避ける
*–compressedフラグは、cURLに Accept-Encoding: gzip, deflate, br を送信させ、返ってきたものを解凍させます。
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
実際のユースケースにおけるcURLプロキシの例
cURLとプロキシを組み合わせて使う3つの一般的なシナリオを見てみましょう。
1. Webサイトのスクレイピング
この構成は何千ものページを処理し、解析可能なきれいな出力を生成します。ローテーションするレジデンシャルプロキシ、実際のブラウザに合わせたカスタムヘッダー、高速転送のための圧縮、リクエスト間の小さな遅延が含まれます。
Linux、macOS、WSLで動作する例を示します。google.com や example.com のようなドメインを記載した urls.txt ファイルが必要です。
コード:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. 地域制限コンテンツへのアクセス
このコードでは、各リクエストはその国の実際のユーザーから来たかのようにターゲットサイトに到達します。出力ファイルには、現地の訪問者が見るのとまったく同じローカライズ版が保存されます。
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. APIのテスト
ここから、チームは地域データベースのルーティング、CDNのエッジノード、その他2つの拠点間で異なるあらゆる点を詳しく調べられます。
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
よくある質問
curlをプロキシで使うには?
-xフラグでDataImpulseのプロキシアドレスとポートを指定します。プロキシで認証が必要な場合は、-U "username:password" を追加して認証情報を渡します。
curlのプロキシ認証が機能しない
最も多い原因は、認証情報の誤りかパスワード内の特殊文字です。URLに認証情報を埋め込む代わりに -U "user:pass" フラグを使い、@、:、/ の文字はURLエンコードしてください。
curlのsocksプロキシとhttpプロキシの違い
HTTPプロキシはHTTPとHTTPSのトラフィックのみを扱いますが、SOCKS5プロキシはリクエストを検査せずにあらゆるTCPトラフィックを中継します。WebスクレイピングやAPI呼び出しにはDataImpulseのHTTPプロキシを、プロトコルの柔軟性や低レベルのルーティングが必要な場合はSOCKS5を使いましょう。
curlでプロキシをローテーションする方法
1つのエンドポイントに接続すれば、プロバイダーがリクエストごとに自動で別のIPを割り当てます。手動ローテーションの場合は、スクリプトにプロキシのリストを保存し、リクエストごとにランダムに1つ選びます。
まとめ
cURLとプロキシの組み合わせは、開発者はもちろん、安全で正確なデータ収集プロセスを求めるすべての人にとって必須のものです。コマンドラインツール1つ、フラグ1つで、大規模なスクレイピング、地域をまたいだテストの自動化や、世界各地からのAPI呼び出しが可能になります。コンパクトでスクリプト化しやすく、導入先の環境を問わず一貫して動作します。
設定は結果を大きく左右します。ターゲットに合わせて、レジデンシャル、データセンター、モバイルの中から適切なプロキシタイプを選ぶこと。適切なペースでIPをローテーションすること。 cURLでHTTPヘッダーを送信する ことで、スクリプトではなく実際のブラウザのように見せること。実際に必要になる前に、リトライ、タイムアウト、レート制限を組み込むこと。これらを実践すれば、cURLは本番環境のデータワークフローを支える信頼性の高い基盤になります。
