この記事の内容
cURLは、本番環境の前にAPIレスポンスをテストする場合でも、Webサイトが利用可能か確認する場合でも、広く使用されています。この記事では、cURLとは何か、プロキシサーバーと組み合わせて使う方法を解説します。cURLの基本的な使い方を知りたい方は、この初心者向けチュートリアルをお読みください。
重要なポイント
- cURLはファイルのアップロードとダウンロードに使える無料ツールです
- macOSと一部のLinuxディストリビューションでは、cURLがデフォルトでインストールされています
- 古いWindowsバージョン(Windows 10より前)では、公式WebサイトからcURLをダウンロードしてください
- cURLでプロキシを使用するには、DataImpulseダッシュボードでport、host、login、passwordなどの認証情報を確認します
- -x、–proxy-type、–proxy-userは、よく使われるプロキシ関連のパラメータです
cURLとは
1996年にスウェーデンの開発者によって公開されたcURL、つまりClient URLは、HTTPリクエストを行ったり、URL経由でデータを送受信したりするために使われるコマンドラインツールです。これはオープンソースのプロジェクトで、FTPやPOP3など、さまざまなネットワークプロトコルに対応しています。cURLはHTTPSにも対応し、SSL証明書とTLS証明書を自動的に確認します。
cURLは、住宅向け、モバイル、またはデータセンタープロキシと組み合わせて使用できます。ただし、プロキシ側でHTTP(S)またはSOCKS5に対応している必要があります。
cURLのインストール方法
ターミナルを開き、次のコマンドを実行してください。
curl --version
出力で、コンピューターにcURLがインストールされているか確認できます。インストール済みの場合は、cURLのバージョンとリリース日が表示されます。
cURLがインストールされていない場合は、自分でインストールできます。
macOS
macOSには通常、cURLがあらかじめインストールされています。見つからない場合は、Homebrewを使って次のコマンドでインストールしてください。
brew install curl
Windows
Windows 10以降には通常、cURLが含まれています。以前のバージョンでは、cURL公式Webサイトにアクセスし、システムアーキテクチャに合った正しいバージョンを選んでダウンロードします。次に、ダウンロードしたアーカイブを展開し、binフォルダーをシステムパスに追加します。
Linux
UbuntuやFedoraには、多くの場合cURLが標準で含まれているため、すぐにターミナルで使用できます。プリインストールされていないディストリビューションでは、パッケージマネージャーからcURLをインストールできます。Debian系のシステムでは、次のコマンドを実行します。
sudo apt install curl
Fedora系のシステムでは、次のコマンドを実行します。
sudo dnf install curl
cURLでDataImpulseプロキシに接続する
cURLをインストールしたら、プロキシ経由でリクエストを送信できます。DataImpulseダッシュボードでlogin、password、port、hostなどのプロキシ認証情報を確認し、コードに入力してください。
curl -x http://username:[email protected]:823 https://example.com
便利なcURLプロキシパラメータ
よく使われるパラメータは次のとおりです。
1. -xまたは –proxy cURLがリクエストの送信に使用するプロキシサーバーを指定します。
コード例:
curl -x http://gw.dataimpulse.com:823 https://example.com
2. –proxy-user 認証が必要な場合に、プロキシサーバーの認証情報を指定します。
コード例:
curl -x http://gw.dataimpulse.com:823 --proxy-user username:password http://example.com
3. –proxy-type 使用するプロキシプロトコルを指定します。一般的な値はhttpでHTTPプロキシ、または socks5でSOCKS5プロキシです。
コード例:
curl --socks5 gw.dataimpulse.com:823 https://example.com
DataImpulseは、有効期限のないトラフィックと従量課金制を提供する、住宅向け、モバイル、データセンター向けプロキシソリューションのプロバイダーです。Webスクレイピングについてさらに知りたい方は、次の記事もご覧ください。PythonでTripAdvisorをスクレイピングする方法, PythonによるGitHubスクレイピング, eBayをスクレイピングする方法, YouTubeコンテンツのスクレイピング。ブログでは、さらに多くの情報をご覧いただけます。
FAQ
プロキシがcURLで機能しないのはなぜですか?
それにはいくつかの理由があります。DataImpulse プロキシの詳細が正しく貼り付けられているか、また使用しているプロキシタイプを確認してください。もう1つの理由として、プロキシサーバーが一時的に利用できない場合があります。
HTTPとSOCKS5の違いは何ですか?
HTTP プロキシはWebトラフィックを管理し、アプリケーション層のリクエストを理解できます。一方、SOCKS5はより低い層で機能し、あらゆる種類のトラフィックを変更なしで送信します。より汎用的ですが、やや専門性は低くなります。DataImpulseはHTTPとSOCKS5のプロキシを提供しています。
cURLでプロキシを使用する正しい形式は何ですか?
一般的な正しい形式は curl -x http://gw.dataimpulse.com:823 https://example.com です
cURLはプロキシ経由でHTTPSリクエストを処理できますか?
はい。プロキシはHTTP CONNECTメソッドを使ってトンネルを作成します。その後、cURLと対象Webサイトの間にSSLまたはTLS接続が確立されます。DataImpulse プロキシは195以上のロケーションで安全かつ匿名のブラウジングを実現します。


