2026年のScrapyに最適なプロキシ（+ 設定方法） | DataImpulse

Scrapyは、本格的なWebスクレイピングに対応した本番環境向けのPythonフレームワークです。高速な非同期処理を採用し、大規模なクロール向けに設計されています。しかし、1つのデータセンターIPからターゲットサイトをクロールすると、数分でレート制限やブロックを受けることがあります。そこで、Scrapyのリクエストをプロキシ経由で送信します。実際のユーザーからのアクセスに見せるには、住宅プロキシが最適です。Scrapyにはrequest.meta['proxy']によるプロキシ対応が標準で備わっており、ローテーションゲートウェイを使えばIPリストを管理する必要もありません。このガイドでは、Scrapyでプロキシを使用する方法（リクエスト単位の設定、全リクエストに適用するミドルウェア、ローテーション）を解説し、2026年のScrapy向けベストプロキシ8選を紹介します。DataImpulseは$1/GBで、コストパフォーマンスの基準となるサービスです。

私はAndrii Byzovです。AIネイティブのフラクショナルCMOとして、日々Scrapyクローラーを運用しています。ここでは、すぐに使える設定例、ミドルウェアの実行順序で陥りがちな問題、そして費用に見合うプロバイダーを紹介します。

Scrapyでプロキシを使用する方法

1. リクエストごとにmeta['proxy']を使用

import scrapy

class IpSpider(scrapy.Spider):
    name = "ip"
    def start_requests(self):
        proxy = "http://YOUR_LOGIN__cr.us:[email protected]:823"  # __cr.us = US
        yield scrapy.Request("https://httpbin.org/ip", meta={"proxy": proxy})

    def parse(self, response):
        self.log(response.text)  # confirm the egress IP

ScrapyのHttpProxyMiddleware（デフォルトで有効）はmeta['proxy']を取得し、URL内の認証情報からProxy-Authorizationヘッダーを設定します。追加のコードは不要です。

2. すべてのリクエストにプロキシを適用するミドルウェア

プロジェクト全体に適用するなら、この方法がすっきりしています。プロキシを一度設定すれば、すべてのリクエストに適用されます。

# middlewares.py
class DataImpulseProxyMiddleware:
    PROXY = "http://YOUR_LOGIN__cr.us:[email protected]:823"
    def process_request(self, request, spider):
        request.meta["proxy"] = self.PROXY

# settings.py — run BEFORE the built-in HttpProxyMiddleware (750)
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.DataImpulseProxyMiddleware": 350,
}

3. scrapy-rotating-proxiesで静的IPリストをローテーションする

単一のローテーションゲートウェイではなくプロキシのリストがある場合、scrapy-rotating-proxiesがそれらをローテーションし、ブロックを検出します。

# pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
    "http://YOUR_LOGIN__cr.us:[email protected]:823",
    # ...more endpoints/sessions...
]
DOWNLOADER_MIDDLEWARES = {
    "rotating_proxies.middlewares.RotatingProxyMiddleware": 610,
    "rotating_proxies.middlewares.BanDetectionMiddleware": 620,
}

DataImpulseのローテーション型住宅プロキシゲートウェイを使用する場合、通常これは不要です。1つのエンドポイントがリクエストごとに新しいIPを割り当てます。多数の個別セッションを管理する場合や、組み込みのブロック検出が必要な場合は、scrapy-rotating-proxiesを使用してください。Scrapyのプロキシ対応はHTTP/HTTPSのみのため、SOCKS5ではなくHTTPエンドポイント（ポート823）を使用してください。セッションパラメータについては、DataImpulseチュートリアルをご覧ください。

Scrapy向けベストプロキシ早見表

おすすめのサービス

DataImpulseは、Scrapyクローラーにおけるコストパフォーマンスの基準です。レジデンシャルは従量課金で$1/GB（データセンター$0.50/GB、モバイル$2/GB）、195か国に90M+ IPを保有し、リクエストごとに新しいIPを割り当てるローテーションHTTP/HTTPSゲートウェイ、ユーザー名での国/都市/ASNターゲティングに対応しています。トラフィックは失効しないため、開発中の実行でサブスクリプションを無駄に消費しません。公開されている成功率は99.51%、G2の評価は4.8/5で、24/7の有人サポートも提供しています。大量の社内クローリングでは、成功リクエストあたりのコストを最も抑えやすい選択肢です。

Bright Dataはエンタープライズ向けの選択肢です（住宅プロキシは通常約$8/GB、プロモーションでは約$4）。Web Unlocker、SERP API、データセットを提供しています。Oxylabs（$6/GBから、175M+プール）は、スクレイパーAPIを備えたSLAグレードの選択肢です。Decodo（$3.75/GBから、最大24hのスティッキー）は、バランスの取れたミッドマーケット向けの選択肢です。IPRoyal（$7.35/GBから、最大7日間のスティッキー）は、長時間でセッション安定性が必要なクロールに適しています。SOAX（$3.60/GB、155M+レジデンシャル + 33M+モバイル）は、強力なモバイルプールを追加します。Webshare（無料プラン、データセンターは$2.99/moから）は、低予算でセルフサービスを始める入口であり、NetNut（$3.53/GBから）はISPレジデンシャルの安定性を重視する選択肢です。

Scrapyにおけるローテーションプロキシとスティッキープロキシ

広範囲のクロールには、ローテーション型のレジデンシャルゲートウェイが最適です。各Scrapyリクエストに新しいIPが割り当てられるため、負荷を分散し、IP管理なしでレート制限を回避できます。ステートフルなフロー（ログイン後に後続リクエストを送る場合）では、同じIPが一連の処理中に維持されるようスティッキーセッションを使用し、Cookieを有効にしておきます（ScrapyのCookieミドルウェアはデフォルトで有効です）。ほとんどのScrapyクロールは広範囲かつステートレスであるため、一般的にはローテーションがデフォルトです。スティッキーセッションは、認証が必要なサイトや複数ステップの操作があるサイトで使ってください。

よくあるScrapyプロキシのミス

• ミドルウェアの順序。 カスタムプロキシミドルウェアまたはscrapy-rotating-proxiesは、組み込みのHttpProxyMiddlewareより前に実行される必要があります（優先度の数値を低くする）。そうしないと、プロキシが適用されません。
• SOCKS5が動作すると期待すること。 Scrapyのプロキシ対応はHTTP/HTTPSのみです。SOCKS URLではなく、HTTPエンドポイントを使用してください。
• 過度に攻撃的なクロール。 AUTOTHROTTLE_ENABLEDを有効にし、適切なCONCURRENT_REQUESTS/DOWNLOAD_DELAYを設定して、ローテーションIPであっても過剰な負荷をかけないようにします。
• 防御が強いサイトでデータセンターIPを使うこと。 すぐにブロックされることがあります。アンチボット対策が厳しいサイトには住宅プロキシを使用してください。
• BAN処理がないこと。 リトライ/BAN検出（scrapy-rotating-proxiesのBanDetectionMiddlewareまたはカスタムRETRY_HTTP_CODES）を追加し、ブロックされたレスポンスがデータとして解析されるのではなく、新しいIPでリトライされるようにします。

Scrapyにはどのプロキシタイプを選ぶべきか: 住宅、データセンター、モバイル

• 住宅プロキシ ($1/GB)は、防御が強いサイト（EC、SERP、ソーシャル）向けの標準的な選択肢です。1つだけ選ぶなら、これを選んでください。
• Mobile ($2/GB) – 最も対策が厳しいサイトやモバイルWeb向けの、実際の通信キャリアのIPです。
• Datacenter ($0.50/GB) – 保護のないサイトのクロール、API、自社インフラ向けに最も安価で高速です。アンチボット対策が強いサイトには適していません。

DataImpulseは1つの従量課金アカウントで3種類すべてを提供しているため、単一のScrapyプロジェクトでも、ユーザー名とエンドポイントを使って各リクエストを適切なプロキシ種別にルーティングできます。

DataImpulse + Scrapyの始め方

ステップ 1. DataImpulseアカウントを作成し、residential認証情報を取得します。$5 / 5GBの初回プランに有効期限はなく、実際のテスト予算として使えます。

ステップ 2. リクエストごとにrequest.meta["proxy"] = "http://YOUR_LOGIN__cr.us:[email protected]:823"を設定するか、1行のプロキシミドルウェアを追加して全体に適用します。ジオターゲティングには、ユーザー名に国コードを追加します。

ステップ 3. AUTOTHROTTLEを有効化し、リトライ/BAN処理を追加して、ローテーションゲートウェイによりリクエストごとに新しいIPを割り当てます。DataImpulseチュートリアルとresidential proxiesページをご覧ください。