この記事の内容
C# でのWebスクレイピングは、クライアントの寿命を決めてしまえば驚くほど快適ですが、その前は驚くほど苦痛です。設定済みの HttpClientHandler を備えた HttpClient がネットワークを処理し、AngleSharp がレスポンスを CSS セレクターで扱える実際の DOM に変換し、Playwright がクライアント側でレンダリングされるページをカバーします。
c# でのウェブスクレイピングを探してここに来たなら、要点はこうです。プロキシ設定ごとに HttpClient を1つ作成し、プロセスが生きている間は維持してください。リクエストごとに using ブロックでラップしたくなるものですが、これがソケット枯渇を引き起こし、動いていたスクレイパーを大規模運用で失敗させます。.NET クローラーが1時間後に劣化した場合、まず確認すべき点です。
重要なポイント
- C# のスタック: 取得には HttpClient と HttpClientHandler、解析には AngleSharp または HtmlAgilityPack、クライアント側でページがレンダリングされる場合は .NET 用 Playwright を使用します。
- プロキシ設定は、リクエストごとに1行書くものではなく、1つのオブジェクトです。 クライアントに一度設定して再利用してください。そうしないと、接続プールとセッションの一貫性を失います。
- ここで最も時間を失うミス: リクエストごとに新しい httpclient を作ると、ソケットが枯渇します。
- ローテーションはリクエストではなくセッションに属します。 1つの論理タスクでは1つの出口を維持します。セッション途中でローテーションすると、Cookie が壊れ、チャレンジを招きます。
- C# を使うべき場合 データパイプラインが .NET であり、強い型付けを備えた非同期パイプラインと既存サービスと並行した容易なデプロイを望む場合です。プロジェクトが小規模な調査スクリプトで、チームに C# を日常的に書く人がいない場合は避けてください。
C# のリクエストをプロキシ経由にするには?
プロキシをクライアントに一度設定し、そのセッションのすべてのリクエストでクライアントを再利用します。以下は認証付きの最小限の動作例です。
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
構文より重要な点が3つあります。認証情報は対象サイトではなくゲートウェイに対するものです。プロキシにより経路が1つ増え、停止したリクエストがワーカーを占有するため、タイムアウトは必須です。そしてクライアントはIDの単位です。同じクライアントは、同じ接続プール、同じ Cookie、そして sticky session では同じ出口アドレスを意味します。
3部構成のハンドラーモデルとは?
3つの関心事を分けておけば、デバッグは当て推量ではなくなります。これを 3部構成のハンドラーモデルと呼びます。
| 部分 | 担当するもの | C# での対応 |
|---|---|---|
| 1. トランスポート | 接続、プロキシ、タイムアウト、再試行、TLS | HttpClientHandler を備えた HttpClient |
| 2. 解析 | バイト列をフィールドに変換し、マークアップの変更時には明確に失敗させること | AngleSharp または HtmlAgilityPack |
| 3. スケジューリング | ホストごとの同時実行数、ペーシング、バックオフ、重複排除 | 対象ごとに上限を設けた独自のワーカープールまたはキュー |
.NET では型自体が役割を示すため、境界を保ちやすくなっています。HttpClient はトランスポート、AngleSharp はドキュメント、Task パイプラインはスケジューリングを担当します。解析メソッドの中に再試行ロジックを置くのは誤りです。そこでトランスポート障害がフィールド欠落として隠れてしまいます。
スクレイピングが壊れたとき、最初の質問はどの部分が壊れたかです。200 以外のステータスはトランスポートです。フィールドが空の 200 は解析の問題、またはクライアント側でレンダリングされるページです。数分かけて成功率が低下するならスケジューリングです。3つを1つの関数に混ぜるから、多くのスクレイパーは修正ではなく書き直しになるのです。
AngleSharp は実際の DOM に解析し、CSS セレクターをサポートするため、モダンなマークアップでは HtmlAgilityPack より優れたデフォルトです。
C# で特に問題になることは?
C# で失われる時間の大半は3つの問題によるもので、いずれも対象によるブロックではありません。
リクエストごとに新しい HttpClient を作るとソケットが枯渇します。 ループ内で HttpClient を作成して破棄すると、ソケットが TIME_WAIT に残り、やがてプロセスが接続を開けなくなります。プロキシ設定ごとに長寿命のクライアントを1つ使うか、ASP.NET Core の IHttpClientFactory を使用してください。
ハンドラーは最初の使用後は不変です。 すでにリクエストを送信したハンドラーのプロキシは変更できません。変更しようとするのではなく、出口設定ごとにクライアントを1つ構築し、その中から選択してください。
Cookie はデフォルトで共有されます。 すべてのリクエストで1つの CookieContainer を使うと、セッションが混在します。論理セッションごとに専用のクライアントを与えるか、コンテナーを無効にして Cookie を自分で管理してください。
これらはいずれも特殊な問題ではありませんが、外から見るとブロックされたスクレイパーのように見えます。そのため、まずクライアント側にある問題に対してプロキシを購入しようとしがちです。スクレイピング時の 403 Forbidden エラーに関するガイドでは、分離の手順を順番に説明しています。
C# で同時実行数を制限するには?
共有クライアントの周囲で SemaphoreSlim を使用し、ネットワーク呼び出しに Parallel.ForEach を決して使わないでください。
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach は IO バウンドの処理でスレッドをブロックし、ネットワークがアイドル状態のままスレッドプールを容易に飽和させます。セマフォを使った非同期処理なら、スレッド数を低く保ち、リクエストレートを意図的に制御できます。手書きのバックオフではなく、ジッター付き再試行には Polly を追加してください。
使う価値のある .NET ライブラリは?
| ライブラリ | 用途 | 率直な所見 |
|---|---|---|
| HttpClient と HttpClientHandler | すべての取得 | 組み込み。出口設定ごとに1インスタンスを再利用 |
| AngleSharp | CSS セレクターを備えた実際の DOM への解析 | モダンなマークアップに適したデフォルト |
| HtmlAgilityPack | 乱れた HTML に対する XPath | 今でも問題なく使えます。API は古めで、XPath で考える場合に選びます |
| Polly | 再試行、サーキットブレーカー、タイムアウトポリシー | クローラーで最もよく手書きされ、最もよく誤るコードをなくします |
| .NET 用 Playwright | クライアント側でレンダリングされるページ | 十分に保守されており、現在の .NET でまともに使える唯一のブラウザー選択肢です |
クローラーが ASP.NET Core 内で動く場合は、IHttpClientFactory を通じてクライアントを登録してください。そうすれば、誰かが忘れる静的フィールドではなく、寿命と DNS 更新を任せられます。
C# が適切でないのはどんなとき?
データパイプラインが .NET であり、強い型付けを備えた非同期パイプラインと既存サービスと並行した容易なデプロイを望むなら C# を使ってください。プロジェクトが小規模な調査スクリプトで、チームに C# を日常的に書く人がいない場合は避けてください。
決め手は能力ではなく保守性です。チームが毎日使う言語で書かれたクローラーは次のマークアップ変更を乗り越えますが、不慣れな言語で書かれた巧妙なものは最初の破損で放棄されます。率直に考えて C# がこの仕事に適した場所ではないなら、同じデータベースに書き込む小さな別言語のクローラーは、正当な設計であり敗北ではありません。
すべての言語で同じであり、ここで繰り返すと最新状態を保つのが難しくなるため、このページの外で扱う事項が2つあります。1つの経路が sticky exit を維持しなければならない理由を含むセッションとローテーションの規則は、プロキシローテーションのベストプラクティスにあります。リクエストが拒否されたときの対処、ネットワーク問題とクライアント問題の見分け方はスクレイピング時の 403 Forbiddenに、法的な位置付けはウェブスクレイピングは正当かにあります。
出口そのものについては、公開ページにはローテーション住宅用、経路には sticky、API とオープンデータにはデータセンターを使います。DataImpulse residential は国指定を含め、195か国で GB あたり $1 です。比較はウェブスクレイピング向けの最適なプロキシにあります。
よくある質問
C# でプロキシを設定するには?
リクエストごとではなくクライアントオブジェクトに設定します。HttpClient と HttpClientHandler ではプロキシのホスト、ポート、認証情報を一度設定し、そのクライアントを再利用します。再利用により接続プール、Cookie ジャー、出口アドレスの一貫性が保たれ、セッション全体が整合して見えます。
C# での解析にはどのライブラリを使うべき?
実用的なデフォルトは AngleSharp または HtmlAgilityPack です。解析は取得とは分離してください。クライアントがネットワークを、パーサーがマークアップを担当するため、障害が起きたときにどちらが壊れたかすぐ分かります。
C# にヘッドレスブラウザーは必要ですか?
フィールドがクライアント側でレンダリングされる場合に限ります。まず通常どおりページを取得し、既知の値を1つ HTML 内で検索してください。そこにあればブラウザーは完全に不要です。必要な場合、このエコシステムでの選択肢は .NET 用 Playwright であり、ページあたりの時間とメモリのコストは1桁大きくなります。
リクエストごとに新しい HttpClient を作るとソケットが枯渇しますか?
ループ内で HttpClient を作成して破棄すると、ソケットが TIME_WAIT に残り、やがてプロセスが接続を開けなくなります。プロキシ設定ごとに長寿命のクライアントを1つ使うか、ASP.NET Core の IHttpClientFactory を使用してください。
C# はウェブスクレイピングに適した選択ですか?
データパイプラインが .NET であり、強い型付けを備えた非同期パイプラインと既存サービスと並行した容易なデプロイを望むなら、よい選択です。プロジェクトが小規模な調査スクリプトで、チームに C# を日常的に書く人がいない場合は不適切です。決め手は通常、純粋な能力ではなく保守性です。チームが毎日使う言語で書かれたスクレイパーこそが、次のマークアップ変更を乗り越えます。
C# クライアントを信頼できる出口に向ける
上のスニペットは認証情報を1か所変更するだけで動作します。DataImpulse residential は、195か国で GB あたり $1 の地理的に正確な出口を、ローテーションまたは sticky、HTTP、HTTPS、SOCKS5 で提供します。アカウントを作成し、ジョブを拡大する前に C# クライアントから1つの対象をテストしてください。
関連: スクレイピング時の 403 Forbidden · Crawl4AI のプロキシ設定 · Go、Kotlin、Scala、Perl、Elixir でのプロキシ設定。
最終更新: 2026年9月17日。
