本文内容
一旦解决了客户端生命周期的问题,使用 C# 进行网页抓取会格外顺畅;在此之前则格外痛苦。HttpClient 加上已配置的 HttpClientHandler 负责网络,AngleSharp 将响应转换为可用 CSS 选择器查询的真实 DOM,Playwright 则用于处理在客户端渲染的页面。
如果你是为搜索 c# 网页抓取而来到这里,简要结论是:为每种代理配置创建一个 HttpClient,并使其在进程的整个生命周期内保持存活。每次请求都把它放进 using 块的做法,会导致套接字耗尽,使原本正常的爬虫在大规模运行时失效;当 .NET 爬虫运行一小时后性能下降时,这也是首先该检查的事项。
要点
- C# 技术栈:使用带 HttpClientHandler 的 HttpClient 获取内容,使用 AngleSharp 或 HtmlAgilityPack 解析;页面在客户端渲染时,使用适用于 .NET 的 Playwright。
- 代理设置是一个对象,而不是每个请求写一行。在客户端上配置一次并复用该客户端,否则会失去连接池和会话一致性。
- 这里最耗时的错误:每个请求创建一个新的 httpclient,会耗尽套接字。
- 轮换属于会话,而不是请求。一个逻辑任务应保持同一个出口;在会话中途轮换会破坏 Cookie 并招致验证挑战。
- 适合使用 C# 的情况:你的数据管道是 .NET,希望获得强类型的异步管道,并能轻松与现有服务一同部署。若项目只是小型研究脚本,且团队中没有人每天使用 C#,则应避免使用它。
如何通过代理路由 C# 请求?
在客户端上配置一次代理,然后在会话中的每次请求都复用该客户端。以下是带身份验证的最小可用形式。
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
有三个细节比语法更重要。凭据属于网关,而非目标网站。超时设置并非可有可无,因为代理会增加一个中转环节,而挂起的请求会占用一个工作线程。客户端还是身份的单位:同一个客户端意味着同一个连接池、同一组 Cookie,并且在使用粘性会话时,意味着同一个出口地址。
由 3 部分组成的处理程序模型是什么样的?
将三个关注点分开,调试就不再靠猜测。我们称其为3 部分处理程序模型。
| 部分 | 负责内容 | 在 C# 中 |
|---|---|---|
| 1. 传输 | 连接、代理、超时、重试、TLS | 带 HttpClientHandler 的 HttpClient |
| 2. 解析 | 将字节转换为字段,并在标记发生变动时明确报错 | AngleSharp 或 HtmlAgilityPack |
| 3. 调度 | 每个主机的并发数、节流、退避、去重 | 你自己的工作线程池或队列,按每个目标限制 |
在 .NET 中,这条边界很容易保持,因为类型本身已暗示了分工:HttpClient 负责传输,AngleSharp 负责文档,而你的 Task 管道负责调度。错误在于将重试逻辑放进解析方法中,这会把传输失败掩盖成字段缺失。
当抓取中断时,第一个问题是哪个部分出了问题。非 200 状态码属于传输问题。200 但字段为空,属于解析问题,或是页面在客户端渲染。成功率在数分钟内逐渐下降,属于调度问题。把三者混在一个函数中,正是许多爬虫最终被重写而非修复的原因。
AngleSharp 会解析成真实 DOM,并支持 CSS 选择器;对于现代标记,它比 HtmlAgilityPack 更适合作为默认选择。
C# 中具体会出什么问题?
在 C# 中,三个问题占据了大部分浪费的时间,其中没有一个是目标网站封锁了你。
每个请求创建一个新的 HttpClient 会耗尽套接字。在循环中创建并释放 HttpClient 会让套接字停留在 TIME_WAIT 状态,进程最终无法打开连接。每种代理配置使用一个长期存活的客户端,或在 ASP.NET Core 中使用 IHttpClientFactory。
处理程序在首次使用后不可变。你无法更改一个已经发送过请求的处理程序上的代理。应为每种出口配置创建一个客户端并在它们之间选择,而不是修改已有对象。
默认共享 Cookie。所有请求共用一个 CookieContainer 会混淆会话。为每个逻辑会话分配自己的客户端,或禁用容器并自行管理 Cookie。
这些都不罕见,而且从外部看都像是爬虫被封锁了,所以人们的第一反应常常是为客户端内部的问题购买代理。我们的抓取时出现 403 Forbidden 错误指南会按顺序说明隔离问题的步骤。
如何在 C# 中限制并发?
在共享客户端外使用 SemaphoreSlim,绝不要对网络调用使用 Parallel.ForEach。
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach 会为 IO 密集型工作阻塞线程,并且会在网络闲置时轻易占满线程池。异步搭配信号量能保持较低的线程数,并使请求速率可控。使用 Polly 进行带抖动的重试,而不是手写退避逻辑。
哪些 .NET 库值得使用?
| 库 | 用途 | 如实说明 |
|---|---|---|
| HttpClient 加 HttpClientHandler | 所有内容获取 | 内置。每种出口配置一个实例,并复用它 |
| AngleSharp | 解析为使用 CSS 选择器的真实 DOM | 现代标记的更佳默认选择 |
| HtmlAgilityPack | 在杂乱 HTML 上使用 XPath | 依然不错,API 较旧;若你习惯用 XPath,就选它 |
| Polly | 重试、熔断器、超时策略 | 去除了爬虫中最常被手写、也最常写错的代码 |
| 适用于 .NET 的 Playwright | 客户端渲染的页面 | 维护良好,也是当今 .NET 上唯一合理的浏览器选项 |
如果爬虫运行在 ASP.NET Core 中,请通过 IHttpClientFactory 注册客户端,让它为你处理生命周期和 DNS 刷新,而不是交给某个容易被遗忘的静态字段。
何时 C# 是错误的工具?
当你的数据管道是 .NET,希望获得强类型的异步管道,并能轻松与现有服务一同部署时,使用 C#。若项目只是小型研究脚本,且团队中没有人每天使用 C#,则应避免使用它。
决定因素是可维护性,而不是能力。用团队日常使用的语言编写的爬虫,能够经受下一次标记变动;用不熟悉语言写出的精巧爬虫,则会在第一次出错时被弃用。如果坦诚的答案是 C# 不适合这项工作,那么用其他地方的小型爬虫写入同一个数据库,是一种合理的设计,而不是失败。
有两件事不在本页讨论,因为它们在每种语言中都相同,在这里重复只会使它们更难保持最新。会话和轮换规则,包括为何一次访问过程必须保持一个粘性出口,详见代理轮换最佳实践。请求被拒绝时该怎么办,以及如何区分网络问题和客户端问题,详见抓取时的 403 Forbidden;法律框架详见网页抓取是否合法。
关于出口本身:公开页面使用轮换住宅代理,访问过程使用粘性代理,API 和开放数据使用数据中心代理。DataImpulse 住宅代理在 195 个国家/地区的价格为每 GB $1,包含国家/地区定位;比较请见最适合网页抓取的代理。
常见问题
如何在 C# 中设置代理?
应在客户端对象上配置,而非每次请求时配置:使用带 HttpClientHandler 的 HttpClient 时,设置一次代理主机、端口和凭据,然后复用该客户端。复用它可以保持连接池、Cookie 存储和出口地址一致,从而使会话看起来连贯。
在 C# 中应使用哪个库进行解析?
AngleSharp 或 HtmlAgilityPack 是实用的默认选择。将解析与获取分开:客户端负责网络,解析器负责标记,因此发生失败时,你能立即知道两者中是哪一个出了问题。
C# 需要无头浏览器吗?
仅当字段在客户端渲染时才需要。先直接获取页面,并在 HTML 中搜索一个已知值:若它存在,就完全跳过浏览器。确实需要时,适用于 .NET 的 Playwright 是此生态中的选项;它在每页的时间和内存成本上高出一个数量级。
每个请求创建一个新的 HttpClient 会耗尽套接字吗?
在循环中创建并释放 HttpClient 会让套接字停留在 TIME_WAIT 状态,进程最终无法打开连接。每种代理配置使用一个长期存活的客户端,或在 ASP.NET Core 中使用 IHttpClientFactory。
C# 是网页抓取的好选择吗?
当你的数据管道是 .NET,希望获得强类型的异步管道,并能轻松与现有服务一同部署时,它是一个好选择。若项目只是小型研究脚本,且团队中没有人每天使用 C#,它就不是合适的选择。决定因素通常是可维护性,而非原始能力:用团队日常使用的语言编写的爬虫,才是能够经受下一次标记变动的爬虫。
让你的 C# 客户端使用可靠的出口
上述代码片段只需更改一处凭据即可使用:DataImpulse 住宅代理在 195 个国家/地区提供地理位置准确的出口,价格为每 GB $1,支持轮换或粘性模式,以及 HTTP、HTTPS 和 SOCKS5。创建账户,并在扩展任务规模前,先从你的 C# 客户端测试一个目标。
相关内容:抓取时的 403 Forbidden · Crawl4AI 代理设置 · 在 Go、Kotlin、Scala、Perl 和 Elixir 中设置代理。
最后更新:2026 年 9 月 17 日。
