本文内容
使用 Java 进行网页抓取,主要取决于你沿用的是哪种客户端。Java 11 之前编写的程序,很可能使用 Apache HttpClient 或原始 HttpURLConnection;之后的程序则可以使用带有 HTTP/2 且完全无需依赖的 java.net.http.HttpClient。解析方面的答案十年来一直很稳定:jsoup。
如果你是搜索 Java 网页抓取来到这里,简要结论是:在客户端构建器中一次性设置代理,复用该客户端,并记住 JDK 对 HTTPS 上的代理认证与 HTTP 的处理不同。正是这个细节最常导致 Java 抓取器在一个站点可用、在另一个站点失败,下面会说明修复方法。
关键事实
- Java 技术栈:从 Java 11 起使用 java.net.http.HttpClient 进行抓取,jsoup 用于解析;需要渲染时使用 Selenium 或 Playwright for Java。
- 代理配置是一个对象,不是每个请求一行代码。在客户端上配置一次并复用该客户端,否则会失去连接池和会话一致性。
- 这里最耗时的错误:https 隧道上禁用了基本认证。
- 轮换应属于会话,而非请求。一个逻辑任务应保持同一个出口;在会话中途轮换会破坏 cookie 并招致验证挑战。
- 适合使用 Java 的场景:抓取器位于现有 JVM 服务中,并且你需要与平台其余部分相同的可观测性和部署方式。不适合的场景是编写一次性单文件抓取器,此时繁琐配置的成本高于任务本身。
如何让 Java 请求通过代理路由?
在客户端上一次配置代理,然后在会话中的每个请求中复用该客户端。以下是带认证的最小可用形式。
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
有三个细节比语法更重要。凭据属于网关,而不是目标站点。超时并非可选项,因为代理会增加一跳,挂起的请求会占住一个工作线程。客户端也是身份单元:同一个客户端意味着同一个连接池、同样的 cookie,以及在粘性会话中同一个出口地址。
3 阶段客户端配置是什么样的?
将三项职责分开,调试就不再靠猜测。我们称之为3 阶段客户端配置。
| 部分 | 负责内容 | 在 Java 中 |
|---|---|---|
| 1. 传输 | 连接、代理、超时、重试、TLS | Java 11 起的 java.net.http.HttpClient |
| 2. 解析 | 将字节转换为字段,并在标记结构变动时明确报错 | jsoup |
| 3. 调度 | 每个主机的并发数、节奏控制、退避、去重 | 你自己的工作线程池或队列,并按目标设定上限 |
JVM 很容易让人把这三项混在一个服务类中,结果就是一个抓取器,没人能说清故障来自网络、标记结构还是调度器。将 HttpClient、jsoup 和执行器放在不同层,意味着 403 指向其中一层,空选择器结果指向另一层,逐渐变慢则指向第三层。
抓取中断时,第一个问题是哪个部分出了问题。非 200 状态码属于传输问题。200 但字段为空,属于解析问题,或者页面是客户端渲染的。成功率在数分钟内衰减属于调度问题。把三者混进一个函数,正是许多抓取器被重写而非修复的原因。
jsoup 成为默认解析器自有其道理:CSS 选择器、宽容的 HTML 处理以及小巧的 API。只用它解析,让 HttpClient 负责网络。
Java 特有的常见问题是什么?
三个问题占据了 Java 中大部分耗时,而它们都不是目标站点在拦截你。
HTTPS 隧道上禁用了基本认证。这是最容易让人耗掉一个下午的问题。JDK 默认会阻止 CONNECT 隧道上的 Basic 代理认证,因此带认证的代理可用于 HTTP,却会在 HTTPS 上失败,直到你清除 jdk.http.auth.tunneling.disabledSchemes 属性。
并非每个版本都会为代理调用 Authenticator。不同 JDK 版本的行为已有变化。若凭据被忽略,可自行发送 Proxy-Authorization 请求头作为后备方案,并在构建中固定 JDK 版本。
jsoup 自己会进行抓取。Jsoup.connect(url) 会打开自己的连接,对你的 HttpClient 代理一无所知。请用 HttpClient 抓取,然后将字符串交给 Jsoup.parse。
这些问题都不罕见,且从外部看起来都像是抓取器被拦截了,因此人们的第一反应常常是为实际存在于客户端的问题购买代理。我们的网页抓取时的 403 Forbidden 错误指南按顺序讲解了隔离问题的步骤。
如何在 Java 中限制并发?
使用固定线程池和许可量,而不是无上限的执行器。虚拟线程让你轻易就能同时发起一万次请求,这对目标站点是拒绝服务攻击,对你而言则会触发速率限制封禁。
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
对于公开页面,每个主机 4 个许可是合理的起点。在获取许可之间加入抖动,并在 send 调用周围设置指数退避:连续出现 429 或 403 响应后停止整个任务,而不是对着墙壁反复重试。
哪些 Java 库值得使用?
| 库 | 用途 | 客观说明 |
|---|---|---|
| java.net.http.HttpClient | 从 Java 11 起处理所有网络事务 | 内置于 JDK,无需依赖,默认使用 HTTP/2。代理认证隧道的特殊行为是它唯一棘手之处 |
| jsoup | 解析和 CSS 选择 | 有充分理由作为默认选择。只用它解析,绝不要用它经由代理抓取 |
| Apache HttpClient 5 | 精细的连接和代理控制 | API 更重;当你需要按路由划分的连接池或 NTLM 时值得使用 |
| Playwright for Java | 客户端渲染的页面 | 真实浏览器,真实成本。只留给确实需要它的那部分页面 |
| HtmlUnit | 旧式无头浏览 | 对于现代站点大多没有出路;它的 JavaScript 引擎落后于真实浏览器 |
经得起维护的组合刻意保持朴素:HttpClient 负责网络,jsoup 负责标记结构,只有在渲染不可避免时才使用 Playwright。
何时 Java 是错误的工具?
当抓取器位于现有 JVM 服务中,且你需要与平台其余部分相同的可观测性和部署方式时,使用 Java。编写一次性单文件抓取器时则应避免使用它,因为繁琐配置的成本高于任务本身。
决定因素是维护,而非能力。用团队日常使用的语言编写的抓取器能经受下一次标记结构变更;用陌生语言写出的巧妙抓取器则会在首次故障时被弃用。如果坦诚的答案是 Java 不适合这项工作,那么在其他地方用小型抓取器写入同一个数据库是一种正当的设计,而不是失败。
有两件事不在本页讨论,因为它们在每种语言中都相同,在此重复只会更难保持更新。会话和轮换规则,包括为什么一次访问过程必须保持一个粘性出口,见代理轮换最佳实践。请求被拒绝时应如何处理,以及如何区分网络问题与客户端问题,见抓取时的 403 Forbidden;法律框架见网页抓取是否正当。
关于出口本身:公开页面使用轮换住宅代理,访问过程使用粘性代理,API 和开放数据使用数据中心代理。DataImpulse 住宅代理在 195 个国家提供每 GB $1 的服务,且包含国家定向功能,比较见最适合网页抓取的代理。
常见问题
如何在 Java 中设置代理?
应在客户端对象上配置,而不是每个请求单独配置:使用 Java 11 起的 java.net.http.HttpClient,一次设置代理主机、端口和凭据,再复用该客户端。复用可保持连接池、cookie 存储和出口地址的一致性,这正是让会话看起来连贯的关键。
Java 中应使用哪个库进行解析?
jsoup 是实用的默认选择。将解析和抓取分开:客户端负责网络,解析器负责标记结构,因此发生故障时能立刻知道是哪一方出了问题。
Java 是否需要无头浏览器?
仅当字段在客户端渲染时才需要。先直接抓取页面,并在 HTML 中查找一个已知值:若它存在,完全不必使用浏览器。确实需要时,Selenium 或在需要渲染时使用 Playwright for Java 是此生态中的选择,而且每页在时间和内存上的成本要高一个数量级。
HTTPS 隧道上禁用了基本认证?
这是最容易让人耗掉一个下午的问题。JDK 默认会阻止 CONNECT 隧道上的 Basic 代理认证,因此带认证的代理可用于 HTTP,却会在 HTTPS 上失败,直到你清除 jdk.http.auth.tunneling.disabledSchemes 属性。
Java 是网页抓取的好选择吗?
当抓取器位于现有 JVM 服务中,且你需要与平台其余部分相同的可观测性和部署方式时,它是好选择。编写一次性单文件抓取器时,它则是错误的选择,因为繁琐配置的成本高于任务本身。决定因素通常是维护,而不是原始能力:团队日常使用的语言所写的抓取器,才能经受下一次标记结构变更。
让 Java 客户端指向可靠出口
上面的代码片段只需改动一项凭据即可使用:DataImpulse 住宅代理在 195 个国家提供地理位置准确的出口,价格为每 GB $1,可轮换或粘性使用,并支持 HTTP、HTTPS 和 SOCKS5。创建账户,并在扩展任务前先从 Java 客户端测试一个目标。
相关文章:抓取时的 403 Forbidden · Crawl4AI 代理配置 · 在 Go、Kotlin、Scala、Perl 和 Elixir 中配置代理。
最后更新:2026 年 9 月 17 日。
