Java web scraping with proxies explained - libraries, code and pitfalls - DataImpulse

使用 Java 进行网页抓取,主要取决于你沿用的是哪种客户端。Java 11 之前编写的程序,很可能使用 Apache HttpClient 或原始 HttpURLConnection;之后的程序则可以使用带有 HTTP/2 且完全无需依赖的 java.net.http.HttpClient。解析方面的答案十年来一直很稳定:jsoup。

如果你是搜索 Java 网页抓取来到这里,简要结论是:在客户端构建器中一次性设置代理,复用该客户端,并记住 JDK 对 HTTPS 上的代理认证与 HTTP 的处理不同。正是这个细节最常导致 Java 抓取器在一个站点可用、在另一个站点失败,下面会说明修复方法。


关键事实

  • Java 技术栈:从 Java 11 起使用 java.net.http.HttpClient 进行抓取,jsoup 用于解析;需要渲染时使用 Selenium 或 Playwright for Java。
  • 代理配置是一个对象,不是每个请求一行代码。在客户端上配置一次并复用该客户端,否则会失去连接池和会话一致性。
  • 这里最耗时的错误:https 隧道上禁用了基本认证。
  • 轮换应属于会话,而非请求。一个逻辑任务应保持同一个出口;在会话中途轮换会破坏 cookie 并招致验证挑战。
  • 适合使用 Java 的场景:抓取器位于现有 JVM 服务中,并且你需要与平台其余部分相同的可观测性和部署方式。不适合的场景是编写一次性单文件抓取器,此时繁琐配置的成本高于任务本身。

如何让 Java 请求通过代理路由?

在客户端上一次配置代理,然后在会话中的每个请求中复用该客户端。以下是带认证的最小可用形式。

HttpClient client = HttpClient.newBuilder()
    .proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
    .authenticator(new Authenticator() {
        protected PasswordAuthentication getPasswordAuthentication() {
            return new PasswordAuthentication("USER", "PASS".toCharArray());
        }
    })
    .connectTimeout(Duration.ofSeconds(20))
    .build();

有三个细节比语法更重要。凭据属于网关,而不是目标站点。超时并非可选项,因为代理会增加一跳,挂起的请求会占住一个工作线程。客户端也是身份单元:同一个客户端意味着同一个连接池、同样的 cookie,以及在粘性会话中同一个出口地址。


3 阶段客户端配置是什么样的?

将三项职责分开,调试就不再靠猜测。我们称之为3 阶段客户端配置。

部分 负责内容 在 Java 中
1. 传输 连接、代理、超时、重试、TLS Java 11 起的 java.net.http.HttpClient
2. 解析 将字节转换为字段,并在标记结构变动时明确报错 jsoup
3. 调度 每个主机的并发数、节奏控制、退避、去重 你自己的工作线程池或队列,并按目标设定上限

JVM 很容易让人把这三项混在一个服务类中,结果就是一个抓取器,没人能说清故障来自网络、标记结构还是调度器。将 HttpClient、jsoup 和执行器放在不同层,意味着 403 指向其中一层,空选择器结果指向另一层,逐渐变慢则指向第三层。

抓取中断时,第一个问题是哪个部分出了问题。非 200 状态码属于传输问题。200 但字段为空,属于解析问题,或者页面是客户端渲染的。成功率在数分钟内衰减属于调度问题。把三者混进一个函数,正是许多抓取器被重写而非修复的原因。

jsoup 成为默认解析器自有其道理:CSS 选择器、宽容的 HTML 处理以及小巧的 API。只用它解析,让 HttpClient 负责网络。


Java 特有的常见问题是什么?

三个问题占据了 Java 中大部分耗时,而它们都不是目标站点在拦截你。

HTTPS 隧道上禁用了基本认证。这是最容易让人耗掉一个下午的问题。JDK 默认会阻止 CONNECT 隧道上的 Basic 代理认证,因此带认证的代理可用于 HTTP,却会在 HTTPS 上失败,直到你清除 jdk.http.auth.tunneling.disabledSchemes 属性。

并非每个版本都会为代理调用 Authenticator。不同 JDK 版本的行为已有变化。若凭据被忽略,可自行发送 Proxy-Authorization 请求头作为后备方案,并在构建中固定 JDK 版本。

jsoup 自己会进行抓取。Jsoup.connect(url) 会打开自己的连接,对你的 HttpClient 代理一无所知。请用 HttpClient 抓取,然后将字符串交给 Jsoup.parse。

这些问题都不罕见,且从外部看起来都像是抓取器被拦截了,因此人们的第一反应常常是为实际存在于客户端的问题购买代理。我们的网页抓取时的 403 Forbidden 错误指南按顺序讲解了隔离问题的步骤。


如何在 Java 中限制并发?

使用固定线程池和许可量,而不是无上限的执行器。虚拟线程让你轻易就能同时发起一万次请求,这对目标站点是拒绝服务攻击,对你而言则会触发速率限制封禁。

Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
    for (String url : urls) {
        exec.submit(() -> {
            perHost.acquire();
            try { return client.send(request(url), BodyHandlers.ofString()); }
            finally { perHost.release(); }
        });
    }
}

对于公开页面,每个主机 4 个许可是合理的起点。在获取许可之间加入抖动,并在 send 调用周围设置指数退避:连续出现 429 或 403 响应后停止整个任务,而不是对着墙壁反复重试。


哪些 Java 库值得使用?

库 用途 客观说明
java.net.http.HttpClient 从 Java 11 起处理所有网络事务 内置于 JDK,无需依赖,默认使用 HTTP/2。代理认证隧道的特殊行为是它唯一棘手之处
jsoup 解析和 CSS 选择 有充分理由作为默认选择。只用它解析,绝不要用它经由代理抓取
Apache HttpClient 5 精细的连接和代理控制 API 更重;当你需要按路由划分的连接池或 NTLM 时值得使用
Playwright for Java 客户端渲染的页面 真实浏览器,真实成本。只留给确实需要它的那部分页面
HtmlUnit 旧式无头浏览 对于现代站点大多没有出路;它的 JavaScript 引擎落后于真实浏览器

经得起维护的组合刻意保持朴素:HttpClient 负责网络,jsoup 负责标记结构,只有在渲染不可避免时才使用 Playwright。


何时 Java 是错误的工具?

当抓取器位于现有 JVM 服务中,且你需要与平台其余部分相同的可观测性和部署方式时,使用 Java。编写一次性单文件抓取器时则应避免使用它,因为繁琐配置的成本高于任务本身。

决定因素是维护,而非能力。用团队日常使用的语言编写的抓取器能经受下一次标记结构变更;用陌生语言写出的巧妙抓取器则会在首次故障时被弃用。如果坦诚的答案是 Java 不适合这项工作,那么在其他地方用小型抓取器写入同一个数据库是一种正当的设计,而不是失败。

有两件事不在本页讨论,因为它们在每种语言中都相同,在此重复只会更难保持更新。会话和轮换规则,包括为什么一次访问过程必须保持一个粘性出口,见代理轮换最佳实践。请求被拒绝时应如何处理,以及如何区分网络问题与客户端问题,见抓取时的 403 Forbidden;法律框架见网页抓取是否正当。

关于出口本身:公开页面使用轮换住宅代理,访问过程使用粘性代理,API 和开放数据使用数据中心代理。DataImpulse 住宅代理在 195 个国家提供每 GB $1 的服务,且包含国家定向功能,比较见最适合网页抓取的代理。


常见问题

如何在 Java 中设置代理?

应在客户端对象上配置,而不是每个请求单独配置:使用 Java 11 起的 java.net.http.HttpClient,一次设置代理主机、端口和凭据,再复用该客户端。复用可保持连接池、cookie 存储和出口地址的一致性,这正是让会话看起来连贯的关键。

Java 中应使用哪个库进行解析?

jsoup 是实用的默认选择。将解析和抓取分开:客户端负责网络,解析器负责标记结构,因此发生故障时能立刻知道是哪一方出了问题。

Java 是否需要无头浏览器?

仅当字段在客户端渲染时才需要。先直接抓取页面,并在 HTML 中查找一个已知值:若它存在,完全不必使用浏览器。确实需要时,Selenium 或在需要渲染时使用 Playwright for Java 是此生态中的选择,而且每页在时间和内存上的成本要高一个数量级。

HTTPS 隧道上禁用了基本认证?

这是最容易让人耗掉一个下午的问题。JDK 默认会阻止 CONNECT 隧道上的 Basic 代理认证,因此带认证的代理可用于 HTTP,却会在 HTTPS 上失败,直到你清除 jdk.http.auth.tunneling.disabledSchemes 属性。

Java 是网页抓取的好选择吗?

当抓取器位于现有 JVM 服务中,且你需要与平台其余部分相同的可观测性和部署方式时,它是好选择。编写一次性单文件抓取器时,它则是错误的选择,因为繁琐配置的成本高于任务本身。决定因素通常是维护,而不是原始能力:团队日常使用的语言所写的抓取器,才能经受下一次标记结构变更。


让 Java 客户端指向可靠出口

上面的代码片段只需改动一项凭据即可使用:DataImpulse 住宅代理在 195 个国家提供地理位置准确的出口,价格为每 GB $1,可轮换或粘性使用,并支持 HTTP、HTTPS 和 SOCKS5。创建账户,并在扩展任务前先从 Java 客户端测试一个目标。

相关文章:抓取时的 403 Forbidden · Crawl4AI 代理配置 · 在 Go、Kotlin、Scala、Perl 和 Elixir 中配置代理。

最后更新:2026 年 9 月 17 日。


Share article: