本文内容
这是一篇参考页面,而非教程:它介绍五种受众规模较小的语言中可用的抓取代理配置,为它们分别撰写指南只会把同样的内容重复五遍。Go、Kotlin、Scala、Perl 和 Elixir,涵盖代码、库的选择,以及每种语言中最耗时的一个陷阱。
适用于所有语言的规则相同。网页抓取的代理应配置在客户端对象上,只配置一次并重复使用,因为客户端承载着连接池、Cookie 罐,以及使用 sticky session 时的出口地址。每个请求都新建客户端,会把这三者全都丢掉。
关键要点
- 一条规则适用于这里的每种语言:在客户端对象上配置一次代理并复用该客户端,因为客户端承载连接池、Cookie 和出口身份。
- Go:使用带 http.ProxyURL 的 http.Transport,爬虫功能使用 colly。陷阱是 http.Client 没有默认超时。
- Kotlin:使用带 proxyAuthenticator 的 OkHttp。陷阱是认证器永不返回 null,在密码错误时循环。
- Scala:使用带后端选项的 sttp。陷阱是 JDK 会在 HTTPS 隧道上禁用 Basic 代理认证。
- Perl 和 Elixir:LWP 会遵从环境中的 HTTPS_PROXY,并可能覆盖你的代码;在 Elixir 中,代理选项属于适配器,而不属于 Req。
适用于这里每种语言的 3 部分规则
将传输、解析和调度分成不同层,抓取失败时你就能知道它在哪一层出错。
| 部分 | 负责内容 | 失败时的症状 |
|---|---|---|
| 1. 传输 | 连接、代理、超时、重试、TLS | 非 200 状态、超时、TLS 错误 |
| 2. 解析 | 将字节转换为字段,并在标记变动时明确报错 | 200 但字段为空 |
| 3. 调度 | 每个主机的并发量、节奏控制、退避 | 数分钟内成功率逐渐下降 |
下面每种语言都以不同名称实现相同的三部分。五种语言的代理都位于传输部分。
Go:代理设置、库与应避免的陷阱
技术栈:抓取使用带自定义 http.Transport 的 net/http,解析使用 goquery,或使用完整爬虫 colly;页面需要 JavaScript 时使用 chromedp。
proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
resp, err := client.Get("https://example.com")
没有默认超时。未设置 Timeout 的 http.Client 会无限等待。一个卡住的主机就能阻塞工作池,而你看到的所有指标仍会显得正常。
未关闭的响应体。每个响应体都必须关闭,否则连接不会回到池中,数千次请求后吞吐量会悄然崩塌。
colly 可替你处理爬虫相关问题:它提供用于轮换的代理切换器、按域名设置的速率限制和内置队列,因此在自己编写调度器前可先考虑它。
适合使用 Go 的情况:Go 已是你的技术栈,需要内存可预测的高并发,并且希望在爬虫机器上使用单个静态二进制文件。不适合的情况:目标的大多数页面需要真实浏览器,此时 Python 和 Node 生态拥有更成熟的工具。
Kotlin:代理设置、库与应避免的陷阱
技术栈:抓取使用 OkHttp,若已在使用 Ktor 则使用 Ktor client;解析使用 jsoup;需要渲染时在 JVM 上使用 Playwright 或 Selenium。
val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
.proxy(proxy)
.proxyAuthenticator { _, response ->
response.request.newBuilder()
.header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
.build()
}
.callTimeout(Duration.ofSeconds(30))
.build()
密码错误时认证器会无限循环。OkHttp 会不断重试认证器,直到放弃。第一次失败后返回 null,否则错误凭据会变成请求风暴。
一个客户端,多个会话。OkHttp 会在调用之间共享连接池和 Cookie 罐。若要维持每个会话的身份,请为每个会话创建客户端,或安装由你控制的 Cookie 罐。
如果你退回使用 JDK 客户端,Java 遇到的 JDK 隧道规则在此同样适用:通过 HTTPS 的 Basic 代理认证需要清除禁用方案属性。OkHttp 自己的认证器可避开此问题。
适合使用 Kotlin 的情况:你使用 JVM,希望获得协程和现代 API,又不想面对 Java 的繁琐。不适合的情况:团队没有 JVM 经验,因为部署方面会主导代码工作。
Scala:代理设置、库与应避免的陷阱
技术栈:抓取使用你选择的 sttp 后端,解析使用 Scala 中的 jsoup 或 scala-scraper;若页面在客户端渲染,则在 JVM 上使用 Playwright。
import sttp.client3._
val backend = HttpClientSyncBackend(
options = SttpBackendOptions.httpProxy(
"gw.dataimpulse.com", 823, "USER", "PASS")
)
val response = basicRequest
.get(uri"https://example.com")
.readTimeout(30.seconds)
.send(backend)
后端决定一切。sttp 是一个接口;代理支持、超时和流式处理取决于你选择的后端。遇到异常行为时,应阅读该后端的文档,而非 sttp 的文档。
又是 JDK 隧道问题。如果后端封装 JDK 客户端,默认会禁用通过 HTTPS 的 Basic 代理认证,需要清除 jdk.http.auth.tunneling.disabledSchemes 属性。
scala-scraper 使用 Scala API 封装 jsoup;如果解析工作不止少数几个选择器,它值得使用。
适合使用 Scala 的情况:爬虫为已使用 Scala 的 Spark 或流处理管道提供数据,且背压很重要。不适合的情况:任务只是简单的抓取和解析,且没有下游管道。
Perl:代理设置、库与应避免的陷阱
技术栈:抓取使用 LWP::UserAgent,或使用带现代 API 的 Mojo::UserAgent;解析使用 HTML::TreeBuilder 或 Mojo::DOM;无需进程内方案,需渲染时调用外部工具。
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;
# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
->https('http://USER:[email protected]:823');
通过代理使用 HTTPS 需要正确模块。LWP 需要 LWP::Protocol::https 和可用的 IO::Socket::SSL,它还会遵从 HTTPS_PROXY 环境变量,该变量会悄然覆盖你在代码中设置的内容。
环境变量会悄然胜出。env_proxy 会获取你遗忘的系统设置。请明确设置代理,并在计划任务中清除环境,以免主机级设置重定向你的流量。
Mojo::UserAgent 通过一个依赖项提供非阻塞请求和类似 jQuery 的 DOM API,因此它是新 Perl 抓取器更好的起点。
适合使用 Perl 的情况:Perl 是周边系统所用的语言,通常用于长期运行的运维和数据工具。不适合的情况:你刚开始搭建项目,技术栈中没有 Perl。
Elixir:代理设置、库与应避免的陷阱
技术栈:抓取使用构建在 Finch 之上的 Req,解析使用 Floki,需要渲染时使用 Wallaby 或外部浏览器服务。
Req.get!("https://example.com",
connect_options: [
proxy: {:http, "gw.dataimpulse.com", 823, []},
proxy_headers: [
{"proxy-authorization",
"Basic " <> Base.encode64("USER:PASS")}
]
],
receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()
代理选项属于适配器。Req 会将 connect_options 传递给 Finch 和 Mint。若使用较旧的 HTTPoison 或 hackney 技术栈,选项结构不同,因此复制的片段常会悄然失败。
每个 URL 一个进程不是方案。为每个链接启动 Task 会同时发起所有请求。按主机确定大小的、带 max_concurrency 的 Task.async_stream 才是符合惯例的限制方式。
Floki 的 CSS 选择器让解析保持声明式,Req 内置的重试和重定向处理消除了人们手写的大多数样板代码。
适合使用 Elixir 的情况:爬虫运行在现有 Elixir 或 Phoenix 系统中,并且你希望免费获得监督和并发。不适合的情况:你需要浏览器占主导的管道,其生态比 Node 或 Python 更薄弱。
实际应使用哪种语言?
决定因素是可维护性,而非能力。团队每天使用的语言所写的爬虫能经受下一次标记变更;用陌生语言巧妙写成的爬虫会在第一次故障时被弃置。
| 语言 | 最适合 | 最弱环节 |
|---|---|---|
| Go | 内存可预测的高并发,单个静态二进制文件 | 浏览器渲染工具不如 Python 或 Node 丰富 |
| Kotlin | 希望协程和现代 API 的 JVM 团队 | 小型任务的部署负担 |
| Scala | 为 Spark 或流处理管道提供数据的爬虫 | 行为依赖后端,设置门槛较高 |
| Perl | 既有运维和数据工具已使用 Perl | 没有实用的进程内浏览器 |
| Elixir | 希望免费获得监督和并发的 Phoenix 系统 | 浏览器自动化生态薄弱 |
如果你的语言不在这里,同样适用三部分规则:我们的单独指南涵盖 Java、C#、PHP、R、C++、VBA 和 Excel以及 JavaScript。
哪些内容在各处相同,界限又在哪里?
有三件事不会因语言而改变。会话拥有出口,因此跨页面的访问过程在整个生命周期中保持一个 sticky 地址:规则见 代理轮换最佳实践。拒绝访问应视为需要诊断的决定,而非重试,我们的 抓取时出现 403 Forbidden 指南会按顺序说明。代理只会更改出口地址:它不能执行 JavaScript、修复不一致的客户端,也不能让激进的速率变得可接受。
关于规则:请遵守 robots.txt 和网站条款,优先使用官方 API,不要触及任何登录后内容,并将个人数据视作合法依据问题,而非解析问题。我们不涵盖 CAPTCHA 求解或绕过访问控制。本文为一般信息,不构成法律建议:请参阅 网页抓取是否合法。
常见问题
如何在 Go 中设置代理?
解析带凭据的代理 URL,将 http.ProxyURL 放在 http.Transport 上,并为 http.Client 设置明确超时,因为它默认没有超时。复用该客户端,以保持连接池和任何 sticky session 完好。
为什么我的 Kotlin OkHttp 代理认证器会循环?
因为 OkHttp 会持续调用认证器,直至成功或放弃。第一次失败后返回 null,这样错误凭据会快速失败,而不会变成针对网关的请求风暴。
为什么 JVM 上的 Basic 代理认证通过 HTTPS 会失败?
JDK 默认会在 CONNECT 隧道上禁用 Basic 认证,因此已认证代理可用于 HTTP 却无法用于 HTTPS。清除 jdk.http.auth.tunneling.disabledSchemes 属性,或使用像 OkHttp 这样自行发送 Proxy-Authorization 标头的客户端。
为什么我的 Perl 脚本忽略了我设置的代理?
LWP 会遵从 HTTPS_PROXY 和 HTTP_PROXY 环境变量,而 env_proxy 会获取你可能不知道的主机级设置。在代码中明确设置代理,并在计划任务中清除环境,以免机器设置重定向你的流量。
Elixir 中的代理选项应放在哪里?
应放在适配器上,而非 Req 自身:connect_options 会传递给 Finch 和 Mint,这就是为旧版基于 hackney 的技术栈编写的片段会悄然无效的原因。使选项结构与实际使用的适配器匹配。
一组凭据,适用于以上所有语言
本页每个片段都可使用 DataImpulse 网关凭据:覆盖 195 个国家的住宅出口,每 GB $1,提供轮换或 sticky session,支持 HTTP、HTTPS 和 SOCKS5,并包含国家定位。创建账户,并在扩展前先从自己的客户端测试一个目标。
相关内容:用于网页抓取的代理 · Crawl4AI 代理设置 · 网页抓取用例。
最后更新:2026 年 9 月 17 日。
