Neste artigo
Esta é uma página de referência, não um tutorial: a configuração de proxy funcional para fazer scraping da web em cinco linguagens cujo público é pequeno o suficiente para que um guia separado para cada uma repetisse a mesma coisa cinco vezes. Go, Kotlin, Scala, Perl e Elixir, com o código, a escolha da biblioteca e a armadilha que mais consome tempo em cada uma.
A regra que vale para todas é a mesma. A configuração de proxy para web scraping deve ficar no objeto cliente, configurado uma vez e reutilizado, porque esse cliente é quem mantém o pool de conexões, o armazenamento de cookies e, com uma sticky session, o endereço de saída. Qualquer coisa que cria um cliente novo por requisição descarta os três.
Fatos principais
- Uma regra abrange todas as linguagens aqui: configure o proxy uma vez no objeto cliente e reutilize esse cliente, porque ele mantém o pool de conexões, os cookies e a identidade de saída.
- Go: http.Transport com http.ProxyURL, colly para as necessidades do crawler. A armadilha é que http.Client não tem timeout padrão.
- Kotlin: OkHttp com um proxyAuthenticator. A armadilha é um autenticador que nunca retorna null e entra em loop com uma senha incorreta.
- Scala: sttp com opções de backend. A armadilha é o JDK desabilitar a autenticação Basic de proxy em túneis HTTPS.
- Perl e Elixir: LWP respeita HTTPS_PROXY do ambiente e pode substituir seu código; no Elixir, as opções de proxy pertencem ao adaptador, não a Req.
A regra de 3 partes que vale para todas as linguagens aqui
Mantenha transporte, parsing e agendamento em camadas separadas, e um scraping quebrado indicará onde ele falhou.
| Parte | Responsável por | Sintoma quando falha |
|---|---|---|
| 1. Transporte | Conexão, proxy, timeouts, tentativas, TLS | Status diferente de 200, timeouts, erros de TLS |
| 2. Parsing | Converter bytes em campos e falhar claramente quando a marcação muda | 200 com campos vazios |
| 3. Agendamento | Concorrência por host, ritmo, backoff | Sucesso que se deteriora ao longo de minutos |
Todas as linguagens abaixo implementam as mesmas três partes com nomes diferentes. A seção de transporte é onde fica o proxy nas cinco.
Go: configuração de proxy, bibliotecas e a armadilha a evitar
Tecnologias: net/http com um http.Transport personalizado para buscar páginas, goquery ou colly para um rastreador completo e parsing, chromedp quando uma página precisa de JavaScript.
proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
resp, err := client.Get("https://example.com")
Sem timeout padrão. Um http.Client sem Timeout espera para sempre. Um host travado paralisa um pool de workers que parece saudável em todas as métricas disponíveis.
Corpos não fechados. Todo corpo de resposta deve ser fechado, ou a conexão nunca retorna ao pool e a taxa de processamento cai silenciosamente após alguns milhares de requisições.
colly cuida das necessidades do rastreador para você: tem um alternador de proxy para rotação, limites de taxa por domínio e uma fila integrada, então use-o antes de escrever seu próprio agendador.
Use Go quando Go já fizer parte do seu conjunto de tecnologias, você precisar de alta concorrência com memória previsível e quiser um único binário estático na máquina do rastreador. Evite-o quando o alvo precisar de um navegador real na maior parte das páginas, caso em que os ecossistemas Python e Node têm ferramentas mais maduras.
Kotlin: configuração de proxy, bibliotecas e a armadilha a evitar
Tecnologias: OkHttp ou cliente Ktor se você já usa Ktor para buscar páginas, jsoup para parsing, Playwright ou Selenium na JVM quando é necessário renderizar.
val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
.proxy(proxy)
.proxyAuthenticator { _, response ->
response.request.newBuilder()
.header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
.build()
}
.callTimeout(Duration.ofSeconds(30))
.build()
O autenticador entra em loop para sempre com uma senha incorreta. OkHttp tenta novamente o autenticador até desistir. Retorne null após a primeira tentativa malsucedida, ou uma credencial errada vira uma tempestade de requisições.
Um cliente, muitas sessões. OkHttp compartilha seu pool de conexões e armazenamento de cookies entre chamadas. Para uma identidade por sessão, crie um cliente por sessão ou instale um armazenamento de cookies sob seu controle.
A regra de tunelamento do JDK que causa problemas no Java também vale aqui se você recorrer ao cliente JDK: a autenticação Basic de proxy por HTTPS precisa ter a propriedade de esquemas desabilitados removida. O próprio autenticador do OkHttp evita isso.
Use Kotlin quando você estiver na JVM e quiser corrotinas e uma API moderna sem a formalidade do Java. Evite-o quando a equipe não tiver experiência com JVM, pois a implantação domina o código.
Scala: configuração de proxy, bibliotecas e a armadilha a evitar
Tecnologias: sttp com a infraestrutura que você escolher para buscar páginas, jsoup a partir de Scala ou scala-scraper para parsing, Playwright na JVM se as páginas forem renderizadas no cliente.
import sttp.client3._
val backend = HttpClientSyncBackend(
options = SttpBackendOptions.httpProxy(
"gw.dataimpulse.com", 823, "USER", "PASS")
)
val response = basicRequest
.get(uri"https://example.com")
.readTimeout(30.seconds)
.send(backend)
A infraestrutura decide tudo. sttp é uma interface; suporte a proxy, timeouts e transmissão contínua vêm da infraestrutura escolhida. Leia a documentação dessa infraestrutura, e não a de sttp, quando algo se comportar de modo estranho.
Novamente, o tunelamento do JDK. Se a infraestrutura encapsular o cliente JDK, a autenticação Basic de proxy por HTTPS vem desabilitada por padrão e exige remover a propriedade jdk.http.auth.tunneling.disabledSchemes.
scala-scraper encapsula jsoup com uma API Scala e vale a pena se seu parsing tiver mais que alguns seletores.
Use Scala quando o rastreador alimentar um pipeline Spark ou de transmissão contínua que já seja Scala e o controle de pressão for importante. Evite-o quando a tarefa for apenas buscar e analisar, sem pipeline posterior.
Perl: configuração de proxy, bibliotecas e a armadilha a evitar
Tecnologias: LWP::UserAgent ou Mojo::UserAgent para uma API moderna de busca, HTML::TreeBuilder ou Mojo::DOM para parsing, nenhum recurso no processo; chame uma ferramenta externa quando for necessário renderizar.
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;
# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
->https('http://USER:[email protected]:823');
HTTPS por meio de um proxy exige os módulos certos. LWP precisa de LWP::Protocol::https e de um IO::Socket::SSL funcional, e também respeita a variável de ambiente HTTPS_PROXY, que substitui silenciosamente o que você definiu no código.
Variáveis de ambiente vencem silenciosamente. env_proxy obtém configurações de sistema das quais você se esqueceu. Defina proxies explicitamente e, em tarefas agendadas, limpe o ambiente para que uma configuração de nível de host não redirecione seu tráfego.
Mojo::UserAgent oferece requisições não bloqueantes e uma API DOM semelhante ao jQuery em uma dependência, o que o torna o melhor ponto de partida para novos rastreadores em Perl.
Use Perl quando Perl for a linguagem do sistema ao redor, normalmente em ferramentas de operações e dados de longa duração. Evite-o quando você estiver começando do zero sem Perl no conjunto de tecnologias.
Elixir: configuração de proxy, bibliotecas e a armadilha a evitar
Tecnologias: Req sobre Finch para buscar páginas, Floki para parsing, Wallaby ou um serviço de navegador externo quando for necessário renderizar.
Req.get!("https://example.com",
connect_options: [
proxy: {:http, "gw.dataimpulse.com", 823, []},
proxy_headers: [
{"proxy-authorization",
"Basic " <> Base.encode64("USER:PASS")}
]
],
receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()
As opções de proxy pertencem ao adaptador. Req passa connect_options para Finch e Mint. Se você usar uma estrutura HTTPoison ou hackney mais antiga, o formato das opções será diferente, por isso trechos copiados frequentemente falham em silêncio.
Um processo por URL não é um plano. Criar uma Task por link inicia todas as requisições de uma vez. Task.async_stream com max_concurrency, dimensionado por host, é o limite idiomático.
Floki com seletores CSS mantém o parsing declarativo, e as tentativas e o tratamento de redirecionamentos integrados de Req eliminam a maior parte do código repetitivo que as pessoas escrevem à mão.
Use Elixir quando o rastreador rodar dentro de um sistema Elixir ou Phoenix existente e você quiser supervisão e concorrência sem custo adicional. Evite-o quando precisar de um pipeline intensivo em navegador, pois o ecossistema é menos amplo que no Node ou Python.
Qual linguagem você deve realmente usar?
O fator decisivo é a manutenção, não a capacidade. Um crawler na linguagem que sua equipe escreve todos os dias sobrevive à próxima mudança de marcação; um inteligente em uma linguagem desconhecida é abandonado na primeira quebra.
| Linguagem | Melhor uso | Ponto mais fraco |
|---|---|---|
| Go | Alta concorrência com memória previsível, binário estático único | As ferramentas de renderização em navegador são menos amplas que em Python ou Node |
| Kotlin | Equipes JVM que querem corrotinas e uma API moderna | Peso da implantação para uma tarefa pequena |
| Scala | Rastreadores que alimentam pipelines Spark ou de transmissão contínua | Comportamento dependente da infraestrutura e configuração complexa |
| Perl | Ferramentas existentes de operações e dados já em Perl | Sem navegador prático no processo |
| Elixir | Sistemas Phoenix que querem supervisão e concorrência sem custo adicional | Ecossistema limitado de automação de navegador |
Se sua linguagem não estiver aqui, a mesma regra de três partes vale: nossos guias separados abordam Java, C#, PHP, R, C++, VBA e Excel e JavaScript.
O que é igual em todo lugar e quais são os limites?
Três coisas não mudam com a linguagem. As sessões mantêm as saídas, então uma jornada entre páginas conserva um endereço sticky durante toda a sua existência: as regras estão em boas práticas de rotação de proxy. Uma recusa é uma decisão a ser diagnosticada, e não repetida, conforme nosso guia sobre 403 Forbidden ao fazer scraping explica em ordem. E um proxy muda apenas o endereço de saída: não executa JavaScript, não corrige um cliente inconsistente nem torna aceitável uma taxa agressiva.
Sobre as regras: respeite robots.txt e os termos dos sites, prefira APIs oficiais, fique fora de qualquer conteúdo por trás de login e trate dados pessoais como uma questão de base legal, não de parsing. Não abordamos a resolução de CAPTCHA nem a superação de controles de acesso. Informações gerais, não aconselhamento jurídico: veja web scraping é legal?.
Perguntas frequentes
Como configuro um proxy em Go?
Analise a URL do proxy com credenciais, coloque http.ProxyURL em um http.Transport e dê ao http.Client um timeout explícito, pois ele não tem um por padrão. Reutilize esse cliente para que o pool de conexões e qualquer sticky session permaneçam intactos.
Por que o autenticador de proxy OkHttp no Kotlin entra em loop?
Porque OkHttp continua chamando o autenticador até ter sucesso ou desistir. Retorne null após a primeira tentativa malsucedida para que uma credencial incorreta falhe rapidamente, em vez de virar uma tempestade de requisições contra o gateway.
Por que a autenticação Basic de proxy falha por HTTPS na JVM?
O JDK desabilita a autenticação Basic em túneis CONNECT por padrão, então um proxy autenticado funciona para HTTP e falha para HTTPS. Remova a propriedade jdk.http.auth.tunneling.disabledSchemes ou use um cliente como OkHttp, que envia o cabeçalho Proxy-Authorization por conta própria.
Por que meu script Perl ignora o proxy que defini?
LWP respeita as variáveis de ambiente HTTPS_PROXY e HTTP_PROXY, e env_proxy obtém configurações no nível do host das quais você talvez não saiba. Defina proxies explicitamente no código e limpe o ambiente em tarefas agendadas para que uma configuração da máquina não redirecione seu tráfego.
Onde ficam as opções de proxy no Elixir?
No adaptador, e não na própria Req: connect_options são passadas para Finch e Mint, por isso snippets escritos para stacks antigas baseadas em hackney não fazem nada silenciosamente. Faça o formato das opções corresponder ao adaptador que você realmente usa.
Uma credencial para todas as linguagens acima
Cada trecho desta página funciona com uma credencial de gateway DataImpulse: saídas residenciais a $1 por GB em 195 países, sessões rotativas ou sticky, HTTP, HTTPS e SOCKS5, com segmentação por país incluída. Crie uma conta e teste um alvo usando seu próprio cliente antes de escalar.
Relacionado: proxies para web scraping · configuração de proxy Crawl4AI · caso de uso de web scraping.
Última atualização: 17 de setembro de 2026.
