Neste artigo
Web scraping com Java é, em grande parte, uma questão de qual cliente você herdou. Tudo o que foi escrito antes do Java 11 provavelmente usa Apache HttpClient ou HttpURLConnection puro; tudo o que veio depois pode usar java.net.http.HttpClient com HTTP/2 e sem nenhuma dependência. A resposta para parsing permanece estável há uma década: jsoup.
Se você chegou aqui procurando por web scraping com java, a versão curta é esta: configure o proxy uma vez no construtor do cliente, reutilize esse cliente e lembre-se de que o JDK trata a autenticação de proxy por HTTPS de modo diferente de HTTP. Esse último detalhe é o motivo mais comum de um scraper Java funcionar em um site e falhar em outro, e a correção está explicada abaixo.
Fatos principais
- A stack em Java: java.net.http.HttpClient a partir do Java 11 para buscar dados, jsoup para parsing e Selenium ou Playwright para Java quando a renderização for necessária.
- A configuração de proxy é um objeto, não uma linha por solicitação. Configure-a uma vez no cliente e reutilize esse cliente, ou você perde o pool de conexões e a coerência da sessão.
- O erro que mais custa tempo aqui: a autenticação básica é desativada em túneis HTTPS.
- A rotação pertence à sessão, não à solicitação. Uma tarefa lógica mantém uma única saída; fazer rotação no meio da sessão quebra cookies e provoca desafios.
- Use Java quando o crawler estiver dentro de um serviço JVM existente e você precisar da mesma observabilidade e da mesma estratégia de implantação do restante da plataforma. Evite-o ao escrever um scraper descartável de um único arquivo, em que a formalidade custa mais do que o trabalho.
Como direcionar solicitações Java por um proxy?
Configure o proxy uma vez no cliente e reutilize esse cliente em cada solicitação da sessão. Esta é a forma mínima funcional com autenticação.
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("gw.dataimpulse.com", 823)))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("USER", "PASS".toCharArray());
}
})
.connectTimeout(Duration.ofSeconds(20))
.build();
Três detalhes importam mais do que a sintaxe. As credenciais pertencem ao gateway, não ao site de destino. O timeout não é opcional, porque um proxy adiciona um salto e uma solicitação travada ocupa um worker. E o cliente é a unidade de identidade: o mesmo cliente significa o mesmo pool de conexões, os mesmos cookies e, com uma sticky session, o mesmo endereço de saída.
Como é a configuração de cliente em 3 etapas?
Mantenha três responsabilidades separadas, e a depuração deixa de ser um jogo de adivinhação. Chamamos isso de configuração de cliente em 3 etapas.
| Parte | Do que cuida | Em Java |
|---|---|---|
| 1. Transporte | Conexão, proxy, timeouts, tentativas, TLS | java.net.http.HttpClient a partir do Java 11 |
| 2. Parsing | Transformar bytes em campos e falhar de forma clara quando a marcação mudou | jsoup |
| 3. Agendamento | Concorrência por host, cadência, backoff, deduplicação | Seu próprio pool de workers ou fila, limitado por destino |
A JVM facilita misturar esses três elementos em uma única classe de serviço, e o resultado é um crawler em que ninguém sabe dizer se uma falha veio da rede, da marcação ou do agendador. Manter HttpClient, jsoup e seu executor em camadas separadas significa que um 403 aponta para um deles, um resultado vazio de seletor para outro e uma degradação lenta para o terceiro.
Quando um scraping falha, a primeira pergunta é qual parte falhou. Um status diferente de 200 é transporte. Um 200 com campos vazios é parsing, ou uma página renderizada no lado do cliente. Sucesso que se deteriora ao longo de minutos é agendamento. Misturar as três coisas em uma função é o motivo de tantos scrapers serem reescritos em vez de corrigidos.
jsoup é o parser padrão por um motivo: seletores CSS, tratamento tolerante de HTML e uma API pequena. Use-o apenas para parsing e deixe o HttpClient cuidar da rede.
O que dá errado especificamente em Java?
Três problemas respondem pela maior parte do tempo perdido em Java, e nenhum deles é o bloqueio do destino.
A autenticação básica é desativada em túneis HTTPS. Este é o problema que toma uma tarde das pessoas. O JDK bloqueia por padrão a autenticação Basic de proxy em túneis CONNECT, então um proxy autenticado funciona para HTTP e falha para HTTPS até você limpar a propriedade jdk.http.auth.tunneling.disabledSchemes.
O Authenticator não é chamado para proxies em todas as versões. O comportamento mudou entre versões do JDK. Se as credenciais forem ignoradas, envie você mesmo o cabeçalho Proxy-Authorization como alternativa e fixe a versão do JDK no build.
jsoup busca por conta própria. Jsoup.connect(url) abre sua própria conexão e não sabe nada sobre seu proxy HttpClient. Busque com HttpClient e depois passe a string para Jsoup.parse.
Nenhum desses problemas é exótico, e todos parecem um scraper bloqueado vistos de fora, razão pela qual a primeira resposta costuma ser comprar proxies para um problema que está no cliente. Nosso guia sobre erros 403 Forbidden ao fazer scraping apresenta as etapas de isolamento em ordem.
Como limitar a concorrência em Java?
Use um pool fixo e uma permissão, não um executor sem limite. Threads virtuais tornam extremamente fácil iniciar dez mil solicitações de uma vez, o que é uma negação de serviço contra seu destino e um bloqueio por limite de taxa para você.
Semaphore perHost = new Semaphore(4);
try (var exec = Executors.newVirtualThreadPerTaskExecutor()) {
for (String url : urls) {
exec.submit(() -> {
perHost.acquire();
try { return client.send(request(url), BodyHandlers.ofString()); }
finally { perHost.release(); }
});
}
}
Quatro permissões por host são um ponto de partida sensato para páginas públicas. Adicione variação entre as aquisições e coloque um backoff exponencial em torno da chamada de envio que interrompa todo o trabalho após uma sequência de respostas 429 ou 403, em vez de insistir contra uma barreira.
Quais bibliotecas Java valem a pena usar?
| Biblioteca | Use para | Observação franca |
|---|---|---|
| java.net.http.HttpClient | Tudo de rede, a partir do Java 11 | No JDK, sem dependência, HTTP/2 por padrão. A peculiaridade de tunelamento da autenticação de proxy é seu único ponto delicado |
| jsoup | Parsing e seleção CSS | O padrão por um bom motivo. Use-o apenas para parsing, nunca para buscar dados por um proxy |
| Apache HttpClient 5 | Controle detalhado de conexão e proxy | API mais pesada, vale a pena quando você precisa de pools de conexão por rota ou NTLM |
| Playwright for Java | Páginas renderizadas no lado do cliente | Navegador real, custo real. Reserve-o para o subconjunto de páginas que precisa dele |
| HtmlUnit | Navegação headless legada | Em grande parte, um beco sem saída para sites modernos; seu motor JavaScript fica atrás dos navegadores reais |
A combinação que sobrevive à manutenção é deliberadamente simples: HttpClient para a rede, jsoup para a marcação e Playwright apenas quando a renderização for inevitável.
Quando Java é a ferramenta errada?
Use Java quando o crawler estiver dentro de um serviço JVM existente e você precisar da mesma observabilidade e da mesma estratégia de implantação do restante da plataforma. Evite-o ao escrever um scraper descartável de um único arquivo, em que a formalidade custa mais do que o trabalho.
O fator decisivo é a manutenção, não a capacidade. Um crawler escrito na linguagem que sua equipe usa diariamente sobrevive à próxima mudança de marcação; um sofisticado em uma linguagem desconhecida é abandonado na primeira quebra. Se a resposta honesta for que Java não é o lugar certo para esse trabalho, um pequeno crawler em outro lugar gravando no mesmo banco de dados é um projeto justificável, não uma derrota.
Duas coisas ficam fora desta página porque são iguais em todas as linguagens, e repeti-las aqui apenas tornaria mais difícil mantê-las atualizadas. As regras de sessão e rotação, incluindo por que uma jornada deve manter uma única saída sticky, estão em boas práticas de rotação de proxy. O que fazer quando uma solicitação é recusada e como distinguir um problema de rede de um problema de cliente estão em 403 Forbidden ao fazer scraping, e o enquadramento jurídico está em web scraping é legítimo.
Sobre a própria saída: proxies residenciais com rotação para páginas públicas, sticky para jornadas, de datacenter para APIs e dados abertos. DataImpulse residential custa $1 por GB em 195 países, com direcionamento por país incluído, e a comparação está em melhores proxies para web scraping.
Perguntas frequentes
Como configuro um proxy em Java?
Configure-o no objeto cliente em vez de em cada solicitação: com java.net.http.HttpClient a partir do Java 11, você define o host, a porta e as credenciais do proxy uma vez e depois reutiliza esse cliente. Reutilizá-lo mantém o pool de conexões, o armazenamento de cookies e o endereço de saída consistentes, o que faz uma sessão parecer coerente.
Qual biblioteca devo usar para parsing em Java?
jsoup é o padrão prático. Mantenha o parsing separado da busca: o cliente cuida da rede e o parser cuida da marcação, de modo que uma falha informa imediatamente qual dos dois apresentou problema.
Preciso de um navegador headless para Java?
Apenas quando os campos forem renderizados no lado do cliente. Busque a página normalmente e pesquise primeiro no HTML por um valor conhecido: se ele estiver lá, dispense totalmente o navegador. Quando precisar de um, Selenium ou Playwright para Java, quando a renderização for necessária, são a opção neste ecossistema e custam uma ordem de grandeza a mais por página em tempo e memória.
A autenticação básica é desativada em túneis HTTPS?
Este é o problema que toma uma tarde das pessoas. O JDK bloqueia por padrão a autenticação Basic de proxy em túneis CONNECT, então um proxy autenticado funciona para HTTP e falha para HTTPS até você limpar a propriedade jdk.http.auth.tunneling.disabledSchemes.
Java é uma boa escolha para web scraping?
É uma boa escolha quando o crawler estiver dentro de um serviço JVM existente e você precisar da mesma observabilidade e da mesma estratégia de implantação do restante da plataforma. É a escolha errada ao escrever um scraper descartável de um único arquivo, em que a formalidade custa mais do que o trabalho. O fator decisivo costuma ser a manutenção, e não a capacidade bruta: o scraper escrito na linguagem que sua equipe usa diariamente é aquele que sobrevive à próxima mudança de marcação.
Aponte seu cliente Java para uma saída confiável
O trecho acima funciona com uma mudança de credenciais: DataImpulse residential oferece saídas geograficamente precisas por $1 por GB em 195 países, com rotação ou sticky, por HTTP, HTTPS e SOCKS5. Crie uma conta e teste um destino usando seu cliente Java antes de ampliar o trabalho.
Relacionado: 403 Forbidden ao fazer scraping · configuração de proxy do Crawl4AI · configuração de proxy em Go, Kotlin, Scala, Perl e Elixir.
Última atualização: 17 de setembro de 2026.
