Neste artigo
Crawl4AI é um crawler de código aberto criado para transformar páginas da web em texto limpo, pronto para LLM, e dados estruturados, usando um navegador real para isso. Esse único fato determina como um proxy se encaixa: você o configura na camada do navegador, em que ele se aplica ao documento e a todos os recursos, scripts e XHR acionados pela página.
Um proxy do Crawl4AI é, portanto, uma configuração no nível do navegador com semântica de sessão associada, não uma opção por solicitação. Este guia explica onde o proxy deve ficar na pilha, como manter as sessões coerentes, como controlar a taxa sem prejudicar a vazão e como impedir que um rastreamento com suporte de LLM custe mais do que retorna.
Fatos principais
- Crawl4AI usa um navegador real, por isso o proxy é configurado na camada do navegador e se aplica a todas as solicitações feitas pela página, não apenas ao documento.
- Quatro camadas que precisam estar corretas: navegador, proxy, extração e limitação. A maior parte dos custos e bloqueios vem das duas que as pessoas ajustam por último.
- Uma sessão, uma saída. Um contexto de navegador que mantém cookies enquanto suas solicitações chegam de endereços em rotação entra em contradição e recebe desafios.
- A renderização é a parte cara, não a largura de banda. Renderize apenas as páginas que precisam disso e obtenha as demais de forma simples.
- Os custos de extração com LLM aumentam conforme o peso da página, portanto reduzir o DOM antes de ele chegar ao modelo costuma ser a maior economia individual no pipeline.
Onde o proxy deve ficar em uma execução do Crawl4AI?
Na configuração do navegador, não por solicitação. O Crawl4AI inicia um navegador e navega com ele, portanto um proxy definido no contexto do navegador roteia tudo que a página faz. Defini-lo em outro lugar produz o pior resultado possível: o documento chega por um endereço e seus scripts e chamadas de API por outro, uma contradição que qualquer sistema de detecção identifica imediatamente.
Há duas implicações práticas. Primeiro, as credenciais devem ficar na configuração de inicialização do navegador, onde o crawler pode transmiti-las, usando o host do gateway, a porta, o nome de usuário e a senha fornecidos pelo seu provedor. Segundo, uma única execução de rastreamento deve manter uma única saída durante toda a sua duração, porque o navegador conserva cookies e armazenamento local entre navegações, e eles ficam vinculados ao endereço que os obteve.
Se você rastrear vários sites em um trabalho, dê a cada um seu próprio contexto de navegador com sua própria sessão, em vez de reutilizar um contexto entre hosts não relacionados.
Como é uma configuração completa? O modelo de configuração de rastreamento em 4 camadas
O modelo de configuração de rastreamento em 4 camadas separa as configurações que as pessoas ajustam na ordem errada.
| Camada | O que ela controla | Erro comum |
|---|---|---|
| 1. Navegador | Modo headless, viewport, localidade, fuso horário, user agent, sinalizadores de automação | Uma localidade dos EUA com uma saída alemã, ou um user agent móvel em um viewport de desktop |
| 2. Proxy | Gateway, credenciais, segmentação por país, sessão rotativa versus sticky | Rotação por solicitação enquanto o navegador mantém um único armazenamento de cookies |
| 3. Extração | O que é transformado em markdown ou saída estruturada e se há uma LLM envolvida | Enviar todo o DOM a um modelo quando um escopo CSS seria suficiente |
| 4. Limitação | Concorrência, atraso, tentativas, timeouts, cache | Ajustar por último, ou não ajustar, que é o que de fato bloqueia um rastreamento |
Quando algo falhar, trabalhe da camada quatro para trás. Nove em cada dez vezes, um rastreamento que começou a falhar não encontrou uma nova defesa, mas uma taxa que antes passava despercebida.
Como manter as sessões coerentes?
Vincule um contexto de navegador a uma saída durante toda a sua vida útil e deixe o rastreamento terminar o site antes de a sessão mudar.
- Use uma sessão sticky em qualquer site cuja navegação abranja várias páginas e dê a cada site seu próprio identificador de sessão para que o estado nunca vaze entre hosts.
- Faça a localidade corresponder à geografia. Se a saída estiver na Alemanha, a localidade e o fuso horário do navegador também devem indicar Alemanha.
- Persista os cookies por contexto em vez de limpá-los entre páginas: um visitante que chega sem cookies em cada visualização de página não parece um visitante.
- Faça rotação entre execuções, não dentro delas. Endereços novos para o próximo rastreamento são saudáveis; endereços novos no meio da sessão são uma contradição.
Nosso guia de melhores práticas de rotação de proxy aborda o modelo de sessão em geral, e os mesmos princípios se aplicam ao Playwright e ao Puppeteer, que estão por trás de muitos crawlers desse tipo.
Como evitar que um rastreamento com LLM fique caro?
Reduza o que chega ao modelo e renderize menos. Ambos são questões de configuração, não de esperteza.
Delimite a extração. Aponte o crawler para o contêiner de conteúdo, não para a página inteira. Navegação, rodapés, banners de cookies e faixas de artigos relacionados são puro custo de tokens sem valor informativo.
Prefira extração por esquema à forma livre. Quando os campos são conhecidos, um esquema CSS ou XPath é determinístico, gratuito e mais rápido do que pedir a um modelo que os encontre, e você pode reservar o modelo para páginas cuja estrutura realmente varia.
Use cache de forma agressiva. Rastrear novamente uma página inalterada custa largura de banda, tempo de renderização e tokens. Armazene em cache por URL com uma janela de atualização e compare as diferenças antes de reprocessar.
Renderize seletivamente. Nem toda página precisa de um navegador. Se o conteúdo estiver no HTML renderizado pelo servidor, uma obtenção simples custa uma ordem de grandeza menos, e na prática funcionam bem pipelines mistos que primeiro obtêm e só renderizam em caso de falha.
Essas quatro medidas juntas geralmente reduzem o custo de um rastreamento funcional mais do que qualquer decisão sobre proxy.
Que tipo de proxy serve para esse tipo de rastreamento?
Combine a saída com o alvo e o padrão de sessão, não com o crawler.
| Alvo | Use | Evite quando |
|---|---|---|
| Sites voltados ao consumidor, navegação em várias páginas | Residencial sticky, uma sessão por site | O site for uma API aberta ou documentação, casos em que datacenter é adequado e mais barato |
| Rastreamentos amplos e superficiais em muitos hosts | Residencial rotativo, uma sessão por host | Cada host precisar de uma sessão longa com estado, que a rotação interrompe |
| Documentação, dados abertos, seus próprios serviços | Datacenter | O alvo tratar faixas de hospedagem como automação |
| Conteúdo ou preços específicos por região | Residencial fixado no país | O conteúdo for idêntico em toda parte, caso em que o custo extra não traz nada |
DataImpulse residencial custa $1 por GB em 195 países, com HTTP, HTTPS e SOCKS5, rotativo ou sticky, incluindo segmentação por país. Rastreadores orientados por navegador obtêm recursos além de documentos, então a disciplina de largura de banda importa: bloqueie imagens e fontes de que você não precisa e o mesmo orçamento renderá várias vezes mais.
Quais limites vale a pena conhecer?
Um proxy não é permissão. Leia robots.txt e os termos dos sites que você rastreia, respeite-os e prefira APIs oficiais quando elas existirem. Nossa visão geral sobre se web scraping é legítimo aborda o contexto mais amplo.
A renderização tem um limite. O rastreamento orientado por navegador consome muita memória e CPU; uma concorrência que parece adequada em um laptop vai sobrecarregar um contêiner pequeno. Meça páginas por minuto por gigabyte de RAM antes de escalar horizontalmente.
A extração com LLM não é gratuita nem exata. Os modelos parafraseiam, ocasionalmente inventam e têm custo por página. Valide uma amostra em relação à fonte e mantenha extração determinística para campos que precisam estar corretos.
Os bloqueios geralmente são causados pelo ritmo. Se um rastreamento que funcionou ontem falhar hoje, verifique a taxa e o tratamento de sessão antes de comprar qualquer coisa. Nosso guia sobre erros 403 Forbidden ao fazer scraping apresenta o diagnóstico em ordem.
Perguntas frequentes
Onde configuro o proxy no Crawl4AI?
Na configuração do navegador, para que se aplique ao documento e a todos os recursos, scripts e XHR acionados pela página. Defini-lo por solicitação faz a página carregar seus próprios recursos por um endereço diferente, uma contradição que os sistemas de detecção identificam imediatamente.
Devo usar sessões rotativas ou sticky?
Sticky para qualquer site em que o rastreamento navegue por várias páginas, porque o navegador mantém cookies e eles estão vinculados ao endereço que os obteve. A rotação entre execuções é saudável; a rotação dentro de uma sessão enquanto o armazenamento de cookies persiste é o que gera desafios.
Como reduzo o custo de tokens em um rastreamento com suporte de LLM?
Delimite a extração ao contêiner de conteúdo em vez de ao DOM inteiro, use esquemas CSS ou XPath onde os campos forem conhecidos e reserve o modelo para páginas realmente variáveis, armazene em cache por URL com uma janela de atualização e renderize apenas as páginas que exigem um navegador.
Preciso de proxies residenciais para Crawl4AI?
Apenas quando o alvo justificar: sites voltados ao consumidor e conteúdo específico por região. Documentação, dados abertos e APIs funcionam bem a partir de uma saída de datacenter e custam menos. Decida por alvo em vez de definir um único tipo de saída para todo o crawler.
Meu rastreamento funcionou ontem e falha hoje. O que mudou?
Geralmente foi sua taxa, não a defesa deles. Reduza para um worker com jitter e teste novamente; se funcionar, a causa foi o ritmo e a rotação na taxa anterior não resolverá. Só depois disso teste se um tipo de saída diferente altera o resultado.
Dê a cada rastreamento uma saída estável
Para rastreamentos orientados por navegador, uma sessão vinculada a uma saída geograficamente precisa é o que mantém o estado coerente. Os proxies residenciais DataImpulse oferecem sessões sticky ou rotativas a $1 por GB em 195 países, com segmentação por país incluída, HTTP, HTTPS e SOCKS5. Crie uma conta e conecte-a na camada do navegador, depois veja nosso caso de uso de web scraping para conhecer a configuração mais ampla.
Guias relacionados: por que crawlers são bloqueados · um alvo concreto: lojas Shopify · proxies para web scraping.
Última atualização: 17 de setembro de 2026.
