Neste artigo
cURL é uma ferramenta de linha de comando que todo desenvolvedor usa mais cedo ou mais tarde. Ela não consome muitos recursos e normalmente vem incluída por padrão na maioria dos sistemas operacionais. No entanto, quando você começa a usá-la para tarefas mais avançadas, como web scraping, contornar restrições regionais ou testar APIs de vários locais, pode encontrar problemas como limites de taxa ou conteúdo inacessível.
Quando você envia suas requisições cURL por meio de um servidor proxy, pode modificar o endereço IP que o site de destino detecta. Com o cURL, você pode coletar dados globais, acessar conteúdo limitado por região e evitar bloqueios que ocorrem quando você envia requisições demais de um único endereço IP. Este guia explica como usar o cURL com um proxy, incluindo a sintaxe necessária, os métodos de autenticação e os cenários específicos em que essa abordagem é vantajosa.
Fatos essenciais
- O cURL oferece suporte a proxies via flags de linha de comando, variáveis de ambiente ou arquivos de configuração
- Existem diferentes tipos de proxy, incluindo residencial, móvel e de datacenter
- Proxies são usados para scraping em larga escala, testes de API, superação de banimentos e resultados geoespecíficos
- Para obter os melhores resultados, combine o tipo certo de proxy com a configuração adequada para o seu caso de uso
- Existem sessões sticky e rotativas. As sessões sticky são usadas para logins e atividades com estado, enquanto as rotativas são usadas para tarefas de scraping
O que é cURL e como funciona
Lançado em 1996, cURL significa Client and URL. É um mecanismo importante para enviar requisições HTTP e transferir dados. O cURL é usado pela linha de comando, o que significa que você digita um comando em um terminal, ele envia a requisição e imprime a resposta.
O cURL roda sobre a libcurl, uma biblioteca C portátil. O processo em si é bem simples. Veja o que acontece quando você digita um comando:
- Analisar a URL: o cURL a divide em protocolo, host, porta e caminho.
- Abrir uma conexão com o host.
- Enviar a requisição: uma linha de requisição, alguns cabeçalhos e um corpo opcional.
- Receber a resposta: o servidor devolve cabeçalhos e corpo.
- Imprimir o resultado final no terminal.
O cURL é universal. Testar endpoints, buscar páginas, chamar APIs, coletar dados: essas são apenas uma pequena parte das atividades em que o cURL é usado. Ele consegue lidar com cookies, cabeçalhos personalizados, novas tentativas e autenticação. Também oferece suporte à configuração de proxy. Quando algo quebra entre o seu aplicativo e um servidor, curl – v muitas vezes expõe os detalhes da requisição e da resposta para facilitar a depuração. Vamos explorar esse método mais a fundo nos próximos capítulos.
O que é um proxy no cURL
O proxy no cURL intermedeia a conexão entre o cliente e o servidor de destino. Ele funciona como uma camada de encaminhamento que roteia requisições HTTP ou HTTPS. A conexão comum sem proxy tem dois elementos: o cliente e o destino. Em uma configuração com proxy, o proxy serve como ponto de término da sessão do cliente e restabelece a conexão em direção ao destino.
O cURL envia primeiro a requisição completa ao servidor proxy em vez de se conectar diretamente ao destino. Em seguida, o proxy realiza a resolução DNS para converter o nome de domínio em um endereço IP, abre um novo socket e encaminha a requisição com seus cabeçalhos e corpo. Proxies ocultam seu IP original, filtram o tráfego, tornam sua navegação privada e permitem acessar o destino de outro local. O tráfego HTTP é processado como dados de aplicação em texto simples, então os proxies podem gerenciar o conteúdo das requisições. O HTTPS funciona de outra forma. Nesse caso, o cURL envia um comando CONNECT para estabelecer um túnel, de modo que os dados TLS criptografados passem sem ser descriptografados.
Quando você precisa usar o cURL com um proxy
O cURL sozinho já é poderoso, mas raramente é usado isolado em ambientes de produção. As equipes normalmente combinam o cURL com um servidor proxy confiável. Aqui estão quatro casos de uso em que essa combinação faz toda a diferença.
- Web scraping em larga escala
Muitas equipes de e-commerce precisam acompanhar diariamente os preços dos concorrentes em inúmeras páginas de produto. Escrever um scraper limpo baseado em cURL não é suficiente, pois em cerca de vinte minutos as requisições costumam começar a falhar. Nessa situação, rotear o cURL por um pool de proxies rotativos pode ajudar muito. Cada requisição virá de outro IP, e o site de destino não restringirá a atividade, pois ela se parece com um comportamento natural.
- Superando banimentos de IP
Tarefas semanais exigem acesso estável a dados precisos. Por exemplo, se o seu processo de auditoria semanal não é apoiado por proxies, você provavelmente vai enfrentar erros 403. Mudar para outra rede também nem sempre ajuda. Desta vez, tente enviar a mesma requisição cURL por um proxy residencial para simular o comportamento genuíno de um usuário em uma conexão doméstica típica.
- Gerando requisições geodirecionadas
Sua localização afeta o conteúdo que você vê. Equipes de marketing geralmente precisam verificar se as landing pages localizadas de um cliente foram renderizadas corretamente. Da própria conexão, as páginas podem não carregar nas versões necessárias. A solução é implementar IPs residenciais de origem ética de um provedor confiável como a DataImpulse. Depois que sua equipe configurar tudo, cada requisição retornará a página exatamente como um usuário local a veria, incluindo preços locais e promoções geoespecíficas.
- Testes globais de API
Como parte de suas tarefas, os desenvolvedores podem ter dificuldade para verificar o comportamento de uma API em vários locais sem as ferramentas adequadas. Aplicações de monitoramento nem sempre capturam o problema, e reproduzi-lo em um ambiente local se torna impossível. Resolva a questão enviando requisições cURL para sua API por meio de um proxy. Você atingirá os mesmos nós de borda, o mesmo banco de dados regional e os mesmos caminhos de rede que seus usuários. Proxies ajudam a depurar problemas que passaram despercebidos pelas suas ferramentas de monitoramento.
O que você precisa para usar um proxy com o cURL
Usar um proxy com o cURL não exige muito. Você vai precisar de cinco coisas para começar.
- cURL, instalado e pronto para usar. Ele está disponível por padrão na maioria dos sistemas macOS e Linux. Nosso tutorial para iniciantes mostra como instalar o cURL em qualquer sistema operacional, incluindo o Windows.
- Acesso a um endpoint de proxy. Pode ser um proxy HTTP, HTTPS ou SOCKS5. É isso que dá às requisições cURL outra rota até o destino em vez de ir direto.
- Credenciais do proxy, se a autenticação for necessária.
- Endpoint de destino. Pode ser uma API, um site ou o que quer que você esteja tentando alcançar.
- Ferramenta de verificação de proxy. Para confirmar que o tráfego está passando por um proxy, use um serviço rápido como https://ipinfo.io/ ou https://whatismyipaddress.com/.
Com esses elementos no lugar, podemos configurar as opções de proxy do cURL, com o roteamento tratado no nível da rede. Em vez de contatar o destino diretamente, o cURL usa o proxy como intermediário.
Como usar o cURL com proxy passo a passo
Comando básico de proxy no cURL
Para rotear uma requisição cURL por um proxy, use a flag -x para especificar o servidor proxy. O cURL enviará a requisição por esse proxy.
curl -x http://proxy-ip:port https://example.com
É a forma mais simples de uso de proxy e funciona para requisições HTTP ou HTTPS básicas que não precisam de autenticação.
cURL com proxy e autenticação
Se o proxy exigir etapas adicionais de autenticação, você pode passar o nome de usuário e a senha diretamente na string do proxy. Veja como fazer isso:
curl -x http://username:password@proxy-ip:port https://example.com
Os comandos cURL usam essas credenciais para se autenticar no proxy antes de repassar a requisição.
Usando proxy HTTPS
Com um proxy HTTPS, o cURL continua roteando o tráfego pelo proxy enquanto garante que a criptografia TLS seja mantida até o destino.
curl -x https://proxy-ip:port https://example.com
Essa configuração é útil quando o link com o próprio proxy precisa ser criptografado.
Usando proxy SOCKS5
Proxies SOCKS5 retransmitem o tráfego sem tocar nos dados da requisição.
curl -x socks5://proxy-ip:port https://example.com
Como o SOCKS5 lida com vários tipos de tráfego, esses proxies são uma escolha flexível para engenheiros que trabalham com protocolos diferentes.
Configuração avançada de proxy no cURL
Usando variáveis de ambiente
O cURL pode captar automaticamente as configurações de proxy das variáveis de ambiente do sistema. Isso é útil quando você quer que toda requisição de uma sessão de terminal ou aplicação passe pelo mesmo proxy, sem precisar especificá-lo a cada vez.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
Depois que essas variáveis são definidas, o cURL as aplica sozinho às requisições de saída, com base no protocolo que você está usando.
Usando o arquivo .curlrc
O arquivo de configuração .curlrc é usado para configurações persistentes do cURL. Adicione suas configurações de proxy a ele uma única vez, e toda requisição será roteada por esse proxy automaticamente. Sobrescreva na linha de comando sempre que precisar de outra configuração.
proxy=http://proxy-ip:port
Definindo proxy por requisição vs global
O cURL oferece duas maneiras de definir um proxy: por requisição, usando uma flag, ou globalmente, usando variáveis de ambiente ou um arquivo de configuração. A maioria dos desenvolvedores costuma combinar os dois métodos.
A configuração por requisição usa a flag -x na linha de comando. É a abordagem mais responsiva, porque você controla exatamente qual requisição passa por qual proxy. É o que você quer ao depurar, comparar respostas entre regiões ou executar comandos ad hoc em que cada chamada pode precisar de uma configuração separada. Aqui está o exemplo:
curl -x http://proxy.example.com:8080 https://api.example.com
A configuração global tira o proxy da linha de comando e o coloca no seu ambiente, seja por variáveis como HTTP_PROXY e HTTPS_PROXY, seja por um arquivo .curlrc . Uma vez configurado, o cURL roteia toda requisição de saída pelo mesmo proxy até você mudar. É uma ótima escolha para scripts longos, pipelines de CI/CD, tarefas agendadas, qualquer lugar em que digitar -x em cada linha seria apenas repetição. Defina este comando:
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
Ignorando o proxy para requisições específicas
Um proxy global é conveniente. Porém, nem sempre é o que você quer. APIs internas, serviços em localhost e endpoints de metadados de nuvem geralmente precisam pular o proxy por completo. Roteá-los pelo proxy pode, na melhor das hipóteses, deixar as requisições lentas ou, na pior, bloquear a conexão de vez.
O cURL oferece três maneiras de lidar com isso:
1. –noproxy “*” . Significa ignorar o proxy para esta requisição, não importa o destino.
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2”. Esta opção ignora o proxy apenas para os hosts que você listar.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. Variável de ambiente NO_PROXY. Ela define uma lista permanente de hosts que sempre pulam o proxy, mesmo quando um proxy global está configurado.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
Depois que NO_PROXY é definida, o cURL roteia diretamente tudo o que corresponde à lista, enquanto o restante continua fluindo pelo proxy.
Usando o cURL com proxies rotativos
Um único IP não é suficiente se você quer enviar centenas de requisições. Até proxies residenciais sofrem limites de taxa se toda requisição vem do mesmo endereço. A solução é a rotação, que distribui todas as requisições entre muitos IPs diferentes para que nenhum deles atraia atenção desnecessária. O provedor pode fazer isso por você, ou você pode rotacionar os proxies manualmente.
1. Rotação por gateway
Muitos fornecedores de proxy oferecem um único endpoint que rotaciona os IPs de forma sistemática. O usuário normalmente se conecta a um endereço, e as requisições saem por um IP diferente do pool do provedor.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. Rotação manual
Às vezes os usuários têm sua própria lista de proxies e os rotacionam manualmente dentro do script. Aqui está o exemplo em Python:
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
Por que a rotação importa
Limites de taxa, CAPTCHA, bloqueios de IP, banimentos definitivos, erros e muitos outros problemas podem ocorrer se um IP for usado com muita frequência. Ao espalhar as requisições por vários IPs, nenhum endereço parece suspeito para o destino. Parece tráfego normal de muitos visitantes diferentes. Essa é toda a razão de usar a rotação de proxies: não parecer um cliente automatizado.
Exemplo com endpoint de proxy rotativo
Aqui está o exemplo básico de um proxy rotativo com o cURL. Depois de executar este comando três vezes seguidas, você obterá três resultados diferentes.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip é um endpoint de verificação útil, pois retorna o IP de origem observado pelo servidor.
Sessões sticky vs rotativas
No modo rotativo, cada requisição é independente. Ela passa por um IP diferente do pool do provedor. É a escolha certa se você faz web scraping e precisa coletar muitos dados de preços e produtos. Se um único endereço continua sendo detectado, rotacionar para um novo mantém suas requisições seguras.
No modo sticky, o mesmo endereço IP é mantido por um determinado período. Geralmente de 5 a 60 minutos. Funciona bem se você trabalha com logins ou autenticação e precisa de consistência de IP para se comportar como um usuário real.
Melhores tipos de proxy para o cURL
O cURL funciona da mesma forma, não importa para qual tipo de proxy você o aponte. O processo exige definir a flag -x, passar suas credenciais e enviar a requisição. O que muda é como o servidor de destino percebe o seu tráfego, e isso é quase totalmente determinado pelo tipo de IP por trás do proxy.
I am raw html block.
Click edit button to change this html
Erros comuns e como corrigi-los
1. Conexão com o proxy recusada
Quando o cURL não consegue abrir uma conexão TCP com o proxy, você provavelmente receberá a mensagem de que a conexão foi negada. Isso significa que o proxy está inacessível ou bloqueado. Passos úteis incluem verificar o firewall e as configurações do proxy, incluindo host e porta. Teste o proxy usando este comando:
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. Falha de autenticação
Normalmente aparece como um erro 407 e significa que o proxy rejeitou suas credenciais. Confira novamente seu nome de usuário, senha, host e porta. Não incorpore credenciais em URLs; use a flag -U em vez disso. Por exemplo:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. Erros de SSL/certificado
Erros aqui geralmente vêm de um repositório de certificados CA desatualizado, de um proxy que intercepta o tráfego TLS ou do site de destino com o certificado errado. Nesse caso, atualize seu pacote de CA, use -k apenas para testes e verifique se o próprio proxy está descriptografando o tráfego.
4. Problemas de timeout
Isso acontece porque o servidor pode estar sobrecarregado ou o proxy pode estar lento. Você pode corrigir definindo timeouts explícitos como mostra este exemplo de código:
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
Quando a mensagem de erro sozinha não basta para descobrir onde está a falha, o modo verboso é a ferramenta mais útil do kit de depuração do cURL. Ele imprime a sequência completa de conexão para que você veja exatamente qual etapa funcionou e qual quebrou.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
Boas práticas de proxy no cURL
Aqui estão alguns hábitos úteis para adotar.
- Rotacione IPs por padrão, use sticky apenas quando necessário
- Modere a taxa de requisições para que o tráfego pareça natural
- Combine proxies com cabeçalhos personalizados
- Use –compressed para reduzir o tamanho da transferência em 70-80%
- Evite proxies gratuitos
*A flag –compressed diz ao cURL para enviar Accept-Encoding: gzip, deflate, br e descomprimir o que vier de volta.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
Exemplos de cURL com proxy para casos de uso reais
Vamos ver três cenários comuns de uso do cURL em combinação com um proxy.
1. Fazendo scraping de um site
Essa configuração percorrerá milhares de páginas e produzirá uma saída limpa, pronta para análise. Inclui proxies residenciais rotativos, cabeçalhos personalizados que imitam um navegador real, compressão para transferências mais rápidas e um pequeno intervalo entre as requisições.
Aqui está um exemplo que funciona no Linux, macOS e WSL. Você vai precisar de um arquivo urls.txt com domínios como google.com ou example.com.
Código:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. Acessando conteúdo restrito por região
Neste código, cada requisição chega ao site de destino como se viesse de um usuário real naquele país. Os arquivos de saída capturam a versão localizada exatamente como um visitante local a veria.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. Testando APIs
A partir daí, a equipe pode investigar o roteamento de bancos de dados regionais, os nós de borda da CDN ou qualquer outra diferença entre os dois locais.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
Perguntas frequentes
Como usar curl com proxy?
Use a flag -x para especificar o endereço e a porta do proxy da DataImpulse. Se o proxy exigir autenticação, adicione -U "username:password" para passar suas credenciais.
Autenticação de proxy no curl não funciona
A causa mais comum são credenciais erradas ou caracteres especiais na senha. Use a flag -U "user:pass" em vez de incorporar as credenciais na URL e codifique em URL quaisquer caracteres @, : ou /.
Proxy socks vs http no curl
Um proxy HTTP lida apenas com tráfego HTTP e HTTPS, enquanto um proxy SOCKS5 retransmite qualquer tráfego TCP sem inspecionar a requisição. Use os proxies HTTP da DataImpulse para web scraping e chamadas de API; use SOCKS5 quando precisar de flexibilidade de protocolo ou roteamento de nível mais baixo.
Como rotacionar proxies no curl
Conecte-se a um único endpoint, e o provedor atribui automaticamente um IP diferente por requisição. Para rotação manual, guarde uma lista de proxies em um script e escolha um aleatoriamente a cada requisição.
Conclusão
cURL com proxy é uma daquelas combinações indispensáveis para qualquer desenvolvedor ou para quem quer um processo de coleta de dados seguro e preciso. Uma única ferramenta de linha de comando, uma única flag, e de repente você pode fazer scraping em escala, automatizar testes entre regiões e chamar APIs de qualquer lugar do mundo. É compacto, automatizável e funciona da mesma forma em todos os sistemas em que você fizer o deploy.
A configuração tem um papel enorme. Escolher o tipo certo de proxy para o seu alvo, seja residencial, de datacenter ou móvel. Rotacionar IPs no ritmo certo. Enviar cabeçalhos HTTP com o cURL que pareçam um navegador real, e não um script. Incorporar novas tentativas, timeouts e limites de taxa antes de realmente precisar deles. Conclua essas etapas e o cURL se tornará uma espinha dorsal confiável para seus fluxos de dados em produção.
