En este artículo
cURL es una herramienta de línea de comandos que todo desarrollador usa tarde o temprano. No consume muchos recursos y suele venir incluida por defecto en la mayoría de los sistemas operativos. Sin embargo, cuando empiezas a usarla para tareas más avanzadas, como web scraping, eludir restricciones regionales o probar APIs desde varias ubicaciones, puedes encontrarte con problemas como límites de velocidad o contenido inaccesible.
Cuando envías tus solicitudes de cURL a través de un servidor proxy, puedes modificar la dirección IP que detecta el sitio web de destino. Con cURL puedes recopilar datos globales, acceder a contenido limitado por región y evitar los bloqueos que se producen cuando envías demasiadas solicitudes desde una sola dirección IP. Esta guía explica cómo usar cURL con un proxy, incluida la sintaxis necesaria, los métodos de autenticación y los escenarios específicos en los que este enfoque resulta útil.
Datos clave
- cURL admite proxies mediante flags de línea de comandos, variables de entorno o archivos de configuración
- Existen distintos tipos de proxy, incluidos los residenciales, móviles y de datacenter
- Los proxies se usan para scraping a gran escala, pruebas de API, superación de bloqueos y resultados geoespecíficos
- Para obtener los mejores resultados, combina el tipo de proxy adecuado con la configuración apropiada para tu caso de uso
- Existen sesiones sticky y rotativas. Las sesiones sticky se usan para inicios de sesión y actividades con estado, mientras que las rotativas se usan para tareas de scraping
Qué es cURL y cómo funciona
Lanzado en 1996, cURL significa Client and URL. Es un mecanismo importante para enviar solicitudes HTTP y transferir datos. cURL se usa a través de la línea de comandos, lo que significa que escribes un comando en una terminal, este envía la solicitud e imprime la respuesta.
cURL funciona sobre libcurl, una biblioteca portátil escrita en C. El proceso en sí es bastante simple. Esto es lo que ocurre cuando escribes un comando:
- Analizar la URL: cURL la descompone en protocolo, host, puerto y ruta.
- Abrir una conexión con el host.
- Enviar la solicitud: una línea de solicitud, algunos encabezados y un cuerpo opcional.
- Recibir la respuesta: el servidor devuelve encabezados y cuerpo.
- Imprimir el resultado final en la terminal.
cURL es universal. Probar endpoints, obtener páginas, consultar APIs, recopilar datos: estas son solo una pequeña parte de las actividades para las que se usa cURL. Puede manejar cookies, encabezados personalizados, reintentos y autenticación. También admite configuración de proxy. Cuando algo falla entre tu aplicación y un servidor, curl – v suele exponer los detalles de la solicitud y la respuesta para facilitar la depuración. Exploraremos este método más a fondo en los próximos capítulos.
Qué es un proxy en cURL
El proxy de cURL media la conexión entre el cliente y el servidor de destino. Funciona como una capa de reenvío que enruta solicitudes HTTP o HTTPS. La conexión habitual sin proxy consta de dos elementos: el cliente y el destino. En una configuración con proxy, el proxy actúa como punto de terminación de la sesión del cliente y restablece la conexión hacia el destino.
cURL envía primero la solicitud completa al servidor proxy en lugar de conectarse directamente al destino. Luego, el proxy realiza la resolución DNS para convertir el nombre de dominio en una dirección IP, abre un socket nuevo y reenvía la solicitud con sus encabezados y cuerpo. Los proxies ocultan tu IP original, filtran el tráfico, hacen que tu navegación sea privada y te permiten acceder al destino desde otra ubicación. El tráfico HTTP se procesa como datos de aplicación sin cifrar, por lo que los proxies pueden gestionar el contenido de las solicitudes. HTTPS funciona de otra manera. En este caso, cURL envía un comando CONNECT para establecer un túnel, de modo que los datos TLS cifrados pasen sin ser descifrados.
Cuándo necesitas usar cURL con un proxy
cURL por sí solo ya es potente, pero rara vez se usa solo en entornos de producción. Los equipos suelen combinar cURL con un servidor proxy fiable. Aquí tienes cuatro casos de uso en los que esta combinación marca la diferencia.
- Web scraping a gran escala
Muchos equipos de e-commerce necesitan seguir a diario los precios de la competencia en numerosas páginas de producto. Escribir un scraper limpio basado en cURL no basta, ya que en unos veinte minutos las solicitudes suelen empezar a fallar. En esta situación, enrutar cURL a través de un pool de proxies rotativos puede ayudar mucho. Cada solicitud vendrá de otra IP y el sitio web de destino no restringirá la actividad, ya que se asemeja a un comportamiento natural.
- Superar bloqueos de IP
Las tareas semanales requieren un acceso estable a datos precisos. Por ejemplo, si tu proceso de auditoría semanal no está respaldado por proxies, es probable que te encuentres con errores 403. Cambiar a otra red tampoco siempre ayuda. Esta vez, prueba a enviar la misma solicitud de cURL a través de un proxy residencial para simular el comportamiento genuino de un usuario desde una conexión doméstica típica.
- Generar solicitudes geolocalizadas
Tu ubicación influye en el contenido que ves. Los equipos de marketing suelen tener que verificar si las landing pages localizadas de un cliente se muestran correctamente. Desde su propia conexión, es posible que las páginas no se carguen en las versiones que necesitan. La solución es implementar IPs residenciales obtenidas de forma ética de un proveedor fiable como DataImpulse. Una vez configurado, cada solicitud devolverá la página exactamente como la vería un usuario local, incluidos los precios locales y las promociones geoespecíficas.
- Pruebas globales de API
Como parte de sus tareas, a los desarrolladores puede resultarles difícil verificar el comportamiento de una API en varias ubicaciones sin las herramientas adecuadas. Las aplicaciones de monitoreo no siempre detectan el problema, y reproducirlo en un entorno local se vuelve imposible. Resuelve el problema enviando solicitudes de cURL a tu API a través de un proxy. Llegarás a los mismos nodos perimetrales, la misma base de datos regional y las mismas rutas de red que usan tus usuarios. Los proxies te ayudan a depurar problemas que pasaron desapercibidos para tus herramientas de monitoreo.
Qué necesitas para usar un proxy con cURL
Usar un proxy con cURL no requiere mucho. Necesitarás cinco cosas para empezar.
- cURL, instalado y listo para usar. Está disponible por defecto en la mayoría de los sistemas macOS y Linux. Nuestro tutorial para principiantes muestra cómo instalar cURL en cualquier sistema operativo, incluido Windows.
- Acceso a un endpoint de proxy. Puede ser un proxy HTTP, HTTPS o SOCKS5. Esto es lo que da a las solicitudes de cURL otra ruta hacia el destino en lugar de ir directamente.
- Credenciales del proxy si se requiere autenticación.
- Endpoint de destino. Puede ser una API, un sitio web o cualquier cosa a la que intentes llegar.
- Herramienta de verificación de proxy. Para comprobar que el tráfico pasa por un proxy, usa un servicio rápido como https://ipinfo.io/ o https://whatismyipaddress.com/.
Una vez que esos elementos están en su lugar, podemos configurar los ajustes de proxy de cURL, con el enrutamiento gestionado a nivel de red. En lugar de contactar directamente con el destino, cURL usa el proxy como intermediario.
Cómo usar cURL con proxy paso a paso
Comando básico de cURL con proxy
Para enrutar una solicitud de cURL a través de un proxy, usa el flag -x para especificar el servidor proxy. cURL enviará la solicitud a través de ese proxy.
curl -x http://proxy-ip:port https://example.com
Es la forma más simple de usar un proxy y funciona para solicitudes HTTP o HTTPS básicas que no necesitan autenticación.
cURL con proxy y autenticación
Si el proxy requiere pasos adicionales de autenticación, puedes pasar el nombre de usuario y la contraseña directamente en la cadena del proxy. Así se hace:
curl -x http://username:password@proxy-ip:port https://example.com
Los comandos de cURL usan estas credenciales para autenticarse con el proxy antes de transmitir la solicitud.
Usar un proxy HTTPS
Con un proxy HTTPS, cURL sigue enrutando el tráfico a través del proxy mientras garantiza que el cifrado TLS se mantenga hasta el destino.
curl -x https://proxy-ip:port https://example.com
Esta configuración es útil cuando el enlace con el propio proxy debe estar cifrado.
Usar un proxy SOCKS5
Los proxies SOCKS5 retransmiten el tráfico sin tocar los datos de la solicitud.
curl -x socks5://proxy-ip:port https://example.com
Como SOCKS5 maneja varios tipos de tráfico, estos proxies son una opción flexible para ingenieros que trabajan con distintos protocolos.
Configuración avanzada de proxy en cURL
Usar variables de entorno
cURL puede tomar automáticamente la configuración de proxy de las variables de entorno del sistema. Esto resulta práctico cuando quieres que cada solicitud de una sesión de terminal o de una aplicación pase por el mismo proxy, sin tener que especificarlo cada vez.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
Una vez definidas esas variables, cURL las aplica por sí solo a las solicitudes salientes, según el protocolo que uses.
Usar el archivo .curlrc
El archivo de configuración .curlrc se usa para ajustes persistentes de cURL. Añade tu configuración de proxy una sola vez y cada solicitud se enrutará automáticamente a través de ese proxy. Anúlalo en la línea de comandos siempre que necesites otra configuración.
proxy=http://proxy-ip:port
Configurar el proxy por solicitud vs global
cURL te da dos formas de definir un proxy: por solicitud, usando un flag, o globalmente, usando variables de entorno o un archivo de configuración. La mayoría de los desarrolladores suelen combinar ambos métodos.
La configuración por solicitud usa el flag -x en la línea de comandos. Es el enfoque más flexible porque puedes controlar exactamente qué solicitud pasa por qué proxy. Es lo que quieres cuando estás depurando, comparando respuestas entre regiones o ejecutando comandos ad hoc donde cada llamada puede necesitar una configuración distinta. Aquí tienes el ejemplo:
curl -x http://proxy.example.com:8080 https://api.example.com
La configuración global saca el proxy de la línea de comandos y lo lleva a tu entorno, ya sea mediante variables como HTTP_PROXY y HTTPS_PROXY o un archivo .curlrc . Una vez configurado, cURL enruta cada solicitud saliente a través del mismo proxy hasta que lo cambies. Es una gran opción para scripts largos, pipelines de CI/CD, tareas programadas, cualquier lugar donde escribir -x en cada línea sería mera repetición. Establece este comando:
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
Ignorar el proxy para solicitudes específicas
Un proxy global es cómodo. Sin embargo, no siempre es lo que quieres. Las APIs internas, los servicios en localhost y los endpoints de metadatos en la nube normalmente deben omitir el proxy por completo. Enrutarlos a través del proxy puede, en el mejor de los casos, ralentizar las solicitudes o, en el peor, bloquear la conexión por completo.
cURL te ofrece tres maneras de gestionarlo:
1. –noproxy “*” . Significa omitir el proxy para esta solicitud, sin importar el destino.
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2”. Esta opción omite el proxy solo para los hosts que enumeres.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. Variable de entorno NO_PROXY. Establece una lista permanente de hosts que siempre omiten el proxy, incluso cuando hay un proxy global configurado.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
Una vez definida NO_PROXY, cURL enruta directamente todo lo que coincida con la lista, mientras que el resto sigue pasando por el proxy.
Usar cURL con proxies rotativos
Una sola IP no basta si quieres enviar cientos de solicitudes. Incluso los proxies residenciales sufren límites de velocidad si cada solicitud proviene de la misma dirección. La solución es la rotación, que consiste en distribuir todas las solicitudes entre muchas IPs diferentes para que ninguna llame la atención de forma innecesaria. El proveedor puede hacerlo por ti, o puedes rotar los proxies manualmente.
1. Rotación por gateway
Muchos proveedores de proxy ofrecen un único endpoint que rota las IPs de forma sistemática. El usuario normalmente se conecta a una sola dirección y las solicitudes salen luego por una IP diferente del pool del proveedor.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. Rotación manual
A veces los usuarios tienen su propia lista de proxies, así que los rotan manualmente dentro del script. Aquí tienes el ejemplo en Python:
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
Por qué importa la rotación
Límites de velocidad, CAPTCHA, bloqueos de IP, baneos permanentes, errores y muchos otros problemas pueden aparecer si una IP se usa con demasiada frecuencia. Al repartir las solicitudes entre varias IPs, ninguna dirección resulta sospechosa para el destino. Parece tráfico normal de muchos visitantes distintos. Esta es toda la razón de usar la rotación de proxies: no parecer un cliente automatizado.
Ejemplo con un endpoint de proxy rotativo
Aquí tienes el ejemplo básico de un proxy rotativo con cURL. Tras ejecutar este comando tres veces seguidas, obtendrás tres resultados diferentes.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip es un endpoint de verificación útil, ya que devuelve la IP de origen observada por el servidor.
Sesiones sticky vs rotativas
En modo rotativo, cada solicitud es independiente. Pasa por una IP diferente del pool del proveedor. Es la opción correcta si haces web scraping y necesitas recopilar muchos datos de precios y productos. Si una dirección concreta no deja de ser detectada, rotar a una nueva mantiene tus solicitudes seguras.
En modo sticky, la misma dirección IP se conserva durante un período determinado. Suele ser de 5 a 60 minutos. Funciona bien si trabajas con inicios de sesión o autenticación y necesitas consistencia de IP para comportarte como lo haría un usuario real.
Los mejores tipos de proxy para cURL
cURL funciona de la misma manera sin importar a qué tipo de proxy lo apuntes. El proceso requiere establecer el flag -x, pasar tus credenciales y enviar la solicitud. Lo que cambia es cómo percibe tu tráfico el servidor de destino, y eso está determinado casi por completo por el tipo de IP detrás del proxy.
I am raw html block.
Click edit button to change this html
Errores comunes y cómo solucionarlos
1. Conexión al proxy rechazada
Cuando cURL no puede abrir una conexión TCP con el proxy, probablemente recibirás el mensaje de que la conexión fue denegada. Significa que el proxy está inaccesible o bloqueado. Los pasos útiles incluyen revisar el firewall y la configuración del proxy, incluidos el host y el puerto. Prueba el proxy con este comando:
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. Autenticación fallida
Suele aparecer como un error 407 y significa que el proxy rechazó tus credenciales. Verifica tu nombre de usuario, contraseña, host y puerto. No incrustes las credenciales en las URLs y usa el flag -U en su lugar. Por ejemplo:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. Errores de SSL/certificados
Estos errores suelen deberse a un almacén de certificados CA desactualizado, a un proxy que intercepta el tráfico TLS o al sitio de destino con un certificado incorrecto. En este caso, actualiza tu paquete de CA, usa -k solo para pruebas y comprueba si el propio proxy está descifrando el tráfico.
4. Problemas de timeout
Ocurre porque el servidor puede estar sobrecargado o el proxy puede funcionar con lentitud. Puedes solucionarlo estableciendo timeouts explícitos como muestra este ejemplo de código:
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
Cuando el mensaje de error por sí solo no basta para averiguar dónde está el fallo, el modo verbose es la herramienta más útil del kit de depuración de cURL. Imprime la secuencia completa de conexión para que veas exactamente qué paso tuvo éxito y cuál falló.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
Buenas prácticas de cURL con proxy
Aquí tienes algunos hábitos útiles que conviene adoptar.
- Rota las IPs por defecto y usa sticky solo cuando sea necesario
- Modera la tasa de solicitudes para que el tráfico parezca natural
- Combina los proxies con encabezados personalizados
- Usa –compressed para reducir el tamaño de transferencia en un 70-80%
- Evita los proxies gratuitos
*El flag –compressed indica a cURL que envíe Accept-Encoding: gzip, deflate, br y descomprima lo que reciba.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
Ejemplos de cURL con proxy para casos de uso reales
Veamos tres escenarios comunes de uso de cURL en combinación con un proxy.
1. Scraping de un sitio web
Esta configuración recorrerá miles de páginas y producirá una salida limpia lista para analizar. Incluye proxies residenciales rotativos, encabezados personalizados que imitan un navegador real, compresión para transferencias más rápidas y una pequeña pausa entre solicitudes.
Aquí tienes un ejemplo que funcionará en Linux, macOS y WSL. Necesitarás un archivo urls.txt con dominios como google.com o example.com.
Código:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. Acceder a contenido restringido por región
En este código, cada solicitud llega al sitio de destino como si viniera de un usuario real en ese país. Los archivos de salida capturan la versión localizada exactamente como la vería un visitante local.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. Probar APIs
A partir de aquí, el equipo puede analizar el enrutamiento de bases de datos regionales, los nodos perimetrales de la CDN o cualquier otra diferencia entre las dos ubicaciones.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
Preguntas frecuentes
¿Cómo usar curl con proxy?
Usa el flag -x para especificar la dirección y el puerto del proxy de DataImpulse. Si el proxy requiere autenticación, añade -U "username:password" para pasar tus credenciales.
La autenticación del proxy en curl no funciona
La causa más común son credenciales incorrectas o caracteres especiales en la contraseña. Usa el flag -U "user:pass" en lugar de incrustar las credenciales en la URL y codifica en URL cualquier carácter @, : o /.
Proxy socks vs http en curl
Un proxy HTTP solo maneja tráfico HTTP y HTTPS, mientras que un proxy SOCKS5 retransmite cualquier tráfico TCP sin inspeccionar la solicitud. Usa los proxies HTTP de DataImpulse para web scraping y llamadas a APIs; usa SOCKS5 cuando necesites flexibilidad de protocolo o enrutamiento de bajo nivel.
Cómo rotar proxies en curl
Conéctate a un único endpoint y el proveedor asignará automáticamente una IP diferente por solicitud. Para la rotación manual, guarda una lista de proxies en un script y elige uno al azar en cada solicitud.
Conclusión
cURL con un proxy es una de esas combinaciones imprescindibles para cualquier desarrollador o para cualquiera que quiera un proceso de recopilación de datos seguro y preciso. Una sola herramienta de línea de comandos, un solo flag, y de repente puedes hacer scraping a escala, automatizar pruebas entre regiones y consultar APIs desde cualquier parte del mundo. Es compacta, programable y funciona igual en cada sistema en el que la despliegues.
La configuración juega un papel enorme. Elegir el tipo de proxy adecuado para tu objetivo, ya sea residencial, de datacenter o móvil. Rotar las IPs al ritmo correcto. Enviar encabezados HTTP con cURL que parezcan un navegador real y no un script. Incorporar reintentos, timeouts y límites de velocidad antes de necesitarlos. Completa estos pasos y cURL se convertirá en una base fiable para tus flujos de datos en producción.
