En este artículo
Esta es una página de referencia, no un tutorial: la configuración de proxy funcional para scraping en cinco lenguajes cuya audiencia es lo bastante reducida como para que una guía independiente para cada uno dijera lo mismo cinco veces. Go, Kotlin, Scala, Perl y Elixir, con el código, la elección de biblioteca y la trampa que más tiempo cuesta en cada uno.
La regla aplicable a todos es la misma. La configuración del proxy para web scraping debe estar en el objeto cliente, configurada una vez y reutilizada, porque ese cliente lleva el pool de conexiones, el almacén de cookies y, con una sticky session, la dirección de salida. Todo lo que crea un cliente nuevo por solicitud descarta los tres.
Datos clave
- Una regla cubre todos los lenguajes aquí: configure el proxy una vez en el objeto cliente y reutilice ese cliente, porque el cliente lleva el pool de conexiones, las cookies y la identidad de salida.
- Go: http.Transport con http.ProxyURL, colly para las funciones del crawler. La trampa es que http.Client no tiene tiempo de espera predeterminado.
- Kotlin: OkHttp con un proxyAuthenticator. La trampa es un autenticador que nunca devuelve null y entra en bucle con una contraseña incorrecta.
- Scala: sttp con opciones de backend. La trampa es que el JDK desactiva la autenticación Basic de proxy en túneles HTTPS.
- Perl y Elixir: LWP respeta HTTPS_PROXY del entorno y puede anular su código; en Elixir las opciones de proxy pertenecen al adaptador, no a Req.
La regla de 3 partes aplicable a todos los lenguajes aquí
Mantenga el transporte, el análisis y la planificación en capas separadas, y un scraping fallido le indicará dónde falló.
| Parte | Gestiona | Síntoma cuando falla |
|---|---|---|
| 1. Transporte | Conexión, proxy, tiempos de espera, reintentos, TLS | Estado distinto de 200, tiempos de espera, errores TLS |
| 2. Análisis | De bytes a campos, y fallar de forma explícita cuando cambia el marcado | 200 con campos vacíos |
| 3. Planificación | Concurrencia por host, ritmo, espera progresiva | Éxito que disminuye a lo largo de los minutos |
Todos los lenguajes siguientes implementan las mismas tres partes con nombres diferentes. La sección de transporte es donde se encuentra el proxy en los cinco.
Go: configuración de proxy, bibliotecas y la trampa que debe evitar
Tecnologías: net/http con un http.Transport personalizado para obtener datos, goquery o colly para un rastreador completo para el análisis, chromedp cuando una página necesita JavaScript.
proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
resp, err := client.Get("https://example.com")
Sin tiempo de espera predeterminado. Un http.Client sin Timeout espera indefinidamente. Un host bloqueado paraliza un pool de trabajadores que parece sano en todas las métricas disponibles.
Cuerpos sin cerrar. Se debe cerrar cada cuerpo de respuesta o la conexión nunca vuelve al pool, y el rendimiento disminuye silenciosamente después de unos miles de solicitudes.
colly gestiona por usted las funciones del rastreador: tiene un selector de proxy para la rotación, límites de velocidad por dominio y una cola integrada, así que úselo antes de escribir su propio planificador.
Use Go cuando Go ya sea su conjunto tecnológico, necesite gran concurrencia con memoria predecible y quiera un único binario estático en el equipo del rastreador. Evítelo cuando el objetivo necesite un navegador real para la mayoría de las páginas, donde los ecosistemas de Python y Node cuentan con herramientas más maduras.
Kotlin: configuración de proxy, bibliotecas y la trampa que debe evitar
Tecnologías: OkHttp, o cliente Ktor si ya utiliza Ktor para obtener datos, jsoup para el análisis, Playwright o Selenium en la JVM cuando se requiere renderizado.
val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
.proxy(proxy)
.proxyAuthenticator { _, response ->
response.request.newBuilder()
.header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
.build()
}
.callTimeout(Duration.ofSeconds(30))
.build()
El autenticador entra en bucle indefinidamente con una contraseña incorrecta. OkHttp reintenta el autenticador hasta que se rinde. Devuelva null después del primer intento fallido o una credencial incorrecta se convertirá en una tormenta de solicitudes.
Un cliente, muchas sesiones. OkHttp comparte su pool de conexiones y almacén de cookies entre llamadas. Para una identidad por sesión, cree un cliente por sesión o instale un almacén de cookies que controle.
La regla de túneles del JDK que afecta a Java también se aplica aquí si recurre al cliente del JDK: la autenticación Basic de proxy a través de HTTPS necesita que se borre la propiedad de esquemas desactivados. El autenticador propio de OkHttp lo evita.
Use Kotlin cuando trabaje en la JVM y quiera corrutinas y una API moderna sin la verbosidad de Java. Evítelo cuando el equipo no tenga experiencia con la JVM, ya que el despliegue domina al código.
Scala: configuración de proxy, bibliotecas y la trampa que debe evitar
Tecnologías: sttp con el backend que elija para obtener datos, jsoup desde Scala o scala-scraper para el análisis, Playwright en la JVM si las páginas se renderizan en el cliente.
import sttp.client3._
val backend = HttpClientSyncBackend(
options = SttpBackendOptions.httpProxy(
"gw.dataimpulse.com", 823, "USER", "PASS")
)
val response = basicRequest
.get(uri"https://example.com")
.readTimeout(30.seconds)
.send(backend)
El backend decide todo. sttp es una interfaz; la compatibilidad con proxy, los tiempos de espera y el streaming proceden del backend que elija. Lea la documentación de ese backend, en lugar de la de sttp, cuando algo se comporte de forma extraña.
Los túneles del JDK de nuevo. Si el backend envuelve al cliente del JDK, la autenticación Basic de proxy a través de HTTPS está desactivada de forma predeterminada y necesita que se borre la propiedad jdk.http.auth.tunneling.disabledSchemes.
scala-scraper envuelve jsoup con una API de Scala y merece la pena si su análisis tiene más que unos pocos selectores.
Use Scala cuando el rastreador alimente una canalización de Spark o procesamiento en flujo que ya esté en Scala y la contrapresión sea importante. Evítelo cuando la tarea sea una simple obtención y análisis sin canalización posterior.
Perl: configuración de proxy, bibliotecas y la trampa que debe evitar
Tecnologías: LWP::UserAgent, o Mojo::UserAgent para una API moderna al obtener datos, HTML::TreeBuilder o Mojo::DOM para el análisis, ninguno en proceso; llame a una herramienta externa cuando se necesite renderizado.
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;
# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
->https('http://USER:[email protected]:823');
HTTPS mediante un proxy necesita los módulos adecuados. LWP necesita LWP::Protocol::https y un IO::Socket::SSL funcional, y también respeta la variable de entorno HTTPS_PROXY, que anula silenciosamente lo que configure en el código.
Las variables de entorno prevalecen silenciosamente. env_proxy recoge ajustes del sistema que podría haber olvidado. Configure los proxies explícitamente y, en trabajos programados, borre el entorno para que un ajuste a nivel de host no pueda redirigir su tráfico.
Mojo::UserAgent le ofrece solicitudes no bloqueantes y una API DOM similar a jQuery en una dependencia, lo que lo convierte en el mejor punto de partida para nuevos scrapers de Perl.
Use Perl cuando Perl sea el lenguaje del sistema circundante, normalmente en herramientas de operaciones y datos de larga duración. Evítelo cuando empiece desde cero sin Perl en el conjunto tecnológico.
Elixir: configuración de proxy, bibliotecas y la trampa que debe evitar
Tecnologías: Req sobre Finch para obtener datos, Floki para el análisis, Wallaby o un servicio de navegador externo cuando se requiere renderizado.
Req.get!("https://example.com",
connect_options: [
proxy: {:http, "gw.dataimpulse.com", 823, []},
proxy_headers: [
{"proxy-authorization",
"Basic " <> Base.encode64("USER:PASS")}
]
],
receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()
Las opciones de proxy pertenecen al adaptador. Req pasa connect_options a Finch y Mint. Si utiliza una pila HTTPoison o hackney más antigua, la estructura de opciones es diferente, por eso los fragmentos copiados a menudo fallan silenciosamente.
Un proceso por URL no es un plan. Crear un Task por enlace inicia todas las solicitudes a la vez. Task.async_stream con max_concurrency, dimensionado por host, es el límite idiomático.
Floki con selectores CSS mantiene el análisis declarativo, y el manejo integrado de reintentos y redirecciones de Req elimina la mayor parte del código repetitivo que la gente escribe a mano.
Use Elixir cuando el rastreador se ejecute dentro de un sistema existente de Elixir o Phoenix y quiera supervisión y concurrencia sin coste adicional. Evítelo cuando necesite una canalización que dependa mucho del navegador, donde el ecosistema es menos amplio que en Node o Python.
¿Qué lenguaje debería usar realmente?
El factor decisivo es el mantenimiento más que la capacidad. Un rastreador en el lenguaje que su equipo escribe a diario sobrevive al siguiente cambio de marcado; uno ingenioso en un lenguaje desconocido se abandona ante la primera avería.
| Lenguaje | Mejor encaje | Punto más débil |
|---|---|---|
| Go | Gran concurrencia con memoria predecible, un único binario estático | Las herramientas de renderizado en navegador son menos amplias que en Python o Node |
| Kotlin | Equipos de JVM que quieren corrutinas y una API moderna | Peso del despliegue para una tarea pequeña |
| Scala | Rastreadores que alimentan canalizaciones de Spark o procesamiento en flujo | Comportamiento dependiente del backend y configuración compleja |
| Perl | Herramientas existentes de operaciones y datos ya en Perl | Sin navegador práctico en proceso |
| Elixir | Sistemas Phoenix que desean supervisión y concurrencia sin coste adicional | Ecosistema limitado de automatización de navegadores |
Si su lenguaje no está aquí, se aplica la misma regla de tres partes: nuestras guías independientes cubren Java, C#, PHP, R, C++, VBA y Excel y JavaScript.
¿Qué es igual en todas partes y dónde están los límites?
Hay tres cosas que no cambian con el lenguaje. Las sesiones controlan las salidas, por lo que un recorrido entre páginas mantiene una dirección sticky durante toda su vida: las reglas están en prácticas recomendadas de rotación de proxy. Una denegación es una decisión que debe diagnosticar en lugar de reintentar, y nuestra guía sobre 403 Forbidden al hacer scraping lo explica paso a paso. Y un proxy solo cambia la dirección de salida: no ejecuta JavaScript, no corrige un cliente inconsistente ni hace aceptable una velocidad agresiva.
Sobre las normas: respete robots.txt y los términos del sitio, prefiera las API oficiales, manténgase alejado de todo lo que esté detrás de un inicio de sesión y trate los datos personales como una cuestión de base jurídica, no de análisis. No cubrimos la resolución de CAPTCHA ni la evasión de controles de acceso. Información general, no asesoramiento jurídico: consulte si el web scraping es legítimo.
Preguntas frecuentes
¿Cómo configuro un proxy en Go?
Analice la URL del proxy con credenciales, coloque http.ProxyURL en un http.Transport y dé al http.Client un tiempo de espera explícito, porque no tiene ninguno de forma predeterminada. Reutilice ese cliente para que el pool de conexiones y cualquier sticky session permanezcan intactos.
¿Por qué el autenticador de proxy de Kotlin OkHttp entra en bucle?
Porque OkHttp sigue llamando al autenticador hasta que tiene éxito o se rinde. Devuelva null después del primer intento fallido para que una credencial incorrecta falle rápido en vez de convertirse en una tormenta de solicitudes contra el gateway.
¿Por qué falla la autenticación Basic de proxy a través de HTTPS en la JVM?
El JDK desactiva de forma predeterminada la autenticación Basic en túneles CONNECT, por lo que un proxy autenticado funciona para HTTP y falla para HTTPS. Borre la propiedad jdk.http.auth.tunneling.disabledSchemes o utilice un cliente como OkHttp que envíe por sí mismo la cabecera Proxy-Authorization.
¿Por qué mi script de Perl ignora el proxy que configuré?
LWP respeta las variables de entorno HTTPS_PROXY y HTTP_PROXY, y env_proxy recoge ajustes a nivel de host que quizá desconozca. Configure los proxies explícitamente en el código y borre el entorno en trabajos programados para que un ajuste de la máquina no pueda redirigir su tráfico.
¿Dónde se colocan las opciones de proxy en Elixir?
En el adaptador y no en Req: connect_options se pasa a Finch y Mint, por eso los fragmentos escritos para pilas antiguas basadas en hackney no hacen nada silenciosamente. Ajuste la estructura de opciones al adaptador que realmente utiliza.
Una credencial, todos los lenguajes anteriores
Cada fragmento de esta página funciona con una credencial de puerta de enlace DataImpulse: salidas residenciales a $1 por GB en 195 países, sesiones rotativas o sticky, HTTP, HTTPS y SOCKS5, con segmentación por país incluida. Cree una cuenta y pruebe un objetivo desde su propio cliente antes de ampliar la escala.
Relacionado: proxies para web scraping · configuración de proxy de Crawl4AI · caso de uso de web scraping.
Última actualización: 17 de septiembre de 2026.
