W tym artykule
To strona referencyjna, a nie poradnik: działająca konfiguracja proxy do scrapowania w pięciu językach, których odbiorcy są na tyle nieliczni, że osobny przewodnik dla każdego powtarzałby to samo pięć razy. Go, Kotlin, Scala, Perl i Elixir, wraz z kodem, wyborem biblioteki i jedną pułapką, która w każdym z nich pochłania najwięcej czasu.
Zasada wspólna dla wszystkich jest taka sama. Konfiguracja proxy do web scrapingu powinna znajdować się na obiekcie klienta, skonfigurowanym raz i używanym ponownie, ponieważ to klient przechowuje pulę połączeń, magazyn cookies oraz, w przypadku sticky session, adres wyjściowy. Wszystko, co tworzy nowego klienta dla każdego żądania, odrzuca wszystkie te trzy elementy.
Najważniejsze fakty
- Jedna zasada obejmuje każdy język opisany tutaj: skonfiguruj proxy na obiekcie klienta tylko raz i używaj tego klienta ponownie, ponieważ klient przechowuje pulę połączeń, cookies i tożsamość wyjściową.
- Go: http.Transport z http.ProxyURL, colly do spraw związanych z crawlerem. Pułapka: http.Client nie ma domyślnego limitu czasu.
- Kotlin: OkHttp z proxyAuthenticator. Pułapka: autoryzator, który nigdy nie zwraca null i zapętla się przy błędnym haśle.
- Scala: sttp z opcjami backendu. Pułapka: JDK wyłącza uwierzytelnianie Basic proxy w tunelach HTTPS.
- Perl i Elixir: LWP respektuje HTTPS_PROXY ze środowiska i może nadpisać Twój kod; w Elixir opcje proxy należą do adaptera, a nie do Req.
Zasada 3 części obowiązująca w każdym z tych języków
Utrzymuj transport, parsowanie i planowanie w oddzielnych warstwach, a wadliwe scrapowanie wskaże Ci miejsce awarii.
| Część | Odpowiada za | Objaw awarii |
|---|---|---|
| 1. Transport | Połączenie, proxy, limity czasu, ponowienia, TLS | Status inny niż 200, limity czasu, błędy TLS |
| 2. Parsowanie | Bajty na pola oraz wyraźne zgłaszanie błędu, gdy zmienia się markup | 200 z pustymi polami |
| 3. Planowanie | Współbieżność na host, tempo, backoff | Skuteczność spadająca w ciągu kilku minut |
Każdy język poniżej implementuje te same trzy części pod różnymi nazwami. We wszystkich pięciu proxy znajduje się w sekcji transportu.
Go: konfiguracja proxy, biblioteki i pułapka, której należy unikać
Stos: net/http z własnym http.Transport do pobierania, goquery lub colly jako kompletny crawler do parsowania, chromedp, gdy strona wymaga JavaScript.
proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
resp, err := client.Get("https://example.com")
Brak domyślnego limitu czasu. http.Client bez Timeout czeka w nieskończoność. Jeden zawieszony host blokuje pulę workerów, która we wszystkich dostępnych metrykach wygląda na zdrową.
Niezamknięte body. Każde body odpowiedzi musi zostać zamknięte, w przeciwnym razie połączenie nigdy nie wróci do puli, a przepustowość po kilku tysiącach żądań po cichu się załamie.
colly obsługuje za Ciebie zagadnienia crawlera: ma przełącznik proxy do rotacji, limity szybkości per domena i wbudowaną kolejkę, dlatego sięgnij po niego, zanim napiszesz własny scheduler.
Użyj Go, gdy Go jest już w Twoim stosie, potrzebujesz dużej współbieżności przy przewidywalnym zużyciu pamięci i chcesz mieć pojedynczy statyczny binarny plik na maszynie crawlera. Unikaj go, gdy cel wymaga prawdziwej przeglądarki na większości stron, ponieważ ekosystemy Python i Node mają dojrzalsze narzędzia.
Kotlin: konfiguracja proxy, biblioteki i pułapka, której należy unikać
Stos: OkHttp lub klient Ktor, jeśli już korzystasz z Ktor do pobierania, jsoup do parsowania, Playwright lub Selenium na JVM, gdy wymagane jest renderowanie.
val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
.proxy(proxy)
.proxyAuthenticator { _, response ->
response.request.newBuilder()
.header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
.build()
}
.callTimeout(Duration.ofSeconds(30))
.build()
Autoryzator zapętla się przy błędnym haśle. OkHttp ponawia autoryzację, aż zrezygnuje. Zwróć null po pierwszej nieudanej próbie, inaczej błędne dane uwierzytelniające zamienią się w burzę żądań.
Jeden klient, wiele sesji. OkHttp współdzieli pulę połączeń i magazyn cookies między wywołaniami. Aby uzyskać tożsamość per sesja, utwórz klienta dla każdej sesji lub zainstaluj magazyn cookies, nad którym masz kontrolę.
Reguła tunelowania JDK, która dotyka Javę, obowiązuje również tutaj, jeśli wrócisz do klienta JDK: uwierzytelnianie Basic proxy przez HTTPS wymaga wyczyszczenia właściwości disabled-schemes. Własny autoryzator OkHttp pozwala tego uniknąć.
Użyj Kotlin, gdy działasz na JVM i chcesz korzystać z coroutine oraz nowoczesnego API bez ceremonii Javy. Unikaj go, gdy zespół nie ma doświadczenia z JVM, ponieważ wdrożenie zdominuje kod.
Scala: konfiguracja proxy, biblioteki i pułapka, której należy unikać
Stos: sttp z wybranym backendem do pobierania, jsoup ze Scala lub scala-scraper do parsowania, Playwright na JVM, jeśli strony renderują się po stronie klienta.
import sttp.client3._
val backend = HttpClientSyncBackend(
options = SttpBackendOptions.httpProxy(
"gw.dataimpulse.com", 823, "USER", "PASS")
)
val response = basicRequest
.get(uri"https://example.com")
.readTimeout(30.seconds)
.send(backend)
Backend decyduje o wszystkim. sttp to interfejs; obsługa proxy, limity czasu i streaming wynikają z wybranego backendu. Gdy coś działa nietypowo, czytaj dokumentację tego backendu, a nie sttp.
Ponownie tunelowanie JDK. Jeśli backend opakowuje klienta JDK, uwierzytelnianie Basic proxy przez HTTPS jest domyślnie wyłączone i wymaga wyczyszczenia właściwości jdk.http.auth.tunneling.disabledSchemes.
scala-scraper opakowuje jsoup w API Scala i warto go użyć, jeśli parsowanie obejmuje więcej niż garść selektorów.
Użyj Scala, gdy crawler zasila potok Spark lub streamingowy, który już działa w Scala, a backpressure ma znaczenie. Unikaj jej, gdy zadanie jest prostym pobieraniem i parsowaniem bez dalszego potoku.
Perl: konfiguracja proxy, biblioteki i pułapka, której należy unikać
Stos: LWP::UserAgent lub Mojo::UserAgent z nowoczesnym API do pobierania, HTML::TreeBuilder lub Mojo::DOM do parsowania, niczego w procesie; gdy potrzebne jest renderowanie, wywołaj zewnętrzne narzędzie.
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;
# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
->https('http://USER:[email protected]:823');
HTTPS przez proxy wymaga właściwych modułów. LWP potrzebuje LWP::Protocol::https i działającego IO::Socket::SSL, a także respektuje zmienną środowiskową HTTPS_PROXY, która po cichu nadpisuje ustawienia z kodu.
Zmienne środowiskowe po cichu mają pierwszeństwo. env_proxy pobiera ustawienia systemowe, o których mogłeś zapomnieć. Ustaw proxy jawnie i w zadaniach zaplanowanych wyczyść środowisko, aby ustawienie na poziomie hosta nie mogło przekierować Twojego ruchu.
Mojo::UserAgent zapewnia nieblokujące żądania i API DOM podobne do jQuery w jednej zależności, co czyni go lepszym punktem wyjścia dla nowych scraperów w Perl.
Użyj Perl, gdy Perl jest językiem otaczającego systemu, zazwyczaj w długotrwale działających narzędziach operacyjnych i danych. Unikaj go, gdy zaczynasz od zera i nie masz Perl w stosie.
Elixir: konfiguracja proxy, biblioteki i pułapka, której należy unikać
Stos: Req oparty na Finch do pobierania, Floki do parsowania, Wallaby lub zewnętrzna usługa przeglądarkowa, gdy wymagane jest renderowanie.
Req.get!("https://example.com",
connect_options: [
proxy: {:http, "gw.dataimpulse.com", 823, []},
proxy_headers: [
{"proxy-authorization",
"Basic " <> Base.encode64("USER:PASS")}
]
],
receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()
Opcje proxy należą do adaptera. Req przekazuje connect_options do Finch i Mint. Jeśli używasz starszego stosu HTTPoison lub hackney, forma opcji jest inna, dlatego skopiowane snippety często po cichu zawodzą.
Proces na każdy URL to nie plan. Uruchomienie Task dla każdego linku startuje wszystkie żądania naraz. Task.async_stream z max_concurrency, dobranym do hosta, jest idiomatycznym ograniczeniem.
Floki z selektorami CSS utrzymuje parsowanie deklaratywne, a wbudowana obsługa ponowień i przekierowań Req eliminuje większość boilerplate, który ludzie piszą ręcznie.
Użyj Elixir, gdy crawler działa w istniejącym systemie Elixir lub Phoenix i chcesz bez dodatkowego wysiłku uzyskać nadzór oraz współbieżność. Unikaj go, gdy potrzebujesz potoku intensywnie korzystającego z przeglądarki, ponieważ ekosystem jest uboższy niż w Node lub Python.
Jakiego języka naprawdę użyć?
Czynnikiem decydującym jest utrzymanie, a nie możliwości. Crawler w języku, w którym Twój zespół pisze codziennie, przetrwa następną zmianę markup; pomysłowy crawler w nieznanym języku zostanie porzucony przy pierwszej awarii.
| Język | Najlepsze zastosowanie | Najsłabszy punkt |
|---|---|---|
| Go | Duża współbieżność przy przewidywalnym zużyciu pamięci, pojedynczy statyczny plik binarny | Narzędzia do renderowania w przeglądarce są uboższe niż w Python lub Node |
| Kotlin | Zespoły JVM, które chcą coroutine i nowoczesnego API | Ciężar wdrożenia dla małego zadania |
| Scala | Crawlery zasilające potoki Spark lub streamingowe | Zachowanie zależne od backendu i trudna konfiguracja |
| Perl | Istniejące narzędzia operacyjne i narzędzia danych już w Perl | Brak praktycznej przeglądarki w procesie |
| Elixir | Systemy Phoenix oczekujące nadzoru i współbieżności bez dodatkowego wysiłku | Ubogi ekosystem automatyzacji przeglądarki |
Jeśli Twojego języka tu nie ma, obowiązuje ta sama zasada trzech części: nasze osobne przewodniki obejmują Java, C#, PHP, R, C++, VBA i Excel oraz JavaScript.
Co jest wszędzie takie samo i gdzie są granice?
Trzy rzeczy nie zmieniają się wraz z językiem. Sesje zachowują adresy wyjściowe, więc przejście przez strony utrzymuje jeden sticky adres przez cały czas: zasady znajdziesz w najlepszych praktykach rotacji proxy. Odmowa jest decyzją do zdiagnozowania, a nie do ponowienia, co krok po kroku omawia nasz przewodnik 403 Forbidden podczas scrapowania. A proxy zmienia jedynie adres wyjściowy: nie wykonuje JavaScript, nie naprawia niespójnego klienta ani nie sprawia, że agresywne tempo staje się akceptowalne.
Jeśli chodzi o zasady: przestrzegaj robots.txt i warunków witryny, preferuj oficjalne API, nie wchodź w nic, co jest za logowaniem, a dane osobowe traktuj jako kwestię podstawy prawnej, a nie parsowania. Nie omawiamy rozwiązywania CAPTCHA ani pokonywania kontroli dostępu. Informacje ogólne, a nie porada prawna: zobacz czy web scraping jest legalny.
Często zadawane pytania
Jak ustawić proxy w Go?
Przetwórz URL proxy z danymi uwierzytelniającymi, ustaw http.ProxyURL na http.Transport i nadaj http.Client jawny limit czasu, ponieważ domyślnie go nie ma. Używaj tego klienta ponownie, aby pula połączeń i każda sticky session pozostały nienaruszone.
Dlaczego autoryzator proxy OkHttp w Kotlin zapętla się?
Ponieważ OkHttp stale wywołuje autoryzator, aż odniesie sukces lub zrezygnuje. Zwróć null po pierwszej nieudanej próbie, aby błędne dane uwierzytelniające szybko zakończyły się błędem zamiast zmienić się w burzę żądań wobec gateway.
Dlaczego uwierzytelnianie Basic proxy nie działa przez HTTPS na JVM?
JDK domyślnie wyłącza uwierzytelnianie Basic w tunelach CONNECT, więc uwierzytelnione proxy działa dla HTTP, ale nie dla HTTPS. Wyczyść właściwość jdk.http.auth.tunneling.disabledSchemes albo użyj klienta, takiego jak OkHttp, który sam wysyła nagłówek Proxy-Authorization.
Dlaczego mój skrypt Perl ignoruje ustawione proxy?
LWP respektuje zmienne środowiskowe HTTPS_PROXY i HTTP_PROXY, a env_proxy pobiera ustawienia na poziomie hosta, o których możesz nie wiedzieć. Ustaw proxy jawnie w kodzie i wyczyść środowisko w zadaniach zaplanowanych, aby ustawienie maszyny nie mogło przekierować Twojego ruchu.
Gdzie umieszcza się opcje proxy w Elixir?
Na adapterze, a nie w samym Req: connect_options są przekazywane do Finch i Mint, dlatego snippety napisane dla starszych stosów opartych na hackney po cichu nic nie robią. Dopasuj formę opcji do adaptera, którego faktycznie używasz.
Jedne dane uwierzytelniające, każdy język powyżej
Każdy snippet na tej stronie działa z danymi uwierzytelniającymi gateway DataImpulse: residential adresy wyjściowe za $1 za GB w 195 krajach, rotujące lub sticky sessions, HTTP, HTTPS i SOCKS5, z uwzględnieniem targetowania na kraj. Utwórz konto i przetestuj jeden cel we własnym kliencie przed skalowaniem.
Powiązane: proxy do web scrapingu · konfiguracja proxy Crawl4AI · zastosowanie web scrapingu.
Ostatnia aktualizacja: 17 września 2026 r.
