Web scraping proxy setup by language - Go, Kotlin, Scala, Perl and Elixir - DataImpulse

Bu, bir eğitimden ziyade başvuru sayfasıdır: hedef kitlesi, her biri için ayrı bir rehberin aynı şeyi beş kez söyleyeceği kadar küçük olan beş dilde scraping için çalışan proxy yapılandırması. Go, Kotlin, Scala, Perl ve Elixir; kod, kütüphane seçimi ve her birinde en çok zaman kaybettiren tek tuzakla birlikte.

Hepsi için geçerli kural aynıdır. Web scraping proxy kurulumu, bağlantı havuzunu, çerez kavanozunu ve sticky session kullanıldığında çıkış adresini taşıyan istemci nesnesinde bir kez yapılandırılıp yeniden kullanılmalıdır. Her istek için yeni bir istemci oluşturan her şey bu üçünü de kaybeder.


Temel Bilgiler

  • Buradaki her dil için tek bir kural geçerlidir: proxy’yi istemci nesnesinde bir kez yapılandırın ve o istemciyi yeniden kullanın; çünkü bağlantı havuzunu, çerezleri ve çıkış kimliğini taşıyan istemcidir.
  • Go: http.ProxyURL ile http.Transport, crawler gereksinimleri için colly. Tuzak, http.Client’ın varsayılan zaman aşımının olmamasıdır.
  • Kotlin: proxyAuthenticator ile OkHttp. Tuzak, hiçbir zaman null döndürmeyen ve hatalı parolada döngüye giren bir kimlik doğrulayıcıdır.
  • Scala: backend seçenekleriyle sttp. Tuzak, JDK’nin HTTPS tünellerinde Basic proxy kimlik doğrulamasını devre dışı bırakmasıdır.
  • Perl ve Elixir: LWP, ortamdan HTTPS_PROXY’yi dikkate alır ve kodunuzu geçersiz kılabilir; Elixir’de proxy seçenekleri Req’e değil adaptöre aittir.

Buradaki her dil için geçerli 3 parçalı kural

Taşıma, ayrıştırma ve zamanlamayı ayrı katmanlarda tutun; bozuk bir scrape size nerede bozulduğunu gösterir.

Bölüm Sahip olduğu alan Başarısız olduğundaki belirti
1. Taşıma Bağlantı, proxy, zaman aşımları, yeniden denemeler, TLS 200 olmayan durum, zaman aşımları, TLS hataları
2. Ayrıştırma Baytları alanlara dönüştürme ve işaretleme değiştiğinde açıkça hata verme Boş alanlarla birlikte 200
3. Zamanlama Ana makine başına eşzamanlılık, tempo ayarlama, geri çekilme Dakikalar içinde azalan başarı

Aşağıdaki her dil, aynı üç bölümü farklı adlarla uygular. Beşinin hepsinde proxy, taşıma bölümünde bulunur.


Go: proxy kurulumu, kütüphaneler ve kaçınılacak tuzak

Stack: alma işlemleri için özel bir http.Transport ile net/http; ayrıştırma için goquery veya tam kapsamlı bir crawler için colly; bir sayfanın JavaScript’e ihtiyacı olduğunda chromedp.

proxyURL, _ := url.Parse("http://USER:[email protected]:823")
client := &http.Client{
    Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
    Timeout:   30 * time.Second,
}
resp, err := client.Get("https://example.com")

Varsayılan zaman aşımı yoktur. Timeout’suz bir http.Client sonsuza kadar bekler. Takılan tek bir ana makine, sahip olduğunuz her metrikte sağlıklı görünen bir çalışan havuzunu durdurur.

Kapatılmamış gövdeler. Her yanıt gövdesi kapatılmalıdır; aksi hâlde bağlantı havuza asla dönmez ve aktarım hızı birkaç bin istekten sonra sessizce düşer.

colly crawler gereksinimlerini sizin için yönetir: proxy döngüsü için bir proxy switcher’a, alan adı başına hız sınırlarına ve yerleşik bir kuyruğa sahiptir; bu nedenle kendi zamanlayıcınızı yazmadan önce onu tercih edin.

Go’yu şu durumda kullanın: Go zaten stack’inizse, öngörülebilir bellekle yüksek eşzamanlılığa ihtiyacınız varsa ve crawler makinesinde tek bir statik ikili dosya istiyorsanız. Şu durumda kaçının: hedef, sayfaların çoğu için gerçek bir tarayıcı gerektiriyorsa; Python ve Node ekosistemlerinde daha olgun araçlar vardır.


Kotlin: proxy kurulumu, kütüphaneler ve kaçınılacak tuzak

Stack: alma işlemleri için OkHttp veya zaten Ktor kullanıyorsanız Ktor istemcisi; ayrıştırma için jsoup; oluşturma gerektiğinde JVM üzerinde Playwright veya Selenium.

val proxy = Proxy(Proxy.Type.HTTP, InetSocketAddress("gw.dataimpulse.com", 823))
val client = OkHttpClient.Builder()
    .proxy(proxy)
    .proxyAuthenticator { _, response ->
        response.request.newBuilder()
            .header("Proxy-Authorization", Credentials.basic("USER", "PASS"))
            .build()
    }
    .callTimeout(Duration.ofSeconds(30))
    .build()

Kimlik doğrulayıcı, hatalı parolada sonsuza dek döngüye girer. OkHttp, vazgeçene kadar kimlik doğrulayıcıyı yeniden dener. İlk başarısız denemeden sonra null döndürün; aksi hâlde yanlış bir kimlik bilgisi istek fırtınasına dönüşür.

Tek istemci, çok sayıda oturum. OkHttp, çağrılar arasında bağlantı havuzunu ve çerez kavanozunu paylaşır. Oturum başına kimlik için oturum başına bir istemci oluşturun veya kontrol ettiğiniz bir çerez kavanozu kurun.

Java’yı etkileyen JDK tünelleme kuralı, JDK istemcisine geri dönerseniz burada da geçerlidir: HTTPS üzerinden Basic proxy kimlik doğrulaması için devre dışı bırakılmış şemalar özelliğinin temizlenmesi gerekir. OkHttp’nin kendi kimlik doğrulayıcısı bunu önler.

Kotlin’i şu durumda kullanın: JVM üzerindeyseniz ve Java’nın törenselliği olmadan coroutine’ler ile modern bir API istiyorsanız. Şu durumda kaçının: ekibin JVM deneyimi yoksa; çünkü dağıtım yaklaşımı koda baskın gelir.


Scala: proxy kurulumu, kütüphaneler ve kaçınılacak tuzak

Stack: alma işlemleri için seçtiğiniz backend ile sttp; Scala’dan jsoup veya ayrıştırma için scala-scraper; sayfalar istemci tarafında oluşturuluyorsa JVM üzerinde Playwright.

import sttp.client3._

val backend = HttpClientSyncBackend(
  options = SttpBackendOptions.httpProxy(
    "gw.dataimpulse.com", 823, "USER", "PASS")
)

val response = basicRequest
  .get(uri"https://example.com")
  .readTimeout(30.seconds)
  .send(backend)

Backend her şeye karar verir. sttp bir arayüzdür; proxy desteği, zaman aşımları ve akış işlemleri seçtiğiniz backend’den gelir. Bir şey garip davranıyorsa sttp’nin belgeleri yerine o backend’in belgelerini okuyun.

Yine JDK tünellemesi. Backend, JDK istemcisini sarmalıyorsa HTTPS üzerinden Basic proxy kimlik doğrulaması varsayılan olarak devre dışıdır ve jdk.http.auth.tunneling.disabledSchemes özelliğinin temizlenmesi gerekir.

scala-scraper, jsoup’u Scala API’siyle sarar ve ayrıştırmanız birkaç seçiciden fazlaysa kullanmaya değerdir.

Scala’yı şu durumda kullanın: crawler, zaten Scala olan bir Spark veya akış hattını besliyorsa ve geri basınç önemliyse. Şu durumda kaçının: görev, aşağı akış hattı olmayan basit bir al ve ayrıştır işiyse.


Perl: proxy kurulumu, kütüphaneler ve kaçınılacak tuzak

Stack: alma işlemleri için LWP::UserAgent veya modern bir API için Mojo::UserAgent; ayrıştırma için HTML::TreeBuilder ya da Mojo::DOM; süreç içinde hiçbiri, oluşturma gerektiğinde harici bir araç çağırın.

use LWP::UserAgent;
my $ua = LWP::UserAgent->new(timeout => 30);
$ua->proxy(['http','https'] => 'http://USER:[email protected]:823');
my $res = $ua->get('https://example.com');
die $res->status_line unless $res->is_success;

# Mojo equivalent
my $mojo = Mojo::UserAgent->new;
$mojo->proxy->http('http://USER:[email protected]:823')
           ->https('http://USER:[email protected]:823');

Proxy üzerinden HTTPS için doğru modüller gerekir. LWP, LWP::Protocol::https ve çalışan bir IO::Socket::SSL gerektirir; ayrıca kodda ayarladığınız şeyi sessizce geçersiz kılan HTTPS_PROXY ortam değişkenini de dikkate alır.

Ortam değişkenleri sessizce kazanır. env_proxy, unuttuğunuz sistem ayarlarını alır. Proxy’leri açıkça ayarlayın ve zamanlanmış işlerde ortamı temizleyin ki ana makine düzeyindeki bir ayar trafiğinizi yönlendiremesin.

Mojo::UserAgent, tek bir bağımlılıkta engellemeyen istekler ve jQuery benzeri bir DOM API sunar; bu da onu yeni Perl scraper’ları için daha iyi başlangıç noktası yapar.

Perl’i şu durumda kullanın: Perl, çevredeki sistemin diliyse; bu genellikle uzun ömürlü operasyon ve veri araçlarında böyledir. Şu durumda kaçının: stack’te hiç Perl yokken sıfırdan başlıyorsanız.


Elixir: proxy kurulumu, kütüphaneler ve kaçınılacak tuzak

Stack: alma işlemleri için Finch’in üzerinde Req, ayrıştırma için Floki, oluşturma gerektiğinde Wallaby veya harici bir tarayıcı hizmeti.

Req.get!("https://example.com",
  connect_options: [
    proxy: {:http, "gw.dataimpulse.com", 823, []},
    proxy_headers: [
      {"proxy-authorization",
       "Basic " <> Base.encode64("USER:PASS")}
    ]
  ],
  receive_timeout: 30_000
)
|> Map.get(:body)
|> Floki.parse_document!()

Proxy seçenekleri adaptöre aittir. Req, connect_options seçeneklerini Finch ve Mint’e iletir. Daha eski bir HTTPoison veya hackney stack’i kullanırsanız seçenek biçimi farklıdır; bu nedenle kopyalanan parçacıklar çoğu zaman sessizce başarısız olur.

URL başına bir süreç plan değildir. Her bağlantı için bir Task başlatmak, tüm istekleri aynı anda başlatır. Ana makine başına boyutlandırılmış max_concurrency ile Task.async_stream, doğal sınırdır.

CSS seçicileriyle Floki ayrıştırmayı bildirimsel tutar; Req’in yerleşik yeniden deneme ve yönlendirme yönetimi, insanların elle yazdığı tekrar eden kodların çoğunu ortadan kaldırır.

Elixir’i şu durumda kullanın: crawler mevcut bir Elixir veya Phoenix sistemi içinde çalışıyorsa ve ücretsiz olarak denetim ile eşzamanlılık istiyorsanız. Şu durumda kaçının: Node veya Python’a kıyasla ekosistemin daha sınırlı olduğu, yoğun tarayıcı kullanan bir hatta ihtiyacınız varsa.


Gerçekte hangi dili kullanmalısınız?

Belirleyici etken yetenekten çok bakımdır. Ekibinizin her gün yazdığı dildeki bir crawler, bir sonraki işaretleme değişikliğini atlatır; yabancı bir dildeki akıllıca yazılmış bir crawler ise ilk bozulmada terk edilir.

Dil En uygun kullanım En zayıf nokta
Go Öngörülebilir bellekle yüksek eşzamanlılık, tek statik ikili dosya Tarayıcı oluşturma araçları Python veya Node’a göre daha sınırlı
Kotlin Coroutine’ler ve modern bir API isteyen JVM ekipleri Küçük bir iş için dağıtım yükü
Scala Spark veya akış hatlarını besleyen crawler’lar Backend’e bağlı davranış ve zorlu kurulum
Perl Hâlihazırda Perl kullanan operasyon ve veri araçları Pratik süreç içi tarayıcı yok
Elixir Ücretsiz denetim ve eşzamanlılık isteyen Phoenix sistemleri Sınırlı tarayıcı otomasyonu ekosistemi

Diliniz burada yoksa aynı üç parçalı kural geçerlidir: ayrı rehberlerimiz Java, C#, PHP, R, C++, VBA ve Excel ve JavaScript dillerini kapsar.


Her yerde aynı olan nedir ve sınırlar nerede?

Üç şey dilden bağımsız olarak değişmez. Oturumlar çıkışları sahiplenir; dolayısıyla sayfalar arasındaki bir yolculuk, tüm ömrü boyunca aynı sticky adresi korur: kurallar proxy döngüsü en iyi uygulamaları bölümündedir. Ret, yeniden denemek yerine teşhis edilmesi gereken bir karardır; scraping sırasında 403 Forbidden rehberimiz bunu sırayla ele alır. Proxy yalnızca çıkış adresini değiştirir: JavaScript’i çalıştırmaz, tutarsız bir istemciyi düzeltmez veya agresif bir hızı kabul edilebilir kılmaz.

Kurallar konusunda: robots.txt’ye ve site şartlarına uyun, resmî API’leri tercih edin, giriş gerektiren her şeyden uzak durun ve kişisel verileri ayrıştırma meselesi yerine hukuki dayanak sorusu olarak ele alın. CAPTCHA çözmeyi veya erişim kontrollerini aşmayı ele almıyoruz. Genel bilgilendirmedir, hukuki tavsiye değildir: web scraping yasal mı sayfasına bakın.


Sık Sorulan Sorular

Go’da proxy’yi nasıl ayarlarım?

Kimlik bilgileriyle proxy URL’sini ayrıştırın, http.ProxyURL’yi bir http.Transport’a yerleştirin ve varsayılan olarak olmadığı için http.Client’a açık bir zaman aşımı verin. Bağlantı havuzu ve varsa sticky session bozulmadan kalsın diye bu istemciyi yeniden kullanın.

Kotlin OkHttp proxy kimlik doğrulayıcım neden döngüye giriyor?

Çünkü OkHttp, başarılı olana veya vazgeçene kadar kimlik doğrulayıcıyı çağırmaya devam eder. İlk başarısız denemeden sonra null döndürün ki yanlış kimlik bilgisi gateway’e karşı istek fırtınasına dönüşmek yerine hızlıca başarısız olsun.

JVM’de HTTPS üzerinden Basic proxy kimlik doğrulaması neden başarısız olur?

JDK, CONNECT tünellerinde Basic kimlik doğrulamasını varsayılan olarak devre dışı bırakır; bu nedenle kimlik doğrulamalı bir proxy HTTP için çalışır, HTTPS için başarısız olur. jdk.http.auth.tunneling.disabledSchemes özelliğini temizleyin veya Proxy-Authorization başlığını kendisi gönderen OkHttp gibi bir istemci kullanın.

Perl betiğim ayarladığım proxy’yi neden yok sayıyor?

LWP, HTTPS_PROXY ve HTTP_PROXY ortam değişkenlerini dikkate alır; env_proxy ise bilmediğiniz ana makine düzeyindeki ayarları alır. Proxy’leri kodda açıkça ayarlayın ve bir makine ayarı trafiğinizi yönlendiremesin diye zamanlanmış işlerde ortamı temizleyin.

Elixir’de proxy seçenekleri nereye konur?

Req’in kendisine değil adaptöre konur: connect_options, Finch ve Mint’e iletilir; bu nedenle eski hackney tabanlı stack’ler için yazılmış parçacıklar sessizce hiçbir şey yapmaz. Seçenek biçimini gerçekten kullandığınız adaptöre uydurun.


Tek kimlik bilgisi, yukarıdaki her dil

Bu sayfadaki her parçacık bir DataImpulse gateway kimlik bilgisiyle çalışır: 195 ülkede GB başına $1 karşılığında residential çıkışlar, dönen veya sticky session’lar, HTTP, HTTPS ve SOCKS5; ülke hedefleme dâhildir. Bir hesap oluşturun ve ölçeklendirmeden önce kendi istemcinizden bir hedefi test edin.

İlgili: web scraping için proxy’ler · Crawl4AI proxy kurulumu · web scraping kullanım alanı.

Son güncelleme: 17 Eylül 2026.


Share article: