Bu makalede
Crawl4AI, web sayfalarını temiz, LLM’e hazır metne ve yapılandırılmış verilere dönüştürmek için geliştirilmiş açık kaynaklı bir tarayıcıdır ve bunu yapmak için gerçek bir tarayıcı çalıştırır. Bu tek gerçek, proxy’nin nasıl konumlandığını belirler: proxy’yi, belgenin ve sayfanın tetiklediği her varlığın, betiğin ve XHR’nin geçtiği tarayıcı katmanında yapılandırırsınız.
Bu nedenle Crawl4AI proxy’si, istek başına bir seçenek değil, oturum anlamları eklenmiş tarayıcı düzeyinde bir ayardır. Bu rehber, proxy’nin yığındaki yerini, oturumların nasıl tutarlı tutulacağını, aktarım hızını öldürmeden hızın nasıl kontrol edileceğini ve LLM destekli bir taramanın getirisinden daha pahalı olmasının nasıl önleneceğini ele alır.
Temel Bilgiler
- Crawl4AI gerçek bir tarayıcı çalıştırır, bu nedenle proxy tarayıcı katmanında yapılandırılır ve yalnızca belgeye değil, sayfanın yaptığı her isteğe uygulanır.
- Doğru ayarlanması gereken dört katman: tarayıcı, proxy, çıkarma ve kısıtlama. Maliyetin ve engellerin çoğu, insanların en son ayarladığı iki katmandan kaynaklanır.
- Bir oturum, bir çıkış. Çerezleri koruyan ancak istekleri dönen adreslerden gelen bir tarayıcı bağlamı kendiyle çelişir ve sorgulanır.
- Pahalı olan bant genişliği değil, işlemedir, bu yüzden yalnızca gereken sayfaları işleyin ve kalanları düz olarak getirin.
- LLM çıkarma maliyetleri sayfa ağırlığıyla ölçeklenir, bu nedenle DOM’u modele ulaşmadan kırpmak, genellikle işlem hattındaki en büyük tek tasarruftur.
Proxy, bir Crawl4AI çalıştırmasında nereye konur?
İstek başına değil, tarayıcı yapılandırmasına konur. Crawl4AI bir tarayıcı başlatır ve onu sayfaya yönlendirir; dolayısıyla tarayıcı bağlamında ayarlanan proxy, sayfanın yaptığı her şeyi yönlendirir. Onu başka bir yerde ayarlamak mümkün olan en kötü sonucu doğurur: belge bir adresten gelirken betikleri ve API çağrıları başka bir adresten gelir. Bu, her algılama sisteminin hemen fark ettiği bir çelişkidir.
Bunun iki pratik sonucu vardır. İlk olarak, kimlik bilgileri tarayıcının geçirebileceği tarayıcı başlatma yapılandırmasında yer almalıdır; sağlayıcınızın verdiği ağ geçidi ana makinesini, bağlantı noktasını, kullanıcı adını ve parolayı kullanın. İkinci olarak, tarayıcı gezinmeler boyunca çerezleri ve yerel depolamayı koruduğu ve bunlar onları alan adrese bağlı olduğu için tek bir tarama çalıştırması süresi boyunca tek bir çıkış kullanmalıdır.
Bir işte birkaç siteyi tarıyorsanız, ilgisiz ana makineler arasında tek bir bağlamı yeniden kullanmak yerine her birine kendi oturumuna sahip ayrı bir tarayıcı bağlamı verin.
Eksiksiz bir yapılandırma nasıl görünür? 4 katmanlı tarama yapılandırması modeli
4 katmanlı tarama yapılandırması modeli, insanların yanlış sırayla ayarladığı ayarları birbirinden ayırır.
| Katman | Kontrol ettiği şey | Yaygın hata |
|---|---|---|
| 1. Tarayıcı | Headless modu, görüntü alanı, yerel ayar, saat dilimi, kullanıcı aracısı, otomasyon bayrakları | Alman çıkışla ABD yerel ayarı veya masaüstü görüntü alanında mobil kullanıcı aracısı |
| 2. Proxy | Ağ geçidi, kimlik bilgileri, ülke hedefleme, dönen veya sticky session | Tarayıcı tek bir çerez deposunu korurken istek başına döndürme |
| 3. Çıkarma | Neyin markdown’a ya da yapılandırılmış çıktıya dönüştürüldüğü ve LLM kullanılıp kullanılmadığı | Bir CSS kapsamı yeterliyken tüm DOM’u modele göndermek |
| 4. Kısıtlama | Eşzamanlılık, gecikme, yeniden denemeler, zaman aşımları, önbellekleme | En son ya da hiç ayarlanmaması; taramanın gerçekten engellenmesine neden olan budur |
Bir şey bozulduğunda dördüncü katmandan geriye doğru çalışın. On durumun dokuzunda başarısız olmaya başlayan bir tarama yeni bir savunmaya takılmaz; daha önce idare ettiği bir hıza takılır.
Oturumları nasıl tutarlı tutarsınız?
Bir tarayıcı bağlamını tüm ömrü boyunca tek bir çıkışa bağlayın ve oturum değişmeden önce taramanın siteyi bitirmesine izin verin.
- Bir sticky session kullanın; gezinmenin birkaç sayfaya yayıldığı her site için bunu yapın ve durumun ana makineler arasında asla sızmaması için her siteye kendi oturum tanımlayıcısını verin.
- Yerel ayarı coğrafyayla eşleştirin. Çıkış Almanya’daysa tarayıcı yerel ayarı ve saat dilimi de Almanya’yı belirtmelidir.
- Bağlam başına çerezleri kalıcı tutun; sayfalar arasında temizlemeyin: her sayfa görüntülemesinde çerezsiz gelen ziyaretçi, ziyaretçi gibi görünmez.
- Çalıştırmalar arasında döndürün, çalıştırma içinde değil. Sonraki tarama için yeni adresler sağlıklıdır; oturum ortasında yeni adresler çelişkidir.
proxy döndürme için en iyi uygulamalar rehberimiz genel olarak oturum modelini ele alır; aynı ilkeler, bu türdeki birçok tarayıcının altında yer alan Playwright ve Puppeteer için de geçerlidir.
Bir LLM taramasının pahalılaşmasını nasıl önlersiniz?
Modele ulaşan veriyi azaltın ve daha az işleme yapın. Her ikisi de zekâ değil, yapılandırma meselesidir.
Çıkarmayı kapsamlandırın. Tarayıcıyı sayfa yerine içerik kapsayıcısına yöneltin. Gezinme, alt bilgiler, çerez afişleri ve ilgili makale şeritleri, bilgi değeri olmayan salt token maliyetidir.
Serbest biçim yerine şema çıkarımını tercih edin. Alanlar biliniyorsa CSS veya XPath şeması belirleyicidir, ücretsizdir ve bunları bulması için modele sormaktan daha hızlıdır; modeli, yapının gerçekten değiştiği sayfalar için ayırabilirsiniz.
Önbelleği agresif kullanın. Değişmemiş bir sayfayı yeniden taramak bant genişliği, işleme süresi ve token maliyetine yol açar. URL’ye göre bir güncellik penceresiyle önbelleğe alın ve yeniden işlemden önce farkı denetleyin.
Seçerek işleyin. Her sayfanın tarayıcıya ihtiyacı yoktur. İçerik sunucu tarafından işlenen HTML’deyse düz bir getirme işlemi bir büyüklük mertebesi daha ucuzdur; önce getirip yalnızca başarısızlıkta işleyen karma işlem hatları pratikte iyi çalışır.
Bu dördü birlikte, çalışan bir taramanın maliyetini genellikle herhangi bir proxy kararından daha fazla düşürür.
Bu tür bir tarama için hangi proxy türü uygundur?
Çıkışı tarayıcıya göre değil, hedefe ve oturum düzenine göre eşleştirin.
| Hedef | Kullanım | Şu durumda kaçının |
|---|---|---|
| Tüketiciye yönelik siteler, çok sayfalı gezinme | Sticky residential, site başına bir oturum | Sitenin açık bir API veya dokümantasyon olduğu, datacenter’ın uygun ve daha ucuz olduğu durumlar |
| Birçok ana makineyi kapsayan geniş, yüzeysel taramalar | Rotating residential, ana makine başına bir oturum | Her ana makinenin döndürmenin bozacağı uzun, durum tutan bir oturuma ihtiyaç duyduğu durumlar |
| Dokümanlar, açık veriler, kendi hizmetleriniz | Datacenter | Hedefin barındırma aralıklarını otomasyon olarak değerlendirdiği durumlar |
| Bölgeye özgü içerik veya fiyatlandırma | Ülkeye sabitlenmiş residential | İçeriğin her yerde aynı olduğu ve ek maliyetin hiçbir şey sağlamadığı durumlar |
DataImpulse residential, 195 ülkede GB başına $1 karşılığında HTTP, HTTPS ve SOCKS5 ile, dönen veya sticky oturumlar ve ülke hedefleme dâhil sunulur. Tarayıcıyla yürütülen taramalar belgelerin yanı sıra varlıkları da çeker; bu nedenle bant genişliği disiplini önemlidir: ihtiyacınız olmayan görselleri ve yazı tiplerini engelleyin, aynı bütçe birkaç kat daha ileri gider.
Bilinmeye değer sınırlar nelerdir?
Proxy izin değildir. Taradığınız sitelerin robots.txt dosyasını ve koşullarını okuyun, bunlara uyun ve mevcut olduğunda resmî API’leri tercih edin. web scraping’in meşru olup olmadığı hakkındaki genel bakışımız daha geniş çerçeveyi ele alır.
İşlemenin bir sınırı vardır. Tarayıcıyla yürütülen tarama bellek ve CPU açısından yoğundur; dizüstü bilgisayarda uygun görünen eşzamanlılık küçük bir container’ı zorlayacaktır. Yatay ölçeklemeden önce RAM’in gigabaytı başına dakikadaki sayfa sayısını ölçün.
LLM çıkarımı ücretsiz veya kesin değildir. Modeller yeniden ifade eder, bazen uydurur ve sayfa başına maliyet yaratır. Bir örneği kaynakla karşılaştırarak doğrulayın ve doğru olması gereken alanlar için belirleyici çıkarımı koruyun.
Engeller genellikle hız ayarından kaynaklanır. Dün çalışan bir tarama bugün başarısız oluyorsa bir şey satın almadan önce hızı ve oturum yönetimini denetleyin. web scraping sırasında 403 Forbidden hataları rehberimiz tanılama sırasını açıklar.
Sık Sorulan Sorular
Crawl4AI’de proxy’yi nereye ayarlarım?
Tarayıcı yapılandırmasına ayarlarsınız; böylece belgeye ve sayfanın tetiklediği her varlığa, betiğe ve XHR’ye uygulanır. İstek başına ayarlamak, sayfanın kendi kaynaklarını farklı bir adresten yüklemesine neden olur; bu da algılama sistemlerinin hemen fark ettiği bir çelişkidir.
Dönen mi yoksa sticky oturumları mı kullanmalıyım?
Taramanın birkaç sayfada gezindiği her site için sticky kullanın; çünkü tarayıcı çerezleri tutar ve bunlar onları alan adrese bağlıdır. Çalıştırmalar arasında döndürme sağlıklıdır; çerez deposu kalıcıyken oturum içinde döndürme ise sorgulamalara yol açar.
LLM destekli bir taramada token maliyetini nasıl azaltırım?
Çıkarmayı tüm DOM yerine içerik kapsayıcısıyla sınırlayın, alanların bilindiği yerlerde CSS veya XPath şemaları kullanın ve modeli gerçekten değişken sayfalar için ayırın, URL’ye göre bir güncellik penceresiyle önbelleğe alın ve yalnızca tarayıcı gerektiren sayfaları işleyin.
Crawl4AI için residential proxy’lere ihtiyacım var mı?
Yalnızca hedef bunu gerektiriyorsa: tüketiciye yönelik siteler ve bölgeye özgü içerik için. Dokümantasyon, açık veriler ve API’ler datacenter çıkışından da uygundur ve daha düşük maliyetlidir. Tüm tarayıcı için tek bir çıkış türü belirlemek yerine hedefe göre karar verin.
Tarama dün çalışıyordu, bugün başarısız oluyor. Ne değişti?
Genellikle onların savunması değil, sizin hızınızdır. Jitter ile tek bir iş parçacığına inin ve yeniden test edin; başarılı olursa neden hız ayarıydı ve eski hızdaki döndürme bunu çözmez. Ancak bundan sonra farklı bir çıkış türünün sonucu değiştirip değiştirmediğini test etmelisiniz.
Her taramaya kararlı bir çıkış verin
Tarayıcıyla yürütülen taramalar için, coğrafi olarak doğru tek bir çıkışa bağlı oturum durumun tutarlı kalmasını sağlar. DataImpulse residential proxies, ülke hedefleme dâhil olmak üzere 195 ülkede GB başına $1 karşılığında sticky veya dönen oturumlar, HTTP, HTTPS ve SOCKS5 sunar. Hesap oluşturun ve bunu tarayıcı katmanında bağlayın; ardından daha geniş kurulum için web scraping kullanım alanımıza bakın.
İlgili rehberler: tarayıcılar neden engellenir · somut bir hedef: Shopify mağazaları · web scraping için proxy’ler.
Son güncelleme: 17 Eylül 2026.
