CFO’lar için Etik Scraping Rehberi: Hukuki Riskleri Azaltma | DataImpulse

Yalnızca 5 yıl önce web scraping, C düzeyi yöneticilerin ilgilenmediği, sadece IT ekiplerinin baş ağrısıydı. Bugün durum kökten farklı: web verisi, Kâr ve Zarar tablosunda bir kalem hâline geldi. Bankalar ve yatırım fonları, herkese açık kaynaklardan toplanan fiyatlandırma sinyallerine, iş gücü piyasasına ve müşteri geri bildirimlerine dayanarak stratejiler oluşturuyor. İlaç şirketleri rakiplerin fiyatlarını, patent sicillerini ve ihaleleri gerçek zamanlı takip ediyor. Sonuç ne? CFO, veri toplamayla ilgili her kararı vermek için artık hukuk danışmanıyla masaya oturuyor; çünkü hukuki bir hatanın bedeli yüksek ve yalnızca parayla değil, itibarla da ödeniyor. DataImpulse etik bir proxy sağlayıcısıdır ve şüpheli scraping yöntemleri ile araçların taşıyabileceği riskleri doğrudan biliyoruz. 

Bu makale, verinin nasıl toplanacağıyla değil; para cezalarının, dava süreçlerinin veya itibar zararlarının nasıl önleneceğiyle ilgilidir.

Önemli Bilgiler:

• Proxy’ler yalnızca teknik bir gider değildir; etik olmayan proxy’ler en azından yanlış veri toplanmasına ve yanlış kararlar verilmesine yol açar. Daha kötüsü, hukuka aykırı araçların kullanımı nedeniyle hukuki risklere ve itibar zararlarına neden olabilirler. Güvenilir proxy’ler, hukuki güvenliğinize ve imajınıza yapılan bir yatırımdır.  
• Herkese açık verileri scrape etseniz bile bunların yine de hukuki sınırlar içinde toplanması gerekir.
• Tespit sistemlerini aşmak için alınan agresif önlemler ek risk yaratabilir. Sadece tespiti önlemeye çalışmak yerine GDPR gibi yasalara ve platformların ToS’lerine uyarak etik biçimde scraping yapmanız gerekir. Scraping ile etik scraping arasındaki fark budur.
• Bir proxy sağlayıcısına karar vermeden önce IP kökenini, yasalara uyumu ve ISO sertifikasını kontrol edin. 

Proxy’leri neden yalnızca teknik bir gider olarak görmemelisiniz 

CFO, proxy faturasını operasyonel maliyet olarak görür; ancak görünmeyen giderleri gözden kaçırır:

• Yeniden deneme maliyetleri – Kötü itibara sahip ucuz proxy’ler ilk dakikalarda engellenir. Ekipler hata mesajı almaz; gayet normal görünen yanlış veya eksik veriler alır. Ardından kararlar bu verilere dayanarak verilir. Böyle bir kararın gerçek bedeli proxy’ler için $500 değil, hatalı pazar değerlendirmesi ve yanlış öngörülen lansman yüzünden yüz binlerce ve milyonlarca dolardır. 
• Hukuki giderler – hiQ Labs vs LinkedIn ve Ryanair vs Aviation davaları varsayımsal değildir; herkese açık verilerin peşinde olsanız bile onları nasıl elde ettiğinizin hâlâ önemli olduğunu gösteren gerçek örneklerdir. Kullandığınız altyapı, uyduğunuz teknik sınırlamalar ve trafik kaynağına ilişkin şeffaflık, bunların hepsi bir dava sürecinin konusu hâline gelebilir.
  Pharma gibi düzenlemeye tabi sektörler daha fazla baskıyla karşılaşır: GDPR, ayrıca verilerle ilgili diğer düzenlemeler ve gereklilikler vardır. Scraping işleminin yanlışlıkla herkese açık olmayan verilere temas etmesi durumunda, finans sektörü piyasa suistimali ve içeriden öğrenilen bilgilere ilişkin kurallar nedeniyle daha da zor bir durumdadır. 
• İtibar ve sözleşme giderleri – Kurumsal müşteriler, analiz için verileri nasıl elde ettiğinizi giderek daha sık öğrenmek istiyor. Açık olmayan bir yanıt veya hiç yanıt verilmemesi, uyuma önem verenler için sözleşmenin feshedilme nedeni olabilir.

Proxy altyapısını yalnızca IT ile ilgili giderler açısından düşünmek, onu bir risk yönetimi aracı olarak olduğundan az değerlendirmektir. 

Daha ucuz proxy’ler neden en iyi çözüm değildir 

En ucuz proxy havuzunu satın alma çözümü yalnızca kısa vadede akıllıca görünür. Gerçekte bu tür havuzlar, son kullanıcıların doğrudan onayını alma gerekliliğini aşmayı içeren düzeneklerle sıklıkla oluşturulur. Başka bir deyişle trafik, üçüncü tarafın IP adreslerini kullandığını tam olarak anlamayan, hatta hiç bilmeyen kişilerin cihazları üzerinden yönlendirilir. Düzenlemeye tabi sektörlerde faaliyet gösteren şirketlerin uyum ekipleri için bu yalnızca etik bir soru değildir; aslında kişisel verilerin kökeni sorusuyla aynı olan veri tedarik zinciri meselesidir.

Bir düzenleyici kurum veya denetçi, şirketin rakiplerin fiyatlarını toplamak için kullandığı IP adreslerinin nereden geldiğini sorarsa, “Bilmiyoruz” yanıtı hiç yanıt vermemekten daha kötü duyulur.

Bu nedenle bir proxy havuzunun kökeni ve gerçekliği sorusu, teknik ayrıntı olmaktan çıkıp dikkatli incelemenin konusu hâline gelmiştir. 

Bir CFO hangi hukuki boyutları anlamalıdır 

Bir veri stratejisi oluştururken akılda tutulması gereken, hukuk eğitimi olmayan bir kişinin bile hatırlayabileceği ve hatırlaması gereken birkaç husus vardır.

• Verinin herkese açık olması, sınırlama olmadığı anlamına gelmez 

Mahkemeler, örneğin hiQ vs. LinkedIn davasında, herkese açık verileri yetkilendirme olmadan scrape etme hakkını kabul etti. Bununla birlikte platformların ToS’leri ve sözleşmeleri, verinin teknik anlamda “herkese açık” olmasına bağlı olmayan başka bir hukuki sorumluluk katmanı oluşturur. 

• Koruma sistemlerini aşmaya yönelik agresif önlemler hukuki riskleri artırır

CAPTCHA’yı aşmak, robot.txt dosyalarını yok saymak ve user-agent dizelerini taklit etmek, davacıların kötü niyeti kanıtlamak için kullandığı argümanlardır. Bunların tümü, veri scrape eden bir şirketin imajını ciddi biçimde bozar. 

• GDPR ve diğer yasalara yine de uyulmalıdır

GDPR ve diğer düzenlemeler, herkese açık veriler için bile geçerliliğini korur. LinkedIn profilleri, isim içeren değerlendirmeler ve iletişim bilgileri, kaynağından bağımsız olarak GDPR’ye göre kişisel veridir. 

• Finans sektörü için ek düzenlemeler

MNPI (material non-public information), piyasa manipülasyonu kuralları ve yatırım kararları için veri kalitesine ilişkin MiFID II/SEC gereklilikleri, alternatif verilerin belgelenmiş ve denetlenmiş bir tedarik zincirine sahip olması gerektiği anlamına gelir. 

• Pharma, fiyatlandırma şeffaflığı ve rekabeti engelleme endişeleriyle karşı karşıyadır 

Rakiplerin fiyatlandırmasını takip etmek meşru bir uygulamadır. Ancak bu veriyi elde etme yöntemi şüphe uyandırıyor ve şeffaf görünmüyorsa, haksız rekabet soruşturmasında kanıt olarak kullanılabilir. Aslında pharma daha fazla ilgiyi hak ediyor; bu nedenle pharma ve sağlık kuruluşlarının neden güvenli IP’lere ihtiyaç duyduğu. 

Sonuç basit: hukuki risk yalnızca hangi veriyi elde ettiğinizde değil, aynı zamanda bu veriyi nasıl elde ettiğinizde ve eylemlerinizin hukuka uygun olduğunu kanıtlayıp kanıtlayamayacağınızda da bulunur. Web scraping için etik olarak elde edilen proxy’ler burada zorunludur. 

Hukuk ve uyum ekipleri bir proxy sağlayıcısını değerlendirmek için hangi ölçütleri kullanmalıdır? 

Belirli bir sağlayıcıya güvenip güvenmeyeceğinize karar verirken önce GB başına fiyatı değil, aşağıdaki noktaları kontrol etmelisiniz: 

• IP kökeninin şeffaflığı. Bir sağlayıcı, residential IP’lerin son kullanıcılardan doğrudan onay alındıktan, yani IP’lerinin kullanılmasına izin vermeyi seçtikten sonra etik biçimde elde edildiğini doğrulamalıdır. Ücretsiz uygulamalardaki gizli SDK’ler işin içinde olmamalıdır. Hukuka uygun bir araç kullanmak ile bir izinsiz erişim vakasında potansiyel suç ortağı olmak arasındaki fark burada yatar. 
• Sertifikalar ve denetimler. Belirli bir dönem için ISO ve log denetimleri, bir düzenleyicinin önceki yılın Mart ayında bu veriyi tam olarak nasıl elde ettiğinizi göstermeyi isteyeceği 18 ay sonra hukuk ekibinizin ihtiyaç duyabileceği şeylerdir.
• Veri koruma yasalarına uyum. AB’de faaliyet gösteren finans ve ilaç şirketleri için bir sağlayıcının GDPR’ye uyması ve trafiğin gerekliliklere uygun şekilde yönlendirilmesini ve işlenmesini garanti etmesi çok önemlidir. 

Pahalı proxy’ler neden sonunda daha ucuza gelir 

İlk bakışta ucuz bir proxy havuzu ile kurumsal düzeyde bir sağlayıcının karşılaştırması, ikincisi için avantajlı görünmeyebilir. Ancak düşük kaliteli sağlayıcılarla çalışırken tipik olarak görülen, ucuz proxy’ler engellendiğinde geliştiricilerin yeniden denemelerde harcadığı zamanın maliyetini hesaba katın. Buna risk değerlendirmesi için hukuki danışmanlığın ve sigorta teminatının maliyetini ekleyin. Ürün lansmanındaki gecikmenin bedelini hesaplayın. 

Sonuçta, IP kökeni açık ve sertifikalı kurumsal düzeyde çözümler, başlangıç fiyatı daha yüksek olsa bile, uzun vadede neredeyse her zaman ucuz sağlayıcılardan daha bütçe dostu çıkar. 

CFO ve Uyum ekibi bir sağlayıcıya karar vermeden önce neleri kontrol etmelidir 

1. Onay politikasını kontrol edin. Uyum ekibiniz bunu bir sağlayıcıyla çalışmaya başladıktan sonra değil, önce değerlendirmelidir. 
2. Bir sağlayıcının iç denetimler için log bilgisi sunup sunmadığını netleştirin. 
3. Yalnızca trafiği değil, yeniden deneme başına maliyetleri ve sigorta teminatını da dikkate alarak tahmini maliyetleri hesaplayın. 
4. Bir proxy sağlayıcısını, tıpkı bulut barındırma veya ödeme işleyicisi gibi üçüncü taraf risk sağlayıcıları listesine ekleyin. 

Özetle 

Veri, görmezden gelinmesi imkânsız bir rekabet avantajıdır; ancak düzenlemeye tabi sektörlerdeki CFO’lar ve hukuk danışmanları için soru, bu tür verilerin kullanılıp kullanılmayacağı değil, bir işletmenin veriyi hukuka uygun biçimde elde ettiğini ve kullandığını nasıl kanıtlayacağıdır. Veri kökeni ve destekleyici araçların kökeni şeffaf olup açıklandığında, veri düzenlemelerine uyumu güvence altına alan net politikalar bulunduğunda, scraping bir risk kaynağı olmaktan çıkarak yönetilebilir, öngörülebilir ve düşük maliyetli bir sürece dönüşür.

Sık Sorulan Sorular