Przewodnik CFO po etycznym scrapingu: mniej ryzyka prawnego | DataImpulse

Just 5 years ago, web scraping was solely IT teams’ headache, that C-level executives had nothing to do with. Today, the situation is drastically different: web data has become a line item in the Profit & Loss. Banks and investment funds create strategies based on pricing signals, the labor market, and customer feedback, gathered from public sources. sektor farmaceutycznyceutical companies track competitors’ prices, patent registries, and tenders in real time. The consequence? CFO now sits at the table with legal counsel to make any decision regarding data gathering, because the price of a legal mistake is high and is paid not only with money, but with reputation as well. DataImpulse is an ethical proxy provider, and we know first-hand tego, jakie risks shady scraping and tools can bear. 

Ten artykuł nie dotyczy tego, jak zbierać dane, lecz jak zapobiegać grzywnom, postępowaniom sądowym lub szkodom reputacyjnym.

Najważniejsze fakty:

• Proxy to nie tylko wydatek techniczny – nieetyczne proxy prowadzą co najmniej do zbierania błędnych danych i podejmowania złych decyzji. Co gorsza, mogą prowadzić do ryzyka prawnego związanego z użyciem nielegalnych narzędzi oraz szkód reputacyjnych. Renomowane proxy są inwestycją w Twoje bezpieczeństwo prawne i wizerunek.  
• Nawet jeśli pozyskujesz publicznie dostępne dane, nadal muszą być one zbierane w granicach prawa.
• Agresywne działania mające ominąć systemy wykrywania mogą tworzyć dodatkowe ryzyko. Musisz prowadzić scraping etycznie – przestrzegając przepisów takich jak RODO i ToS platform, a nie tylko próbując uniknąć wykrycia. To różnica między scrapingiem a etycznym scrapingiem.
• Przed wyborem dostawcy proxy sprawdź pochodzenie IP, zgodność z prawem i certyfikację ISO. 

Dlaczego nie należy postrzegać proxy wyłącznie jako wydatku technicznego 

CFO postrzega rachunek za proxy jako koszt operacyjny, ale pomija mniej oczywiste wydatki:

• Koszty ponownych prób – Tanie proxy o złej reputacji są blokowane w pierwszych minutach. Zespoły nie dostają komunikatu o błędzie – otrzymują błędne lub niepełne dane, które wyglądają zupełnie poprawnie. Na ich podstawie zapadają potem decyzje. Rzeczywistą ceną takiej decyzji nie jest $500 za proxy, ale setki tysięcy i miliony dolarów wynikające z błędnej oceny rynku i niewłaściwie przewidzianego wdrożenia. 
• Koszty prawne – Sprawy sądowe hiQ Labs vs LinkedIn i Ryanair vs Aviation nie są hipotetyczne – to rzeczywiste przykłady pokazujące, że nawet gdy interesują Cię dane publiczne, wciąż ważne jest, w jaki sposób je pozyskujesz. Używana infrastruktura, przestrzegane ograniczenia techniczne i przejrzystość co do źródła ruchu – wszystko to może stać się przedmiotem postępowania sądowego.
  Branże regulowane, takie jak sektor farmaceutyczny, są pod większą presją – RODO, oraz inne regulacje i wymogi dotyczące danych. Branża finansowa ma jeszcze trudniej ze względu na zasady dotyczące nadużyć na rynku i informacji wewnętrznych, jeśli scraping przypadkowo obejmie dane niepubliczne. 
• Koszty reputacyjne i kontraktowe – Klienci korporacyjni coraz częściej chcą wiedzieć, jak pozyskujesz dane do analiz. Nie do końca jasna odpowiedź lub jej brak mogą stać się dla osób dbających o zgodności powodem rozwiązania umowy.

Postrzeganie infrastruktury proxy wyłącznie przez pryzmat wydatków związanych z IT nie docenia jej roli jako narzędzia zarządzania ryzykiem. 

Dlaczego tańsze proxy nie są najlepszym rozwiązaniem 

Zakup najtańszej puli proxy wygląda rozsądnie tylko w krótkiej perspektywie. W rzeczywistości takie pule często tworzy się za pomocą schematów polegających na omijaniu uzyskania bezpośredniej zgody użytkowników końcowych. Innymi słowy, ruch jest kierowany przez urządzenia osób, które nie rozumieją w pełni albo w ogóle nie wiedzą, że strona trzecia korzysta z ich adresu IP. Dla zespołów zgodności firm działających w regulowanych branżach nie jest to tylko kwestia etyczna – to kwestia łańcucha dostaw danych, która w istocie jest pytaniem o pochodzenie danych osobowych.

Jeśli organ regulacyjny lub audytor zapyta: „Skąd pochodzą adresy IP, za pomocą których firma zbiera ceny konkurencji?”, odpowiedź „Nie wiemy” brzmi gorzej niż całkowity brak odpowiedzi.

Dlatego kwestia pochodzenia i autentyczności puli proxy przestała być detalem technicznym, a stała się przedmiotem wnikliwej kontroli. 

Jakie aspekty prawne musi rozumieć CFO 

Przy budowaniu strategii danych trzeba pamiętać o kilku rzeczach – takich, o których może i powinien pamiętać nawet ktoś bez wykształcenia prawniczego.

• Publiczna dostępność danych nie oznacza braku ograniczeń 

Sądy, na przykład w sprawie hiQ vs. LinkedIn, uznały prawo do pozyskiwania publicznie dostępnych danych bez upoważnienia. Jednocześnie ToS platform i umowy tworzą kolejną warstwę odpowiedzialności prawnej, która nie zależy od technicznej „publiczności” danych. 

• Agresywne działania służące obejściu systemów ochrony zwiększają ryzyko prawne

Omijanie CAPTCHA, ignorowanie plików robot.txt i fałszowanie ciągu user-agent – to wszystko argumenty, których powodowie używają, aby wykazać złą wiarę. Drastycznie zniekształca to wizerunek firmy, która pozyskiwała dane. 

• RODO i inne przepisy nadal należy przestrzegać

RODO i inne regulacje nadal obowiązują, nawet w odniesieniu do danych publicznych. Profile LinkedIn, opinie z nazwiskami, dane kontaktowe – według RODO są to dane osobowe, niezależnie od źródła. 

• Dodatkowe regulacje dla branży finansowej

MNPI (istotne informacje niepubliczne), zasady dotyczące manipulacji rynkowej oraz wymogi MiFID II/SEC dotyczące jakości danych wykorzystywanych w decyzjach inwestycyjnych oznaczają, że dane alternatywne muszą mieć udokumentowany i audytowany łańcuch dostaw. 

• sektor farmaceutyczny mierzy się z przejrzystością cen i obawami antykonkurencyjnymi 

Śledzenie cen konkurencji jest uzasadnioną praktyką. Jeśli jednak sposób pozyskiwania tych danych budzi podejrzenia i wygląda na nieprzejrzysty, może służyć jako dowód w postępowaniu dotyczącym nieuczciwej konkurencji. sektor farmaceutyczny zasługuje zresztą na więcej uwagi, dlatego przygotowaliśmy wyczerpujący artykuł o tym, dlaczego firmy z branży sektor farmaceutyczny i ochrony zdrowia potrzebują bezpiecznych IP. 

Wniosek jest prosty: ryzyko prawne nie dotyczy wyłącznie tego, jakie dane pozyskujesz, lecz także tego, jak pozyskujesz te dane oraz czy potrafisz udowodnić, że Twoje działania są zgodne z prawem. Etycznie pozyskane proxy do web scraping są tu niezbędne. 

Jakich kryteriów powinny używać zespoły prawne i zgodności przy ocenie dostawcy proxy? 

Decydując, czy zaufać konkretnemu dostawcy, najpierw sprawdź nie cenę za GB, lecz następujące kwestie: 

• Przejrzystość pochodzenia IP. Dostawca musi potwierdzić, że residential IP są pozyskiwane w sposób etyczny – po otrzymaniu bezpośredniej zgody użytkowników końcowych, którzy wyrazili zgodę na użycie swoich IP. Nie mogą w tym uczestniczyć ukryte SDK w bezpłatnych aplikacjach. Na tym polega różnica między korzystaniem z legalnego narzędzia a staniem się potencjalnym wspólnikiem w sprawie o naruszenie. 
• Certyfikaty i audyty. Audyty ISO i logów za konkretny okres mogą być tym, czego Twój zespół prawny będzie potrzebować za 18 miesięcy, gdy organ regulacyjny poprosi o wykazanie, jak dokładnie pozyskano te dane w marcu poprzedniego roku.
• Przestrzeganie przepisów o ochronie danych. Dla firm finansowych i farmaceutycznych działających w UE kluczowe jest, aby dostawca przestrzegał RODO oraz gwarantował kierowanie i przetwarzanie ruchu zgodnie z wymogami. 

Dlaczego droższe proxy okazują się tańsze 

Na pierwszy rzut oka porównanie taniej puli proxy z dostawcą klasy korporacyjnej może nie wyglądać korzystnie dla tego drugiego. Weź jednak pod uwagę koszt czasu programistów traconego na ponowne próby, gdy tanie proxy są blokowane, co jest typowe przy pracy z dostawcami niskiej jakości. Dodaj koszt konsultacji prawnych dotyczących oceny ryzyka oraz koszt ochrony ubezpieczeniowej. Oblicz koszt opóźnienia we wdrożeniu produktu. 

Ostatecznie rozwiązania klasy korporacyjnej z jasnym pochodzeniem IP i certyfikatami niemal zawsze okazują się w dłuższej perspektywie korzystniejsze budżetowo niż tani dostawcy – nawet jeśli cena początkowa jest wyższa. 

Co CFO i Compliance powinni sprawdzić przed wyborem dostawcy 

1. Sprawdź politykę zgód. Twój zespół zgodności musi ją ocenić przed rozpoczęciem współpracy z dostawcą, a nie po nim. 
2. Ustal, czy dostawca udostępnia informacje z logów na potrzeby audytów wewnętrznych. 
3. Oblicz szacowane koszty, uwzględniając koszty każdej ponownej próby i ochronę ubezpieczeniową, a nie tylko ruch. 
4. Uwzględnij dostawcę proxy na liście dostawców ryzyka zewnętrznego, tak jak hosting w chmurze lub operatora płatności. 

Podsumowanie 

Dane są przewagą konkurencyjną, której nie można ignorować, ale dla CFO i rad prawnych w regulowanych branżach pytanie nie brzmi, czy korzystać z takich danych, lecz jak udowodnić, że firma pozyskała je i wykorzystała zgodnie z prawem. Gdy pochodzenie danych i używanych narzędzi jest przejrzyste oraz ujawnione, a jasne polityki gwarantują przestrzeganie regulacji dotyczących danych, scraping zmienia się ze źródła ryzyka w proces możliwy do zarządzania, przewidywalny i niedrogi.

Najczęściej zadawane pytania