The CFOs Guide to Ethical Scraping

Hanya 5 tahun lalu, web scraping semata-mata menjadi masalah tim IT, yang tidak ada kaitannya dengan eksekutif tingkat C. Kini, situasinya jauh berbeda: data web telah menjadi salah satu pos dalam laporan Laba Rugi (Profit & Loss). Bank dan dana investasi menyusun strategi berdasarkan sinyal harga, pasar tenaga kerja, dan umpan balik pelanggan yang dikumpulkan dari sumber publik. Perusahaan farmasi memantau harga pesaing, basis data paten, dan tender secara real time. Akibatnya? CFO kini duduk satu meja dengan penasihat hukum untuk mengambil keputusan apa pun terkait pengumpulan data, karena harga dari kesalahan hukum sangat tinggi dan dibayar bukan hanya dengan uang, tetapi juga dengan reputasi. DataImpulse adalah penyedia proxy yang etis, dan kami tahu betul risiko apa yang bisa ditimbulkan oleh scraping dan alat yang tidak jelas asal-usulnya.

Artikel ini bukan membahas cara mengumpulkan data, melainkan cara mencegah denda, proses pengadilan, atau kerusakan reputasi.

Fakta Utama:

  • Proxy bukan sekadar biaya teknis – proxy yang tidak etis, paling ringan, dapat menyebabkan pengumpulan data yang salah dan pengambilan keputusan yang keliru. Atau yang lebih buruk, proxy semacam itu dapat menimbulkan risiko hukum akibat penggunaan alat ilegal serta kerusakan reputasi. Proxy yang tepercaya adalah investasi untuk keamanan hukum dan citra Anda.
  • Bahkan jika Anda melakukan scraping terhadap data yang tersedia untuk umum, data tersebut tetap harus dikumpulkan dalam batasan hukum yang berlaku.
  • Langkah-langkah agresif untuk menghindari sistem deteksi dapat menciptakan risiko tambahan. Anda perlu melakukan scraping secara etis – mematuhi hukum seperti GDPR dan ToS platform, bukan sekadar berusaha menghindari deteksi. Itulah perbedaan antara scraping biasa dan scraping yang etis.
  • Sebelum memutuskan penyedia proxy, periksa asal-usul IP, kepatuhan hukum, dan sertifikasi ISO.

Mengapa Anda tidak boleh melihat proxy hanya sebagai biaya teknis

CFO melihat tagihan proxy sebagai biaya operasional, tetapi mereka melewatkan biaya-biaya tersembunyi berikut:

  • Biaya akibat percobaan ulang – Proxy murah dengan reputasi buruk akan diblokir dalam beberapa menit pertama. Tim tidak mendapatkan pesan kesalahan – mereka mendapatkan data yang salah atau tidak lengkap namun tampak baik-baik saja. Keputusan pun diambil berdasarkan data tersebut. Harga sesungguhnya dari keputusan semacam ini bukan $500 untuk proxy, melainkan ratusan hingga jutaan dolar akibat penilaian pasar yang keliru dan peluncuran produk yang salah prediksi.
  • Biaya hukum – Kasus pengadilan hiQ Labs vs LinkedIn, Ryanair vs Aviation bukanlah hal hipotetis – keduanya adalah contoh nyata yang menunjukkan: sekalipun Anda mengincar data publik, cara Anda memperolehnya tetap penting. Infrastruktur yang Anda gunakan, batasan teknis yang Anda patuhi, serta transparansi mengenai sumber lalu lintas data – semuanya bisa menjadi objek proses pengadilan.
    Industri yang diatur ketat seperti Farmasi menghadapi tekanan lebih besar –
    GDPR, serta regulasi dan persyaratan lain terkait data. Industri keuangan menghadapi hal yang lebih berat lagi dengan aturan mengenai penyalahgunaan pasar dan informasi orang dalam jika scraping secara tidak sengaja menyentuh data non-publik.
  • Biaya reputasi dan kontrak – Klien enterprise semakin sering menuntut untuk mengetahui bagaimana Anda memperoleh data untuk analitik. Jawaban yang tidak jelas atau ketiadaan jawaban dapat menjadi alasan pemutusan kontrak bagi mereka yang peduli terhadap kepatuhan.

Memandang infrastruktur proxy hanya sebagai biaya terkait IT berarti meremehkan perannya sebagai alat manajemen risiko.

Mengapa proxy yang lebih murah bukan solusi terbaik

Membeli pool proxy termurah tampak bijak hanya dalam jangka pendek. Pada kenyataannya, pool semacam itu sering kali dibangun menggunakan skema yang berupaya menghindari perolehan persetujuan langsung dari pengguna akhir. Dengan kata lain, lalu lintas data dialihkan melalui perangkat milik orang-orang yang tidak sepenuhnya memahami, bahkan sama sekali tidak menyadari, bahwa pihak ketiga sedang menggunakan alamat IP mereka. Bagi tim kepatuhan di perusahaan yang beroperasi di industri yang diatur ketat, ini bukan sekadar persoalan etika – ini adalah masalah rantai pasok data, yang pada dasarnya sama dengan pertanyaan mengenai asal-usul data pribadi.

Jika badan regulator atau auditor bertanya, “Dari mana asal alamat IP yang digunakan perusahaan untuk mengumpulkan harga pesaing?”, jawaban “Kami tidak tahu” terdengar lebih buruk daripada tidak ada jawaban sama sekali.

Itulah sebabnya pertanyaan mengenai asal-usul dan keaslian pool proxy berkembang dari sekadar detail teknis menjadi objek pemeriksaan yang cermat.

Aspek hukum apa saja yang harus dipahami CFO

Ada beberapa hal yang perlu diingat saat menyusun strategi data – hal-hal yang bahkan bisa dan sebaiknya diingat oleh orang tanpa latar belakang hukum sekalipun.

  • Data yang bersifat publik tidak berarti tidak ada batasan

Pengadilan (misalnya dalam kasus hiQ vs. LinkedIn) mengakui hak untuk melakukan scraping data yang tersedia untuk umum tanpa otorisasi. Namun demikian, ToS platform dan kontrak menciptakan lapisan tanggung jawab hukum lain yang tidak bergantung pada sifat “publik” data secara teknis.

  • Langkah-langkah agresif untuk mengakali sistem perlindungan meningkatkan risiko hukum

Mengakali CAPTCHA, mengabaikan berkas robot.txt, dan memalsukan string user agent – semuanya adalah argumen yang digunakan pihak penggugat untuk membuktikan itikad buruk. Hal ini sangat merusak citra perusahaan yang melakukan scraping data.

  • GDPR dan hukum lain tetap harus dipatuhi

GDPR dan regulasi lain tetap berlaku, bahkan untuk data publik. Profil LinkedIn, ulasan yang mencantumkan nama, serta kontak – menurut GDPR, semua itu adalah data pribadi, apa pun sumbernya.

  • Regulasi tambahan untuk industri keuangan

MNPI (material non-public information/informasi non-publik yang material), aturan manipulasi pasar, serta persyaratan MiFID II/SEC mengenai kualitas data untuk keputusan investasi berarti bahwa data alternatif harus memiliki rantai pasok yang terdokumentasi dan telah diaudit.

  • Farmasi menghadapi persoalan transparansi harga dan persaingan tidak sehat

Memantau harga pesaing adalah praktik yang wajar dan dapat dibenarkan. Namun, jika metode memperoleh data tersebut menimbulkan kecurigaan dan terlihat tidak transparan, hal itu bisa dijadikan bukti dalam penyelidikan persaingan tidak sehat. Sebenarnya, industri farmasi layak mendapat perhatian lebih, sehingga ada artikel mendalam tentang mengapa perusahaan farmasi dan layanan kesehatan membutuhkan IP yang aman.

Kesimpulannya sederhana: risiko hukum bukan hanya terletak pada data apa yang Anda peroleh, melainkan juga pada bagaimana Anda memperoleh data tersebut dan apakah Anda dapat membuktikan bahwa tindakan Anda sah secara hukum. Proxy yang diperoleh secara etis untuk web scraping di sini menjadi suatu keharusan.

Kriteria apa yang harus digunakan tim legal dan kepatuhan untuk mengevaluasi penyedia proxy?

Saat memutuskan apakah akan memercayai vendor tertentu, yang pertama harus Anda periksa bukanlah harga per GB, melainkan poin-poin berikut:

  • Transparansi asal-usul IP. Vendor harus memastikan bahwa IP residential diperoleh dengan cara yang etis – setelah mendapatkan persetujuan langsung dari pengguna akhir, sehingga mereka secara sukarela (opt-in) mengizinkan penggunaan IP mereka. Tidak boleh ada SDK tersembunyi di dalam aplikasi gratis. Di sinilah letak perbedaan antara menggunakan alat yang sah secara hukum dan berpotensi menjadi kaki tangan dalam kasus intrusi.
  • Sertifikasi dan audit. Sertifikasi ISO dan audit log untuk periode waktu tertentu adalah hal yang mungkin dibutuhkan tim legal Anda dalam 18 bulan ke depan, saat regulator meminta Anda menunjukkan secara persis bagaimana Anda memperoleh data tersebut pada bulan Maret tahun sebelumnya.
  • Kepatuhan terhadap undang-undang perlindungan data. Bagi perusahaan keuangan dan farmasi yang beroperasi di Uni Eropa, sangat penting bahwa penyedia mematuhi GDPR dan menjamin perutean serta pemrosesan lalu lintas data sesuai persyaratan yang berlaku.

Mengapa proxy yang mahal justru berujung lebih murah

Sekilas, perbandingan antara pool proxy murah dan penyedia setingkat enterprise mungkin tampak tidak menguntungkan bagi yang terakhir. Namun, pertimbangkan biaya waktu developer yang terbuang untuk percobaan ulang saat proxy murah diblokir, yang lazim terjadi ketika bekerja dengan penyedia berkualitas rendah. Tambahkan pula biaya konsultasi hukum untuk penilaian risiko dan biaya perlindungan asuransi. Hitung juga biaya akibat tertundanya peluncuran produk.

Pada akhirnya, solusi setingkat enterprise dengan asal-usul IP yang jelas dan bersertifikat hampir selalu terbukti lebih hemat anggaran dalam jangka panjang dibandingkan penyedia murah – meskipun harga awalnya lebih tinggi.

Apa yang harus diperiksa CFO dan tim Kepatuhan sebelum memutuskan penyedia

  1. Periksa kebijakan persetujuan. Tim kepatuhan Anda perlu mengevaluasinya sebelum Anda mulai bekerja sama dengan vendor, bukan setelahnya.
  2. Pastikan apakah vendor menyediakan informasi log untuk keperluan audit internal.
  3. Hitung perkiraan biaya dengan mempertimbangkan biaya per percobaan ulang dan perlindungan asuransi, bukan hanya lalu lintas data.
  4. Masukkan penyedia proxy ke dalam daftar vendor risiko pihak ketiga, sama seperti cloud hosting atau prosesor pembayaran.

Kesimpulan

Data adalah keunggulan kompetitif yang mustahil diabaikan, tetapi bagi CFO dan penasihat hukum di industri yang diatur ketat, pertanyaannya bukan lagi apakah akan menggunakan data tersebut, melainkan bagaimana membuktikan bahwa bisnis memperoleh dan menggunakan data itu secara sah. Ketika asal-usul data dan asal-usul alat pendukungnya transparan dan diungkapkan, ketika ada kebijakan jelas yang menjamin kepatuhan terhadap regulasi data, scraping pun berubah dari sumber risiko menjadi proses yang dapat dikelola, dapat diprediksi, dan hemat biaya.

Pertanyaan yang Sering Diajukan

Apakah web scraping legal?

Ya, web scraping pada umumnya merupakan praktik yang legal. Meski begitu, banyak hal bergantung pada niche tempat Anda beroperasi, alat yang Anda gunakan, data yang Anda scrape, dan cara Anda menyimpannya. Agar tetap berada di sisi hukum, pertimbangkan regulasi data yang berlaku di lokasi Anda serta ToS platform, gunakan alat dengan kebijakan yang transparan, dan ingat batasan-batasan khusus untuk niche Anda.

Jika data tersedia untuk umum, bagaimana batasan tetap bisa berlaku?

Data bisa saja bersifat publik, tetapi tetap termasuk data pribadi - misalnya, profil LinkedIn, ulasan yang mencantumkan nama, serta kontak - semua itu bisa diklasifikasikan sebagai data pribadi menurut GDPR. Selain itu, sifat terbuka data tidak menghilangkan kewajiban untuk memproses, menyimpan, dan membagikan data sesuai regulasi. Itulah sebabnya, bahkan untuk data publik sekalipun, batasan tetap ada dan kehati-hatian tetap diperlukan.

Bisakah bisnis dimintai tanggung jawab jika IP dari penyedia proxy tidak diperoleh secara etis atau menimbulkan kekhawatiran lain?

Ada kemungkinan hal tersebut terjadi. Terutama jika perusahaan sudah mengetahui persoalan hukum tersebut sebelumnya dan tetap sengaja menggunakan proxy semacam itu. Itulah sebabnya memastikan bahwa IP diperoleh dengan persetujuan pengguna adalah suatu keharusan. Untuk menghindari masalah, pilihlah penyedia yang sah seperti DataImpulse yang tidak menjual kembali proxy dan hanya memperoleh IP dengan persetujuan pengguna.

Apa itu DataImpulse?

DataImpulse (dataimpulse.com) adalah vendor proxy yang etis, menawarkan 90 juta+ IP residential, 16 juta+ IP mobile, dan 20 juta+ IP datacenter dari 195 negara. Penyedia ini menerapkan skema harga pay-per-GB dan menjual lalu lintas data yang tidak memiliki masa kedaluwarsa, dengan proxy residential seharga $1/GB. Proxy DataImpulse mematuhi GDPR, sehingga cocok untuk web scraping yang legal, verifikasi iklan, pemantauan SERP, pelacakan harga, dan berbagai kasus penggunaan lainnya.

Kapan DataImpulse bukan pilihan yang tepat?

DataImpulse tidak dapat membantu mengakses sumber pemerintah atau perbankan. Selain itu, tidak tersedia API scraping. Perlu dicatat, vendor ini tidak menyediakan alamat dari Iran, Kuba, Belarus, Federasi Rusia, Korea Utara, Suriah, dan wilayah Ukraina yang untuk sementara diduduki.

Apakah menggunakan penyedia proxy yang sah menghilangkan seluruh risiko hukum?

Tidak. Hal ini secara signifikan mengurangi eksposur risiko, tetapi risiko hukum bergantung pada banyak faktor, seperti aturan platform target, jenis data yang dikumpulkan, dan cara Anda menyimpan serta memprosesnya. Vendor proxy tidak memengaruhi faktor-faktor tersebut; vendor hanya menangani lapisan risiko infrastruktur. Dengan kata lain, penyedia proxy yang tepercaya memang diperlukan, tetapi bukan segalanya.

Share article: