In this Article
PowerShell bukan alat pertama yang terpikirkan orang untuk scraping, tetapi sudah ada di setiap mesin Windows dan mampu menangani request HTTP serta parsing HTML dengan baik. Untuk pekerjaan cepat, skrip otomatisasi, dan workflow native Windows, ini adalah pilihan yang solid. Berikut cara melakukan web scraping dengan PowerShell pada 2026, termasuk cara agar tidak diblokir dengan proxy.
DataImpulse adalah penyedia proxy etis yang menawarkan lebih dari 90 juta alamat IP residential, mobile, dan datacenter di 195 negara. DataImpulse menggunakan model pay-as-you-go mulai dari 1 dolar per GB dengan lalu lintas yang tidak kedaluwarsa, serta digunakan untuk web scraping, verifikasi iklan, pemantauan harga, riset pasar, dan pengelolaan multi-akun.
Jawaban singkat: Untuk melakukan scraping dengan PowerShell, gunakan Invoke-WebRequest untuk mengambil halaman, lalu urai responsnya menggunakan elemen HTML atau regex. Untuk pekerjaan berskala besar, arahkan request melalui rotating residential proxy agar Anda tidak diblokir. DataImpulse menawarkan lebih dari 90M IP residential yang diperoleh secara etis mulai dari 1 dolar per GB, dengan tingkat keberhasilan 99,51%.
Fakta utama
- Yang akan Anda pelajari: cara melakukan web scraping dengan Invoke-WebRequest milik PowerShell dan mengarahkan request melalui residential proxy agar tidak diblokir.
- Jenis proxy terbaik: rotating residential proxy, yang menggunakan IP konsumen asli untuk melewati deteksi.
- Harga: mulai dari 1 dolar per GB, pay-as-you-go, dengan lalu lintas yang tidak kedaluwarsa dan tanpa langganan.
- Cakupan: lebih dari 90M IP yang diperoleh secara etis di 195 negara.
- Keandalan: tingkat keberhasilan 99,51%, dengan rating 4,8 dari 5 di G2.
- Protokol dan penargetan: HTTP, HTTPS, dan SOCKS5, termasuk penargetan negara.
Mengapa menggunakan PowerShell untuk scraping
- Sudah terpasang: tidak memerlukan runtime tambahan di Windows, cocok untuk skrip admin dan otomatisasi.
- HTTP bawaan: Invoke-WebRequest dan Invoke-RestMethod menangani request dan JSON secara bawaan.
- Penjadwalan mudah: terintegrasi secara alami dengan Task Scheduler untuk pekerjaan berulang.
Mengambil halaman dengan Invoke-WebRequest
cmdlet utamanya adalah Invoke-WebRequest. Perintah ini mengembalikan status, header, konten mentah, dan elemen yang sudah diurai untuk Anda kueri.
$r = Invoke-WebRequest -Uri "https://example.com" -UserAgent "Mozilla/5.0"
$r.StatusCode
$r.Content # raw HTML
$r.Links.Href # all link URLs
Mengurai data
Anda dapat mengambil elemen dari respons yang sudah diurai, atau menggunakan regex pada konten mentah untuk pola sederhana. Untuk ekstraksi terstruktur, pilih berdasarkan tag atau class lalu baca teks di dalamnya.
$titles = $r.ParsedHtml.getElementsByTagName("h2") | ForEach-Object { $_.innerText }
$titles
Menggunakan proxy agar tidak diblokir
Situs memblokir request berulang dari satu IP. Invoke-WebRequest mendukung proxy dengan kredensial, sehingga Anda dapat mengarahkan request melalui IP residential yang tampak seperti pengguna asli. Rotasikan IP setiap request atau setiap session untuk pekerjaan yang lebih besar.
$pass = ConvertTo-SecureString "password" -AsPlainText -Force
$cred = New-Object System.Management.Automation.PSCredential("login", $pass)
$r = Invoke-WebRequest -Uri "https://example.com" `
-Proxy "http://gw.dataimpulse.com:823" -ProxyCredential $cred `
-UserAgent "Mozilla/5.0"
Tambahkan jeda acak dengan Start-Sleep di antara request, dan ganti session untuk merotasi IP. Residential proxy jauh lebih efektif melewati deteksi daripada IP datacenter pada situs yang dilindungi.
Jaga agar tetap andal dan patuh
Kumpulkan hanya data publik, atur jeda request Anda, dan gunakan proxy yang diperoleh secara etis. DataImpulse membangun pool-nya dari pengguna yang menyetujui serta menerima kompensasi, selaras dengan GDPR, dan menawarkan perjanjian pemrosesan data. Lihat halaman residential proxy kami dan panduan kami tentang scraping tanpa diblokir.
Pertanyaan yang sering diajukan
Apakah Anda dapat melakukan web scraping dengan PowerShell?
Ya. Invoke-WebRequest mengambil halaman dan menyediakan elemen serta tautan yang sudah diurai, sedangkan Invoke-RestMethod menangani API JSON. PowerShell sangat cocok untuk otomatisasi Windows dan pekerjaan cepat.
Bagaimana cara agar tidak diblokir dengan PowerShell?
Arahkan request melalui rotating residential proxy, tetapkan User-Agent yang realistis, dan tambahkan jeda dengan Start-Sleep. IP datacenter cepat terdeteksi pada situs yang dilindungi.
Bagaimana cara menggunakan proxy dengan Invoke-WebRequest?
Teruskan parameter Proxy dan ProxyCredential. Buat kredensial dari login dan password proxy Anda, lalu rotasikan session untuk mengganti IP.
Apakah PowerShell cocok untuk pekerjaan scraping besar?
PowerShell dapat digunakan, tetapi untuk pekerjaan yang sangat besar atau berat JavaScript, stack khusus dengan headless browser mungkin lebih baik. Untuk otomatisasi Windows dan skala sedang, PowerShell cocok digunakan dengan proxy.
Proxy apa yang sebaiknya saya gunakan?
Rotating residential proxy. DataImpulse menawarkan lebih dari 90M IP residential yang diperoleh secara etis mulai dari 1 dolar per GB.
Kapan DataImpulse bukan pilihan yang tepat?
Jika Anda memerlukan static ISP proxy, scraping API yang dikelola sepenuhnya, atau akses ke situs perbankan dan pemerintah, DataImpulse bukan alat yang tepat. DataImpulse berfokus pada residential, mobile, dan datacenter proxy rotating untuk mengumpulkan data publik serta mengakses konten.
Lakukan scraping dengan PowerShell tanpa pemblokiran
Pengumpulan data yang andal dimulai dengan IP tepercaya. Mulai dengan DataImpulse dari 1 dolar per GB.