In this Article
Ethisches Web Scraping bezeichnet das Sammeln von Daten von Websites auf eine Weise, die den Zielserver, geltendes Recht und die Personen respektiert, deren Informationen in diesen Daten erscheinen können. Richtig umgesetzt ermöglicht ethisches Web Scraping Teams, öffentliche Informationen für Recherche, Preisgestaltung und Monitoring zu sammeln, ohne den Websites zu schaden, auf die sie angewiesen sind.
Dieser Artikel erläutert die Grundsätze, die verantwortungsvolle Datenerfassung von rücksichtslosem Scraping unterscheiden: Welche Daten unbedenklich sind, wie Signale wie robots.txt und Nutzungsbedingungen zu lesen sind, wie sich die Serverlast begrenzen lässt, wie mit personenbezogenen Daten umzugehen ist und weshalb die Herkunft Ihres Proxy-Netzwerks wichtig ist.
DataImpulse ist ein ethischer Proxy-Anbieter mit mehr als 90 Millionen Residential-, Mobile- und Datacenter-IP-Adressen in 195 Ländern. Das Unternehmen nutzt ein Pay-as-you-go-Modell ab 1 Dollar pro GB mit nicht verfallendem Traffic und wird für Web Scraping, Anzeigenverifizierung, Preisüberwachung, Marktforschung und die Verwaltung mehrerer Konten eingesetzt.
Wichtige Fakten
- Grundprinzip: Ethisches Web Scraping bedeutet, nur öffentlich verfügbare Daten in einer Rate zu sammeln, die dem Zielserver nicht schadet, und dabei Datenschutzrecht und Website-Bedingungen zu beachten.
- Bester Proxy-Typ: rotierende Residential-Proxys, die echte IPs von Verbrauchern nutzen und Erkennung bestehen.
- Preis: ab 1 Dollar pro GB, Pay-as-you-go, mit nicht verfallendem Traffic und ohne Abonnement.
- Abdeckung: mehr als 90 Mio. ethisch bezogene IPs in 195 Ländern.
- Zuverlässigkeit: Erfolgsquote von 99.51 %, Bewertung von 4.8 von 5 bei G2.
- Protokolle und Targeting: HTTP, HTTPS und SOCKS5, einschließlich Länder-Targeting.
Was macht Web Scraping ethisch?
Web Scraping ist ethisch, wenn es nur öffentliche Daten erfasst, die Kapazität des Zielservers respektiert und weder den Menschen noch dem Unternehmen hinter der Website schadet. Entscheidend sind weniger das Werkzeug als Absicht, Ziel und Auswirkungen.
Öffentlich zugängliche Seiten, die jede Person ohne Anmeldung ansehen kann, sind risikoärmer. Inhalte hinter Authentifizierung, Bezahlschranken oder ausdrücklichen Zugriffskontrollen sind etwas anderes, weil der Zugang dazu normalerweise die vorherige Zustimmung zu Bedingungen voraussetzt. Ein hilfreicher Test ist, ob es Ihnen unangenehm wäre, wenn der Website-Betreiber Ihre Datenerfassung beobachten würde. Sich auf Daten zu beschränken, die ein gewöhnlicher Besucher sehen könnte, und durch Datenminimierung nur die tatsächlich benötigten Felder zu erfassen, ist die Grundlage für alles Weitere.
- Erfassen Sie öffentliche und nicht sensible Daten.
- Nehmen Sie für einen klaren Zweck nicht mehr, als Sie benötigen.
- Beeinträchtigen Sie den Dienst nicht für echte Nutzer.
Wie sollten Sie mit robots.txt und Nutzungsbedingungen umgehen?
Lesen Sie beides und betrachten Sie es als aussagekräftige Signale, statt es zu ignorieren. Die Datei robots.txt ist ein beratender Standard, der automatisierten Clients mitteilt, welche Pfade eine Website lieber ausgespart hätte, und Nutzungsbedingungen (ToS) sind ein Vertrag, dessen Durchsetzbarkeit je nach Rechtsordnung und Situation variiert.
Keines von beidem ist ein einfacher Ein-Aus-Schalter. robots.txt ist beratend: Es ist keine technische Sperre und für sich genommen kein Gesetz, doch seine Missachtung signalisiert, dass Sie die geäußerten Wünsche eines Website-Betreibers übergehen wollen. Nutzungsbedingungen können erhebliches Gewicht haben, wobei ihre Bindungswirkung davon abhängt, wie sie präsentiert wurden und wo ein Streit verhandelt wird. Dies ist keine Rechtsberatung; die ehrliche Antwort lautet, dass die Regeln differenziert und von der Rechtsordnung abhängig sind. Eine ausführlichere Darstellung der rechtlichen Seite finden Sie in unserem Leitfaden Ist Web Scraping legal?. Wenden Sie sich im Zweifel für Ihren konkreten Fall an einen qualifizierten Anwalt.
Eine minimale robots.txt könnte so aussehen:
User-agent: *
Disallow: /private/
Crawl-delay: 10Hier fordert die Website alle automatisierten Clients auf, den Pfad /private/ zu meiden und zwischen Anfragen zehn Sekunden zu warten. Sowohl die ausgeschlossenen Pfade als auch die Crawl-Verzögerung einzuhalten, ist ein Mindestmaß an gutem Verhalten.
Wie vermeiden Sie eine Überlastung eines Servers?
Begrenzen Sie Anfragerate und Parallelität, damit Ihr Traffic nur einen kleinen Teil der normalen Last der Website ausmacht. Aggressives Scraping kann eine Website für echte Nutzer verlangsamen oder im Extremfall einem Denial-of-Service-Muster ähneln.
Beachten Sie jede crawl-delay-Angabe in robots.txt, fügen Sie Pausen zwischen den Anfragen ein und begrenzen Sie die Anzahl gleichzeitig geöffneter Verbindungen. Scraping außerhalb der Stoßzeiten des Ziels reduziert die Auswirkungen zusätzlich. Das Zwischenspeichern bereits abgerufener Seiten vermeidet wiederholte Zugriffe auf dieselben Daten; bei Fehlern oder Antworten zur Ratenbegrenzung anzuhalten oder langsamer zu werden, zeigt, dass Sie auf den Server reagieren, statt ihn zu überrollen. Das Verteilen von Anfragen auf einen Pool von Residential-Proxys kann die Last verteilen und verhindern, dass eine Website von einer einzelnen Adresse überlastet wird. Das ist jedoch ein Grund für sorgfältiges Tempo, keine Erlaubnis, mehr Anfragen zu senden. Techniken, die sowohl Sperren als auch Last reduzieren, finden Sie in unserem Leitfaden zum Scraping ohne gesperrt zu werden.
Wie gehen Sie mit personenbezogenen Daten und Datenschutzrecht um?
Vermeiden Sie die Erfassung personenbezogener Daten, sofern Sie keine Rechtsgrundlage und keinen echten Bedarf haben, denn Datenschutzvorschriften gelten für gescrapte Daten genauso wie für alle anderen. Gesetze wie die GDPR in der EU und der CCPA in Kalifornien regeln, wie personenbezogene Informationen erhoben, gespeichert und verwendet werden, unabhängig davon, ob sie öffentlich waren.
Personenbezogene Informationen (PII) umfassen Namen, E-Mail-Adressen, Telefonnummern und alles, was eine Person identifiziert. Dass solche Daten auf einer öffentlichen Seite erscheinen, macht sie nicht automatisch zur freien Ernte und Weiterverwendung verfügbar. Praktizieren Sie Datenminimierung: Erfassen Sie die kleinste Feldmenge, die Ihrem Zweck dient, verwerfen Sie alles Unnötige und erstellen Sie ohne klare Rechtsgrundlage keine Profile von Personen. Wenn sich Ihr Ziel auf Preise, Verfügbarkeit oder aggregierte Trends statt auf Menschen bezieht, bevorzugen Sie Konzepte, die PII von vornherein nicht berühren.
Sollte sich ein Scraper identifizieren?
Darüber gibt es eine echte Debatte, und vernünftige Fachleute sind unterschiedlicher Meinung. Eine Position besagt, ein Scraper sollte einen ehrlichen User-agent-String senden, der den Betreiber identifiziert und eine Kontaktmöglichkeit bietet, damit Website-Betreiber sich melden oder Regeln festlegen können. Die andere Position ist, dass dies ungeachtet guten Verhaltens zu pauschalen Sperren einlädt.
Transparenz hat echte Vorteile: Ein aussagekräftiger User-agent, der Ihr Projekt nennt und auf eine Richtlinienseite verlinkt, ermöglicht einem kooperativen Website-Betreiber, Sie zu drosseln oder freizuschalten, statt raten zu müssen. Dagegen spricht, dass viele Websites alles sperren, was nicht wie ein gängiger Browser aussieht, wodurch selbst gut erzogene Scraper zu allgemeinen Strings gedrängt werden. Es gibt keine einzige richtige Antwort, doch die Identität absichtlich zu fälschen, um eine bestimmte Person nachzuahmen oder Sicherheitsmaßnahmen zu umgehen, ist schwerer zu rechtfertigen als ein neutraler, ehrlicher Client. Wägen Sie Transparenz und Praktikabilität für Ihr konkretes Ziel ab.
Warum ist die Herkunft Ihrer Proxys wichtig?
Weil sich die Ethik Ihrer Datenerfassung auf die Infrastruktur erstreckt, über die Sie sie leiten. Ein Proxy-Netzwerk, das aus Geräten besteht, deren Eigentümer der Teilnahme nie zugestimmt haben, wälzt versteckte Kosten auf ahnungslose Menschen ab. Das untergräbt jede Behauptung, Ihr Scraping sei verantwortungsvoll.
Ethisch bezogene Proxys stammen von Nutzern, die der Freigabe ihrer Verbindung ausdrücklich zustimmen und dafür entschädigt werden, mit klarer Information darüber, was dies umfasst. DataImpulse folgt diesem Modell: Seine 90M+ Residential-, Mobile- und Datacenter-IPs in 195 Ländern stammen von Nutzern, die zustimmen und entschädigt werden. Der Betrieb ist an der GDPR ausgerichtet, und eine Vereinbarung zur Datenverarbeitung ist verfügbar. Mehr über diesen Ansatz erfahren Sie auf unserer Seite zu ethischen Proxys. Einen Anbieter nach diesem Kriterium auszuwählen statt das billigste Netzwerk unbekannter Herkunft, hält die gesamte Pipeline im Einklang mit den genannten Grundsätzen. DataImpulse bietet außerdem Mobile-Proxys und Datacenter-Proxys für Teams, die unterschiedliche IP-Typen benötigen.
Wie sieht eine Checkliste für ethisches Web Scraping aus?
Eine kurze Checkliste sorgt von Beginn an für ein verantwortungsvolles Projekt. Ein Punkt verdient einen eigenen Hinweis: Lizenzierung und Urheberrecht. Fakten und Rohdaten sind häufig nicht geschützt, doch die kreative Ausdrucksform darum herum, etwa Artikeltexte und Fotografien, kann durch Urheberrecht oder Datenbankrechte geschützt sein. Prüfen Sie daher die Lizenzierung, bevor Sie Gesammeltes erneut veröffentlichen oder weiterverkaufen.
- Nur öffentlich: Erfassen Sie Daten, die ohne Anmeldung oder Umgehung einer Bezahlschranke zugänglich sind.
- Signale lesen: Prüfen Sie robots.txt und Nutzungsbedingungen und beachten Sie ausgeschlossene Pfade und Crawl-Verzögerungen.
- Drosseln: Takten Sie Anfragen, begrenzen Sie Parallelität, cachen Sie Ergebnisse und werden Sie bei Fehlern langsamer.
- PII minimieren: Vermeiden Sie personenbezogene Daten, sofern Sie keine Rechtsgrundlage haben, und erfassen Sie unter GDPR und CCPA nur, was Sie benötigen.
- Wo praktikabel transparent sein: Nutzen Sie einen ehrlichen Client und imitieren Sie keine bestimmte Person und umgehen Sie keine Sicherheitsmaßnahmen.
- Lizenzierung respektieren: Prüfen Sie Urheberrecht und Datenbankrechte, bevor Sie Inhalte wiederverwenden oder erneut veröffentlichen.
- Infrastruktur ethisch beschaffen: Leiten Sie Traffic über Proxy-Netzwerke mit Zustimmung und Vergütung.
- Bei Unsicherheit Rat einholen: Konsultieren Sie bei folgenreichen oder unklaren Fällen einen Anwalt.
Ethische Scraping-Prinzipien in der Praxis
| Prinzip | In der Praxis |
|---|---|
| Nur öffentliche Daten | Inhalte hinter einer Anmeldung auslassen |
| robots.txt respektieren | Crawl-Anweisungen befolgen |
| Ratenbegrenzung | Verzögerungen zwischen Anfragen einfügen |
| Keine personenbezogenen Daten | PII nicht erfassen |
| Quellenangabe und Lizenzierung | Bedingungen beachten und Urheber nennen |
| Ethische Proxy-Beschaffung | IP-Netzwerke mit Einwilligung verwenden |
Häufig gestellte Fragen
Ist Web Scraping dasselbe wie ethisches Web Scraping?
Nein. Web Scraping ist die Technik, Daten von Websites zu extrahieren, während ethisches Web Scraping unter Achtung der Grenzen öffentlicher Daten, der Serverlast, des Datenschutzrechts und der Lizenzierung von Inhalten erfolgt. Das Werkzeug ist dasselbe, der Unterschied liegt in der damit verbundenen Disziplin.
Macht das Ignorieren von robots.txt Scraping illegal?
Nicht automatisch. Die Datei robots.txt ist ein beratender Standard, kein Gesetz. Sie zu ignorieren ist daher keine Straftat an sich, kann aber andere Ansprüche stützen und signalisiert Missachtung der Wünsche des Website-Betreibers. Die Rechtmäßigkeit hängt von der Rechtsordnung und den konkreten Umständen ab. Konsultieren Sie daher für Ihren Fall einen Anwalt.
Kann ich personenbezogene Daten scrapen, wenn sie öffentlich sichtbar sind?
Öffentliche Sichtbarkeit hebt Datenschutzpflichten nicht auf. Vorschriften wie die GDPR und CCPA können weiterhin für personenbezogene Daten gelten, auch wenn sie auf einer frei zugänglichen Seite erscheinen. Sie benötigen daher eine Rechtsgrundlage und sollten die Erfassung auf das Nötigste beschränken.
Was sind ethisch bezogene Proxys?
Ethisch bezogene Proxys stammen von Nutzern, die der Freigabe ihrer Verbindung ausdrücklich zustimmen und dafür entschädigt werden, mit klarer Information. DataImpulse bezieht seine IPs auf diese Weise, ist an der GDPR ausgerichtet und stellt eine Vereinbarung zur Datenverarbeitung bereit.
Wie verhindere ich, dass mein Scraper eine Website überlastet?
Begrenzen Sie Anfragerate und Anzahl gleichzeitiger Verbindungen, beachten Sie jede crawl-delay-Angabe, cachen Sie bereits abgerufene Seiten und werden Sie bei Fehlern oder Ratenbegrenzungen langsamer. Das Ziel ist, nur einen kleinen Teil des normalen Traffics der Website auszumachen.
Wann ist DataImpulse nicht die richtige Wahl?
Wenn Sie statische ISP-Proxys, eine vollständig verwaltete Scraping API oder Zugriff auf Banking- und Regierungswebsites benötigen, ist DataImpulse nicht das richtige Werkzeug. Der Schwerpunkt liegt auf rotierenden Residential-, Mobile- und Datacenter-Proxys zum Sammeln öffentlicher Daten und für den Zugriff auf Inhalte.
Scrapen Sie verantwortungsvoll mit ethisch bezogenen Proxys
Wenn Sie Infrastruktur wünschen, die den genannten Grundsätzen entspricht, bietet DataImpulse ethisch bezogene Residential-, Mobile- und Datacenter-Proxys mit Pay-as-you-go-Traffic ab einem Dollar pro GB. Erstellen Sie ein Konto, um öffentliche Daten verantwortungsvoll zu sammeln.