So prüfen Sie vor dem Start, ob eine Website Scraping erlaubt

Zu wissen, wie man prüft, ob eine Website Scraping erlaubt, kann den Unterschied zwischen einer stabilen Datenpipeline und einer Kontosperrung oder rechtlichen Beschwerde ausmachen. Bevor Sie auch nur eine Zeile eines Scrapers schreiben, zeigt Ihnen eine kurze Vorabprüfung der Website, was sie erlaubt, was sie ablehnt und wo das tatsächliche Risiko liegt.

Dieser Artikel erläutert die praktischen Signale, die Sie prüfen sollten: die Datei robots.txt, Klauseln zu automatisiertem Zugriff in den Nutzungsbedingungen, offizielle APIs, Rate-Limit-Header, Meta-Robots-Tags, die Sitemap sowie den Unterschied zwischen öffentlichen und durch einen Login geschützten Daten. Abschließend erhalten Sie ein kompaktes Entscheidungsraster, das Sie für jedes Ziel wiederverwenden können.

DataImpulse ist ein ethischer Proxy-Anbieter mit mehr als 90 Millionen privaten, mobilen und Rechenzentrums-IP-Adressen in 195 Ländern. Das Unternehmen nutzt ein Pay-as-you-go-Modell ab 1 Dollar pro GB mit unbegrenzt gültigem Traffic und wird für Web Scraping, Anzeigenverifizierung, Preisüberwachung, Marktforschung und die Verwaltung mehrerer Konten eingesetzt.

Was sagt robots.txt über Scraping aus?

Die Datei robots.txt beschreibt die von einer Website gewünschte Verhaltensweise automatisierter Clients und wird im Stammverzeichnis der Domain veröffentlicht, etwa unter example.com/robots.txt. Sie führt auf, welche Pfade Crawler abrufen dürfen oder nicht, ist jedoch eine Empfehlung und kein Gesetz.

Die Datei ist in Einträge gegliedert. Jeder Eintrag beginnt mit einer User-agent-Zeile, die den jeweiligen Bot benennt, gefolgt von Regeln. Die wichtigsten Direktiven sind:

• User-agent: der Crawler, an den die Regeln gerichtet sind. Ein Sternchen bedeutet alle Bots.
• Disallow: ein Pfadpräfix, den Bots auf Wunsch der Website nicht abrufen sollen.
• Allow: ein erlaubter Pfad, der häufig verwendet wird, um eine Ausnahme von einem allgemeineren Disallow festzulegen.
• Crawl-delay: eine gewünschte Pause in Sekunden zwischen Anfragen. Nicht alle Crawler halten sich daran, doch sie signalisiert das von der Website erwartete Tempo.
• Sitemap: eine absolute URL, die auf die Sitemap der Website verweist und Seiten aufführt, die der Betreiber auffindbar machen möchte.

Hier ein kurzes Beispiel:

User-agent: *
Disallow: /private/
Allow: /private/public-page.html
Crawl-delay: 10

Sitemap: https://example.com/sitemap.xml

Das bedeutet: Alle Bots werden gebeten, /private/ mit Ausnahme einer Seite zu meiden, zwischen Anfragen zehn Sekunden zu warten und die aufgeführte Sitemap zu verwenden. Da robots.txt eine Konvention und keine technische Sperre ist, sollten Sie sie als klar geäußerten Wunsch des Betreibers behandeln. Das Ignorieren eines Disallow knackt kein Passwort, bedeutet aber, gegen eine ausdrückliche Bitte zu handeln, was für die Reputation und bei späteren Streitigkeiten relevant sein kann.

Wo finden Sie Klauseln zum automatisierten Zugriff in den Nutzungsbedingungen?

Sehen Sie in den Terms of Service, Terms of Use oder der Acceptable Use Policy der Website nach, die meist im Footer verlinkt sind. In diesen Dokumenten, nicht in robots.txt, legt eine Website verbindliche Regeln für Scraping, Crawling und Bots fest.

Durchsuchen Sie den Text nach Begriffen wie scrape, crawl, robot, spider, automated, harvest, data mining und bulk. Manche Websites untersagen jede automatisierte Erhebung ausdrücklich, andere erlauben sie nur für persönliche oder nicht kommerzielle Zwecke, und wieder andere gestatten sie über einen genehmigten Kanal wie eine API. Die Bedingungen haben oft mehr Gewicht als robots.txt, da Nutzer als deren Akzeptierende gelten können. Lesen Sie die Regelungen zum automatisierten Zugriff daher sorgfältig, bevor Sie etwas entwickeln. Wenn Sie die weitergehende rechtliche Lage abwägen, erläutert unser Leitfaden zu Ist Web Scraping legal? das Zusammenspiel dieser Klauseln mit Datenschutz- und Zugriffsregeln.

Sollten Sie zuerst nach einer offiziellen API suchen?

Ja. Prüfen Sie vor dem Scraping von HTML, ob die Website eine offizielle API anbietet, denn eine genehmigte API ist meist der stabilere, erlaubte und wartbare Weg, dieselben Daten zu erhalten. Viele Plattformen veröffentlichen eine unter einer Entwickler- oder API-Subdomain oder verlinken sie in der Dokumentation.

Eine API liefert Ihnen strukturierte Antworten, dokumentierte Rate Limits und speziell für die programmatische Nutzung formulierte Bedingungen. Das nimmt viel Unsicherheit beim Scraping einer Seite, deren Layout sich jederzeit ändern kann. APIs können jedoch einen Schlüssel erfordern, das Volumen begrenzen oder nicht jedes Feld der Seite bereitstellen. Deckt eine API Ihren Bedarf ab, sollten Sie sie dennoch zuerst verwenden. Das Scraping der gerenderten Website wird dann zur Ausweichlösung statt zum Standard.

Wie lesen Sie Rate Limits und 429-Antworten?

Rate Limits zeigen, wie schnell eine Website automatisierte Anfragen bedienen möchte. Das eindeutigste Signal ist eine HTTP 429 Too Many Requests-Antwort. Wenn sie erscheint, fordert der Server Sie auf, langsamer zu werden.

Achten Sie in Antworten auf diese Signale:

• Status 429: Sie haben das derzeit vom Server erlaubte Maß überschritten.
• Retry-After: ein Header, der in Sekunden oder als Datum angibt, wie lange Sie vor einem erneuten Versuch warten sollen. Halten Sie ihn ein.
• Rate-Limit-Header: Felder wie X-RateLimit-Limit und X-RateLimit-Remaining, die Ihr Kontingent und den verbleibenden Anteil anzeigen.

Das Beachten dieser Signale hält Ihren Zugriff nachhaltig und reduziert die Last für das Ziel. Das Verteilen von Anfragen über Sitzungen oder IPs mit privaten Proxys kann Ihnen helfen, angemessene Raten pro Adresse einzuhalten, setzt jedoch weder die erklärten Limits noch die Bedingungen der Website außer Kraft. Ziel ist es, dem vom Server signalisierten Tempo zu entsprechen, nicht es zu umgehen. Weitere Techniken finden Sie in unserem Leitfaden zum Scraping ohne gesperrt zu werden.

Was signalisieren Meta-Robots-Tags und sitemap.xml?

Ein Meta-Robots-Tag steuert die Suchindexierung, während eine sitemap.xml die URLs aufführt, die eine Website auffindbar machen möchte. Keines von beiden erteilt oder verweigert eine Scraping-Erlaubnis, doch beide sind hilfreiche Signale, die richtig eingeordnet werden sollten.

Ein Meta-Robots-Tag wie noindex, das im Kopfbereich der Seite steht oder als X-Robots-Tag-Header gesendet wird, teilt Such-Crawlern wie Googlebot mit, ob sie eine Seite indexieren oder ihren Links folgen sollen. Ein noindex-Wert fordert Suchmaschinen auf, die Seite nicht in ihren Ergebnissen anzuzeigen. Das ist eine Aussage über die Sichtbarkeit in der Suche, keine Berechtigungseinstellung für die Datenerhebung. Es als Freigabe oder Verbot für Scraping zu lesen, ist daher ein häufiger Fehler.

Die sitemap.xml, meist von robots.txt verlinkt oder unter example.com/sitemap.xml zu finden, ist die eigene Liste des Betreibers mit Seiten, die sichtbar werden sollen, manchmal aufgeteilt in einen Index mehrerer Dateien. Sie zu verwenden, um kanonische öffentliche URLs zu finden, ist effizient und rücksichtsvoll, da Sie Seiten abrufen, die der Betreiber bereits selbst freigegeben hat, statt Pfade zu erraten. Sie ist eine hilfreiche Karte, keine pauschale Einladung. Die Nutzungsbedingungen regeln weiterhin, was Sie nach dem Abruf mit den Inhalten tun dürfen.

Warum sind durch Login geschützte Daten riskanter als öffentliche Daten?

Öffentliche Daten, die jeder ohne Anmeldung erreichen kann, bergen ein geringeres Risiko als Daten hinter einem Login, die den Kontobedingungen unterliegen, denen Sie bei der Registrierung zugestimmt haben. Diese Grenze zu überschreiten, verändert die Lage erheblich.

Wenn eine Seite Authentifizierung erfordert, haben Sie den Bedingungen der Plattform zugestimmt, um Zugang zu erhalten. Diese Bedingungen beschränken die automatisierte Erhebung fast immer stärker als bei öffentlichen Seiten. Scraping hinter einem Login kann Konto- und Umgehungsregeln verletzen und zur Sperrung Ihres Kontos führen. Bevorzugen Sie als Faustregel Daten, die ohne Zugangsdaten offen zugänglich sind, und betrachten Sie die Erhebung hinter einem Login als Entscheidung, die eine ausdrückliche Genehmigung oder eine zugelassene API benötigt. DataImpulse bietet ethische Proxys für den legitimen Zugriff auf öffentliche Webdaten, nicht als Möglichkeit zur Umgehung der Authentifizierung.

Wie sieht ein schnelles Entscheidungsraster für das Scraping einer Website aus?

Kurz gesagt: Sammeln Sie die Signale und entscheiden Sie dann. Arbeiten Sie diese Checkliste durch, bevor Sie sich auf ein Ziel festlegen.

• robots.txt lesen: Notieren Sie alle Disallow-Pfade, Crawl-delay und die Sitemap. Respektieren Sie die angegebenen Präferenzen.
• Nutzungsbedingungen prüfen: Suchen Sie nach Klauseln zum automatisierten Zugriff und prüfen Sie, ob Scraping verboten, eingeschränkt oder auf eine API verwiesen wird.
• Nach einer API suchen: Wenn eine offizielle API Ihren Bedarf abdeckt, bevorzugen Sie sie.
• Daten bewerten: Sind sie öffentlich oder durch Login geschützt? Öffentlich ist weniger riskant, durch Login geschützt erfordert eine Genehmigung.
• Rate Limits einplanen: Beachten Sie 429 und Retry-After und passen Sie das Tempo der Anfragen den Signalen des Servers an.

Wenn die Bedingungen es verbieten oder die Daten ohne Genehmigung hinter einem Login gesperrt sind, stoppen Sie oder suchen Sie nach einer API. Sind die Daten öffentlich, die Bedingungen schweigen dazu oder erlauben es und können Sie innerhalb der Limits der Website rücksichtsvoll crawlen, stehen Sie auf deutlich sichererem Boden. Auch die verantwortungsvolle Beschaffung von IPs ist wichtig. Deshalb konzentriert sich DataImpulse auf ethisch gewonnene Adressen für die regelkonforme Erhebung öffentlicher Daten.

Vor dem Scraping zu prüfende Signale

Häufig gestellte Fragen

Verwandte Leitfäden

• Ethisches Web Scraping
• Best Practices für Web Scraping
• Anwendungsfälle für Web Scraping

Öffentliche Webdaten verantwortungsvoll sammeln

Nachdem Sie robots.txt und die Nutzungsbedingungen geprüft und bestätigt haben, dass die Daten öffentlich sind, bietet DataImpulse Ihnen ethisch beschaffte IPs in 195 Ländern für die regelkonforme Erhebung. Konto erstellen und ab 1 Dollar pro GB mit unbegrenzt gültigem Traffic starten.