Hotelangebote effizient scrapen

Wer Hotelangebote scrapen möchte, muss vor allem mit großen Datenmengen und regionalen Unterschieden umgehen. Online-Reisebüros (OTAs) wie Booking und Expedia-ähnliche Websites zeigen je nach Land, Währung, Gerät und Sitzung des Besuchers unterschiedliche Preise. Ein einfacher Scraper liefert daher uneinheitliche oder schlicht falsche Werte.

Dieser Artikel erläutert die praktische Umsetzung: Welche Anwendungsfälle den Aufwand rechtfertigen, warum geografisch ausgerichtete Proxys und Sticky Sessions wichtig sind, wie Sie JSON-Endpunkte statt anfälligem HTML auslesen und wie Parameter für Zeitraum und Belegung Ihre Anzahl an Anfragen und den Bandbreitenbedarf in die Höhe treiben. Zwei kurze Python-Beispiele zeigen die Muster für Anfragen und das Parsen.

DataImpulse ist ein ethischer Proxy-Anbieter mit mehr als 90 Millionen Residential-, Mobile- und Datacenter-IP-Adressen in 195 Ländern. Das nutzungsbasierte Modell beginnt bei 1 Dollar pro GB und umfasst Traffic ohne Ablaufdatum. Es wird für Web-Scraping, Anzeigenverifizierung, Preisüberwachung, Marktforschung und die Verwaltung mehrerer Konten eingesetzt.

Warum sollte man Hotelangebote überhaupt scrapen?

Daten zu Hotelangeboten bilden die Grundlage für Preisanalysen, Marktforschung und die Überwachung der Preisparität in der Reisebranche. Teams sammeln sie, um Fragen zu beantworten, die statische Berichte nicht beantworten können.

• Überwachung der Preisparität: Hotels und Ketten prüfen, ob OTAs vereinbarte Preise einhalten oder den Direktbuchungskanal unterbieten.
• Preise der Konkurrenz: Umsatzmanager verfolgen, wie nahe gelegene Unterkünfte für dieselben Daten und Zimmertypen kalkulieren, und passen anschließend ihre eigenen Preise an.
• Marktforschung: Analysten untersuchen Auslastungssignale, Saisonalität, Trends bei Ausstattungsmerkmalen und neue Angebote an einem Reiseziel.

In jedem Fall hängt der Nutzen davon ab, Preise genau so zu erfassen, wie ein echter Reisender sie in einem bestimmten Markt sehen würde. Hier werden Infrastrukturentscheidungen relevant.

Warum verändert Geo-Targeting die Hotelpreise?

OTAs nutzen dynamische Preise. Daher kann der Preis für dasselbe Zimmer am selben Datum je nach Land, Währung und sogar Gerät oder Sitzung des Besuchers variieren. Eine Anfrage aus Deutschland kann Preise in Euro und regionale Aktionen anzeigen, die bei einer Anfrage aus den Vereinigten Staaten nicht erscheinen.

Um präzise Daten zu erfassen, benötigen Sie eine IP im untersuchten Markt. Mit Länder-Targeting treten Sie für jede Währung und jedes Aktionsangebot als lokaler Besucher auf. Residential Proxys sind hier die übliche Wahl, weil ihre Adressen zu echten Verbraucheranschlüssen gehören. OTAs behandeln sie daher als gewöhnliche Reisende statt als automatisierten Traffic. Datacenter Proxys sind schneller und günstiger, werden aber von leistungsfähigen Anti-Bot-Systemen leichter erkannt. Sie eignen sich daher für weniger sensible Ziele oder einen ersten Durchlauf statt für geschützte OTA-Seiten.

Wie helfen Sticky Sessions bei mehrseitigen Abläufen?

Sticky Sessions behalten für eine Folge von Anfragen dieselbe IP-Adresse bei. Das ist wichtig, weil buchungsähnliche Abläufe Zustände über mehrere Seiten hinweg mitführen. Eine Suchergebnisseite, eine Zimmerdetailseite und ein Schritt zur Preisbestätigung teilen sich häufig Cookies und serverseitige Sitzungs-Tokens, die an die ursprüngliche IP gebunden sind.

Wechselt Ihre IP mitten im Ablauf, kann die Website die Sitzung zurücksetzen, eine andere Währung anzeigen oder eine Prüfung auslösen. Weisen Sie jeder logischen Suche eine Sticky Session zu, also einer Unterkunft plus Zeitraum und Belegung. Rufen Sie die benötigten Seiten ab und geben Sie sie anschließend frei. Nutzen Sie rotierende Sessions für die breite, einseitige Erfassung, etwa eine Angebotskarte pro Anfrage, und reservieren Sie Sticky Sessions für mehrstufige, zahlungsabschlussähnliche Abläufe. DataImpulse unterstützt rotierende und Sticky Sessions im selben Pool.

Sollten Sie HTML oder JSON-Endpunkte scrapen?

Bevorzugen Sie die zugrunde liegenden JSON-Endpunkte, wenn sie vorhanden sind. Die meisten modernen OTAs laden Preise über XHR- oder Fetch-Aufrufe im Hintergrund, die sauberes JSON zurückgeben. Das sichtbare HTML wird hingegen später durch JavaScript gerendert und ändert sein Layout häufig.

Öffnen Sie die Entwicklerwerkzeuge Ihres Browsers, beobachten Sie beim Suchen den Tab Netzwerk und suchen Sie nach XHR-Anfragen, die Verfügbarkeits- und Preisdaten zurückgeben. Das direkte Wiederholen dieser Endpunkte ist schneller, bandbreitenschonender und wesentlich robuster als das Parsen von Angebotskarten aus HTML. Wenn nur HTML verfügbar ist, sollten Sie stabile Attribute statt rein optischer Klassennamen ansteuern. Unabhängig vom gewählten Weg gelten die allgemeinen Schutztechniken aus diesem Leitfaden zum Scraping ohne blockiert zu werden weiterhin. Wenn Sie sich auf eine OTA konzentrieren, erläutert unsere Anleitung zum Scrapen von Booking.com die Vorgehensweise für eine einzelne Website ausführlicher.

Wie planen Sie Anfragen und Bandbreite?

Schätzen Sie die Anzahl Ihrer Anfragen vor dem Start, denn Parameter für Zeitraum und Belegung vervielfachen sich schnell. Jede Unterkunft, jedes Check-in-Datum, jede Aufenthaltsdauer und jede Gästekonfiguration ist eine eigene Abfrage. Selbst ein überschaubares Suchraster kann so Hunderttausende Anfragen erreichen.

Beispielsweise ergeben 500 Hotels mal 90 Check-in-Daten mal 3 Aufenthaltsdauern mal 2 Belegungsoptionen in einem Durchlauf 270.000 Anfragen. Da Proxy-Tarife den Traffic pro Gigabyte abrechnen, sollten Sie jede Antwort klein halten: Nutzen Sie JSON-Endpunkte statt vollständiger HTML-Seiten, fragen Sie nur die benötigten Felder ab und vermeiden Sie das Herunterladen von Bildern oder Kartenkacheln. Der folgende Python-Ausschnitt zeigt, wie ein Datumsraster erstellt wird, damit Sie den Umfang des Jobs vor der Ausführung abschätzen können.

import requests
from datetime import date, timedelta

proxies = {
    "http": "http://USER:[email protected]:823",
    "https": "http://USER:[email protected]:823",
}

start = date(2026, 8, 1)
dates = [start + timedelta(days=i) for i in range(90)]
stays = [1, 3, 7]

for check_in in dates:
    for nights in stays:
        params = {
            "hotel_id": 123456,
            "checkin": check_in.isoformat(),
            "checkout": (check_in + timedelta(days=nights)).isoformat(),
            "adults": 2,
            "currency": "EUR",
        }
        r = requests.get(
            "https://example-ota.com/api/availability",
            params=params,
            proxies=proxies,
            timeout=20,
        )
        # store r.json() keyed by hotel_id, checkin, nights

Wie parsen Sie Angebotskarten von Hotels?

Wenn Sie HTML auslesen müssen, parsen Sie jede Angebotskarte, indem Sie einen stabilen Container finden und daraus Name, Preis und Bewertung extrahieren. Arbeiten Sie Karte für Karte, damit eine Änderung in einem Feld nicht den gesamten Durchlauf beeinträchtigt.

Das folgende Beispiel verwendet BeautifulSoup, um Ergebnis-Karten zu durchlaufen. Passen Sie die Selektoren an Ihr Ziel an und berücksichtigen Sie stets fehlende Felder, da ausverkaufte Zimmer und Aktionslayouts oft keinen Preis oder keine Bewertung enthalten.

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
listings = []

for card in soup.select("div[data-testid='property-card']"):
    name = card.select_one("h3")
    price = card.select_one("span[data-testid='price']")
    rating = card.select_one("div[data-testid='rating']")
    listings.append({
        "name": name.get_text(strip=True) if name else None,
        "price": price.get_text(strip=True) if price else None,
        "rating": rating.get_text(strip=True) if rating else None,
    })

print(len(listings), "cards parsed")

Wie gehen Sie mit Anti-Bot-Schutzmaßnahmen von OTAs um?

Gehen Sie davon aus, dass der Anti-Bot-Schutz von OTAs stark ist, und planen Sie darum herum, statt ihn direkt zu bekämpfen. Große Reise-Websites nutzen Fingerprinting, Ratenbegrenzung, Verhaltensprüfungen und die Bewertung der IP-Reputation. Aggressives Scraping aus einem kleinen Adressbereich wird daher schnell erkannt.

• Verteilen Sie Anfragen auf einen großen Residential Pool, damit keine einzelne IP eine unnatürliche Anfragerate zeigt.
• Drosseln Sie auf ein menschenähnliches Tempo und fügen Sie zwischen Anfragen Jitter statt eines festen Intervalls ein.
• Passen Sie Währung, Sprache und Accept-Header an das Land der Exit-IP an.
• Erwägen Sie Mobile Proxys für die am stärksten geschützten Seiten, da Carrier-Grade-NAT-Adressen von vielen echten Nutzern geteilt werden und sich schwerer vollständig blockieren lassen.

DataImpulse bezieht seine IPs ethisch von Nutzern, die ausdrücklich zustimmen und dafür vergütet werden. So entspricht der Pool den Erwartungen der DSGVO und bietet zugleich die geografische Abdeckung, die für eine zuverlässige Erfassung von Hoteldaten erforderlich ist.

Proxy-Typen für Reise-Websites

Häufig gestellte Fragen

Ähnliche Leitfäden

• Google Shopping scrapen
• Dynamische Webseiten scrapen
• Best Practices für Web-Scraping

Beginnen Sie mit der Erfassung präziser Hoteldaten

Wenn Sie länderübergreifend präzise Preise von OTAs und Hotel-Websites benötigen, bietet DataImpulse ethisch beschaffte Residential-, Mobile- und Datacenter-IPs in 195 Ländern sowie rotierende und Sticky Sessions ab 1 Dollar pro GB. Konto erstellen und starten Sie noch heute Ihren ersten Job für Hotelangebote.