In diesem Artikel
Crawl4AI ist ein Open-Source-Crawler, der Webseiten in sauberen, für LLM geeigneten Text und strukturierte Daten umwandelt, und dafür einen echten Browser steuert. Diese Tatsache bestimmt, wie ein Proxy eingebunden wird: Du konfigurierst ihn auf Browser-Ebene, wo er für das Dokument sowie für jedes Asset, Skript und XHR gilt, das die Seite auslöst.
Ein Crawl4AI Proxy ist daher eine Einstellung auf Browser-Ebene mit zugehöriger Session-Semantik und keine Option pro Anfrage. Dieser Leitfaden zeigt, wo der Proxy im Stack hingehört, wie du Sessions konsistent hältst, wie du die Rate steuerst, ohne den Durchsatz abzuwürgen, und wie ein LLM-gestützter Crawl nicht mehr kostet, als er einbringt.
Wichtige Fakten
- Crawl4AI steuert einen echten Browser, daher wird der Proxy auf Browser-Ebene konfiguriert und gilt für jede Anfrage der Seite, nicht nur für das Dokument.
- Vier Ebenen müssen stimmen: Browser, Proxy, Extraktion und Drosselung. Die meisten Kosten und die meisten Sperren entstehen durch die zwei Ebenen, die zuletzt optimiert werden.
- Eine Session, ein Ausgang. Ein Browser-Kontext, der Cookies behält, während seine Anfragen von rotierenden Adressen kommen, widerspricht sich selbst und wird überprüft.
- Rendering ist der teure Teil, nicht die Bandbreite. Rendere nur Seiten, die es benötigen, und rufe den Rest schlicht ab.
- Die Kosten der LLM-Extraktion wachsen mit dem Seitengewicht, daher ist das Kürzen des DOM, bevor es das Modell erreicht, meist die größte einzelne Einsparung in der Pipeline.
Wo gehört der Proxy in einem Crawl4AI-Lauf hin?
In die Browser-Konfiguration, nicht in einzelne Anfragen. Crawl4AI startet einen Browser und navigiert damit, sodass ein im Browser-Kontext gesetzter Proxy alles routet, was diese Seite tut. Ihn an anderer Stelle zu setzen, führt zum denkbar schlechtesten Ergebnis: Das Dokument kommt über eine Adresse, seine Skripte und API-Aufrufe aber über eine andere. Das ist ein Widerspruch, den jedes Erkennungssystem sofort erkennt.
Daraus ergeben sich zwei praktische Folgen. Erstens gehören Zugangsdaten in die Browser-Startkonfiguration, wo der Crawler sie weitergeben kann, mit Gateway-Host, Port, Benutzername und Passwort deines Anbieters. Zweitens sollte ein einzelner Crawl-Lauf für seine Dauer einen einzelnen Ausgang behalten, denn der Browser behält Cookies und Local Storage über Navigationen hinweg, und diese sind an die Adresse gebunden, die sie erhalten hat.
Wenn du in einem Job mehrere Websites crawlen willst, gib jeder einen eigenen Browser-Kontext mit eigener Session, statt einen Kontext über nicht zusammenhängende Hosts hinweg wiederzuverwenden.
Wie sieht eine vollständige Konfiguration aus? Das 4-Ebenen-Modell der Crawl-Konfiguration
Das 4-Ebenen-Modell der Crawl-Konfiguration trennt die Einstellungen, die häufig in der falschen Reihenfolge optimiert werden.
| Ebene | Was sie steuert | Häufiger Fehler |
|---|---|---|
| 1. Browser | Headless-Modus, Viewport, Gebietsschema, Zeitzone, User Agent, Automatisierungs-Flags | Ein US-Gebietsschema mit deutschem Ausgang oder ein mobiler User Agent bei Desktop-Viewport |
| 2. Proxy | Gateway, Zugangsdaten, Länder-Targeting, rotierende gegenüber Sticky Session | Rotation pro Anfrage, während der Browser ein Cookie-Jar behält |
| 3. Extraktion | Was in Markdown oder strukturierte Ausgabe umgewandelt wird und ob ein LLM beteiligt ist | Das gesamte DOM an ein Modell senden, obwohl ein CSS-Bereich genügt |
| 4. Drosselung | Parallelität, Verzögerung, Wiederholungen, Timeouts, Caching | Zuletzt oder gar nicht optimiert, obwohl genau das einen Crawl tatsächlich sperren lässt |
Arbeite von Ebene vier rückwärts, wenn etwas nicht funktioniert. In neun von zehn Fällen ist ein Crawl, der plötzlich fehlschlägt, nicht auf eine neue Abwehr gestoßen, sondern auf eine Rate, mit der er bisher davongekommen ist.
Wie hältst du Sessions konsistent?
Binde einen Browser-Kontext während seiner gesamten Lebensdauer an einen Ausgang und lass den Crawl die Website abschließen, bevor sich die Session ändert.
- Nutze eine Sticky Session für jede Website, auf der die Navigation mehrere Seiten umfasst, und gib jeder Website eine eigene Session-ID, damit nie Status zwischen Hosts durchsickert.
- Stimme Gebietsschema und Geografie aufeinander ab. Liegt der Ausgang in Deutschland, sollten Browser-Gebietsschema und Zeitzone ebenfalls Deutschland angeben.
- Speichere Cookies je Kontext dauerhaft, statt sie zwischen Seiten zu löschen: Ein Besucher, der bei jedem Seitenaufruf ohne Cookies erscheint, sieht nicht wie ein Besucher aus.
- Rotiere zwischen Läufen, nicht innerhalb von ihnen. Frische Adressen für den nächsten Crawl sind sinnvoll; frische Adressen mitten in einer Session sind ein Widerspruch.
Unser Leitfaden zu Best Practices für Proxy-Rotation erläutert das Session-Modell allgemein; dieselben Prinzipien gelten für Playwright und Puppeteer, die vielen Crawlern dieser Art zugrunde liegen.
Wie verhinderst du, dass ein LLM-Crawl teuer wird?
Reduziere, was das Modell erreicht, und rendere weniger. Beides ist Konfiguration, keine Raffinesse.
Grenze die Extraktion ein. Richte den Crawler auf den Inhaltscontainer statt auf die gesamte Seite. Navigation, Footer, Cookie-Banner und Leisten mit verwandten Artikeln verursachen reine Token-Kosten ohne Informationswert.
Bevorzuge Schema-Extraktion gegenüber freier Form. Wenn die Felder bekannt sind, ist ein CSS- oder XPath-Schema deterministisch, kostenlos und schneller, als ein Modell danach suchen zu lassen. Das Modell kannst du für Seiten reservieren, deren Struktur wirklich variiert.
Cache konsequent. Eine unveränderte Seite erneut zu crawlen kostet Bandbreite, Rendering-Zeit und Tokens. Cache nach URL mit einem Aktualitätsfenster und bilde vor der erneuten Verarbeitung einen Diff.
Rendere gezielt. Nicht jede Seite braucht einen Browser. Steht der Inhalt im serverseitig gerenderten HTML, ist ein einfacher Abruf um eine Größenordnung günstiger. Gemischte Pipelines, die zuerst abrufen und nur bei Fehlern rendern, funktionieren in der Praxis gut.
Diese vier Maßnahmen zusammen senken die Kosten eines funktionierenden Crawls in der Regel stärker als jede Proxy-Entscheidung.
Welcher Proxy-Typ passt zu dieser Art Crawl?
Richte den Ausgang nach Ziel und Session-Muster aus, nicht nach dem Crawler.
| Ziel | Verwenden | Vermeiden, wenn |
|---|---|---|
| Verbraucherorientierte Websites, Navigation über mehrere Seiten | Sticky Residential, eine Session pro Website | Die Website eine offene API oder Dokumentation ist, für die Datacenter geeignet und günstiger ist |
| Breite, flache Crawls über viele Hosts | Rotierende Residential, eine Session pro Host | Jeder Host eine lange zustandsbehaftete Session benötigt, die Rotation unterbricht |
| Dokumentation, offene Daten, deine eigenen Dienste | Datacenter | Das Ziel Hosting-Bereiche als Automatisierung behandelt |
| Regionsspezifische Inhalte oder Preise | Residential auf das Land festgelegt | Der Inhalt überall identisch ist und die zusätzlichen Kosten nichts bringen |
DataImpulse Residential kostet $1 pro GB in 195 Ländern, mit HTTP, HTTPS und SOCKS5, rotierend oder Sticky und einschließlich Länder-Targeting. Browsergesteuerte Crawls laden neben Dokumenten auch Assets, daher ist Bandbreitendisziplin wichtig: Blockiere Bilder und Schriften, die du nicht brauchst, dann reicht dasselbe Budget um ein Vielfaches weiter.
Welche Grenzen solltest du kennen?
Ein Proxy ist keine Erlaubnis. Lies robots.txt und die Bedingungen der Websites, die du crawlst, beachte sie und bevorzuge offizielle APIs, wo es sie gibt. Unser Überblick darüber, ob Web Scraping rechtmäßig ist, beleuchtet den größeren Rahmen.
Rendering hat eine Obergrenze. Browsergesteuertes Crawling benötigt viel Arbeitsspeicher und CPU; eine Parallelität, die auf einem Laptop gut aussieht, wird einen kleinen Container überlasten. Miss vor horizontaler Skalierung Seiten pro Minute pro Gigabyte RAM.
LLM-Extraktion ist weder kostenlos noch exakt. Modelle paraphrasieren, erfinden gelegentlich etwas und verursachen Kosten pro Seite. Vergleiche eine Stichprobe mit der Quelle und behalte die deterministische Extraktion für Felder, die stimmen müssen.
Sperren liegen meist am Tempo. Wenn ein Crawl, der gestern funktionierte, heute fehlschlägt, prüfe Rate und Session-Verwaltung, bevor du etwas kaufst. Unser Leitfaden zu 403-Forbidden-Fehlern beim Scraping führt die Diagnose der Reihe nach durch.
Häufig gestellte Fragen
Wo setze ich den Proxy in Crawl4AI?
In der Browser-Konfiguration, damit er für das Dokument sowie für jedes Asset, Skript und XHR gilt, das die Seite auslöst. Wenn du ihn pro Anfrage setzt, lädt die Seite ihre eigenen Ressourcen über eine andere Adresse, ein Widerspruch, den Erkennungssysteme sofort erkennen.
Soll ich rotierende oder Sticky Sessions verwenden?
Sticky für jede Website, auf der der Crawl über mehrere Seiten navigiert, weil der Browser Cookies behält und diese an die Adresse gebunden sind, die sie erhalten hat. Rotation zwischen Läufen ist sinnvoll; Rotation innerhalb einer Session, während das Cookie-Jar erhalten bleibt, erzeugt Überprüfungen.
Wie senke ich die Token-Kosten eines LLM-gestützten Crawls?
Begrenze die Extraktion auf den Inhaltscontainer statt auf das gesamte DOM, nutze CSS- oder XPath-Schemata, wenn die Felder bekannt sind, und reserviere das Modell für wirklich variable Seiten. Cache nach URL mit einem Aktualitätsfenster und rendere nur Seiten, die einen Browser benötigen.
Benötige ich Residential Proxys für Crawl4AI?
Nur wenn das Ziel es rechtfertigt: verbraucherorientierte Websites und regionsspezifische Inhalte. Dokumentation, offene Daten und APIs funktionieren gut über einen Datacenter-Ausgang und kosten weniger. Entscheide pro Ziel, statt einen Ausgangstyp für den gesamten Crawler festzulegen.
Mein Crawl funktionierte gestern und schlägt heute fehl. Was hat sich geändert?
Meist deine Rate, nicht deren Abwehr. Reduziere auf einen Worker mit Jitter und teste erneut. Gelingt es, war das Tempo die Ursache, und Rotation mit der alten Rate wird das nicht beheben. Erst danach solltest du testen, ob ein anderer Ausgangstyp das Ergebnis verändert.
Gib jedem Crawl einen stabilen Ausgang
Bei browsergesteuerten Crawls sorgt eine an einen geografisch passenden Ausgang gebundene Session für konsistenten Status. DataImpulse Residential Proxys bieten Sticky oder rotierende Sessions für $1 pro GB in 195 Ländern, einschließlich Länder-Targeting, HTTP, HTTPS und SOCKS5. Erstelle ein Konto und binde es auf Browser-Ebene ein. Anschließend findest du in unserem Web-Scraping-Anwendungsfall den umfassenderen Aufbau.
Ähnliche Leitfäden: Warum Crawler gesperrt werden · ein konkretes Ziel: Shopify-Shops · Proxys für Web Scraping.
Zuletzt aktualisiert: 17. September 2026.
