Was ist Proxy-Authentifizierung und wie richten Sie sie ein?

Die Proxy-Authentifizierung ist der Vorgang, mit dem ein Proxy-Server bestätigt, dass eine Verbindungsanfrage von einem autorisierten Client stammt, bevor er den Datenverkehr weiterleitet. Ohne sie würde ein offener Proxy Datenverkehr für jeden weiterleiten. Die Authentifizierung sorgt also dafür, dass ein kostenpflichtiger oder privater Proxy-Pool auf zahlende Nutzer beschränkt bleibt.

Dieser Artikel erläutert die beiden wichtigsten Methoden der Proxy-Authentifizierung, das Format der Zugangsdaten, das Sie in Tools einfügen, die Rolle des HTTP-Statuscodes 407 sowie die schrittweise Einrichtung in Browsern, Python und curl.

DataImpulse ist ein ethischer Proxy-Anbieter mit mehr als 90 Millionen Residential-, Mobile- und Datacenter-IP-Adressen in 195 Ländern. Das Unternehmen nutzt ein Pay-as-you-go-Modell ab 1 Dollar pro GB mit nicht verfallendem Datenvolumen und wird für Web Scraping, Anzeigenprüfung, Preisüberwachung, Marktforschung und die Verwaltung mehrerer Konten eingesetzt.

Was ist Proxy-Authentifizierung?

Die Proxy-Authentifizierung ist der Prozess, durch den ein Proxy-Server prüft, ob ein Client Datenverkehr über ihn leiten darf. Sie beantwortet vor dem Weiterleiten einer Anfrage eine einzige Frage: Darf diese Verbindung den Pool nutzen?

Anbieter verwenden die Authentifizierung aus zwei Gründen. Der erste ist die Zugriffskontrolle, damit nur zahlende Kunden den IP-Pool erreichen. Der zweite ist die Abrechnung, damit Datenverkehr und Bandbreite dem richtigen Konto zugeordnet werden können. Die meisten kommerziellen Proxy-Netzwerke, einschließlich Residential-Proxys und Datacenter-Proxys, unterstützen zwei Authentifizierungsmethoden: Zugangsdaten aus Benutzername und Passwort sowie IP-Whitelisting.

Wie funktioniert die Authentifizierung mit Benutzername und Passwort?

Bei der Authentifizierung mit Benutzername und Passwort wird mit jeder Anfrage ein Satz Zugangsdaten gesendet, den der Proxy vor dem Weiterleiten des Datenverkehrs validiert. Dabei handelt es sich um das auf die Proxy-Ebene angewendete HTTP-Basic-Verfahren.

Die Zugangsdaten werden in einem einzelnen Verbindungsstring angegeben, den die meisten Tools akzeptieren. Das Format lautet:

username:password@host:port

Bei DataImpulse sind Gateway-Host und Port fest vorgegeben, während Login und Passwort aus Ihrem Dashboard stammen. Ein typischer String sieht so aus:

login:[email protected]:823

Da die Zugangsdaten mit der Anfrage übertragen werden, statt an einen festen Standort gebunden zu sein, funktioniert diese Methode in jedem Netzwerk, einschließlich Laptops mit wechselndem Wi-Fi, Cloud-Servern mit dynamischen IPs und Containern. Diese Flexibilität ist der Hauptgrund, warum sie für die meisten Scraping- und Automatisierungsumgebungen die Standardwahl ist.

Was ist IP-Whitelisting und wann sollten Sie es nutzen?

Beim IP-Whitelisting werden Sie anhand Ihrer Quell-IP-Adresse statt über Zugangsdaten authentifiziert. Sie hinterlegen eine oder mehrere statische IPs beim Anbieter, und der Proxy akzeptiert jede Anfrage, die von diesen Adressen ausgeht.

Die Unterschiede zwischen den beiden Methoden sollten Sie abwägen, bevor Sie sich entscheiden:

• Benutzername und Passwort. Funktioniert in jedem Netzwerk und lässt sich einfach rotieren, doch die Zugangsdaten müssen sorgfältig behandelt werden, weil jeder, der sie liest, Ihr Konto nutzen kann.
• IP-Whitelisting. Hält Geheimnisse aus Ihrem Code heraus und ist für eine feste Serverflotte praktisch, funktioniert aber nicht mehr, sobald sich Ihre öffentliche IP ändert, und ist für Maschinen mit dynamischen Adressen unpraktisch.

In der Praxis whitelisten Teams häufig die statischen IPs eines dedizierten Scraping-Servers und greifen für Laptops und kurzlebige Cloud-Instanzen auf die Authentifizierung mit Benutzername und Passwort zurück.

Was bedeutet HTTP 407 Proxy Authentication Required?

HTTP 407 ist der Statuscode, den ein Proxy zurückgibt, wenn eine angeforderte Authentifizierung nicht mitgesendet wurde oder ungültig war. Er ist das Proxy-Pendant zum Code 401 Unauthorized, den Origin-Server verwenden.

Wenn ein Proxy mit 407 antwortet, enthält die Antwort einen Proxy-Authenticate-Header, der das erwartete Verfahren beschreibt. Der Client wiederholt die Anfrage dann mit einem Proxy-Authorization-Header, der die Zugangsdaten enthält, in der Regel als Base64-kodiertes Basic-Token. Die meisten HTTP-Bibliotheken und Browser führen diesen Austausch automatisch aus, sobald Sie Benutzername und Passwort angeben. Daher müssen Sie den Header selten selbst erstellen. Wenn weiterhin 407-Fehler auftreten, sind die üblichen Ursachen falsche Zugangsdaten, eine nicht whitelisted IP oder Zugangsdaten, die an das falsche Gateway gesendet werden.

Wie richten Sie die Proxy-Authentifizierung in einem Browser oder Betriebssystem ein?

Auf Browser- oder Betriebssystemebene tragen Sie den Proxy-Host und -Port in den Netzwerkeinstellungen ein und geben Benutzername und Passwort ein, wenn Sie dazu aufgefordert werden. Die genaue Ansicht unterscheidet sich je nach Plattform, die Eingabefelder sind jedoch identisch.

Auf den meisten Systemen sieht der Ablauf so aus:

• Systemeinstellungen. Öffnen Sie das Konfigurationsfenster für Netzwerk oder Proxy, aktivieren Sie einen manuellen HTTP- oder HTTPS-Proxy und geben Sie gw.dataimpulse.com als Host sowie 823 als Port ein.
• Abfrage der Zugangsdaten. Die erste Anfrage löst einen Dialog aus, in dem Benutzername und Passwort abgefragt werden. Geben Sie Ihr Dashboard-Login und Passwort ein. Der Browser fügt anschließend bei jeder weiteren Anfrage den Proxy-Authorization-Header hinzu.
• Browser-Erweiterungen. Mit Proxy-Switcher-Erweiterungen können Sie mehrere Profile mit eingebetteten Zugangsdaten speichern. Das ist praktisch, wenn Sie zwischen Pools wechseln oder Ihren Browser-Datenverkehr getrennt halten möchten.

Einstellungen auf Betriebssystemebene wenden den Proxy gleichzeitig auf die meisten Anwendungen an, während ein Browser oder eine Erweiterung den Umfang auf das Web-Browsing beschränkt.

Wie konfigurieren Sie die Proxy-Authentifizierung in Python und curl?

Im Code übergeben Sie Ihrem HTTP-Client denselben String username:password@host:port, und die Bibliothek übernimmt den 407-Austausch für Sie. Zwei der gängigsten Tools sind die Python-Bibliothek requests und curl.

Mit Python requests definieren Sie ein Proxys-Wörterbuch und übergeben es an Ihre Anfrage:

import requests

proxies = {
    "http": "http://login:[email protected]:823",
    "https": "http://login:[email protected]:823",
}

resp = requests.get("https://httpbin.org/ip", proxies=proxies)
print(resp.json())

Mit curl legt das Flag -x den Proxy fest und akzeptiert Inline-Zugangsdaten:

curl -x http://login:[email protected]:823 https://httpbin.org/ip

Beide Beispiele leiten Datenverkehr über das Gateway und geben die Exit-IP aus. Das ist eine schnelle Möglichkeit, zu prüfen, ob die Authentifizierung erfolgreich war. Dieses Muster bildet die Grundlage der meisten Workflows für Scraping ohne Blockierung, bei denen Anfragen über rotierende IPs geleitet werden.

Wie schützen Sie Proxy-Zugangsdaten?

Behandeln Sie Proxy-Zugangsdaten wie Geheimnisse, denn jeder, der sie erhält, kann Ihre Bandbreite verbrauchen und Datenverkehr über Ihr Konto leiten. Einige Gewohnheiten verhindern die häufigsten Lecks.

• Hinterlegen Sie Zugangsdaten niemals fest in gemeinsam genutztem Code. In ein Repository übertragene oder in ein gemeinsam genutztes Notebook eingefügte Schlüssel sind der häufigste Weg, über den Proxy-Logins verloren gehen. Laden Sie sie stattdessen aus Umgebungsvariablen.
• Bevorzugen Sie Umgebungsvariablen oder einen Secrets Manager. Lesen Sie Login und Passwort zur Laufzeit ein, statt sie einzubetten. So läuft derselbe Code in jeder Umgebung, ohne Geheimnisse offenzulegen.
• Rotieren Sie Zugangsdaten regelmäßig. Ändern Sie Ihr Proxy-Passwort nach einem Zeitplan und sofort bei Verdacht auf eine Offenlegung, damit ein alter geleakter Wert nicht mehr funktioniert.
• Beschränken Sie den Zugriff gegebenenfalls mit Whitelisting. Für eine feste Flotte entfällt durch IP-Whitelisting die Notwendigkeit, Zugangsdaten überhaupt im Code zu speichern.

DataImpulse bezieht seine IPs aus ethischen Proxys, die von Nutzern stammen, die zustimmen und vergütet werden. Dieselbe Sorgfalt bei der Beschaffung sollte auch für die Speicherung der Zugangsdaten gelten, die Zugriff auf den Pool gewähren.

Zugangsdaten im Vergleich zur IP-Whitelist

Häufig gestellte Fragen

Verwandte Leitfäden

• HTTP-Fehler 407: Proxy Authentication Required
• Proxy-Server reagiert nicht beheben
• Einen Proxy in Selenium Wire einrichten

Bereit, authentifizierte Proxys auszuprobieren?

DataImpulse bietet HTTP-, HTTPS- und SOCKS5-Zugriff mit Benutzername und Passwort oder IP-Whitelisting, Pay-as-you-go ab einem Dollar pro GB mit nicht verfallendem Datenvolumen. Erstellen Sie ein Konto, um Ihre Gateway-Zugangsdaten aus dem Dashboard zu erhalten und Datenverkehr innerhalb weniger Minuten weiterzuleiten.