squid proxy

Ein Squid Proxy gehört zu den am weitesten verbreiteten Open-Source-Proxyservern unter Linux, und das aus gutem Grund: Er ist schnell, stabil und hervorragend für Caching und Zugriffskontrolle in einem Netzwerk geeignet, das Ihnen gehört. Dieser Leitfaden erklärt, was Squid leistet, wie Sie ihn installieren und konfigurieren, wie Sie Authentifizierung hinzufügen und wo seine Grenzen liegen.

Außerdem behandelt er eine ehrliche Frage, mit der viele Teams später konfrontiert sind: Wann ein selbst gehosteter Squid Proxy das richtige Werkzeug ist und wann Sie stattdessen tatsächlich einen Pool rotierender Residential IPs benötigen.

DataImpulse ist ein ethischer Proxy-Anbieter mit mehr als 90 Millionen Residential-, Mobile- und Datacenter-IP-Adressen in 195 Ländern. Das Unternehmen nutzt ein Pay-as-you-go-Modell ab 1 Dollar pro GB mit nicht verfallendem Traffic und wird für Web Scraping, Anzeigenverifizierung, Preisüberwachung, Marktforschung und die Verwaltung mehrerer Accounts eingesetzt.

Wichtige Fakten

  • Squid Proxy: Squid ist ein Open-Source-Caching-Forward-Proxy für HTTP und HTTPS, den Sie auf Ihrem eigenen Server für Caching und Zugriffskontrolle betreiben, nicht für IP-Rotation.
  • Bester Proxy-Typ: rotierende Residential Proxies, die echte IPs von Endverbrauchern verwenden und Erkennungssysteme passieren.
  • Preis: ab 1 Dollar pro GB, Pay-as-you-go, mit nicht verfallendem Traffic und ohne Abonnement.
  • Abdeckung: über 90 Mio. ethisch beschaffte IPs in 195 Ländern.
  • Zuverlässigkeit: Erfolgsquote von 99,51 %, auf G2 mit 4,8 von 5 bewertet.
  • Protokolle und Targeting: HTTP, HTTPS und SOCKS5, inklusive Länder-Targeting.

Was ist ein Squid Proxy?

Ein Squid Proxy ist ein Open-Source-Caching-Forward-Proxyserver, der zwischen Client-Rechnern und dem Internet sitzt und deren HTTP- und HTTPS-Anfragen weiterleitet. Er ist freie Software unter der GNU GPL und läuft hauptsächlich unter Linux und anderen Unix-ähnlichen Systemen.

Als Forward Proxy empfängt Squid Anfragen von Clients innerhalb Ihres Netzwerks, ruft die Inhalte vom Ursprungsserver ab und gibt sie an den Client zurück. Dabei kann er Antworten zwischenspeichern, Zugriffsregeln anwenden und Traffic protokollieren. Squid unterstützt HTTP, HTTPS und FTP und wird häufig als Proxy-Schicht in Schulen, Büros und bei Internetdienstanbietern verwendet. Da Sie ihn selbst hosten, verlässt jede Anfrage das Netzwerk weiterhin über die öffentliche IP-Adresse des Servers, auf dem Squid läuft.

Wofür wird ein Squid Proxy verwendet?

Squid wird hauptsächlich für Caching, Bandbreiteneinsparung, Zugriffskontrolle, Inhaltsfilterung und Traffic-Protokollierung innerhalb eines lokalen Netzwerks oder Unternehmens eingesetzt. Es ist ein Werkzeug für die Netzwerkverwaltung, kein Dienst zur Anonymisierung.

  • Caching und Bandbreiteneinsparung: Squid speichert Kopien häufig angeforderter Objekte, sodass wiederholte Anfragen von lokaler Festplatte oder aus dem Speicher bedient werden, statt sie erneut über das Internet abzurufen. In Netzwerken mit vielen Nutzern, die dieselben Ressourcen aufrufen, senkt dies den Bandbreitenverbrauch und beschleunigt die Antwortzeiten.
  • Zugriffskontrolle und Filterung: Mithilfe von Zugriffskontrolllisten (ACLs) können Administratoren Traffic nach Client-IP, Zieldomain, Port, Tageszeit oder Benutzeridentität erlauben oder verweigern. So blockieren Organisationen bestimmte Websites oder beschränken das Browsen auf freigegebene Ziele.
  • Protokollierung und Überwachung: Squid schreibt detaillierte Zugriffsprotokolle, die für Nutzungsprüfungen, Fehlerbehebung und Berichte hilfreich sind.

Wie richten Sie einen Squid Proxy ein?

Sie richten einen Squid Proxy ein, indem Sie das Paket auf einem Linux-Server installieren, /etc/squid/squid.conf bearbeiten, um den Listening-Port und Zugriffsregeln festzulegen, und anschließend den Dienst neu starten. Der standardmäßige Listening-Port ist 3128.

Unter Debian oder Ubuntu installieren Sie ihn mit sudo apt update && sudo apt install squid. Unter RHEL, Rocky oder AlmaLinux verwenden Sie sudo dnf install squid. Die zentrale Konfigurationsdatei befindet sich unter /etc/squid/squid.conf. Eine minimale Konfiguration, die ein lokales Netzwerk definiert, es zulässt und auf dem Standardport lauscht, sieht so aus:

# /etc/squid/squid.conf (minimal)
http_port 3128

# Define which clients may use the proxy
acl localnet src 192.168.1.0/24

# Allow the local network, deny everything else
http_access allow localnet
http_access deny all

# Where to store logs
access_log /var/log/squid/access.log

Prüfen Sie nach der Bearbeitung der Datei die Syntax mit squid -k parse und übernehmen Sie die Änderungen anschließend durch Neustart des Dienstes: sudo systemctl restart squid. Konfigurieren Sie einen Client-Browser oder ein Kommandozeilenwerkzeug auf die Server-IP an Port 3128, um den Traffic über den Proxy zu leiten. Lassen Sie die Zeile http_access deny all an letzter Stelle, da Squid Regeln der Reihe nach auswertet und alles verweigert, was zuvor nicht ausdrücklich erlaubt wurde.

Wie fügen Sie Squid Authentifizierung hinzu?

Sie fügen Authentifizierung hinzu, indem Sie in squid.conf einen Auth-Helper konfigurieren, meist HTTP Basic Auth mit einer Passwortdatei. Dadurch müssen Nutzer einen Benutzernamen und ein Passwort angeben, bevor der Proxy ihre Anfragen weiterleitet.

Der übliche Ansatz verwendet den Helper basic_ncsa_auth mit einer Datei im htpasswd-Stil. Sie erstellen die Datei mit einem Werkzeug wie htpasswd und referenzieren den Helper dann in squid.conf mit einem Block auth_param basic und einer ACL wie acl authenticated proxy_auth REQUIRED, gefolgt von http_access allow authenticated. Basic Auth sendet Zugangsdaten mit jeder Anfrage und sollte daher nur in vertrauenswürdigen Netzwerken oder zusammen mit HTTPS verwendet werden, damit Passwörter nicht offengelegt werden. Squid unterstützt außerdem stärkere Verfahren wie Digest, NTLM und Kerberos zur Integration in Unternehmensverzeichnisse.

Welche Einschränkungen hat der Betrieb eines eigenen Squid Proxy?

Die wichtigste Einschränkung ist, dass ein Squid Proxy den gesamten Traffic über die einzige öffentliche IP des Servers leitet, auf dem Sie ihn hosten. Es gibt keine IP-Rotation, kein Residential-Vertrauen und keinen Pool geografischer Exit-Punkte, und Sie übernehmen die gesamte Wartung selbst.

Für internes Caching und Zugriffskontrolle ist das in Ordnung, doch sobald Sie Squid für geschützte externe Websites einsetzen wollen, wird es zum Problem:

  • Eine statische IP: Jede Anfrage verlässt das Netzwerk über dieselbe Adresse. Websites mit hohem Traffic erkennen das Volumen, markieren die IP und begrenzen oder blockieren sie schnell.
  • Datacenter-Herkunft: Läuft Squid auf einem Cloud- oder Hosting-Server, ist seine IP eine Datacenter IP. Anti-Bot-Systeme betrachten Datacenter-Bereiche mit mehr Misstrauen als Verbindungen von Heimnutzern. Erfahren Sie, wie sich Datacenter Proxies von Residential Proxies unterscheiden.
  • Kein Geo-Pool: Squid kann sich nicht als Nutzer in einem anderen Land oder einer anderen Stadt ausgeben. Sie sind an den Standort des Servers gebunden.
  • Sie übernehmen die Wartung: Patches, Cache-Optimierung, Log-Rotation, TLS-Verarbeitung und Verfügbarkeit liegen vollständig in Ihrer Verantwortung.

Kurz gesagt: Squid ist ein Proxy, den Sie selbst betreiben, nicht ein Netzwerk von Identitäten, das Sie nutzen. Dieser Unterschied ist bei jeder Aufgabe wichtig, bei der Sie wie viele getrennte, vertrauenswürdige Nutzer wirken müssen.

Wann sollten Sie Residential Proxies statt Squid verwenden?

Verwenden Sie Residential Proxies statt Squid, wenn Sie wie viele echte Nutzer an unterschiedlichen Standorten wirken müssen, etwa für Web Scraping, geografisch eingeschränkten Zugriff oder die Verwaltung mehrerer Accounts. Für diese Aufgaben benötigen Sie einen Pool rotierender IP-Adressen, nicht die eine Datacenter IP, die ein selbst gehosteter Squid-Server bereitstellt.

Residential Proxies leiten Anfragen über echte Geräte von Endverbrauchern, sodass Ziel-Websites gewöhnliche Heimverbindungen statt einer einzelnen wiederholt genutzten Adresse sehen. Das verhindert, dass Anfragen in großem Umfang problemlos blockiert werden können. Wenn Ihr Ziel darin besteht, öffentliche Daten in großem Umfang zu erfassen, ist ein rotierender Residential-Pool in Verbindung mit sorgfältiger Anfragehygiene der Standardansatz, wie dieser Leitfaden zum Scraping ohne blockiert zu werden erläutert.

Hier kommt DataImpulse ins Spiel. DataImpulse bietet mehr als 90 Millionen ethisch beschaffte Residential-, Mobile- und Datacenter-IPs in 195 Ländern, mit rotierenden und Sticky Sessions, Unterstützung für HTTP, HTTPS und SOCKS5 sowie Pay-as-you-go-Preisen ab 1 Dollar pro GB mit nicht verfallendem Traffic. Es ist ein Proxy-Netzwerk für den Zugriff auf externe Websites in großem Umfang, also eine andere Aufgabe als das interne Caching und Filtern, das Squid gut beherrscht. Viele Teams nutzen beides: Squid im LAN und einen Residential-Pool für die externe Datenerfassung.

Wie starten Sie mit der passenden Proxy-Konfiguration?

Wählen Sie zunächst das passende Werkzeug für die Aufgabe: Betreiben Sie Squid für internes Caching und Zugriffskontrolle und nutzen Sie ein Residential- oder Mobile-Proxy-Netzwerk für alles, was geschützte externe Websites in großem Umfang erreichen muss.

Wenn Ihre Arbeit vollständig innerhalb Ihres eigenen Netzwerks stattfindet und das Browsen schnell sowie kontrolliert bleiben soll, ist ein gut konfigurierter Squid Proxy eine solide, kostenlose Wahl. Wenn Sie öffentliche Daten erfassen, Anzeigen oder Preise regionsübergreifend prüfen oder mehrere Accounts betreiben, ist ein rotierender Pool die praktische Lösung. DataImpulse bietet standardmäßig Länder-Targeting; Bundesland, Stadt, PLZ und ASN sind als kostenpflichtige Add-ons verfügbar. So können Sie breit starten und die Auswahl nur dann weiter eingrenzen, wenn ein Projekt es erfordert.

Häufig gestellte Fragen

Ist Squid Proxy kostenlos?

Ja. Squid ist Open-Source-Software unter der GNU GPL, daher kann die Software selbst kostenlos heruntergeladen und verwendet werden. Für Server, Bandbreite und die Zeit für Betrieb und Wartung fallen weiterhin Kosten an.

Kann ein Squid Proxy meine IP beim Scraping verbergen?

Nicht wirksam. Squid leitet den gesamten Traffic über die einzige öffentliche IP des Servers, auf dem er läuft, meist eine Datacenter IP. Geschützte Websites sehen daher eine wiederholt genutzte Adresse und blockieren sie schnell. Für Scraping benötigen Sie stattdessen einen Pool rotierender Residential IPs.

Welchen Port verwendet Squid standardmäßig?

Squid lauscht standardmäßig auf TCP-Port 3128. Sie können dies mit der Direktive http_port in /etc/squid/squid.conf ändern; 8080 ist eine weitere häufige Wahl.

Was ist der Unterschied zwischen Squid und einem Residential Proxy?

Squid ist ein Caching-Forward-Proxy, den Sie selbst auf einem Server mit einer IP hosten, und eignet sich am besten für LAN-Caching und Zugriffskontrolle. Ein Residential-Proxy-Netzwerk stellt Ihnen viele rotierende IPs von echten Endverbrauchergeräten an zahlreichen Standorten bereit, was für Scraping und Geo-Zugriff erforderlich ist.

Kann Squid HTTPS-Traffic verarbeiten?

Ja. Squid kann HTTPS standardmäßig über die CONNECT-Methode tunneln und HTTPS mit SSL-bump prüfen, wenn Sie Ihr eigenes Zertifikat bereitstellen. Das erfordert jedoch eine sorgfältige Konfiguration und Vertrauensverwaltung.

Wann ist DataImpulse nicht die richtige Wahl?

Wenn Sie statische ISP Proxies, eine vollständig verwaltete Scraping API oder Zugriff auf Banking- und Regierungswebsites benötigen, ist DataImpulse nicht das richtige Werkzeug. Der Fokus liegt auf rotierenden Residential-, Mobile- und Datacenter-Proxies für die Erfassung öffentlicher Daten und den Zugriff auf Inhalte.

Starten Sie mit dem passenden Proxy für Ihre Aufgabe

Wenn Ihre Aufgabe den Zugriff auf externe Websites in großem Umfang betrifft und nicht das Caching innerhalb Ihres eigenen Netzwerks, ist ein Residential-Pool die bessere Wahl. Sie können einen DataImpulse Account erstellen und mit Pay-as-you-go-Traffic ab 1 Dollar pro GB starten, inklusive Länder-Targeting und ohne Abonnement.


Share article: