Proxy Squid: konfiguracja i alternatywy

Proxy Squid to jeden z najczęściej wdrażanych serwerów proxy typu open source w systemie Linux, i to z dobrego powodu: jest szybki, stabilny oraz świetnie radzi sobie z buforowaniem i kontrolą dostępu w sieci, którą zarządzasz. Ten przewodnik wyjaśnia, do czego służy Squid, jak go zainstalować i skonfigurować, jak dodać uwierzytelnianie oraz jakie są jego ograniczenia.

Omawia też ważne pytanie, które później pojawia się w wielu zespołach: kiedy właściwym narzędziem jest samodzielnie hostowany proxy Squid, a kiedy zamiast niego potrzebujesz puli rotujących residential IP.

DataImpulse to etyczny dostawca proxy oferujący ponad 90 milionów adresów residential, mobile i datacenter IP w 195 krajach. Stosuje model pay-as-you-go od 1 dolara za GB z ruchem bez daty wygaśnięcia i jest używany do web scraping, ad verification, monitorowania cen, badań rynku oraz zarządzania wieloma kontami.

Najważniejsze informacje

• Proxy Squid: Squid to proxy przekazujące z buforowaniem typu open source dla HTTP i HTTPS, uruchamiane na własnym serwerze w celu buforowania i kontroli dostępu, a nie rotacji IP.
• Najlepszy typ proxy: rotujące residential proxies, które używają prawdziwych konsumenckich adresów IP i omijają wykrywanie.
• Cena: od 1 dolara za GB, pay-as-you-go, z ruchem bez daty wygaśnięcia i bez subskrypcji.
• Zasięg: 90 mln+ etycznie pozyskanych adresów IP w 195 krajach.
• Niezawodność: wskaźnik powodzenia 99,51%, ocena 4,8/5 na G2.
• Protokoły i targetowanie: HTTP, HTTPS i SOCKS5, z targetowaniem na kraj w cenie.

Czym jest proxy Squid?

Proxy Squid to serwer proxy przekazujący z buforowaniem typu open source, który działa między komputerami klienckimi a internetem i przekazuje ich żądania HTTP oraz HTTPS. Jest to bezpłatne oprogramowanie wydane na licencji GNU GPL, działające głównie w systemie Linux i innych systemach uniksopodobnych.

Jako proxy przekazujący Squid odbiera żądania od klientów w Twojej sieci, pobiera zawartość z serwera źródłowego i zwraca ją klientowi. Po drodze może buforować odpowiedzi, stosować reguły dostępu i rejestrować ruch. Squid obsługuje HTTP, HTTPS i FTP, a często jest używany jako warstwa proxy w szkołach, biurach i u dostawców usług internetowych. Ponieważ hostujesz go samodzielnie, każde żądanie nadal wychodzi przez publiczny adres IP serwera, na którym działa Squid.

Do czego służy proxy Squid?

Squid służy głównie do buforowania, oszczędzania przepustowości, kontroli dostępu, filtrowania treści i rejestrowania ruchu w sieci lokalnej lub przedsiębiorstwie. To narzędzie do administracji siecią, a nie usługa zapewniająca anonimowość.

• Buforowanie i oszczędzanie przepustowości: Squid przechowuje kopie często żądanych obiektów, dzięki czemu powtarzane żądania są obsługiwane z lokalnego dysku lub pamięci, zamiast być ponownie pobierane przez internet. W sieciach, w których wielu użytkowników korzysta z tych samych zasobów, ogranicza to wykorzystanie przepustowości i przyspiesza odpowiedzi.
• Kontrola dostępu i filtrowanie: Za pomocą list kontroli dostępu (ACL) administratorzy mogą zezwalać na ruch lub go blokować według IP klienta, domeny docelowej, portu, pory dnia lub tożsamości użytkownika. W ten sposób organizacje blokują określone witryny lub ograniczają przeglądanie do zatwierdzonych miejsc docelowych.
• Rejestrowanie i monitorowanie: Squid zapisuje szczegółowe logi dostępu, przydatne przy audycie użycia, rozwiązywaniu problemów i raportowaniu.

Jak skonfigurować proxy Squid?

Proxy Squid konfigurujesz, instalując pakiet na serwerze Linux, edytując plik /etc/squid/squid.conf, aby zdefiniować port nasłuchu i reguły dostępu, a następnie restartując usługę. Domyślny port nasłuchu to 3128.

W Debianie lub Ubuntu zainstalujesz go za pomocą sudo apt update && sudo apt install squid. W RHEL, Rocky lub AlmaLinux użyj sudo dnf install squid. Główny plik konfiguracyjny znajduje się w /etc/squid/squid.conf. Minimalna konfiguracja definiująca sieć lokalną, zezwalająca na jej użycie i nasłuchująca na domyślnym porcie wygląda tak:

# /etc/squid/squid.conf (minimal)
http_port 3128

# Define which clients may use the proxy
acl localnet src 192.168.1.0/24

# Allow the local network, deny everything else
http_access allow localnet
http_access deny all

# Where to store logs
access_log /var/log/squid/access.log

Po edycji pliku sprawdź składnię za pomocą squid -k parse, a następnie zastosuj konfigurację, restartując usługę: sudo systemctl restart squid. Skieruj przeglądarkę klienta lub narzędzie wiersza poleceń na IP serwera i port 3128, aby kierować ruch przez proxy. Zachowaj wiersz http_access deny all jako ostatni, ponieważ Squid sprawdza reguły po kolei i blokuje wszystko, na co nie zezwalają wyraźnie wcześniejsze reguły.

Jak dodać uwierzytelnianie do Squid?

Uwierzytelnianie dodajesz, konfigurując pomocnika auth w squid.conf, najczęściej HTTP Basic auth oparty na pliku haseł. Wymusza to podanie przez użytkowników nazwy użytkownika i hasła, zanim proxy przekaże ich żądania.

Typowe podejście korzysta z pomocnika basic_ncsa_auth oraz pliku w stylu htpasswd. Tworzysz plik narzędziem takim jak htpasswd, a następnie odwołujesz się do pomocnika w squid.conf za pomocą bloku auth_param basic i ACL, takiego jak acl authenticated proxy_auth REQUIRED, po którym następuje http_access allow authenticated. Basic auth wysyła poświadczenia z każdym żądaniem, dlatego należy go stosować tylko w zaufanych sieciach lub wraz z HTTPS, aby uniknąć ujawnienia haseł. Squid obsługuje też silniejsze mechanizmy, takie jak digest, NTLM i Kerberos, do integracji z katalogiem przedsiębiorstwa.

Jakie są ograniczenia samodzielnego proxy Squid?

Główne ograniczenie polega na tym, że proxy Squid kieruje cały ruch przez pojedynczy publiczny adres IP serwera, na którym go hostujesz. Nie ma rotacji IP, wiarygodności residential ani puli geograficznych punktów wyjścia, a całe utrzymanie pozostaje po Twojej stronie.

W przypadku wewnętrznego buforowania i kontroli dostępu to wystarcza, ale staje się problemem, gdy próbujesz używać Squid wobec chronionych zewnętrznych witryn:

• Jeden statyczny IP: Każde żądanie wychodzi z tego samego adresu. Witryny o dużym ruchu widzą jego skalę, oznaczają go i szybko ograniczają liczbę żądań lub blokują ten IP.
• Pochodzenie datacenter: Jeśli Squid działa na serwerze w chmurze lub hostingu, jego IP jest adresem datacenter IP. Systemy antybotowe traktują zakresy datacenter z większą podejrzliwością niż połączenia użytkowników domowych. Zobacz, czym proxy datacenter różnią się od residential.
• Brak puli geograficznej: Squid nie może przedstawiać się jako użytkownik z innego kraju lub miasta. Jesteś ograniczony do miejsca, w którym fizycznie znajduje się serwer.
• Utrzymanie jest po Twojej stronie: Stosowanie poprawek, strojenie cache, rotacja logów, obsługa TLS i uptime to wszystko Twoja odpowiedzialność.

Krótko mówiąc, Squid to proxy, którym zarządzasz, a nie sieć tożsamości, z której korzystasz. To rozróżnienie ma znaczenie w każdym zadaniu, w którym trzeba wyglądać jak wielu oddzielnych, zaufanych użytkowników.

Kiedy zamiast Squid używać residential proxies?

Użyj residential proxies zamiast Squid, gdy musisz wyglądać jak wielu prawdziwych użytkowników z różnych lokalizacji, na przykład do web scraping, dostępu ograniczonego geograficznie lub zarządzania wieloma kontami. Zadania te wymagają puli rotujących adresów IP, a nie jednego datacenter IP zapewnianego przez samodzielnie hostowany serwer Squid.

Residential proxies kierują żądania przez prawdziwe urządzenia konsumenckie, dzięki czemu docelowe witryny widzą zwykłe połączenia domowe zamiast jednego powtarzającego się adresu. To właśnie sprawia, że żądania na dużą skalę nie są trywialnie blokowane. Jeśli Twoim celem jest zbieranie publicznych danych na dużą skalę, standardowym podejściem jest rotująca pula residential połączona z dobrą higieną żądań, jak opisano w tym przewodniku po scrapowaniu bez blokad.

Tu pasuje DataImpulse. DataImpulse zapewnia ponad 90 milionów etycznie pozyskanych adresów residential, mobile i datacenter IP w 195 krajach, z rotującymi i sticky session, obsługą HTTP, HTTPS i SOCKS5 oraz cenami pay-as-you-go od 1 dolara za GB z ruchem bez daty wygaśnięcia. To sieć proxy do docierania na dużą skalę do zewnętrznych witryn, czyli inne zadanie niż wewnętrzne buforowanie i filtrowanie, z którymi Squid radzi sobie dobrze. Wiele zespołów używa obu rozwiązań: Squid w LAN oraz puli residential do wychodzącego zbierania danych.

Jak zacząć z właściwą konfiguracją proxy?

Zacznij od dopasowania narzędzia do zadania: uruchom Squid do wewnętrznego buforowania i kontroli dostępu, a do wszystkiego, co musi docierać na dużą skalę do zewnętrznych, chronionych witryn, użyj sieci residential lub mobile proxy.

Jeśli Twoja praca odbywa się wyłącznie w Twojej sieci, a zależy Ci na szybkim i kontrolowanym przeglądaniu, dobrze skonfigurowany proxy Squid jest solidnym wyborem bez kosztów. Jeśli zbierasz publiczne dane, weryfikujesz reklamy lub ceny w różnych regionach albo obsługujesz wiele kont, praktycznym rozwiązaniem jest pula rotująca. DataImpulse oferuje standardowo targetowanie na kraj, a stan, miasto, kod pocztowy i ASN są dostępne jako płatne dodatki, więc możesz zacząć szeroko i zawężać zakres tylko wtedy, gdy wymaga tego projekt.

Często zadawane pytania

Zacznij korzystać z właściwego proxy do danego zadania

Jeśli Twoje zadanie obejmuje docieranie na dużą skalę do zewnętrznych witryn zamiast buforowania wewnątrz własnej sieci, pula residential będzie lepszym rozwiązaniem. Możesz utworzyć konto DataImpulse i zacząć od ruchu pay-as-you-go od 1 dolara za GB, z targetowaniem na kraj w cenie i bez subskrypcji.