W tym artykule
cURL to narzędzie wiersza poleceń, z którego każdy programista prędzej czy później korzysta. Nie wymaga wielu zasobów i zwykle jest domyślnie dostępne w większości systemów operacyjnych. Jednak gdy zaczniesz używać go do bardziej zaawansowanych zadań, takich jak web scraping, omijanie ograniczeń regionalnych czy testowanie API z wielu lokalizacji, możesz napotkać problemy, takie jak limity żądań lub niedostępna treść.
Gdy wysyłasz żądania cURL przez serwer proxy, możesz zmienić adres IP wykrywany przez docelową witrynę. Dzięki cURL możesz zbierać dane z całego świata, uzyskiwać dostęp do treści ograniczonych regionalnie i zapobiegać blokadom pojawiającym się wtedy, gdy wysyłasz zbyt wiele żądań z jednego adresu IP. Ten poradnik wyjaśnia, jak używać cURL z proxy, w tym niezbędną składnię, metody uwierzytelniania i konkretne scenariusze, w których takie podejście jest korzystne.
Najważniejsze informacje
- cURL obsługuje proxy za pomocą flag wiersza poleceń, zmiennych środowiskowych lub plików konfiguracji
- Dostępne są różne typy proxy, w tym residential, mobile i datacenter
- Proxy są używane do szeroko zakrojonego web scraping, testowania API, omijania blokad oraz uzyskiwania wyników zależnych od lokalizacji
- Aby uzyskać najlepsze wyniki, dobierz właściwy typ proxy i odpowiednią konfigurację do konkretnego zastosowania
- Istnieją sesje sticky i rotacyjne. Sesje sticky wykorzystuje się do logowania i działań wymagających zachowania stanu, a sesje rotacyjne do zadań web scraping
Czym jest cURL i jak działa
Wydany w 1996 roku skrót cURL oznacza Client i URL. To ważny mechanizm wysyłania żądań HTTP i przesyłania danych. Z cURL korzysta się w wierszu poleceń: wpisujesz polecenie w terminalu, narzędzie wysyła żądanie i wyświetla odpowiedź.
cURL działa na przenośnej bibliotece C libcurl. Sam proces jest dość prosty. Oto co dzieje się po wpisaniu polecenia:
- Analiza URL – cURL dzieli go na protokół, host, port i ścieżkę.
- Otworzenie połączenia z hostem.
- Wysłanie żądania – linii żądania, nagłówków i opcjonalnego body.
- Odebranie odpowiedzi – serwer odsyła nagłówki i body.
- Wyświetlenie końcowego wyniku w terminalu.
cURL jest uniwersalny. Testowanie endpointów, pobieranie stron, wywoływanie API i zbieranie danych to tylko niewielka część jego zastosowań. Obsługuje pliki cookie, niestandardowe nagłówki, ponowne próby i uwierzytelnianie. Wspiera też konfigurację proxy. Gdy coś nie działa między Twoją aplikacją a serwerem, curl – v często ujawnia szczegóły żądania i odpowiedzi, ułatwiając debugowanie. Omówimy tę metodę dokładniej w kolejnych częściach.
Czym jest proxy w cURL
Proxy cURL pośredniczy w połączeniu między klientem a serwerem docelowym. Działa jako warstwa przekazująca, która kieruje żądania HTTP lub HTTPS. Zwykłe połączenie bez proxy obejmuje dwa elementy: klienta i cel. W konfiguracji z proxy, proxy stanowi punkt zakończenia sesji klienta i ponownie ustanawia połączenie z celem.
Zamiast łączyć się bezpośrednio z celem, cURL najpierw wysyła pełne żądanie do serwera proxy. Następnie proxy wykonuje rozwiązywanie DNS, aby przekształcić nazwę domeny w adres IP, otwiera nowe gniazdo i przekazuje żądanie wraz z jego nagłówkami i body. Proxy ukrywają Twój pierwotny IP, filtrują ruch, zapewniają prywatność przeglądania i umożliwiają dostęp do celu z innej lokalizacji. Ruch HTTP jest przetwarzany jako zwykłe dane aplikacji, dlatego proxy mogą zarządzać treścią żądania. HTTPS działa inaczej. W tym przypadku cURL wysyła polecenie CONNECT, aby utworzyć tunel, przez który zaszyfrowane dane TLS przechodzą bez odszyfrowywania.
Kiedy potrzebujesz używać cURL z proxy
cURL sam w sobie jest potężny, ale w środowiskach produkcyjnych rzadko używa się go w pojedynkę. Zespoły zwykle łączą cURL z niezawodnym serwerem proxy. Oto cztery zastosowania, w których taka konfiguracja bardzo się przydaje.
- Szeroko zakrojony web scraping
Wiele zespołów e-commerce musi codziennie śledzić ceny konkurencji na licznych stronach produktów. Samo napisanie czystego scrapera opartego na cURL nie wystarcza, ponieważ żądania zwykle zaczynają zawodzić już po dwudziestu minutach. W tej sytuacji pomocne może być kierowanie cURL przez pulę rotacyjnych proxy. Każde żądanie będzie pochodziło z innego IP, a docelowa witryna nie ograniczy aktywności, ponieważ przypomina ona naturalne zachowanie.
- Omijanie blokad IP
Cotygodniowe zadania wymagają stabilnego dostępu do dokładnych danych. Na przykład jeśli Twój cotygodniowy proces audytu nie korzysta z proxy, prawdopodobnie napotkasz błędy 403. Zmiana sieci również nie zawsze pomaga. Spróbuj tym razem wysłać to samo żądanie cURL przez residential proxy, aby zasymulować prawdziwe zachowanie użytkownika korzystającego ze zwykłego domowego łącza internetowego.
- Generowanie żądań kierowanych geograficznie
Twoja lokalizacja wpływa na to, jakie treści widzisz. Zespoły marketingowe zwykle muszą sprawdzić, czy zlokalizowane strony docelowe klienta zostały poprawnie wyrenderowane. Z ich własnego łącza strony mogą nie ładować się w potrzebnych wersjach. Rozwiązaniem jest wdrożenie pozyskanych w sposób etyczny residential IP od niezawodnego dostawcy, takiego jak DataImpulse. Po skonfigurowaniu przez zespół każde żądanie zwróci stronę dokładnie tak, jak widziałby ją lokalny użytkownik, wraz z lokalnymi cenami i promocjami zależnymi od lokalizacji.
- Globalne testowanie API
W ramach swoich zadań programiści mogą mieć trudność z weryfikacją działania API w różnych lokalizacjach bez odpowiednich narzędzi. Aplikacje monitorujące nie zawsze wykrywają problem, a jego odtworzenie w środowisku lokalnym staje się niemożliwe. Rozwiąż problem, wysyłając żądania cURL do swojego API przez proxy. Trafisz do tych samych węzłów brzegowych, tej samej regionalnej bazy danych i tymi samymi ścieżkami sieciowymi co Twoi użytkownicy. Proxy pomagają debugować problemy, których nie wykryły narzędzia monitorujące.
Czego potrzebujesz, aby używać proxy z cURL
Korzystanie z proxy w cURL nie wymaga wiele. Na początek potrzebujesz pięciu rzeczy.
- cURL, zainstalowany i gotowy do użycia. Jest domyślnie dostępny w większości systemów macOS i Linux. Nasz poradnik dla początkujących pokazuje, jak zainstalować cURL w każdym systemie operacyjnym, w tym Windows.
- Dostęp do endpointu proxy. Może to być proxy HTTP, HTTPS lub SOCKS5. Dzięki temu żądania cURL mają inną drogę do celu zamiast połączenia bezpośredniego.
- Dane uwierzytelniające proxy, jeśli wymagane jest uwierzytelnienie.
- Endpoint docelowy. Może to być API, witryna internetowa lub dowolny zasób, do którego próbujesz dotrzeć.
- Narzędzie do sprawdzania proxy. Aby zweryfikować, czy ruch przechodzi przez proxy, użyj szybkiej usługi, takiej jak https://ipinfo.io/ lub https://whatismyipaddress.com/.
Gdy masz już te elementy, możesz skonfigurować ustawienia proxy w cURL, a trasowanie będzie obsługiwane na poziomie sieci. Zamiast kontaktować się bezpośrednio z celem, cURL używa proxy jako pośrednika.
Jak używać cURL z proxy – krok po kroku
Podstawowe polecenie cURL z proxy
Aby skierować żądanie cURL przez proxy, użyj flagi -x do wskazania serwera proxy. cURL wyśle żądanie przez to proxy.
curl -x http://proxy-ip:port https://example.com
To najprostsza forma użycia proxy, działająca dla podstawowych żądań HTTP lub HTTPS, które nie wymagają uwierzytelniania.
cURL z proxy i uwierzytelnianiem
Jeśli proxy wymaga dodatkowych kroków uwierzytelniania, możesz przekazać nazwę użytkownika i hasło bezpośrednio w ciągu proxy. Oto jak to zrobić:
curl -x http://username:password@proxy-ip:port https://example.com
Polecenia cURL używają tych danych do uwierzytelnienia w proxy przed przekazaniem żądania dalej.
Korzystanie z HTTPS proxy
W przypadku HTTPS proxy cURL nadal kieruje ruch przez proxy, zapewniając utrzymanie szyfrowania TLS na całej drodze do celu.
curl -x https://proxy-ip:port https://example.com
Ta konfiguracja jest przydatna, gdy połączenie z samym proxy musi być szyfrowane.
Korzystanie z SOCKS5 proxy
Proxy SOCKS5 przekazują ruch bez ingerowania w dane żądania.
curl -x socks5://proxy-ip:port https://example.com
Ponieważ SOCKS5 obsługuje wiele rodzajów ruchu, te proxy są elastycznym wyborem dla inżynierów pracujących z różnymi protokołami.
Zaawansowana konfiguracja proxy w cURL
Korzystanie ze zmiennych środowiskowych
cURL może automatycznie pobierać ustawienia proxy ze zmiennych środowiskowych systemu. Jest to wygodne, gdy chcesz, aby każde żądanie z sesji terminala lub aplikacji przechodziło przez to samo proxy, bez wskazywania go za każdym razem.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
Po ustawieniu tych zmiennych cURL sam stosuje je do wychodzących żądań, zależnie od używanego protokołu.
Korzystanie z pliku .curlrc
Plik .curlrc służy do trwałego przechowywania ustawień cURL. Dodaj do niego ustawienia proxy raz, a każde żądanie będzie automatycznie przechodzić przez to proxy. Nadpisz je w wierszu poleceń, gdy potrzebujesz innej konfiguracji.
proxy=http://proxy-ip:port
Ustawianie proxy dla pojedynczego żądania a globalnie
cURL daje dwa sposoby definiowania proxy: dla pojedynczego żądania za pomocą flagi albo globalnie za pomocą zmiennych środowiskowych lub pliku konfiguracji. Większość programistów zwykle łączy obie metody.
Konfiguracja dla pojedynczego żądania używa flagi -x w wierszu poleceń. To najbardziej elastyczne podejście, ponieważ możesz dokładnie kontrolować, które żądanie przechodzi przez które proxy. Jest potrzebne podczas debugowania, porównywania odpowiedzi między regionami lub uruchamiania doraźnych poleceń, gdy każde wywołanie może wymagać osobnej konfiguracji. Oto przykład:
curl -x http://proxy.example.com:8080 https://api.example.com
Konfiguracja globalna przenosi proxy z wiersza poleceń do środowiska, za pomocą zmiennych takich jak HTTP_PROXY i HTTPS_PROXY albo pliku .curlrc . Po konfiguracji cURL kieruje każde wychodzące żądanie przez to samo proxy, dopóki go nie zmienisz. To świetny wybór dla długich skryptów, potoków CI/CD i zaplanowanych zadań, wszędzie tam, gdzie -x w każdej linii byłoby tylko powtórzeniem. Ustaw to polecenie:
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
Pomijanie proxy dla konkretnych żądań
Globalne proxy jest wygodne. Nie zawsze jednak jest tym, czego potrzebujesz. Wewnętrzne API, usługi localhost i endpointy metadanych chmury zwykle muszą całkowicie omijać proxy. Kierowanie ich przez proxy może co najwyżej spowolnić żądania, a w najgorszym przypadku całkowicie zablokować połączenie.
cURL oferuje trzy sposoby obsługi tego przypadku:
1. –noproxy “*”. Oznacza to pominięcie proxy dla tego żądania, niezależnie od celu.
curl --noproxy "*" https://localhost:8000
2. –noproxy “host1,host2”. Oznacza to pominięcie proxy tylko dla wymienionych hostów.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. Zmienna środowiskowa NO_PROXY ustawia stałą listę hostów, które zawsze pomijają proxy, nawet gdy skonfigurowano globalne proxy.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
Po ustawieniu NO_PROXY cURL kieruje bezpośrednio wszystko, co pasuje do listy, a cała reszta nadal przechodzi przez proxy.
Korzystanie z cURL z rotacyjnymi proxy
Jeden IP nie wystarczy, jeśli chcesz wysyłać setki żądań. Nawet residential proxy podlegają limitom, jeśli każde żądanie pochodzi z tego samego adresu. Rozwiązaniem jest rotacja, czyli rozkładanie wszystkich żądań na wiele różnych IP, aby żaden z nich nie zwracał niepotrzebnej uwagi. Dostawca może wykonać to za Ciebie albo możesz rotować proxy ręcznie.
1. Rotacja przez gateway
Wielu dostawców proxy oferuje jeden endpoint, który systematycznie rotuje IP. Użytkownik zwykle łączy się z jednym adresem, a następnie żądania przechodzą przez inne IP z puli dostawcy.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. Rotacja ręczna
Użytkownicy czasem mają własną listę proxy, więc rotują je ręcznie w skrypcie. Oto przykład w Python:
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
Dlaczego rotacja jest ważna
Limity żądań, CAPTCHA, blokady IP, trwałe bany, błędy i wiele innych problemów może wystąpić, gdy jeden IP jest używany zbyt często. Rozłożenie żądań na różne IP sprawia, że żaden adres nie wygląda podejrzanie dla celu. Ruch przypomina zwykły ruch wielu różnych odwiedzających. To właśnie powód korzystania z rotacji proxy – aby nie wyglądać jak zautomatyzowany klient.
Przykład z endpointem rotacyjnego proxy
Oto podstawowy przykład rotacyjnego proxy z cURL. Po uruchomieniu tego polecenia trzy razy z rzędu otrzymasz trzy różne wyniki.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip to przydatny endpoint weryfikacyjny, ponieważ zwraca źródłowy IP widziany przez serwer.
Sticky a rotacyjne Sessions
W trybie rotacyjnym każde żądanie jest niezależne. Przechodzi przez inne IP z puli dostawcy. To właściwy wybór, jeśli prowadzisz web scraping i musisz zbierać dużo danych o cenach i produktach. Jeśli jeden adres jest stale wykrywany, rotacja na nowy pomaga zachować bezpieczeństwo żądań.
W trybie sticky ten sam adres IP jest zachowywany przez określony czas, zwykle od 5 do 60 minut. Dobrze sprawdza się przy logowaniach lub uwierzytelnianiu, gdy potrzebujesz spójności IP, by zachowywać się jak prawdziwy użytkownik.
Najlepsze typy proxy dla cURL
cURL działa tak samo niezależnie od typu wskazanego proxy. Proces wymaga ustawienia flagi -x, przekazania danych uwierzytelniających i wysłania żądania. Zmienia się natomiast sposób, w jaki serwer docelowy postrzega Twój ruch, a jest on niemal całkowicie określony przez typ IP stojący za proxy.
I am raw html block.
Click edit button to change this html
Typowe błędy i sposoby ich naprawy
1. Odrzucono połączenie z proxy
Gdy cURL nie może otworzyć połączenia TCP z proxy, prawdopodobnie otrzymasz komunikat o odrzuceniu połączenia. Oznacza to, że proxy jest nieosiągalne albo zablokowane. Warto sprawdzić firewall oraz ustawienia proxy, w tym host i port. Przetestuj proxy za pomocą tego polecenia:
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. Uwierzytelnianie nie powiodło się
Zwykle pojawia się jako błąd 407 i oznacza, że proxy odrzuciło Twoje dane uwierzytelniające. Sprawdź ponownie nazwę użytkownika, hasło, host i port. Nie umieszczaj danych uwierzytelniających w URL, lecz użyj flagi -U. Na przykład:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. Błędy SSL/certyfikatu
Błędy w tym miejscu zwykle wynikają z nieaktualnego magazynu certyfikatów CA, proxy przechwytującego ruch TLS albo niewłaściwego certyfikatu w witrynie docelowej. W takim przypadku zaktualizuj pakiet CA, używaj -k wyłącznie do testów i sprawdź, czy samo proxy odszyfrowuje ruch.
4. Problemy z limitem czasu
Dzieje się tak, ponieważ serwer może być przeciążony albo proxy może działać wolno. Możesz to naprawić, ustawiając jawne limity czasu, jak pokazuje ten przykład kodu:
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
Gdy sam komunikat błędu nie wystarcza, aby ustalić miejsce awarii, tryb szczegółowy jest najprzydatniejszym narzędziem w zestawie debugowania cURL. Wyświetla pełną sekwencję połączenia, dzięki czemu widzisz dokładnie, który krok się powiódł, a który zakończył się błędem.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
Dobre praktyki używania proxy z cURL
Oto kilka przydatnych zasad, które warto stosować.
- Domyślnie rotuj IP, sticky stosuj tylko wtedy, gdy jest potrzebne
- Ograniczaj tempo żądań, aby ruch wyglądał naturalnie
- Łącz proxy z niestandardowymi nagłówkami
- Używaj –compressed, aby zmniejszyć rozmiar transferu o 70–80%
- Unikaj darmowych proxy
*Flaga –compressed nakazuje cURL wysłać Accept-Encoding: gzip, deflate, br i rozpakować wszystko, co nadejdzie w odpowiedzi.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
Przykłady cURL z proxy w rzeczywistych zastosowaniach
Przyjrzyjmy się trzem częstym scenariuszom używania cURL razem z proxy.
1. Web scraping witryny
Ta konfiguracja przejdzie przez tysiące stron i utworzy czysty wynik gotowy do parsowania. Obejmuje rotacyjne residential proxy, niestandardowe nagłówki zgodne z prawdziwą przeglądarką, kompresję dla szybszych transferów i niewielkie opóźnienie między żądaniami.
Oto przykład działający w Linux, macOS i WSL. Potrzebujesz pliku urls.txt zawierającego domeny, takie jak google.com lub example.com.
Kod:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. Dostęp do treści ograniczonych geograficznie
W tym kodzie każde żądanie trafia do witryny docelowej tak, jakby pochodziło od prawdziwego użytkownika w danym kraju. Pliki wynikowe zapisują zlokalizowaną wersję dokładnie tak, jak widziałby ją lokalny odwiedzający.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. Testowanie API
Od tego momentu zespół może analizować trasowanie regionalnej bazy danych, węzły brzegowe CDN lub wszystko inne, co różni się między dwiema lokalizacjami.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
Najczęściej zadawane pytania
Jak używać curl z proxy?
Użyj flagi -x, aby wskazać adres i port proxy DataImpulse. Jeśli proxy wymaga uwierzytelnienia, dodaj -U "username:password", aby przekazać dane uwierzytelniające.
Uwierzytelnianie proxy w curl nie działa
Najczęstszą przyczyną są błędne dane uwierzytelniające lub znaki specjalne w haśle - użyj flagi -U "user:pass" zamiast umieszczać dane uwierzytelniające w URL i zakoduj w URL wszystkie znaki @, : lub /.
Proxy SOCKS5 a HTTP w curl
Proxy HTTP obsługuje wyłącznie ruch HTTP i HTTPS, natomiast proxy SOCKS5 przekazuje dowolny ruch TCP bez analizowania żądania. Używaj proxy HTTP DataImpulse do web scraping i wywołań API; używaj SOCKS5, gdy potrzebujesz elastyczności protokołów lub trasowania na niższym poziomie.
Jak rotować proxy w curl
Połącz się z jednym endpointem, a dostawca automatycznie przydzieli inne IP dla każdego żądania. Przy ręcznej rotacji przechowuj listę proxy w skrypcie i dla każdego żądania wybieraj losowe.
Podsumowanie
cURL z proxy to połączenie niezbędne dla każdego programisty i każdej osoby, która chce bezpiecznie oraz dokładnie zbierać dane. Jedno narzędzie wiersza poleceń, jedna flaga i nagle możesz prowadzić web scraping na dużą skalę, automatyzować testy między regionami i wywoływać API z dowolnego miejsca na świecie. To rozwiązanie kompaktowe, możliwe do skryptowania i działające tak samo w każdym systemie, na którym je wdrożysz.
Konfiguracja odgrywa ogromną rolę. Dobierz do celu właściwy typ proxy: residential, datacenter lub mobile. Rotuj IP w odpowiednim tempie. Wysyłanie nagłówków HTTP za pomocą cURL wyglądających jak prawdziwa przeglądarka, a nie skrypt. Dodaj ponowne próby, limity czasu i limity żądań, zanim faktycznie będą potrzebne. Wykonaj te kroki, a cURL stanie się niezawodną podstawą produkcyjnych przepływów danych.
