이 글의 내용
cURL 도구는 모든 개발자가 조만간 사용하는 명령줄 도구입니다. 많은 리소스를 사용하지 않으며 일반적으로 대부분의 운영 체제에 기본적으로 포함되어 있습니다. 그러나 웹 스크래핑, 지역 제한 회피 또는 여러 위치에서 API 테스트와 같은 고급 작업에 사용하기 시작하면 속도 제한 또는 액세스할 수 없는 콘텐츠와 같은 문제가 발생할 수 있습니다.
프록시 서버를 통해 cURL 요청을 보낼 때 대상 웹사이트가 감지하는 IP 주소를 수정할 수 있습니다. cURL 도구를 사용하면 글로벌 데이터를 수집하고, 지역별로 제한된 콘텐츠에 액세스하고, 단일 IP 주소에서 너무 많은 요청을 보낼 때 발생하는 차단을 방지할 수 있습니다. 이 가이드에서는 필요한 구문, 인증 방법 및 이 접근 방식이 유용한 특정 시나리오를 포함하여 프록시와 함께 cURL 도구를 사용하는 방법을 설명합니다.
주요 사실
- cURL 도구는 명령줄 플래그, 환경 변수 또는 구성 파일을 통해 프록시를 지원합니다.
- 레지덴셜 프록시(residential proxy), 모바일 프록시(mobile proxy), 데이터센터 프록시(datacenter proxy)를 비롯한 다양한 프록시 유형이 있습니다.
- 프록시는 광범위한 스크래핑, API 테스트, 금지 극복 및 지역별 결과에 사용됩니다.
- 최상의 결과를 얻으려면 특정 사용 사례에 적합한 구성과 올바른 프록시 유형을 일치시키십시오.
- 스티키 세션과 로테이팅 세션이 있습니다. 스티키 세션은 로그인 및 상태 저장 활동에 사용되고 로테이팅 세션은 스크래핑 작업에 사용됩니다.
cURL 란 무엇이며 어떻게 작동합니까?
1996년에 출시된 cURL 도구는 클라이언트 및 URL 를 나타냅니다. HTTP 요청을 보내고 데이터를 전송하는 중요한 메커니즘입니다. cURL 도구는 명령줄을 통해 사용됩니다. 즉, 터미널에 명령을 입력하면 요청이 전송되고 응답이 인쇄됩니다.
cURL 도구는 휴대용 C 라이브러리인 libcurl 에서 실행됩니다. 과정 자체는 매우 간단합니다. 명령을 입력하면 다음과 같은 일이 발생합니다.
- URL 를 구문 분석합니다. cURL 도구는 이를 프로토콜, 호스트, 포트 및 경로로 분류합니다.
- 호스트에 대한 연결을 엽니다.
- 요청을 보냅니다(요청 라인, 일부 헤더 및 선택 사항인 본문).
- 응답 수신 – 서버가 헤더와 본문을 다시 보냅니다.
- 최종 결과를 터미널에 인쇄합니다.
cURL 도구는 보편적입니다. 엔드포인트 테스트, 페이지 가져오기, API 실행, 데이터 수집 등은 cURL 가 사용되는 활동의 작은 부분일 뿐입니다. 쿠키, 사용자 정의 헤더, 재시도 및 인증을 처리할 수 있습니다. 또한 프록시 구성도 지원합니다. 앱과 서버 사이에 문제가 발생하면 컬 – v 보다 쉬운 디버깅을 위해 요청 및 응답 세부 정보를 노출하는 경우가 많습니다. 우리는 다음 장에서 이 방법을 더 자세히 살펴볼 것입니다.
cURL 의 프록시란 무엇입니까?
cURL 프록시는 클라이언트와 대상 서버 간의 연결을 중재합니다. HTTP 또는 HTTPS 요청을 라우팅하는 전달 계층으로 작동합니다. 프록시가 없는 일반적인 연결은 클라이언트와 대상이라는 두 가지 요소로 구성됩니다. 프록시 설정에서 프록시는 클라이언트 세션의 종료 지점 역할을 하며 대상에 대한 연결을 다시 설정합니다.
cURL 도구는 대상에 직접 연결하는 대신 먼저 프록시 서버에 전체 요청을 보냅니다. 그런 다음 프록시는 DNS 확인을 수행하여 도메인 이름을 IP 주소로 변환하고 새 소켓을 연 다음 헤더 및 본문과 함께 요청을 전달합니다. 프록시는 원본 IP 를 숨기고, 트래픽을 필터링하고, 탐색을 비공개로 설정하고, 다른 위치에서 대상에 액세스할 수 있도록 해줍니다. HTTP 트래픽은 일반 애플리케이션 데이터로 처리되므로 프록시가 요청 내용을 관리할 수 있습니다. HTTPS는 다르게 작동합니다. 이 경우 cURL 도구는 암호화된 TLS 데이터가 해독되지 않고 통과하도록 터널을 설정하기 위해 CONNECT 명령을 보냅니다.
프록시와 함께 cURL 도구를 사용해야 하는 경우
cURL 자체는 이미 강력하지만 프로덕션 환경에서는 단독으로 사용되는 경우가 거의 없습니다. 팀은 일반적으로 cURL 도구를 안정적인 프록시 서버와 결합합니다. 이 설정이 크게 활용되는 네 가지 사용 사례는 다음과 같습니다.
- 광범위한 웹 스크래핑
많은 전자상거래 팀은 매일 수많은 제품 페이지에서 경쟁업체의 가격을 추적해야 합니다. 깔끔한 cURL 기반 스크레이퍼를 작성하는 것만으로는 충분하지 않습니다. 일반적으로 20분 이내에 요청이 실패하는 경향이 있기 때문입니다. 이러한 상황에서는 순환 프록시 풀을 통해 cURL 도구를 라우팅하면 많은 도움이 될 수 있습니다. 모든 요청은 다른 IP 에서 발생하며 대상 웹사이트는 자연스러운 행동과 유사하므로 활동을 제한하지 않습니다.
- IP 금지 극복
주간 업무에는 정확한 데이터에 대한 안정적인 접근이 필요합니다. 예를 들어 주간 감사 프로세스가 프록시로 뒷받침되지 않으면 403 오류가 발생할 가능성이 높습니다. 다른 네트워크로 전환하는 것도 항상 도움이 되는 것은 아닙니다. 이번에는 가정용 프록시를 통해 동일한 cURL 요청을 보내 일반적인 가정용 인터넷 연결에서 실제 사용자 행동을 시뮬레이션해 보십시오.
- 지역 타겟팅 요청 생성
귀하의 위치는 귀하가 보는 콘텐츠에 영향을 미칩니다. 마케팅 팀은 일반적으로 고객의 현지화된 랜딩 페이지가 올바르게 렌더링되었는지 확인해야 합니다. 자체 연결에서는 페이지가 필요한 버전으로 로드되지 않을 수 있습니다. 이 솔루션은 DataImpulse 와 같은 신뢰할 수 있는 공급자가 제공하는 윤리적으로 공급된 레지덴셜 IP 를 구현하는 것입니다. 팀이 설정하면 모든 요청은 현지 가격 및 지역별 프로모션을 포함하여 현지 사용자가 보는 것과 똑같은 페이지를 반환합니다.
- 글로벌 API 테스트
작업의 일환으로 개발자는 적절한 도구 없이 다양한 위치에서 API 동작을 확인하는 것이 어려울 수 있습니다. 모니터링 애플리케이션이 항상 문제를 포착하는 것은 아니며 로컬 환경에서 이를 재현하는 것은 불가능합니다. 프록시를 통해 cURL 요청을 API 로 보내 문제를 해결하십시오. 동일한 엣지 노드, 동일한 지역 데이터베이스 및 사용자가 사용하는 동일한 네트워크 경로를 사용하게 됩니다. 프록시는 모니터링 도구에서 간과된 문제를 디버깅하는 데 도움이 됩니다.
cURL 와 함께 프록시를 사용하는 데 필요한 것
cURL 와 함께 프록시를 사용하는 데는 많은 시간이 걸리지 않습니다. 시작하려면 다섯 가지가 필요합니다.
- cURL , 설치되어 사용할 준비가 되었습니다. 대부분의 macOS 및 Linux 시스템에서 기본적으로 사용할 수 있습니다. 초보자 친화적인 튜토리얼 쇼 cURL 도구를 설치하는 방법 Windows 를 포함한 모든 운영 체제에서.
- 프록시 끝점에 대한 액세스입니다. 이는 HTTP , HTTPS 또는 SOCKS5 프록시일 수 있습니다. 이는 cURL 가 직접 이동하는 대신 대상에 대한 다른 경로를 요청하도록 하는 것입니다.
- 인증이 필요한 경우 프록시 자격 증명입니다.
- 대상 엔드포인트. API, 웹사이트 또는 도달하려는 모든 것이 될 수 있습니다.
- 프록시 검사기 도구. 트래픽이 프록시를 통과하는지 확인하려면 https://ipinfo.io/ 또는 https://whatismyipaddress.com/과 같은 빠른 서비스를 사용하십시오.
이러한 요소가 준비되면 네트워크 수준에서 라우팅이 처리되는 cURL 프록시 설정을 구성할 수 있습니다. cURL 도구는 대상에 직접 연결하는 대신 프록시를 중개자로 사용합니다.
프록시와 함께 cURL 도구를 사용하는 방법 – 단계별
기본 cURL 프록시 명령
프록시를 통해 cURL 요청을 라우팅하려면 다음을 사용하십시오. -엑스 프록시 서버를 지정하는 플래그입니다. cURL 도구는 해당 프록시를 통해 요청을 보냅니다.
curl -x http://proxy-ip:port https://example.com
이는 가장 간단한 프록시 사용 형태이며 인증이 필요하지 않은 기본 HTTP 또는 HTTPS 요청에 작동합니다.
인증이 포함된 cURL 프록시
프록시에 추가 인증 단계가 필요한 경우 프록시 문자열에 사용자 이름과 비밀번호를 직접 전달할 수 있습니다. 이를 수행하는 방법은 다음과 같습니다.
curl -x http://username:password@proxy-ip:port https://example.com
cURL 명령은 요청을 전달하기 전에 이러한 자격 증명을 사용하여 프록시를 인증합니다.
HTTPS 프록시 사용
HTTPS 프록시를 사용하면 cURL 도구는 여전히 프록시를 통해 트래픽을 라우팅하는 동시에 TLS 암호화가 대상까지 유지되도록 합니다.
curl -x https://proxy-ip:port https://example.com
이 설정은 프록시 자체에 대한 링크를 암호화해야 할 때 유용합니다.
SOCKS5 프록시 사용
SOCKS5 는 요청 데이터를 건드리지 않고 릴레이 트래픽을 프록시합니다.
curl -x socks5://proxy-ip:port https://example.com
SOCKS5 는 여러 유형의 트래픽을 처리하므로 이러한 프록시는 다양한 프로토콜을 사용하는 엔지니어에게 유연한 선택입니다.
cURL 의 고급 프록시 구성
환경 변수 사용
cURL 도구는 시스템 수준 환경 변수에서 프록시 설정을 자동으로 선택할 수 있습니다. 이는 매번 지정하지 않고도 터미널 세션이나 애플리케이션의 모든 요청이 동일한 프록시를 통과하도록 하려는 경우 유용합니다.
export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
해당 변수가 설정되면 cURL 도구는 사용 중인 프로토콜에 따라 나가는 요청에 해당 변수를 자체적으로 적용합니다.
.curlrc 파일 사용
그만큼 .curlrc 구성 파일은 지속적인 cURL 설정에 사용됩니다. 프록시 설정을 한 번 추가하면 모든 요청이 해당 프록시를 통해 자동으로 라우팅됩니다. 다른 설정이 필요할 때마다 명령줄에서 이를 재정의하십시오.
proxy=http://proxy-ip:port
요청별 프록시 설정과 글로벌 설정
cURL 도구는 요청별로, 플래그를 사용하거나, 전역적으로, 환경 변수나 구성 파일을 사용하여 프록시를 정의하는 두 가지 방법을 제공합니다. 대부분의 개발자는 일반적으로 이 두 가지 방법을 모두 결합합니다.
요청별 설정은 다음을 사용합니다. -엑스 명령줄에 플래그를 지정합니다. 어떤 요청이 어떤 프록시를 통과하는지 정확하게 제어할 수 있으므로 응답성이 가장 좋은 접근 방식입니다. 이는 디버깅하거나, 지역 간 응답을 비교하거나, 모든 호출에 별도의 설정이 필요할 수 있는 임시 명령을 실행할 때 원하는 것입니다. 제공된 예는 다음과 같습니다.
curl -x http://proxy.example.com:8080 https://api.example.com
전역 설정은 HTTP _PROXY 및 HTTPS_PROXY와 같은 변수를 통해 명령줄에서 사용자 환경으로 프록시를 이동합니다. .curlrc 파일. 일단 구성되면 cURL 도구는 사용자가 변경할 때까지 동일한 프록시를 통해 모든 나가는 요청을 라우팅합니다. 이는 긴 스크립트, CI/CD 파이프라인, 예약된 작업 등 어디에서나 탁월한 선택입니다. -엑스 모든 줄은 단지 반복일 뿐입니다. 다음 명령을 설정하십시오.
export HTTPS_PROXY=http://proxy.example.com:8080
curl https://api.example.com
특정 요청에 대한 프록시 무시
글로벌 프록시가 편리합니다. 그러나 항상 원하는 것은 아닙니다. 내부 API , localhost 서비스 및 클라우드 메타데이터 엔드포인트는 일반적으로 프록시를 완전히 건너뛰어야 합니다. 이를 통해 라우팅하면 기껏해야 요청 속도가 느려지거나 최악의 경우 연결이 완전히 차단될 수 있습니다.
cURL 도구는 이를 처리하는 세 가지 방법을 제공합니다.
1. –noproxy “*” . 이는 대상에 관계없이 이 요청에 대한 프록시를 우회한다는 의미입니다.
curl --noproxy "*" https://localhost:8000
2. –noproxy “호스트1,호스트2”. 이는 귀하가 나열한 호스트에 대해서만 우회를 의미합니다.
curl --noproxy "localhost,*.internal" https://api.internal/status
3. NO_PROXY 환경 변수입니다. 글로벌 프록시가 구성된 경우에도 항상 프록시를 건너뛰는 호스트의 영구 목록을 설정합니다.
export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal"
NO_PROXY가 설정된 후 cURL 도구는 목록과 일치하는 모든 항목을 직접 라우팅하는 동시에 다른 모든 항목은 여전히 프록시를 통해 흐릅니다.
회전 프록시와 함께 cURL 사용
수백 개의 요청을 보내려면 하나의 IP 로는 충분하지 않습니다. 모든 요청이 동일한 주소에서 오는 경우 레지덴셜 프록시라도 요금이 제한됩니다. 해결책은 순환입니다. 이는 모든 요청을 다양한 IP 에 분산시켜 어느 누구도 불필요한 주의를 끌지 않도록 합니다. 공급자가 이를 수행할 수도 있고, 수동으로 프록시를 교체할 수도 있습니다.
1. 게이트웨이 순환
많은 프록시 공급업체는 IP 를 체계적으로 순환하는 단일 엔드포인트를 제공합니다. 사용자는 일반적으로 하나의 주소에 연결한 다음 공급자 풀의 다른 IP 를 통해 요청을 진행합니다.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
2. 수동 회전
사용자는 때때로 자신만의 프록시 목록을 가지고 있으므로 스크립트 내에서 수동으로 교체합니다. Python의 예는 다음과 같습니다.
import random
import subprocess
proxies = [
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
"http://user:[email protected]:8080",
]
with open("urls.txt") as f:
for url in f:
proxy = random.choice(proxies)
subprocess.run(["curl", "-x", proxy, url.strip()])
회전이 중요한 이유
하나의 IP 를 너무 자주 사용하면 속도 제한, CAPTCHA, IP 차단, 강제 금지, 오류 및 더 많은 문제가 발생할 수 있습니다. 다양한 IP 에 요청을 분산시킴으로써 대상이 의심스러워 보이는 주소는 없습니다. 다양한 방문자의 정상적인 트래픽처럼 보입니다. 이것이 자동화된 클라이언트처럼 보이지 않기 위해 프록시 순환을 사용하는 이유입니다.
회전 프록시 끝점의 예
다음은 cURL 도구를 사용한 회전 프록시의 기본 예입니다. 이 명령을 연속으로 세 번 실행하면 세 가지 다른 결과를 얻게 됩니다.
curl -x http://gw.dataimpulse.com:823 \
-U "username:password" \
https://httpbin.org/ip
httpbin.org/ip는 서버에서 관찰한 소스 IP 를 반환하므로 유용한 확인 끝점입니다.
고정 vs 회전 세션
회전 모드에서는 모든 요청이 독립적입니다. 공급자 풀과 다른 IP 를 통과합니다. 귀하가 웹 스크래퍼이고 많은 가격 및 제품 데이터를 수집해야 하는 경우 이는 올바른 선택입니다. 단일 주소가 계속 잡히면 새 주소로 교체하여 요청을 안전하게 보호하십시오.
고정 모드에서는 동일한 IP 주소가 일정 기간 동안 유지됩니다. 보통 5~60분 정도입니다. 로그인이나 인증 작업을 하고 실제 사용자처럼 동작하기 위해 IP 일관성이 필요한 경우에 잘 작동합니다.
cURL 에 가장 적합한 프록시 유형
cURL 도구는 어떤 유형의 프록시를 지정하든 동일한 방식으로 작동합니다. 이 프로세스에서는 -x 플래그를 설정하고, 자격 증명을 전달하고, 요청을 보내야 합니다. 변경되는 점은 대상 서버가 트래픽을 인식하는 방식이며 이는 프록시 뒤의 IP 유형에 따라 거의 완전히 결정됩니다.
나는 원시 HTML 블록입니다.
이 HTML을 변경하려면 편집 버튼을 클릭하십시오.
일반적인 오류 및 해결 방법
1. 프록시 연결이 거부되었습니다.
cURL 가 프록시에 대한 TCP 연결을 열 수 없는 경우 연결이 거부되었다는 메시지를 받게 될 것입니다. 이는 프록시에 연결할 수 없거나 차단되었음을 의미합니다. 유용한 단계에는 방화벽과 호스트 및 포트를 포함한 프록시 설정을 확인하는 것이 포함됩니다. 다음 명령을 사용하여 프록시를 테스트합니다.
curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip
2. 인증 실패
일반적으로 407 오류로 표시되며 프록시가 자격 증명을 거부했음을 의미합니다. 사용자 이름, 비밀번호, 호스트 및 포트를 다시 확인하십시오. URL 에 자격 증명을 포함하지 말고 대신 -U 플래그를 사용하십시오. 예를 들어:
curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip
3. SSL/인증서 오류
여기서 오류는 일반적으로 오래된 CA 인증서 저장소, TLS 트래픽을 가로채는 프록시 또는 잘못된 인증서가 있는 대상 사이트에서 발생합니다. 이 경우 CA 번들을 업데이트하고 테스트용으로만 -k를 사용하고 프록시 자체가 트래픽을 해독하는지 확인하십시오.
4. 시간 초과 문제
서버에 과부하가 걸리거나, 프록시 작동이 느려질 수 있기 때문에 발생합니다. 다음 코드 예제와 같이 명시적인 시간 초과를 설정하여 문제를 해결할 수 있습니다.
curl --connect-timeout 10 --max-time 30 \
-x http://proxy.example.com:8080 https://target.com
오류 메시지만으로는 오류가 발생한 위치를 파악하는 데 충분하지 않은 경우 cURL 디버깅 도구 키트에서 가장 유용한 도구는 상세 모드입니다. 전체 연결 순서를 인쇄하므로 어떤 단계가 성공했고 어떤 단계가 중단되었는지 정확하게 확인할 수 있습니다.
curl -v -x http://proxy.example.com:8080 \
-U "username:password" \
https://httpbin.org/ip
cURL 프록시 모범 사례
다음은 배울 수 있는 몇 가지 유용한 습관입니다.
- 기본적으로 IP 를 회전하고 필요할 때만 고정됩니다.
- 트래픽이 자연스럽게 보이도록 요청 속도 조절
- 프록시를 사용자 정의 헤더와 결합
- –compressed를 사용하여 전송 크기를 70~80% 줄입니다.
- 무료 프록시 건너뛰기
*–compressed 플래그는 cURL 에게 Accept-Encoding을 전송하도록 지시합니다: gzip, deflate, br 및 반환되는 모든 압축 해제.
curl --compressed \
-x http://gw.dataimpulse.com:823 \
-U "user:pass" \
https://target.com
실제 사용 사례에 대한 cURL 프록시 예
cURL 도구를 프록시와 함께 사용하는 세 가지 일반적인 시나리오를 살펴보겠습니다.
1. 웹사이트 스크래핑
이 설정은 수천 페이지에 걸쳐 실행되며 구문 분석할 준비가 된 깨끗한 출력을 생성합니다. 여기에는 회전하는 레지덴셜 프록시, 실제 브라우저와 일치하는 사용자 정의 헤더, 더 빠른 전송을 위한 압축, 요청 간 약간의 지연이 포함됩니다.
다음은 Linux , macOS 및 WSL에서 작동하는 예입니다. google.com 또는 example.com과 같은 domain.com 세부정보가 포함된 urls.txt 파일이 필요합니다.
암호:
while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue
full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac
file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"
curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt
wait
2. 지리적으로 제한된 콘텐츠에 액세스
이 코드에서는 각 요청이 해당 국가의 실제 사용자로부터 온 것처럼 대상 사이트에 전달됩니다. 출력 파일은 현지 방문자가 보는 것과 똑같이 현지화된 버전을 캡처합니다.
# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.br:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o br.html
# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.jp:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o jp.html
# Check the German version
curl -x http://gw.dataimpulse.com:823 \
-U "username__cr.de:password" \
-H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
https://client.com/landing -o de.html
3. API 테스트하기
여기에서 팀은 지역 데이터베이스 라우팅, CDN 엣지 노드 또는 두 위치 간의 차이점을 자세히 알아볼 수 있습니다.
curl -o /dev/null -s \
-x http://gw.dataimpulse.com:823 \
-U "username__cr.sg:password" \
-w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
https://api.client.com/v1/users/me
FAQ
프록시와 함께 컬을 사용하는 방법은 무엇입니까?
-x 플래그를 사용하여 DataImpulse 프록시 주소와 포트를 지정합니다. 프록시에 인증이 필요한 경우 -U "username:password"를 추가하여 자격 증명을 전달하십시오.
Curl 프록시 인증이 작동하지 않습니다.
가장 일반적인 원인은 잘못된 자격 증명이나 비밀번호의 특수 문자입니다. URL 및 URL -encode @, : 또는 / 문자에 자격 증명을 삽입하는 대신 -U "user:pass" 플래그를 사용하십시오.
컬 양말과 http 프록시
HTTP 프록시는 HTTP 및 HTTPS 트래픽만 처리하는 반면, SOCKS5 프록시는 요청을 검사하지 않고 모든 TCP 트래픽을 릴레이합니다. 웹 스크래핑 및 API 호출에는 DataImpulse HTTP 프록시를 사용합니다. 프로토콜 유연성이나 하위 수준 라우팅이 필요한 경우 SOCKS5를 사용하십시오.
컬에서 프록시를 회전하는 방법
하나의 엔드포인트에 연결하면 공급자는 요청마다 자동으로 다른 IP를 할당합니다. 수동 교체의 경우 스크립트에 프록시 목록을 저장하고 각 요청마다 무작위로 선택합니다.
결론
프록시가 포함된 cURL 도구는 모든 개발자 또는 안전하고 정확한 데이터 수집 프로세스를 원하는 모든 사람에게 꼭 필요한 조합 중 하나입니다. 단일 명령줄 도구, 단일 플래그를 사용하면 갑자기 규모에 맞게 스크래핑하고, 지역 간 테스트를 자동화하고, 전 세계 어디에서나 API 를 실행할 수 있습니다. 컴팩트하고 스크립트 가능하며 배포할 모든 시스템에서 동일한 방식으로 작동합니다.
구성은 큰 역할을 합니다. 레지덴셜, 데이터 센터, 모바일 등 대상에 적합한 프록시 유형을 선택합니다. IP 를 올바른 속도로 회전합니다. cURL 도구를 사용하여 HTTP 헤더 보내기 스크립트가 아닌 실제 브라우저처럼 보입니다. 실제로 필요하기 전에 재시도, 시간 제한, 속도 제한을 구축하십시오. 이러한 단계를 완료하면 cURL 가 생산 데이터 워크플로우를 위한 안정적인 백본이 됩니다.
