Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

Crawl4AI는 웹 페이지를 깔끔한 LLM 준비 텍스트와 구조화된 데이터로 바꾸도록 설계된 오픈 소스 크롤러이며, 이를 위해 실제 브라우저를 구동합니다. 이 한 가지 사실이 프록시의 적용 방식을 결정합니다. 문서와 페이지가 불러오는 모든 에셋, 스크립트 및 XHR에 적용되는 브라우저 계층에서 프록시를 구성해야 합니다.

따라서 Crawl4AI 프록시는 요청별 옵션이 아니라 세션 의미 체계가 연결된 브라우저 수준 설정입니다. 이 가이드에서는 스택에서 프록시가 위치해야 할 곳, 세션을 일관되게 유지하는 방법, 처리량을 죽이지 않고 속도를 제어하는 방법, LLM 기반 크롤링의 비용이 수익보다 커지지 않게 하는 방법을 다룹니다.


핵심 정보

  • Crawl4AI는 실제 브라우저를 구동하므로 프록시는 브라우저 계층에서 구성되며 문서뿐 아니라 페이지가 수행하는 모든 요청에 적용됩니다.
  • 올바르게 설정할 네 계층: 브라우저, 프록시, 추출, 속도 제한입니다. 대부분의 비용과 대부분의 차단은 사람들이 가장 나중에 조정하는 두 계층에서 발생합니다.
  • 하나의 세션에는 하나의 출구를 사용합니다. 쿠키를 유지하는 브라우저 컨텍스트의 요청이 로테이팅 주소에서 도착하면 서로 모순되며 검증을 받게 됩니다.
  • 비용이 큰 부분은 렌더링이며 대역폭이 아닙니다. 필요한 페이지만 렌더링하고 나머지는 일반 요청으로 가져옵니다.
  • LLM 추출 비용은 페이지 용량에 비례하므로 DOM이 모델에 도달하기 전에 잘라 내는 것이 대개 파이프라인에서 가장 큰 단일 절감 효과를 냅니다.

Crawl4AI 실행에서 프록시는 어디에 두어야 하나요?

요청별이 아니라 브라우저 구성에서 설정합니다. Crawl4AI는 브라우저를 실행하고 탐색하므로 브라우저 컨텍스트에 설정한 프록시는 해당 페이지가 수행하는 모든 작업을 라우팅합니다. 다른 위치에 설정하면 최악의 결과가 생깁니다. 문서는 한 주소를 통해 도착하고 스크립트와 API 호출은 다른 주소를 통해 도착하는데, 이는 모든 탐지 시스템이 즉시 읽어 내는 모순입니다.

실무적으로 두 가지 의미가 있습니다. 첫째, 자격 증명은 크롤러가 전달할 수 있도록 제공업체가 제공한 게이트웨이 호스트, 포트, 사용자 이름 및 비밀번호를 사용하는 브라우저 실행 구성에 있어야 합니다. 둘째, 브라우저는 탐색 간에 쿠키와 로컬 스토리지를 유지하고 이것들은 획득한 주소에 연결되므로, 하나의 크롤링 실행은 지속 시간 동안 하나의 출구를 유지해야 합니다.

하나의 작업에서 여러 사이트를 크롤링한다면 관련 없는 호스트에서 하나의 컨텍스트를 재사용하지 말고 각각의 세션을 가진 자체 브라우저 컨텍스트를 제공하십시오.


완전한 구성은 어떤 모습인가요? 4계층 크롤링 구성 모델

4계층 크롤링 구성 모델은 사람들이 잘못된 순서로 조정하는 설정을 분리합니다.

계층 제어 대상 흔한 실수
1. 브라우저 헤드리스 모드, 뷰포트, 로캘, 시간대, 사용자 에이전트, 자동화 플래그 독일 출구에 미국 로캘을 사용하거나 데스크톱 뷰포트에 모바일 사용자 에이전트를 사용하는 경우
2. 프록시 게이트웨이, 자격 증명, 국가 타기팅, 로테이팅과 스티키 세션의 선택 브라우저가 하나의 쿠키 저장소를 유지하는 동안 요청마다 로테이션하는 경우
3. 추출 마크다운 또는 구조화된 출력으로 변환할 대상과 LLM 사용 여부 CSS 범위 지정으로 충분한데 전체 DOM을 모델에 보내는 경우
4. 속도 제한 동시성, 지연, 재시도, 시간 초과, 캐싱 가장 나중에 조정하거나 전혀 조정하지 않아 실제로 크롤링을 차단당하는 경우

문제가 생기면 네 번째 계층부터 역순으로 점검하십시오. 열 번 중 아홉 번은 실패하기 시작한 크롤링이 새로운 방어를 만난 것이 아니라, 이전에는 운 좋게 통과했던 속도에 도달한 것입니다.


세션을 일관되게 유지하려면 어떻게 하나요?

하나의 브라우저 컨텍스트를 수명 전체에 걸쳐 하나의 출구에 연결하고, 세션이 바뀌기 전에 해당 사이트의 크롤링을 끝내십시오.

  • 스티키 세션을 사용하십시오. 탐색이 여러 페이지에 걸치는 모든 사이트에 사용하고, 상태가 호스트 간에 절대 새지 않도록 사이트마다 자체 세션 식별자를 부여하십시오.
  • 로캘을 지리적 위치와 일치시키십시오. 출구가 독일에 있다면 브라우저 로캘과 시간대도 독일을 나타내야 합니다.
  • 컨텍스트별로 쿠키를 유지하십시오. 페이지 사이에 지우지 마십시오. 모든 페이지 조회에서 쿠키 없이 도착하는 방문자는 실제 방문자처럼 보이지 않습니다.
  • 실행 사이에 로테이션하고 실행 중에는 로테이션하지 마십시오. 다음 크롤링에 새 주소를 쓰는 것은 정상적이지만, 세션 중간에 새 주소를 쓰는 것은 모순입니다.

프록시 로테이션 모범 사례 가이드에서 일반적인 세션 모델을 다루며, 같은 원칙은 이 유형의 많은 크롤러 아래에서 사용되는 Playwright 및 Puppeteer에도 적용됩니다.


LLM 크롤링 비용이 커지지 않게 하려면 어떻게 하나요?

모델에 도달하는 양을 줄이고 렌더링을 줄이십시오. 둘 다 기발함이 아니라 구성의 문제입니다.

추출 범위를 지정하십시오. 페이지 전체가 아닌 콘텐츠 컨테이너를 크롤러의 대상으로 지정하십시오. 탐색 메뉴, 푸터, 쿠키 배너 및 관련 글 영역은 정보 가치 없이 토큰 비용만 발생시킵니다.

자유 형식보다 스키마 추출을 우선하십시오. 필드를 알고 있다면 CSS 또는 XPath 스키마는 결정론적이고 무료이며 모델에 찾게 하는 것보다 빠릅니다. 구조가 실제로 달라지는 페이지에만 모델을 남겨 둘 수 있습니다.

적극적으로 캐시하십시오. 변경되지 않은 페이지를 다시 크롤링하면 대역폭, 렌더링 시간 및 토큰이 듭니다. 최신성 기간을 두고 URL별로 캐시하며 재처리 전에 차이를 비교하십시오.

선택적으로 렌더링하십시오. 모든 페이지에 브라우저가 필요한 것은 아닙니다. 콘텐츠가 서버 렌더링 HTML에 있다면 일반 가져오기가 자릿수 차이로 더 저렴하며, 먼저 가져오고 실패할 때만 렌더링하는 혼합 파이프라인은 실무에서 잘 작동합니다.

이 네 가지를 함께 적용하면 대개 어떤 프록시 선택보다 더 크게 정상 작동하는 크롤링 비용을 낮춥니다.


이런 종류의 크롤링에는 어떤 프록시 유형이 적합한가요?

크롤러가 아니라 대상과 세션 패턴에 맞춰 출구를 선택하십시오.

대상 사용할 유형 피해야 할 경우
소비자 대상 사이트, 여러 페이지 탐색 스티키 레지덴셜 프록시(residential proxy), 사이트당 하나의 세션 대상이 데이터센터로도 충분하고 더 저렴한 공개 API 또는 문서인 경우
많은 호스트를 대상으로 한 넓고 얕은 크롤링 로테이팅 레지덴셜 프록시, 호스트당 하나의 세션 각 호스트에 긴 상태 유지 세션이 필요하여 로테이션이 이를 깨뜨리는 경우
문서, 공개 데이터, 자체 서비스 데이터센터 프록시 대상이 호스팅 범위를 자동화로 취급하는 경우
지역별 콘텐츠 또는 가격 국가에 고정된 레지덴셜 프록시 콘텐츠가 어디서나 동일하여 추가 비용이 아무 가치도 사지 못하는 경우

DataImpulse 레지덴셜 프록시는 195개 국가에서 GB당 $1이며, HTTP, HTTPS 및 SOCKS5, 로테이팅 또는 스티키, 국가 타기팅이 포함됩니다. 브라우저 기반 크롤링은 문서뿐 아니라 에셋도 가져오므로 대역폭 관리가 중요합니다. 필요 없는 이미지와 글꼴을 차단하면 동일한 예산으로 몇 배 더 멀리 갈 수 있습니다.


알아둘 만한 한계는 무엇인가요?

프록시가 허가를 의미하지는 않습니다. 크롤링하는 사이트의 robots.txt 및 약관을 읽고 준수하며, 존재하는 경우 공식 API를 우선하십시오. 웹 스크래핑이 적법한지에 관한 개요에서 더 넓은 맥락을 다룹니다.

렌더링에는 한계가 있습니다. 브라우저 기반 크롤링은 메모리와 CPU를 많이 사용합니다. 노트북에서는 괜찮아 보이는 동시성이 작은 컨테이너에서는 과부하를 일으킬 수 있습니다. 수평 확장 전에 RAM GB당 분당 페이지 수를 측정하십시오.

LLM 추출은 무료도 정확하지도 않습니다. 모델은 바꾸어 표현하고 가끔 내용을 지어 내며 페이지당 비용이 듭니다. 원본과 대조하여 표본을 검증하고, 반드시 정확해야 하는 필드에는 결정론적 추출을 유지하십시오.

차단은 대개 페이싱 문제입니다. 어제 작동하던 크롤링이 오늘 실패한다면 무엇을 구매하기 전에 속도와 세션 처리를 확인하십시오. 스크래핑 시 403 Forbidden 오류 가이드는 진단 순서를 설명합니다.


자주 묻는 질문

Crawl4AI에서 프록시는 어디에 설정하나요?

브라우저 구성에서 설정하면 문서와 페이지가 실행하는 모든 에셋, 스크립트 및 XHR에 적용됩니다. 요청별로 설정하면 페이지가 자체 리소스를 다른 주소로 불러오게 되며, 이는 탐지 시스템이 즉시 읽어 내는 모순입니다.

로테이팅 세션과 스티키 세션 중 무엇을 사용해야 하나요?

크롤링이 여러 페이지를 탐색하는 모든 사이트에는 스티키를 사용해야 합니다. 브라우저가 쿠키를 유지하고 쿠키는 이를 획득한 주소에 연결되기 때문입니다. 실행 사이의 로테이션은 정상적이지만, 쿠키 저장소가 유지되는 세션 안에서의 로테이션은 검증을 일으킵니다.

LLM 기반 크롤링의 토큰 비용을 어떻게 줄이나요?

전체 DOM 대신 콘텐츠 컨테이너로 추출 범위를 지정하고, 필드를 아는 경우 CSS 또는 XPath 스키마를 사용하며 구조가 실제로 달라지는 페이지에만 모델을 남겨 두십시오. 최신성 기간을 두고 URL별로 캐시하고 브라우저가 필요한 페이지만 렌더링하십시오.

Crawl4AI에 레지덴셜 프록시가 필요한가요?

소비자 대상 사이트와 지역별 콘텐츠처럼 대상이 정당화하는 곳에서만 필요합니다. 문서, 공개 데이터 및 API는 데이터센터 출구로도 충분하며 비용이 더 적습니다. 전체 크롤러에 하나의 출구 유형을 설정하지 말고 대상별로 결정하십시오.

어제는 작동하던 크롤링이 오늘 실패합니다. 무엇이 바뀌었나요?

대개 상대의 방어가 아니라 귀하의 속도입니다. 지터를 적용한 워커 하나로 낮춰 다시 테스트하십시오. 성공한다면 원인은 페이싱이었으며 기존 속도에서의 로테이션은 이를 해결하지 못합니다. 그 후에야 다른 출구 유형이 결과를 바꾸는지 테스트해야 합니다.


각 크롤링에 안정적인 출구를 제공하십시오

브라우저 기반 크롤링에서는 하나의 지리적으로 정확한 출구에 연결된 세션이 상태를 일관되게 유지합니다. DataImpulse 레지덴셜 프록시는 국가 타기팅을 포함하여 195개 국가에서 GB당 $1에 스티키 또는 로테이팅 세션, HTTP, HTTPS 및 SOCKS5를 제공합니다. 계정 만들기를 선택하고 브라우저 계층에 연결한 다음, 더 폭넓은 설정은 웹 스크래핑 사용 사례에서 확인하십시오.

관련 가이드: 크롤러가 차단되는 이유 · 구체적인 대상: Shopify 스토어 · 웹 스크래핑용 프록시.

최종 업데이트: 2026년 9월 17일.


Share article: