이 글의 내용
HTTP 상태 코드 목록은 쉽게 찾을 수 있지만, 크롤러를 운영하는 사람을 위해 작성된 목록은 드뭅니다. 이 페이지에서는 스크래퍼가 각 코드를 받았을 때의 의미, 재시도할 가치가 있는지, 대상 사이트가 아니라 자체 구성 문제를 가리키는 코드는 무엇인지 설명합니다.
핵심 원리는 간단합니다. 모든 응답은 정확히 네 가지 행동 중 하나를 지시합니다. 계속 진행, 대기, 자신을 보이는 방식을 변경, 또는 중단입니다. 이 매핑을 정확히 하는 것이 몇 달간 실행되는 크롤러와 일주일 만에 풀을 소진하는 크롤러를 가르는 대부분의 차이입니다.
핵심 요점
- 상태 코드는 결과가 아니라 라우팅 결정입니다. 재시도, 백오프, ID 변경 또는 중단 중 모든 코드는 정확히 하나에 매핑되며, 이를 혼동하면 크롤러가 주소 풀을 소진합니다.
- 200은 성공이 아닙니다. 데이터 컨테이너가 비어 있는 200은 게이트는 통과했지만 페이지가 클라이언트 측에서 렌더링되었음을 뜻하며, 접근 문제가 아닌 파싱 문제입니다.
- 407은 내 쪽 문제이고, 403은 상대 쪽 문제입니다. 407은 프록시 자격 증명이 잘못되었음을 뜻하고 403은 대상이 거부했음을 뜻합니다. 로그에서는 비슷해 보이지만 해결 방법은 정반대입니다.
- 429는 속도를, 403은 ID를 알려 줍니다. Retry-After가 있는 429는 협상이고, 본문이 짧은 403은 판정입니다.
- 무작정 재시도하지 마십시오. 404나 451을 재시도하면 예산을 낭비하고, 공유 풀에서는 다른 작업이 의존하는 평판도 훼손합니다.
스크래퍼는 상태 코드를 어떻게 읽어야 할까요? 4단계 분류 규칙
처리 코드를 작성하기 전에 모든 응답을 네 단계 중 하나로 분류하십시오. 이를 4단계 분류 규칙이라고 부릅니다.
| 단계 | 코드 | 조치 |
|---|---|---|
| 1. 진행 | 200, 201, 204, 206, 301, 302, 304 | 파싱, 추적 또는 건너뛰기를 수행합니다. 수정할 것은 없지만, 200은 여전히 콘텐츠 확인이 필요합니다. |
| 2. 대기 | 429, 503, 504, 408 | 지터를 적용해 백오프하고, Retry-After를 준수하며, 동시성을 낮춥니다. 대상이 속도가 잘못되었다고 알려 주는 것입니다. |
| 3. ID 변경 | 403, 접근이 공개적인 경우의 401, 421 | 조치 전에 종료 주소, TLS와 헤더의 일관성, 런타임을 진단합니다. 변경 없이 재시도해도 아무것도 달라지지 않습니다. |
| 4. 중단 | 400, 404, 405, 410, 451, 같은 경로에서 반복되는 403 | 요청이 잘못되었거나, 리소스가 사라졌거나, 결정적으로 접근이 거부된 것입니다. 로그를 남기고 다음으로 넘어가십시오. |
비용이 큰 실수는 3단계를 2단계로 취급하는 것입니다. 차단된 ID를 백 번 재시도하면 분류를 확인하는 데이터 포인트가 백 개 더 쌓일 뿐이며, 공유 풀에서는 다른 작업이 사용하는 주소의 품질을 떨어뜨립니다.
스크래핑에서 실제로 나타나는 코드는 무엇이며, 어떤 의미일까요?
| 코드 | 크롤러에 대한 의미 | 재시도? |
|---|---|---|
| 200 OK | 게이트를 통과했습니다. 페이지가 클라이언트 측에서 렌더링되면 콘텐츠가 없을 수 있습니다. | 아니요. 단, 예상 필드를 확인하십시오. |
| 204 No Content | 유효한 응답이지만 파싱할 내용이 없습니다. 추적 및 API 엔드포인트에서 흔합니다. | 아니요 |
| 301 / 302 | 이동했습니다. 로그인 또는 국가 게이트웨이로 이어지는 리디렉션 체인은 잡음이 아니라 신호입니다. | 추적하되 최종 URL을 기록하십시오. |
| 304 Not Modified | 조건부 요청이 작동했고 페이지가 변경되지 않았습니다. 가능한 가장 저렴한 응답입니다. | 아니요. 이런 응답을 더 많이 얻는 것을 목표로 하십시오. |
| 400 Bad Request | 요청 형식이 잘못되었습니다. 종종 쿼리 문자열이나 헤더가 깨진 경우입니다. | 아니요. 코드를 수정하십시오. |
| 401 Unauthorized | 대상이 자격 증명을 요구합니다. 공개 데이터에서는 일반적으로 제한된 경로에 도달했음을 뜻합니다. | 아니요 |
| 403 Forbidden | 요청을 이해했지만 거부했습니다. ID, 평판 또는 패턴 문제이며, 때로는 단순한 지역 규칙일 수 있습니다. | 변경 없이 재시도하지 마십시오. |
| 404 Not Found | 리소스가 사라졌거나, 데이터 없는 페이지를 반환하는 소프트 404입니다. | 아니요 |
| 405 Method Not Allowed | 메서드가 잘못되었습니다. 일반적으로 POST 엔드포인트를 GET으로 호출한 경우입니다. | 아니요. 코드를 수정하십시오. |
| 407 Proxy Authentication Required | 프록시 자격 증명이 없거나 잘못되었습니다. 대상과는 무관합니다. | 아니요. 구성을 수정하십시오. |
| 408 Request Timeout | 서버가 기다리기를 포기했습니다. 프록시 홉이 느린 경우가 많습니다. | 예. 백오프를 적용하십시오. |
| 410 Gone | 의도적으로 제거되었습니다. 404보다 강한 의미입니다. | 아니요. 큐에서 제거하십시오. |
| 421 Misdirected Request | 제공하지 않는 호스트에 연결이 재사용되었습니다. 프록시를 통한 HTTP/2 연결 병합에서 나타납니다. | 예. 새 연결에서 시도하십시오. |
| 429 Too Many Requests | 속도 제한입니다. Retry-After를 읽으십시오. 스크래핑에서 가장 솔직한 헤더입니다. | 예. 기다린 후 시도하십시오. |
| 451 Unavailable For Legal Reasons | 법적 또는 규제상 이유로 차단되었으며, 지역적 이유인 경우가 많습니다. | 아니요 |
| 500 Internal Server Error | 상대의 버그이거나, 내 페이로드가 버그를 유발했을 수 있습니다. | 한두 번 후 중단하십시오. |
| 502 / 504 | 게이트웨이 오류입니다. 대상의 엣지 또는 자체 프록시 홉에서 발생할 수 있습니다. | 예. 백오프를 적용하십시오. |
| 503 Service Unavailable | 과부하 상태이거나 의도적으로 부하를 줄이고 있으며, 봇 방지 목적의 부하 감소도 포함됩니다. | 예. 천천히 시도하십시오. |
| 520 to 526 | Cloudflare 전용 코드입니다. 오리진이 유효하지 않은 것을 반환했거나, 시간 초과되었거나, 오리진과의 TLS 핸드셰이크가 실패했습니다. | 예. 단, 반복되면 신호로 취급하십시오. |
사이트가 아니라 프록시를 가리키는 코드는 무엇일까요?
세 가지이며, 이를 대상 측 거부와 혼동하면 며칠을 낭비합니다.
407 Proxy Authentication Required. 게이트웨이가 자격 증명을 거부했습니다. 사용자 이름 형식, 비밀번호, 세션 또는 국가 접미사의 형식이 올바른지 확인하십시오. 요청이 대상에 도달하지 않았으므로 재시도나 로테이팅은 도움이 되지 않습니다.
경로 변경 직후의 502 및 504. 종료 주소를 바꾸는 순간 나타났다가 다시 바꾸면 사라지는 게이트웨이 오류는 보통 오리진이 아니라 홉 문제입니다. 사이트를 탓하기 전에 같은 URL을 직접 및 두 번째 종료 주소를 통해 테스트하십시오.
421 Misdirected Request. 드물며, 거의 항상 HTTP/2에서 프록시를 거쳐 호스트 간 연결을 재사용할 때 발생합니다. 연결 병합을 비활성화하거나 연결당 하나의 호스트를 고정하십시오.
두 측면을 가장 빠르게 구분하는 방법은 제어 요청입니다. 같은 종료 주소를 통해 IP 에코 서비스처럼 안정적임을 아는 URL을 가져오십시오. 그것도 실패하면 문제는 경로에 있고, 성공하면 대상이 거부하는 것입니다. 스크래핑 시 발생하는 403 Forbidden 오류 가이드에서 전체 격리 순서를 설명합니다.
실제로 효과적인 재시도 정책은 무엇일까요?
거의 모든 경우에 네 가지 규칙이면 충분하며, 의도적으로 단순합니다.
- 2단계와 선택된 4단계 인프라 오류만 재시도하십시오. 429, 503, 504, 408, 그리고 500은 한두 번입니다. 400, 404, 405, 410, 451은 절대 재시도하지 말고, 변경 없는 403도 재시도하지 마십시오.
- 지터를 적용한 지수 백오프를 사용하십시오. 약 1초부터 시작해 1분으로 상한을 두십시오. 지터가 없으면 병렬 워커가 동시에 재시도하여 제한을 유발한 급증을 재현합니다.
- Retry-After를 문자 그대로 준수하십시오. 사이트가 30초를 기다리라고 하면 5초만 기다리는 것은 다시 속도 제한을 받겠다는 결정입니다.
- 호스트별 서킷 브레이커를 사용하십시오. 연속 실패가 임계값에 도달하면 차단으로 서서히 악화되는 대신 냉각 시간 동안 해당 호스트를 완전히 중단하십시오.
| 상황 | 재시도할 경우 | 재시도를 피할 경우 |
|---|---|---|
| Retry-After가 있는 429 | 명시된 지연을 준수하고 이후 동시성을 낮출 때 | 명시된 시간 안에 재시도하려는 경우. 두 번째 제한이 보장됩니다. |
| 503 또는 504 | 여러 호스트에서 간헐적으로 실패하여 부하가 의심될 때 | 한 호스트가 계속 실패하는 경우. 나를 겨냥한 부하 감소입니다. |
| 500 | 보통 작동하는 URL에서 한 번 발생했을 때 | 같은 페이로드에서 반복될 때. 요청이 상대의 버그를 유발한다는 뜻입니다. |
| 403 | 변경 없이 재시도하지 마십시오. 하나의 변수를 분리한 뒤에만 시도하십시오. | 종료 주소, 클라이언트, 속도를 각각 테스트하기 전까지는 항상 피하십시오. |
| 404, 410, 451 | 절대 하지 마십시오. | 항상 피하십시오. 리소스가 사라졌거나 정책상 접근이 거부된 것입니다. |
두 지표로 측정할 수 있습니다. 호스트별 시간당 코드별 실패 수와 재시도 대비 성공 요청 비율입니다. 두 번째 지표가 대략 5건 중 1건을 넘으면, 첫 번째 지표가 무엇을 말하든 속도 조절이 잘못된 것입니다.
200이 때로 실패를 뜻하는 이유는 무엇일까요?
게이트 통과와 데이터 획득은 다른 사건이기 때문입니다. 유용한 내용이 없는 200은 네 가지 경우에서 발생합니다.
클라이언트 측 렌더링. HTML은 껍데기이고 데이터는 XHR로 도착합니다. 해결 방법은 브라우저 엔진을 사용하거나, 더 나은 방법으로 페이지가 직접 호출하는 JSON 엔드포인트를 찾는 것입니다.
소프트 404. 사이트가 200 상태와 함께 친절한 찾을 수 없음 페이지를 제공합니다. 상태 코드가 아니라 알려진 요소를 확인하십시오.
챌린지 페이지. 클라이언트에 자신을 증명하도록 요구하면서 200을 반환하는 중간 페이지입니다. 상태가 아니라 크기와 챌린지 스크립트의 존재로 감지하십시오.
지역 또는 동의 벽. 콘텐츠 대신 쿠키 배너나 국가 게이트를 반환하는 200입니다. 이 때문에 종료 국가를 데이터 세트에 포함해야 합니다.
실무 규칙은 다음과 같습니다. 상태 코드를 성공 검증으로 취급하지 마십시오. 콘텐츠를 검증하고, 실행별 행 수를 세며, 오류가 날 때가 아니라 소스가 임계값 이상 감소할 때 알림을 받으십시오.
코드만 읽는 방식의 한계는 무엇일까요?
상태 코드는 전체 이야기가 아니라 마지막 홉을 설명합니다. 200은 챌린지일 수 있고, 403은 봇 판정이 아니라 국가 규칙일 수 있으며, 502는 자체 프록시에 속할 수 있습니다. 코드는 진단의 첫 신호로 취급하고, 그다음 본문 크기, 헤더, 제어 요청으로 확인하십시오.
규칙에 관해서는 반복된 거부는 사이트의 결정이며, 올바른 대응은 이를 존중하고 robots.txt와 약관을 확인하며 가능한 경우 공식 API를 우선하는 것입니다. 개인 데이터는 적법한 근거에 관한 별도의 질문을 제기합니다. 이는 법률 자문이 아닌 일반 정보입니다. 웹 스크래핑은 적법한가요를 참조하십시오.
인접한 문제는 403 분류, 로테이팅과 세션, 탐지 시스템이 요청을 평가하는 방식을 참조하십시오.
자주 묻는 질문
스크래핑에서 403은 무엇을 뜻하나요?
서버가 요청을 이해했지만 거부했다는 뜻입니다. 크롤러에서는 보통 잘못된 요청이 아니라 ID, 평판 또는 요청 패턴을 뜻하며, 때로는 단순한 지역 규칙일 수 있습니다. 변경 없이 재시도해도 소용없습니다. 종료 주소, 클라이언트, 속도 순으로 한 번에 하나의 변수만 바꾸십시오.
403과 429의 차이는 무엇인가요?
429는 속도에 관한 메시지이며 보통 Retry-After 헤더를 포함하므로 속도를 낮춰야 합니다. 403은 자신에 관한 메시지이므로 클라이언트가 보이는 방식을 바꿔야 합니다. 403을 속도 제한으로 취급하고 단순히 기다리면, 크롤러는 아무것도 배우지 못한 채 몇 시간 동안 멈춥니다.
왜 407이 발생하나요?
프록시 자격 증명이 없거나 형식이 잘못되어 요청이 대상에 도달하기 전에 게이트웨이가 거부한 것입니다. 세션 또는 국가 접미사를 포함한 사용자 이름 형식, 비밀번호, 포트가 프로토콜과 맞는지 확인하십시오. 로테이팅과 재시도로는 407을 해결할 수 없습니다.
500을 재시도해야 하나요?
백오프를 적용해 한두 번 시도한 뒤 중단하고 로그를 남기십시오. 하나의 URL에서 지속되는 500은 대개 페이로드가 상대 측 버그를 유발한다는 뜻이며, 계속 요청하는 것은 무의미하고 무례합니다. 여러 URL에서 동시에 500이 나타나면 사이트에 장애가 발생한 것이므로 전체 작업을 일시 중지해야 합니다.
200인데 데이터가 없는 이유는 무엇인가요?
게이트는 통과했지만 콘텐츠가 도착하지 않았기 때문입니다. 페이지가 클라이언트 측에서 렌더링되거나, 사이트가 200 상태의 소프트 404 또는 챌린지 중간 페이지를 제공했거나, 동의 또는 지역 벽에 도달했을 수 있습니다. 상태 코드가 아니라 본문의 알려진 요소를 검증하고, 실행별 행 수를 세어 조용한 감소가 알림으로 바뀌게 하십시오.
거부를 줄이려면 올바른 종료 주소부터 선택하십시오
분류 결과가 속도가 아니라 ID를 가리킬 때, DataImpulse 레지덴셜 프록시(residential proxies)는 195개 국가에서 $1 per GB로 지역에 정확한 종료 주소를 제공하며, HTTP, HTTPS 및 SOCKS5를 통해 로테이팅 또는 스티키 방식으로 사용할 수 있습니다. 계정 만들기 후 확장하기 전에 하나의 대상을 테스트하십시오.
관련: 스크래핑 시 403 Forbidden · 웹 스크래핑용 프록시 · 웹 스크래핑 사용 사례.
최종 업데이트: 2026년 9월 17일.
