In this Article
고객에게 최신의 신뢰할 수 있고 포괄적인 정보를 신속히 제공하는 것은 모든 여행 업계 관계자의 궁극적인 목표입니다. 현재 데이터 수집을 위한 다양한 자동화 도구가 사용되고 있습니다. 하지만 데이터 집계에는 방대한 정보량 처리, 각종 제한, 보안 위협 등 고유한 어려움이 따릅니다. 이 글에서는 프록시라는 단 하나의 도구로 이를 해결하는 방법을 살펴봅니다.
여행 데이터 집계란 무엇이며, 왜 필요할까요?
여행 데이터 집계는 숙박 옵션, 항공권, 렌터카 등 여행 관련 데이터를 하나의 데이터베이스 또는 플랫폼에 모으는 작업입니다. Skyscanner나 Kayak 같은 규모가 크고 잘 알려진 여행 데이터 애그리게이터도 있습니다. 하지만 여행 기업이 특정 요구에 맞춘 맞춤형 플랫폼을 사용하는 일도 드물지 않습니다.
집계 소프트웨어는 봇을 사용합니다. 이 봇은 호텔, 항공사 등의 웹사이트에 접속해 가능한 모든 옵션을 수집하고 최종 사용자에게 보여 줍니다. 봇은 사람보다 훨씬 빠르게 요청을 보내므로 이 과정은 실시간으로 몇 초의 일부에 해당하는 시간 안에 이루어집니다.
여행 데이터 집계의 장점은 다음과 같습니다.
- 이용 가능한 숙박 형태, 항공권, 지역 행사 등에 관한 심층 데이터를 고객에게 제공
- 데이터 수집 과정 간소화
- 데이터 검색에 드는 시간과 인적 자원 절감
- 트렌드와 고객 선호도에 관한 정보 수집
- 비즈니스 성과를 더 잘 이해하기 위한 평균 가격이나 좌석 점유율 등의 보고서 및 지표 활용
데이터 집계는 고객이 꿈같은 여행을 하는 데 필요한 정보를 제공하는 데만 도움이 되는 것이 아닙니다. 여행 판매자가 내부적으로 사용하기에도 필수적인 도구입니다. 기업은 현재 시장 트렌드, 경쟁사, 고객 참여 수준에 관한 다양한 인사이트를 얻어 비즈니스 전략과 제품을 개선할 수 있습니다.
다만 집계의 어려움은 해결하는 것이 중요합니다.
- IP 기반 연결 문제 방지
- 여러 지역에서 원활한 접속 보장
- 지연 시간을 줄이고 데이터 수집 과정 가속
- 보안 문제로부터 보호
이제 프록시가 이러한 모든 문제를 어떻게 해결하는지 자세히 살펴보겠습니다.
데이터 집계 문제를 해결하는 프록시
IP 관련 연결 실패를 방지하는 프록시
데이터를 보여 주려면 먼저 이를 확보해야 합니다. 자동화 도구 없이 그만큼 많은 데이터를 처리하는 것은 불가능하므로 수동으로 할 수 없습니다. 그래서 데이터 집계에는 웹 스크래핑이 필수입니다. 정보를 수집하는 스크립트를 실행합니다. 크롤러는 웹사이트를 방문하고 많은 요청을 보내야 합니다. 요청을 보내는 동안 IP가 노출됩니다. IP는 기기의 고유 식별자입니다. 같은 출처에서 많은 요청이 오면 스크래핑이 진행 중이라는 신호가 됩니다. 이는 안티봇 시스템을 작동시킵니다. 웹사이트는 분명 CAPTCHA를 선택하도록 요구하거나 단순히 IP를 차단할 것입니다. 스크래핑이 여기서 끝나 난처한 상황에 처할 가능성이 큽니다.
사업자는 경쟁사가 데이터를 수집해 우위를 얻는 것을 막기 위해 스크래핑을 금지합니다. 스크래핑할 수 없다면 필요한 정보를 모두 신속하게 얻을 수 없습니다. 또한 모든 스크래퍼가 윤리적인 것은 아닙니다. 무분별한 스크래핑은 사이트 속도를 늦춰 방문자에게 문제를 일으킬 수 있습니다. 해커는 취약점을 파악하기 위해 사이트를 스크래핑할 수 있습니다. 따라서 사이트 소유자는 스크래핑이 일어나지 않도록 합니다.
즉, 여행 데이터를 스크래핑할 때는 모든 요청이 실제 사람에게서 오고 봇은 전혀 없는 것처럼 보여야 합니다. 프록시를 사용하면 그렇게 할 수 있습니다.
프록시는 사용자와 인터넷 사이에서 중개 역할을 합니다. 요청을 가로채 대상 서버로 전달합니다. 이 과정에서 IP를 숨기므로 방문하는 사이트에는 프록시 서버의 주소가 보입니다. 프록시 서버가 일정 시간마다 또는 새 요청마다 IP를 로테이팅하도록 설정할 수 있습니다. 이렇게 하면 트래픽이 서로 다른 위치와 시간대에서 발생하는 사람의 트래픽처럼 보이므로 트래픽 정책에 부합하게 운영할 수 있습니다. 이 방식으로 필요한 데이터를 확보할 수 있습니다.
DataImpulse는 1,500만 개가 넘는 IP를 제공합니다. 성공적인 스크래핑에 충분한 주소를 확보할 수 있도록 IP 풀을 지속적으로 확장합니다. 다른 제공업체의 IP를 재판매하지 않으므로, 많은 사람이 사용해 IP가 블랙리스트에 오르거나 느려질까 걱정할 필요가 없습니다.
안정적인 글로벌 접속을 보장하는 프록시
숙박 옵션이나 렌터카 같은 여행 관련 데이터를 수집할 때는 여러 지역의 옵션을 찾아야 합니다. 하지만 해외 소스에 도달하는 데 문제가 생길 수 있습니다. 많은 사이트는 접속할 수 있는 지역에 관한 제한을 두고 있습니다. 국가가 블랙리스트에 있다면 데이터를 수집할 수 없고, 따라서 플랫폼에 표시할 데이터도 없게 됩니다.
IP는 현재 위치를 드러냅니다. 그래서 프록시는 지역을 넘어 연결을 설정하는 데 편리한 도구입니다. 허용 목록에 있는 위치의 프록시 서버를 선택해 대상 웹사이트에 연결할 수 있습니다. 웹사이트에는 프록시 서버의 위치가 보이고 실제 위치는 숨겨집니다. 위치 관련 접속 문제를 겪지 않고 필요한 어떤 소스에서든 데이터를 얻을 수 있습니다.
DataImpulse에서는 괌이나 몬테네그로 같은 드문 지역을 포함해 195개 지역의 프록시를 찾을 수 있습니다. 특정 지역의 IP가 필요하다면 국가별 플랜을 이용할 수 있습니다. 프록시 서버를 설정하면서 필요한 위치를 선택할 수 있습니다. 각 위치에서 사용 가능한 IP의 총수도 실시간으로 확인할 수 있습니다.
보안과 익명성 계층을 추가하는 프록시
IP 노출은 데이터 집계에서 피할 수 없는 요소입니다. 해커는 IP를 알면 내부 네트워크에 침입해 민감한 데이터를 훔치거나 시스템을 마비시킬 방법을 찾을 수 있습니다. 여기에 데이터 집계는 수많은 소스를 끊임없이 방문해야 한다는 뜻이기도 합니다. 특정 웹사이트가 무엇을 호스팅하는지는 알 수 없습니다. 소스 자체가 신뢰할 수 있어도 안전하다는 뜻은 아닙니다. 예를 들어 사이트에 댓글 섹션이나 사용자가 무언가를 입력할 수 있는 다른 공간이 있다면, 악의적 행위자가 그곳에 악성 코드 문자열을 남길 수 있습니다. 크롤러가 그런 페이지를 방문하면 코드가 저절로 실행되어 기기를 감염시킵니다. 이를 저장형 크로스 사이트 스크립팅(XSS) 공격이라고 합니다. 데이터를 얻지 못할 뿐 아니라 개인정보, 금전, 평판을 잃을 위험도 있습니다.
프록시는 외부 네트워크와의 직접적인 상호작용을 막습니다. 실제 IP가 숨겨지므로 사기꾼이 사용자를 추적하거나 네트워크에 침입하기가 어려워집니다. 요청뿐 아니라 웹사이트의 응답도 프록시를 거치므로 프록시를 필터 역할을 하도록 구성할 수 있습니다. DNS 이름, URL, IP 주소 또는 소스 유형으로 소스를 차단할 수 있습니다. 이것이 너무 과하다고 느껴지거나 이러한 설정으로 너무 많은 사이트를 놓칠까 걱정된다면, 소스 접속을 차단하는 대신 특정 유형의 콘텐츠를 차단할 수 있습니다. 코드나 텍스트 문자열 및 이미지 내 객체를 기준으로 콘텐츠를 제한할 수 있습니다. 이는 유해한 요소로부터 시스템을 보호합니다. 기기가 실제로 소스를 방문하는 것이 아니라 프록시가 대신 방문하므로 XSS 공격도 위험이 되지 않습니다. 프록시로 얻는 다른 보안 이점도 있습니다. 관심이 있다면 프록시가 사용자를 보호하는 6가지 방법에 관한 전체 글을 확인해 보십시오. 요컨대 프록시를 사용하면 안전을 포기하지 않고도 필요한 데이터를 얻을 수 있습니다.
다만 기억해야 할 중요한 점은 프록시를 적법하게 확보해야 한다는 것입니다. DataImpulse는 판매하는 항목에 책임을 집니다. 당사 팀은 사람들이 설치하고 트래픽의 일부를 당사에 판매하는 것을 선택할 수 있는 앱을 개발했습니다. 사용자는 이에 대한 대가를 받습니다. 방문할 수 있는 소스에는 몇 가지 제한이 있습니다. 데이터센터 프록시를 제공하기 위해 신뢰할 수 있는 데이터센터하고만 협력합니다. 이는 악성 코드 확산 같은 유해 활동과 연관되지 않고 블랙리스트에 없는 “깨끗한” 프록시를 제공하기 위한 것입니다.
데이터 집계 과정을 가속하는 프록시
수많은 소스를 스크래핑해야 하므로 데이터 수집은 시간이 많이 걸리는 작업입니다. 옵션은 빠르게 변하므로 가능한 한 신속히 정보를 모아야 한다는 점이 어려움입니다. 고객에게는 최신 데이터가 필요하므로 속도가 중요합니다. 동시에 속도가 떨어질 수 있는 이유는 여러 가지입니다.
예를 들어 IP가 최적화되지 않은 경로를 가진 자율 시스템에 속하면 속도 관련 문제가 발생할 수 있습니다. 속도는 사용하는 서버와 대상 서버 사이의 물리적 거리에도 좌우됩니다. 프록시를 사용하면 성능이 낮은 자율 시스템을 제외할 수 있습니다. 대상 서버에 더 가까이 있는 프록시에 연결할 수도 있습니다.
또한 프록시를 사용하면 동시에 여러 연결 스레드를 사용할 수 있습니다. 마치 여러 기기에서 동시에 데이터를 스크래핑하는 것과 같습니다. 이렇게 하면 대량의 데이터를 추출하고 방문자에게 최신 정보를 제공할 수 있습니다.
DataImpulse는 여행 데이터 집계에 충분히 빠른 1초 응답 시간 프록시를 제공합니다. 속도 문제를 막기 위해 서버 부하를 분산하고 자율 시스템 제외 기능을 제공합니다. 당사에서는 동시에 최대 2000개의 연결 스레드를 사용할 수 있습니다. 이로써 여행 옵션 수집을 빠르게 마치고 고객이 관련성 높은 데이터를 보게 할 수 있습니다.
어떤 프록시를 선택할까요?
데이터센터 프록시와 레지덴셜 프록시
데이터센터 프록시(datacenter proxy)는 데이터센터 서버가 생성한 주소입니다. 데이터센터는 정보를 수집하는 조직입니다.
데이터센터 IP에는 몇 가지 분명한 장점이 있습니다.
- 레지덴셜 프록시와 모바일 프록시에 비해 가장 저렴합니다. 예를 들어 DataImpulse에서 데이터센터 프록시를 1 GB당 단 $0.5에 이용할 수 있습니다.
- 개인 기기와 달리 데이터센터 서버는 24/7 작동하고 큰 부하를 처리하도록 설계되어 있어, 이런 프록시가 응답을 멈출 가능성은 낮습니다. 신뢰할 수 있습니다.
- 데이터센터 프록시는 빠릅니다.
하지만 이런 프록시에도 단점은 있습니다.
- 특정 위치나 기기에 연결되어 있지 않습니다. 웹 소스가 프록시 사용을 탐지할 가능성이 훨씬 높습니다. 이로 인해 차단될 수 있어 데이터를 추출하지 못하게 됩니다.
- 데이터센터 IP는 흔히 같은 서브넷에 속합니다. 이것도 프록시 사용의 또 다른 신호입니다. 문제는 웹사이트가 IP 하나가 아니라 해당 서브넷에 속한 주소 전체를 차단할 수 있다는 점입니다.
- 웹사이트는 알려진 데이터센터 IP를 미리 차단할 수 있습니다.
그러나 제공업체는 단점을 개선하고 없애고 있습니다. 예를 들어 이제 DataImpulse 같은 제공업체는 무작위화된 데이터센터 프록시를 제공합니다. 이런 IP는 서로 다른 서브넷과 연결되어 있어 “실제 사용자”처럼 보이게 할 수 있습니다. 필터링될 가능성을 낮춥니다. 동시에 해당 프록시는 여전히 데이터센터 프록시의 모든 장점을 지닙니다.
레지덴셜 프록시(residential proxy)는 인터넷 서비스 제공업체가 할당한 IP입니다. 실제 가정 기기의 주소입니다. 사람의 트래픽을 모방하는 데 도움이 됩니다.
레지덴셜 프록시도 데이터 집계 측면에서 장점이 있습니다.
- 특정 위치 및 기기와 연결되어 있고 완전히 서로 다른 서브넷에 속합니다. 이 유형의 프록시는 탐지하기 어렵습니다.
- 웹사이트가 미리 차단하지 않습니다.
레지덴셜 IP를 사용하면 탐지 도구가 크롤러를 식별하기가 더 어렵습니다. 그 결과 연결 중단을 겪지 않고 데이터를 얻을 가능성이 훨씬 높아집니다.
레지덴셜 프록시의 약점은 다음과 같습니다.
- 가격: 이런 프록시는 데이터센터 프록시보다 비쌉니다.
- 신뢰성: 사람들의 기기는 24/7 온라인 상태가 아니므로 연결이 중단될 수 있습니다. 하지만 DataImpulse를 포함한 제공업체는 문제가 생기면 자동으로 다른 주소에 다시 연결합니다. 보통 지연을 알아차리지도 못합니다.
- 속도: 레지덴셜 프록시는 일반적으로 빠른 것으로 여겨지지만, 데이터센터 프록시만큼 빠르지는 않습니다.
하지만 그렇다고 레지덴셜 프록시가 반드시 느리고 매우 비싸다는 뜻은 아닙니다. 예를 들어 DataImpulse에서는 1 GB당 $1이라는 합리적인 가격에 1초 응답 시간 프록시를 이용할 수 있습니다. 이는 데이터 집계 작업을 수행하기에 충분한 속도입니다. 비용을 절약하려면 프록시를 1 TB 이상 구매할 때 맞춤 가격도 받을 수 있습니다.
레지덴셜 프록시와 데이터센터 프록시 중 무엇을 선택할지는 목표에 달려 있습니다. 일반적으로 데이터 수집에는 레지덴셜 프록시가 첫 번째 선택입니다. 하지만 프로젝트 규모도 결정에 영향을 줍니다. 그다지 많은 소스를 방문하지 않거나, 지속적으로 모니터링할 필요가 없거나, 속도를 원한다면 데이터센터 프록시 사용을 시도할 수 있습니다. 그래도 망설여진다면 레지덴셜 프록시와 데이터센터 프록시의 차이에 관한 자세한 글을 확인해 보십시오. 화면 오른쪽 하단의 위젯을 클릭해 지원팀에 문의할 수도 있습니다. 담당자는 24/7 대기하며 모든 질문에 답변합니다. 두 종류의 프록시를 모두 체험판으로 사용해 실제 작업에서 테스트하고 가장 적합한 것을 결정할 수도 있습니다.
스티키 프록시와 로테이팅 프록시
스티키 프록시는 10분, 30분 또는 60분마다 새 IP를 할당하는 프록시 서버 유형입니다. 이 정해진 시간 동안 모든 요청은 하나의 IP에서 나옵니다. 이후 자동으로 새 IP를 사용하기 시작합니다.
로테이팅 프록시는 요청마다 IP를 변경하는 프록시 서버 유형입니다. 모든 질의가 서로 다른 곳의 완전히 다른 사람에게서 온 것처럼 보입니다. 이 유형의 프록시는 사람의 트래픽을 모방하는 데 도움이 됩니다.
여기에서 로테이팅 프록시와 스티키 프록시에 관한 전체 글을 확인할 수 있습니다.
로테이팅 프록시를 사용하면 안티봇 시스템이 데이터 수집 진행을 탐지하기가 훨씬 더 어렵습니다. 그래서 데이터 추출에서는 보통 최우선 선택입니다.
마무리
여행 데이터 집계는 차단 가능성, 보안 위험, 지연 시간 때문에 복잡한 작업일 수 있습니다. 이런 문제를 피하고 고객에게 최신 정보를 제공하려면 프록시를 사용할 수 있습니다. 프록시는 사용자와 인터넷 사이에서 중개 역할을 하며, IP를 변경하고 추가 보호 계층을 제공하고 여행 데이터 수집 과정을 가속합니다. DataImpulse에서는 레지덴셜 프록시와 데이터센터 프록시를 모두 찾고 필요에 맞는 것을 선택할 수 있습니다. 당사는 종량제 가격 모델을 운영하므로 실제 사용한 트래픽에 대해서만 비용을 지불합니다. 프록시를 다른 도구와 통합하고 몇 분 안에 설정을 조정할 수 있습니다. 시작하려면 “지금 체험하기” 버튼을 클릭하거나 [email protected]로 문의하십시오.