AI 데이터 수집: 지역 차단된 지역의 깨끗한 데이터로 LLM 학습하기 | DataImpulse

다국어 모델을 학습하기 위해 팀이 데이터를 수집한 상황을 생각해 보겠습니다. 차단에 부딪히지 않고 파이프라인은 잘 작동했고 학습도 진행했습니다. 그러나 운영 단계에 들어선 뒤 얼마 지나지 않아 연구팀은 모델이 베트남, 일본 또는 한국의 지역별 맥락을 체계적으로 이해하지 못한다는 사실을 발견합니다. 데이터가 없어서가 아니라 지역 관련 접근 요건 때문에 크롤러가 데이터를 한 번도 가져오지 못했기 때문입니다. 

이는 가상의 사례나 이례적인 문제가 아닙니다. 오늘날 AI 업계가 맞닥뜨린 구조적 과제입니다. 

5년 이상의 경험을 갖춘 프록시 제공업체 DataImpulse는 위치와 관련된 문제를 잘 알고 있으며, 이 글에서는 프록시가 이러한 문제를 해결하는 데 어떻게 도움이 되는지 설명합니다. 

핵심 요점:

• 지역마다 콘텐츠 라이선스, 데이터 법률 및 안전 문제 때문에 인터넷을 다르게 보게 됩니다. 크롤러도 마찬가지입니다. 
• 지역 차단은 요청이 종종 반환되므로 감지하기 어렵고, 크롤러가 거부된 것이 아니라 페이지에 흥미로운 내용이 없는 것처럼 보입니다. 그 결과 사각지대가 있는 데이터를 얻게 됩니다.
• 이러한 편향을 찾아 문서화해야 해당 데이터로 학습한 모델의 한계와 위험을 이해할 수 있습니다.
• 학습 데이터의 공백을 모르는 상태로 있기보다 편향을 문서화하는 편이 낫습니다. 전자의 경우 규제 기관은 모델을 통제하고 있다고 보지만, 후자의 경우 모르는 것은 오히려 해가 될 뿐입니다. 
• 프록시는 지역 차단이 보통 작동하는 바로 그 계층인 ASN/IP 수준 탐지에 도움이 될 수 있습니다. 다만 프록시는 웹 스크래핑 인프라의 필수적이지만 한 부분일 뿐입니다. 

QA는 왜 지역 데이터의 사각지대를 발견하지 못할까요?

문제는 인터넷이 모두에게 동일하지 않다는 점입니다. 같은 웹사이트를 방문하고 같은 상품을 찾아도 가격, 재고 여부, 배송 옵션 등이 완전히 다르게 나타날 수 있습니다. 이는 위치 때문입니다. 크롤러도 마찬가지로, 현재 위치에서 보이는 것만 보고 스크래핑할 수 있습니다. 

그렇게 되는 이유는 다양합니다. 유럽 플랫폼은 콘텐츠 라이선스 제한과 GDPR 준수 규정으로 인해 EU 외부 IP에서 발생한 요청을 차단합니다. 공개 데이터를 제공하는 동남아시아 정부 출처는 ‘디지털 주권’을 우려하여 레지덴셜 IP가 아닌 IP에서 발생한 트래픽의 접근을 제한합니다. 라틴아메리카 전자상거래 웹사이트는 미국에서 온 크롤러에 현지 통화나 배송 옵션뿐 아니라 제품 설명과 재고 여부까지 완전히 다른 페이지 버전을 표시합니다. 일본과 한국의 소매 웹사이트는 원본 서버에 도달하기도 전에 CDN 수준에서 현지 ASN이 아닌 곳에서 온 요청을 구분합니다. 

지역 접근 우회 인프라 없이 스크래핑하는 개발자에게는 그 출처에 도달할 수 없는 것처럼 보일 것입니다. 실제로는 그 뒤에 큰 사각지대가 숨어 있으며, 기술적으로 크롤러가 스크래핑 중 오류를 만나지 않고 단지 데이터를 얻지 못할 뿐이므로 어떤 CI/CD 보고서에도 나타나지 않습니다. 

AI 학습 데이터에서 지역 관련 문제가 왜 그렇게 심각할까요? 

주요 이유는 세 가지입니다.

첫째, 고품질 영어 데이터가 고갈되고 있습니다. 연구자들에 따르면 (Epoch AI, 2024 영향 보고서), 현재의 확장 추세가 계속되면 세계는 이 10년 말까지 공개적으로 이용 가능한 영어 텍스트가 부족해질 수 있습니다. 이 때문에 AI 개발자들은 다국어 코퍼스를 적극적으로 탐색하고 있습니다. 그리고 기술적 이유로 지역 기반 필터링이 가장 엄격한 곳이 바로 이 영역입니다. 지역 인프라는 애초에 전 세계 접근을 지원하도록 설계되지 않았습니다.

둘째, 데이터 출처에 대한 규제 기관의 압박은 날마다 커지고 있습니다. 이것이 지역 기반 제한에 어떻게 적용되는지 의아할 수 있습니다. 지역 기반 제한 때문에 데이터를 얻지 못한다면 누가 그 데이터의 합법적 출처를 입증하라고 할 수 있겠습니까? 그러나 EU AI Act 및 기타 유사 문서는 데이터 출처만 제시하도록 요구하지 않습니다. 의료나 금융처럼 고위험 산업을 다룬다면 학습 데이터에 사각지대나 편향이 있는지도 확인하고 데이터세트의 대표성을 평가했음을 입증해야 합니다. 어떤 제한도 위반하지 않았음을 보이는 것만으로는 충분하지 않습니다. 데이터에 무엇이 있고 무엇이 부족한지, 그리고 보이지 않은 영역으로 인해 모델에 생길 수 있는 한계와 위험을 알고 있음을 보여주는 일이 중요합니다. 이러한 편향을 알지 못하거나 왜 발생했는지 설명할 수 없다면 요건을 따르지 않은 것으로 보일 수 있습니다.

또한 편향된 데이터로 학습한 모델은 특정 지역이나 집단에 불공정하거나 저조한 성능을 보일 수 있습니다. 이런 경우 규제 기관은 학습 데이터를 수집하는 동안 무엇을 했는지가 아니라 영향을 받은 사람들에게 관심을 둘 것입니다. 모델이 차별이나 안전 문제로 민원을 받는다면, ‘크롤러가 지역 출처에서 차단되어 편향된 학습 데이터를 얻었습니다’라는 답변은 평판 손상, 벌금 또는 법적 절차를 막아 주지 못하는 빈약한 변명입니다. 그렇다고 모델에 약점이 절대로 있어서는 안 된다는 뜻은 아닙니다. 다시 말해, 그 약점을 인지하고 있는지가 중요합니다. 아이러니하게도 인정하고 문서화한 사각지대는, 우연한 실수가 도덕적으로 더 동정받을 수 있더라도, 우발적이고 기록되지 않은 편향보다 파이프라인을 더 통제하고 있는 것으로 보이며 규제 기관과의 문제를 피하는 데 더 낫습니다.

셋째, 데이터세트를 판매한다면 기업 고객은 보통 공급 계약을 체결하기 전에 신중한 조사를 합니다. 문서화 여부와 데이터의 대표성이 충분한지를 묻습니다. 이는 법의 문제가 아니라 위험 관리의 문제입니다. 제공하는 데이터가 고객 모델의 성능에 직접 영향을 미치기 때문입니다. 일반적 경향만 나타내고 지역별 데이터가 제거된 데이터세트는 수요가 없으므로 판매 수익도 줄어듭니다. 반대로 접근이 제한된 저장소, 지역 포럼, 틈새 분야별 데이터베이스처럼 남용되지 않은 도메인별 저자원 데이터는 현재 모든 연구소가 얻으려 경쟁하는 보물입니다. 이러한 출처에 안정적으로 먼저 접근하는 쪽이 고객, 평판 및 수익을 얻습니다. 

지역 제한을 무시하면 데이터세트에는 정확히 어떤 일이 발생할까요? 

지역 기반 편향의 주요 문제는 오류처럼 보이지 않고 성능 품질이 낮아지면서 시간이 지난 뒤에 드러나는 경우가 많다는 점입니다. 모든 것을 더 쉽고 빠르고 저렴하게 고칠 수 있는 학습 단계에서는 이런 사각지대가 보이지 않습니다. 

1. 시간적 비대칭성. 크롤러가 특정 지역의 출처에 접근하지 못하다가 콘텐츠 라이선스 요건 변경 등의 이유로 갑자기 접근할 수 있게 되면, 모델에는 주제 표현의 인위적 공백이 생깁니다. 실제보다 훨씬 나중에 그 주제가 등장했다고 판단하게 됩니다. 
2. 왜곡. AI 기반 예측 캠페인 같은 용도로 사용되며 전자상거래 또는 금융 데이터로 학습한 모델은 신뢰할 수 있는 결과를 제공하려면 지역 추세와 경향을 이해할 수 있는 지역별 데이터가 필요합니다. 일부 지역에만 맞는 일반적 학습 데이터는 이런 모델을 쓸모없게 만듭니다. 
3. 언어 장벽. 지역 콘텐츠에는 흔히 지역 포럼이나 뉴스 수집기에만 있는 속어, 전문 용어 및 구어체 변형이 포함됩니다. 이러한 측면을 모르면 광고 캠페인용 콘텐츠 다듬기, 지시문 튜닝 및 지역별 검색을 성공적으로 처리하는 일은 불가능합니다.

엔터프라이즈 프록시는 어떻게 도움이 될까요? 

우선 접근 거부는 한 수준에서만 발생하지 않는다는 점을 알아야 합니다. DNS, ASN, CDN 수준에서 발생할 수도 있고, 플랫폼이 TLS 핑거프린팅을 행동 신호와 결합할 때 발생할 수도 있습니다. 이를 방지하려면 모든 수준을 포괄할 여러 도구를 결합한 인프라를 구축해야 합니다. 프록시는 그러한 도구 중 하나이지만, 프록시가 스크래핑 관련 문제를 모두 해결할 것이라 기대해서는 안 됩니다. 다만 지역 제한은 프록시가 특히 잘하는 영역입니다. 

그러나 엔터프라이즈 스크래핑에서 모든 프록시가 똑같이 효과적인 것은 아닙니다. 

데이터센터 프록시(datacenter proxy)는 부하가 있어도 안정성을 유지할 수 있습니다. 요청을 확장할 여지를 제공합니다. 반면 지역별 콘텐츠에 접근해야 할 때는 사용하는 주소가 다양한 ASN에 속하고 트래픽이 자연스럽게 보이도록 ASN 다양성이 필요합니다. 데이터센터 프록시는 이를 제공할 수 없습니다. 또한 이들은 종종 같은 서브넷에 속해 스크래핑 활동을 더 쉽게 드러내고 접근 거부를 유발합니다. 정교한 보호 조치가 없는 지역 웹사이트에서 내부 점검이나 소량 스크래핑에 사용하는 편이 좋습니다. 

레지덴셜 프록시(residential proxy), 그리고 모바일 프록시(mobile proxy)는 특정 위치에 연결되어 요청이 특정 지역에서 발생한 자연스러운 트래픽처럼 보이게 합니다. 지역 사용자의 ASN 평판과 자연스럽게 로테이팅되는 IP 주소는 높은 성공률, 가동 시간 및 데이터 품질로 이어집니다. 이러한 프록시는 웹사이트의 안티봇 정책 변화에도 더 강합니다. 

이 프록시 유형 간의 중요한 차이는 가격입니다. 데이터센터 프록시는 눈에 띄게 저렴해 매력적입니다. 하지만 AI 학습 데이터 스크래핑이 일상 업무라면, 계속 재시도하거나 안티봇 정책이 바뀔 때마다 전체 파이프라인을 조정할 필요가 없고 신뢰할 수 없는 데이터를 가져오지 않는 프록시에 의존하는 편이 비용 효율적입니다. 

AI 학습용 데이터를 스크래핑하기 전에 무엇을 해야 할까요? 

스크래핑 인프라에서 확인할 기준은 세 가지뿐입니다:

1. 각 지역의 데이터세트 데이터 출처, 즉 ASN과 지리적 위치를 문서화할 수 있는가?
2. 대상 웹사이트가 안티봇 정책을 업데이트하면, 프록시가 성공률을 크게 잃지 않고 100만 요청 부하를 처리할 수 있는가? 
3. 사용하는 프록시가 윤리적으로 확보되었는지 확신할 수 있는가?  

마지막 항목도 형식적인 사항이 아닙니다. 데이터 출처가 합법적임을 입증해야 할 뿐 아니라 데이터를 얻는 데 사용하는 도구 역시 합법적임을 입증해야 합니다.

요약하면

지역 차단은 단순한 사소한 문제가 아닙니다. 시장 분열과 규제 압력이 커질수록 더 두드러지는 인터넷의 본질적 일부입니다. 인프라를 설계할 때 지역 제한을 고려하고 지역별 정보를 얻을 방법을 만드는 팀이 혁신 면에서 부족하더라도 성공합니다. 

자주 묻는 질문