In this Article
많은 사람은 ChatGPT나 Gemini 같은 AI 도구가 우리의 일을 지나치게 많이 처리하고, 실제 사람의 노력을 대체하며, 심지어 우리가 생각하고 의사결정을 내리는 방식까지 바꾼다고 생각합니다. 이는 일자리와 창의성의 미래에 대한 우려로 이어지곤 합니다. 하지만 AI는 정말 과대평가된 위협일까요, 아니면 균형 있게 활용할 때 우리를 돕는 작은 보조 도구일 뿐일까요?
웹 스크래핑을 예로 들어 보겠습니다. 전통적으로 스크레이퍼를 만들려면 탄탄한 코딩 지식, 세심한 주의, 디버깅 기술이 필요했습니다. ChatGPT를 사용하면 초보자도 몇 초 만에 바로 사용할 수 있는 스크래핑 스크립트를 만들 수 있고, 전문가는 AI에게 반복적인 코딩 작업을 맡겨 몇 시간을 절약할 수 있습니다. AI는 개발자를 대체하는 대신 일상적인 업무를 줄여 주는 강력한 생산성 도구로 작동합니다.
이러한 스크래핑은 데이터를 수집하는 연구자, 경쟁사를 모니터링하는 기업, Python을 배우는 학생에게 유용할 수 있습니다. 코드 작성과 설명에 대한 ChatGPT의 능력과 Python의 스크래핑 라이브러리를 결합하면 누구나 효율적이고 빠른 스크레이퍼를 만들 수 있습니다.
시작하는 데 필요한 핵심 도구
Python을 사용해 Amazon 페이지 웹 스크래핑을 시작하기 전에 환경이 올바르게 설정되었는지 확인하겠습니다. 필요한 항목은 다음과 같습니다:
- Visual Studio Code(또는 다른 코드 편집기)
VS Code는 공식 웹사이트에서 다운로드하고 운영 체제에 맞는 설치 안내를 따르십시오. 그런 다음 프로그램을 열고 사이드바의 사각형 아이콘을 클릭하여 Python 확장을 설치하십시오. 파일 – 폴더 열기을 선택해 프로젝트를 만들 폴더를 여십시오. 예를 들어 스크립트용 새 Python 파일을 만드십시오: scraping_gpt_test.py
- Python 및 라이브러리(Requests, BeautifulSoup)
컴퓨터에 Python 3.x가 설치되어 있지 않다면 https://www.python.org/에서 다운로드할 수 있습니다. 다음 명령어 중 하나를 실행하여 Python이 설치되어 있는지 확인하십시오:
python --version
python3 --version
일부 시스템은 여전히 Python을 Python 2에 연결하므로 python3 및 pip3)을 사용해 Python 3를 실행 중인지 확인하십시오. Python 라이브러리를 사용하려면 먼저 pip을 다음 명령어 중 하나로 설치하십시오:
python -m ensurepip
python3 -m ensurepip
그런 다음 컴퓨터에서 Terminal을 열고 다음을 사용하여 Python 라이브러리를 설치하십시오:
pip install requests beautifulsoup4
pip3 install requests beautifulsoup4
Enter를 누르면 설치되었는지 확인할 수 있습니다.
- ChatGPT 계정
무료 또는 유료 OpenAI 계정을 만들어 ChatGPT에 접속하십시오. 이 도구는 스크래핑 스크립트 작성, 디버깅, 개선에 사용합니다.
- DataImpulse 프록시
프록시 자격 증명을 사용하여 프록시를 통합하겠습니다. 필요한 모든 정보는 선택한 요금제 세부 정보에 있는 DataImpulse 대시보드에서 확인할 수 있습니다.
또한 기본 URL 예시 섹션
- 스크래핑하려는 웹사이트
이 튜토리얼에서는 Wikipedia와 그 인구별 국가 목록을 사용합니다. 코드에서 이를 대상 웹사이트로 바꾸는 것을 잊지 마십시오.
👉 항상 규칙을 따르십시오. 안전하고 윤리적인 스크래핑을 위해 스크래핑 전에 웹사이트 이용약관 및 robots.txt 파일을 확인하십시오.
ChatGPT가 Python 스크래핑 코드를 생성할 수 있을까요? 테스트해 보겠습니다
1. 대상 페이지를 검사하고 스크래핑할 요소를 찾으십시오.
원하는 요소(예: 국가명 또는 인구 수)를 마우스 오른쪽 버튼으로 클릭하고 브라우저에서 검사를 선택하십시오. 그러면 개발자 도구 패널이 열립니다. 강조 표시된 HTML 위에 마우스를 올려 올바른 요소를 선택했는지 확인하십시오.
2. 해당 요소의 HTML 코드를 저장하십시오.
요소를 찾았다면 패널의 HTML을 마우스 오른쪽 버튼으로 클릭하고 CSS 선택자.
3. ChatGPT용 상세 프롬프트를 작성하십시오.
다음 항목을 포함한 프롬프트를 작성하십시오:
- 대상 URL;
- 복사한 선택자;
- 사용하려는 라이브러리(예: requests, BeautifulSoup);
프록시와 헤더를 언급하되, 자격 증명을 ChatGPT와 공유해서는 안 됩니다.
프롬프트를 ChatGPT에 붙여넣으십시오. 다음은 프롬프트 예시입니다:
“Python, Beautiful Soup, Requests 라이브러리를 사용하여 웹 스크레이퍼를 만드십시오. time을 import하십시오. 대상 웹사이트:
https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population
목표: 대상 페이지에서 국가와 각 국가의 인구 수를 스크래핑하십시오. 추가 보호 수단으로 DataImpulse 프록시를 사용하십시오. 헤더를 추가하십시오.
다음은 CSS 선택자입니다:
- 국가: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(1) > a
- 인구: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(2)
출력: 스크래핑한 모든 데이터를 CSV 파일에 저장하십시오.
추가 지침: 출력 CSV에서 원치 않는 기호를 제거하십시오.”
다음은 ChatGPT의 응답입니다:
- 최종 코드를 검토하고 실행하십시오.
스크립트를 편집기에 복사하여 실행하십시오. 선택자나 형식이 다르면 일부 디버깅이 필요할 수 있습니다. 프록시를 사용한다면 항상 User-Agent 헤더를 포함하여 일관된 접근을 지원하십시오. import time을 추가하면 을 사용해 요청 사이에 지연을 둘 수 있으며(time.sleep()), 이는 요청 부하를 균형 있게 유지하는 데 도움이 됩니다. 다음은 코드입니다:
import requests
from bs4 import BeautifulSoup
import csv
import re
import time
# DataImpulse proxy configuration
PROXY = "http://username:[email protected]:8000"
proxies = {
"http": PROXY,
"https": PROXY
}
url = "https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/119.0.0.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
# Try with retry logic
for attempt in range(3):
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=15)
response.raise_for_status()
break
except requests.exceptions.HTTPError as e:
print(f"Attempt {attempt+1}: HTTP error {e}. Retrying...")
time.sleep(2)
else:
raise SystemExit("Failed to fetch the page after retries.")
soup = BeautifulSoup(response.text, "html.parser")
# Locate the first wikitable
table = soup.find("table", {"class": "wikitable"})
rows = table.find_all("tr")
data = []
for row in rows[1:]: # skip header row
cols = row.find_all("td")
if len(cols) >= 2:
country = cols[0].get_text(strip=True)
population = cols[1].get_text(strip=True)
# Clean unwanted symbols
population = re.sub(r"\[.*?\]", "", population) # remove [1], [note] etc.
population = population.replace(",", "").replace("\xa0", " ").strip()
data.append([country, population])
# Save results to CSV
with open("countries_population.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Country", "Population"])
writer.writerows(data)
print("Scraping completed. Data saved to countries_population.csv")
스크립트가 실행되면 VS Code 터미널에 다음이 표시됩니다:
이제 countries_population.csv 파일을 여십시오. 그 안에서 국가와 인구를 담은 구조화된 시트를 찾을 수 있습니다. 작업을 완료하셨습니다!
발생할 수 있는 문제
스크래핑에서는 항상 예상대로 작동하지는 않습니다. 흔히 발생하는 문제는 다음과 같습니다:
- 403 클라이언트 오류: 일부 웹사이트는 실제 브라우저에서 온 것처럼 보이지 않는 요청을 차단합니다. 특히 프록시를 사용할 때는 항상 User-Agent 같은 헤더를 포함하십시오.
- 차단된 IP 또는 속도 제한: 반복 요청은 보통 IP를 드러내며, 웹사이트는 접근을 거부하거나 인증 작업을 제시할 수 있습니다. 레지덴셜 프록시(실제 가정용 기기에서 제공되며 빠르고 신뢰할 수 있음) 또는 모바일 프록시(모바일 통신사에서 제공되며 동적이고 탐지하기 어려움)를 사용하여 인증으로 인한 중단을 줄이십시오.
- 시간 초과 또는 느린 응답: 웹사이트 또는 연결 속도가 느려 요청이 실패할 수 있습니다. 요청 사이에 time.sleep()을 추가하고 재시도 로직을 구현하십시오.
- 손상된 CSS 선택자: 웹사이트는 종종 레이아웃을 변경하므로 저장한 선택자가 작동을 멈출 수 있습니다. 브라우저에서 요소를 다시 검사하고 스크립트의 선택자를 업데이트하십시오.
- 정리되지 않은 데이터: HTML에는 추가 기호, 빈 값 또는 예상치 못한 형식이 포함될 수 있습니다. CSV로 저장하기 전에 Python에서 데이터를 정리하십시오. 예를 들어 특수 문자를 제거하거나 공백을 다듬을 수 있습니다.
AI 지원 웹 스크래핑의 미래는 있을까요?
간단히 답하면 그렇습니다. ChatGPT 같은 AI 도구는 개발자를 대체하는 것이 아니라 역량을 보완합니다. 이러한 도구는 반복적인 코딩 작업을 처리하고, 스크래핑 스크립트를 빠르게 생성하며, 흔한 오류의 해결책을 제안합니다. AI 지원 스크래핑은 전문가가 더 빠르고 효율적으로 일하며 수동 코딩 대신 더 높은 수준의 분석에 집중하도록 도울 것입니다. 그래도 균형을 유지하는 일은 중요합니다.
물론 AI를 사용하더라도 책임감 있게 스크래핑하는 것이 중요합니다. 신뢰할 수 있는 프록시를 사용하고, 속도 제한을 존중하며, 윤리적인 스크래핑을 위해 웹사이트 이용약관을 따르십시오.
*이 튜토리얼은 엄격히 교육 목적으로만 작성되었습니다. 웹 스크래핑 기법을 설명합니다. 웹사이트 이용약관이나 적용 법률을 위반하여 웹사이트를 스크래핑하도록 누구에게도 권장하거나 지시하려는 목적이 아닙니다. 스크래핑 활동이 항상 윤리적이고 적법하며 웹사이트 규칙을 존중하는지 확인하십시오.