In this Article
ChatGPT や Gemini などの AI ツールは、多くの仕事を担い、人の労力を置き換え、さらには考え方や意思決定の方法まで変えつつあると考える人がいます。そのため、仕事や創造性の未来に不安を感じることもあるでしょう。しかし AI は、本当に過大評価された脅威なのでしょうか。それとも、適切に使えば私たちを支えてくれる便利なアシスタントにすぎないのでしょうか?
ウェブスクレイピングを例に見てみましょう。従来、スクレイパーの構築には、しっかりしたコーディング知識、細部への注意力、デバッグのスキルが必要でした。ChatGPT を使えば、初心者でも数秒でそのまま使えるスクレイピングスクリプトを生成でき、経験豊富な開発者も反復的なコーディング作業を AI に任せて時間を節約できます。AI は開発者に取って代わるのではなく、日々の作業負担を軽くする強力な生産性ツールとして役立ちます。
このようなスクレイピングは、データを収集する研究者、競合他社を監視する企業、Python を学ぶ学生に役立ちます。コードの作成や解説ができる ChatGPT と、Python のスクレイピングライブラリを組み合わせれば、誰でも効率的で高速なスクレイパーを構築できます。
始めるために必要な主要ツール
Python で Amazon ページのウェブスクレイピングを始める前に、環境が適切に設定されていることを確認しましょう。必要なものは次のとおりです。
- Visual Studio Code (または他のコード エディター)
VS Code は 公式ウェブサイトからダウンロードし、お使いのオペレーティングシステムに対応する手順でインストールしてください。次に VS Code を開き、サイドバーの拡張機能アイコンから Python 拡張機能をインストールします。続いて ファイル – フォルダーを開く を選択してプロジェクト用のフォルダーを開き、スクリプト用の新しい Python ファイルを作成します。ファイル名は scraping_gpt_test.py
- Python とそのライブラリ (Requests、BeautifulSoup)
Python 3.x がパソコンにインストールされていない場合は、https://www.python.org/からダウンロードできます。次のいずれかのコマンドを実行し、Python がインストールされているか確認してください。
python --version
python3 --version
一部のシステムでは python が Python 2 に紐付いているため、python3 と pip3 を使用して、Python 3 を実行していることを確認してください。Python ライブラリを使用するには、まず pip をインストールします。次のいずれかのコマンドを使用してください。
python -m ensurepip
python3 -m ensurepip
次に、パソコンでターミナルを開き、以下のコマンドで Python ライブラリをインストールします。
pip install requests beautifulsoup4
pip3 install requests beautifulsoup4
Enter キーを押すと、ライブラリがインストールされているか確認できます。
- ChatGPTアカウント
無料または有料の OpenAI アカウントを作成し、ChatGPTにアクセスします。スクレイピングスクリプトの作成、デバッグ、改善に活用できます。
- DataImpulse プロキシ
プロキシの認証情報を使ってプロキシを設定します。必要な情報はすべて DataImpulse dashboardの、選択したプランの詳細で確認できます。
必要な情報は、以下の 基本 URL サンプルのセクションからコピーすることもできます。
- スクレイピングしたいウェブサイト
このチュートリアルでは、Wikipedia の 人口別の国のリストを使用します。コード内では、これを対象のウェブサイトに置き換えることを忘れないでください。
👉 必ずルールを守ってください。スクレイピングの前に ウェブサイトの利用規約と robots.txt ファイルを確認し、安全かつ倫理的にスクレイピングを行いましょう。
ChatGPT は Python のスクレイピングコードを生成できるか? 実際に試してみましょう
1. 対象ページを調べ、スクレイピングする要素を見つけます。
国名や人口など、必要な要素を右クリックして、ブラウザの 検査するを選択します。すると Developer Toolsパネルが開きます。強調表示された HTML にマウスを合わせ、正しい要素が選択されていることを確認してください。
2. これらの要素の CSS セレクターを保存します。
要素を見つけたら、パネル内の HTML を右クリックし、CSS セレクターをコピーを選択します。
3. ChatGPT 用に詳しいプロンプトを作成します。
以下を含むプロンプトを作成します。
- ターゲット URL。
- コピーしたセレクター。
- 使用したいライブラリ (例: requests, BeautifulSoup);
プロキシとヘッダーについては指定しますが、認証情報は ChatGPT と共有しないでください。
プロンプトを ChatGPT に貼り付けます。以下はプロンプトの例です。
「Python、BeautifulSoup、Requests ライブラリを使用してウェブスクレイパーを作成してください。time をインポートします。対象のウェブサイトは次のとおりです。
https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population
目的: 対象ページにある国名と人口をスクレイピングします。追加の保護として DataImpulse プロキシを使用し、ヘッダーを追加します。
CSS セレクターは次のとおりです。
- Country: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(1) > a
- Population: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(2)
出力: スクレイピングしたすべてのデータを CSV ファイルに保存します。
追加手順: 出力する CSV から不要な記号を削除してください。
ChatGPT の応答は次のとおりです。
- 完成したコードを確認して実行します。
スクリプトをエディターにコピーして実行します。セレクターやフォーマットが異なる場合は、デバッグが必要になることがあります。プロキシを使用する場合は、必ず User-Agent ヘッダー を含めて、安定したアクセスを確保してください。 import time を追加すると、リクエスト間に遅延を入れられます (time.sleep())。これにより、リクエストの負荷を抑えられます。コードは次のとおりです。
import requests
from bs4 import BeautifulSoup
import csv
import re
import time
# DataImpulse proxy configuration
PROXY = "http://username:[email protected]:8000"
proxies = {
"http": PROXY,
"https": PROXY
}
url = "https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/119.0.0.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
# Try with retry logic
for attempt in range(3):
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=15)
response.raise_for_status()
break
except requests.exceptions.HTTPError as e:
print(f"Attempt {attempt+1}: HTTP error {e}. Retrying...")
time.sleep(2)
else:
raise SystemExit("Failed to fetch the page after retries.")
soup = BeautifulSoup(response.text, "html.parser")
# Locate the first wikitable
table = soup.find("table", {"class": "wikitable"})
rows = table.find_all("tr")
data = []
for row in rows[1:]: # skip header row
cols = row.find_all("td")
if len(cols) >= 2:
country = cols[0].get_text(strip=True)
population = cols[1].get_text(strip=True)
# Clean unwanted symbols
population = re.sub(r"\[.*?\]", "", population) # remove [1], [note] etc.
population = population.replace(",", "").replace("\xa0", " ").strip()
data.append([country, population])
# Save results to CSV
with open("countries_population.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Country", "Population"])
writer.writerows(data)
print("Scraping completed. Data saved to countries_population.csv")
スクリプトが実行されると、VS Code ターミナルに次のように表示されます。
次に countries_population.csv ファイルを開きます。国名と人口を含む構造化されたデータが保存されています。これで作業は完了です。
よくある問題
スクレイピングが常に期待どおりに動作するとは限りません。よくある問題を見てみましょう。
- 403 クライアント エラー: 一部のウェブサイトは、実際のブラウザから送信されたように見えないリクエストをブロックします。特にプロキシを使用する場合は、User-Agent などのヘッダーを必ず含めてください。
- ブロックされた IP またはレート制限: リクエストを繰り返すと IP が特定され、ウェブサイトがアクセスを拒否したり、認証を求めたりすることがあります。居住用プロキシを使用するとよいでしょう。これは実際の家庭用デバイス由来で、高速かつ信頼性があります。または モバイルプロキシは携帯通信事業者由来で動的に変化し、検出されにくいため、認証による中断を減らせます。
- タイムアウトまたは応答が遅い: ウェブサイトまたは接続が遅いと、リクエストが失敗することがあります。time.sleep() を追加し、リクエスト間に再試行ロジックを実装してください。
- 壊れた CSS セレクター: ウェブサイトではレイアウトが頻繁に変更されるため、保存したセレクターが機能しなくなる可能性があります。ブラウザー内の要素を再検査し、スクリプト内のセレクターを更新します。
- データの乱れ: HTML には余分な記号、空の値、予期しない形式が含まれることがあります。CSV に保存する前に、Python でデータを整形してください。たとえば、特殊文字や余分な空白を削除します。
AI 支援ウェブスクレイピングに未来はあるのか?
簡単に言えば、答えは「はい」です。ChatGPT のような AI ツールは開発者に取って代わるものではなく、その能力を高めます。こうしたツールは反復的なコーディング作業を処理し、スクレイピングスクリプトをすばやく生成し、一般的なエラーの解決策を提案します。AI 支援スクレイピングにより、専門家は作業を効率化し、手作業でのコーディングではなく、より高度な分析に集中できます。ただし、適切なバランスを保つことが重要です。
もちろん、AI を使用する場合でも、責任を持ってスクレイピングすることが大切です。信頼できるプロキシを使用し、レート制限を守り、ウェブサイトの利用規約に従って、倫理的にスクレイピングしてください。
*このチュートリアルは教育目的のみを意図したものであり、ウェブスクレイピングの技術を紹介しています。利用規約や適用法に違反してウェブサイトをスクレイピングすることを推奨または指示するものではありません。スクレイピングを行う際は、倫理的かつ合法的で、ウェブサイトのルールを尊重したものであることを必ず確認してください。