In this Article
Viele Menschen glauben, dass KI-Tools wie ChatGPT oder Gemini uns zu viel Arbeit abnehmen, echten menschlichen Einsatz ersetzen und sogar die Art verändern, wie wir denken und Entscheidungen treffen. Das weckt häufig Sorgen um die Zukunft von Arbeitsplätzen und Kreativität. Aber ist KI wirklich eine überschätzte Bedrohung oder einfach ein kleiner Assistent, der uns bei ausgewogenem Einsatz hilft?
Nehmen wir Web Scraping als Beispiel. Traditionell erforderte die Erstellung von Scrapern fundierte Programmierkenntnisse, Liebe zum Detail und Fähigkeiten beim Debugging. Mit ChatGPT können selbst Einsteiger in Sekunden einsatzbereite Scraping-Skripte erstellen, während Profis Stunden sparen, indem sie KI repetitive Programmieraufgaben übernehmen lassen. KI ersetzt Entwickler nicht, sondern dient als leistungsstarkes Produktivitätswerkzeug, das Routinearbeit reduziert.
Diese Art des Scrapings kann für Forschende, die Daten sammeln, Unternehmen, die Wettbewerber beobachten, oder Studierende, die Python lernen, nützlich sein. Wer ChatGPTs Fähigkeit, Code zu schreiben und zu erklären, mit den Scraping-Bibliotheken von Python kombiniert, kann effiziente und schnelle Scraper erstellen.
Die wichtigsten Tools für den Einstieg
Bevor wir mit Python Amazon-Seiten scrapen, sollten wir sicherstellen, dass unsere Umgebung korrekt eingerichtet ist. Wir benötigen:
- Visual Studio Code (oder einen anderen Code-Editor)
Laden Sie VS Code von der offiziellen Website herunter und folgen Sie den Installationsanweisungen für Ihr Betriebssystem. Öffnen Sie es anschließend und installieren Sie die Python-Erweiterung, indem Sie auf das quadratische Symbol in der Seitenleiste klicken. Öffnen Sie den Ordner, in dem Sie Ihr Projekt erstellen möchten, indem Sie im Menü Datei – Ordner öffnen auswählen. Erstellen Sie eine neue Python-Datei für Ihr Skript, zum Beispiel scraping_gpt_test.py
- Python und seine Bibliotheken (Requests, BeautifulSoup)
Falls Python 3.x noch nicht auf Ihrem Computer installiert ist, können Sie es unter https://www.python.org/. Prüfen Sie mit einem dieser Befehle, ob Python installiert ist:
python --version
python3 --version
Einige Systeme verknüpfen python noch mit Python 2. Verwenden Sie daher python3 (und pip3), um sicherzugehen, dass Python 3 ausgeführt wird. Um Python-Bibliotheken zu verwenden, installieren Sie zunächst pip mit einem dieser Befehle:
python -m ensurepip
python3 -m ensurepip
Öffnen Sie dann das Terminal auf Ihrem Computer und installieren Sie die Python-Bibliotheken mit:
pip install requests beautifulsoup4
pip3 install requests beautifulsoup4
Drücken Sie die Eingabetaste. Dann sehen Sie, ob die Bibliotheken installiert wurden.
- ChatGPT-Konto
Erstellen Sie ein kostenloses oder kostenpflichtiges OpenAI-Konto, um auf ChatGPT zuzugreifen. Sie verwenden es zum Schreiben, Debuggen und Verbessern Ihrer Scraping-Skripte.
- DataImpulse-Proxys
Wir integrieren Proxys über Proxy-Zugangsdaten. Alle erforderlichen Informationen finden Sie in Ihrem DataImpulse-Dashboard, in den Details Ihres ausgewählten Tarifs.
Sie können die passenden Angaben auch im Abschnitt Beispiel für eine einfache URL kopieren.
- Die Website, die Sie scrapen möchten
In diesem Tutorial verwenden wir Wikipedia und die Liste der Länder nach Einwohnerzahl. Denken Sie daran, sie im Code durch Ihre Zielwebsite zu ersetzen.
👉 Halten Sie sich immer an die Regeln: Prüfen Sie vor dem Scraping die Nutzungsbedingungen der Website sowie die robots.txt-Datei, damit Sie sicher und ethisch handeln.
Kann ChatGPT Python-Code für Scraping erstellen? Testen wir es
1. Untersuchen Sie die Zielseite und suchen Sie die Elemente für das Scraping.
Klicken Sie mit der rechten Maustaste auf das gewünschte Element, etwa einen Ländernamen oder eine Einwohnerzahl, und wählen Sie Untersuchen in Ihrem Browser. Dadurch wird der Bereich Entwicklertools geöffnet. Fahren Sie mit der Maus über das hervorgehobene HTML, um sicherzugehen, dass Sie das richtige Element ausgewählt haben.
2. Speichern Sie den HTML-Code dieser Elemente.
Sobald Sie das Element gefunden haben, klicken Sie mit der rechten Maustaste auf das HTML im Bereich und kopieren den CSS-Selektor.
3. Erstellen Sie einen detaillierten Prompt für ChatGPT.
Schreiben Sie einen Prompt, der Folgendes enthält:
- Die Ziel-URL;
- Die kopierten Selektoren;
- Die Bibliotheken, die Sie verwenden möchten, zum Beispiel requests, BeautifulSoup);
Erwähnen Sie Proxys und Header, teilen Sie Ihre Zugangsdaten jedoch NICHT mit ChatGPT.
Fügen Sie Ihren Prompt in ChatGPT ein. Unser Prompt:
“Erstelle einen Web Scraper mit den Bibliotheken Python, Beautiful Soup und Requests. Importiere time. Zielwebsite:
https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population
Ziel: Scrape die Länder und ihre Einwohnerzahl auf der Zielseite. Verwende DataImpulse-Proxys als zusätzlichen Schutz. Füge Header hinzu.
Dies sind die CSS-Selektoren:
- Land: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(1) > a
- Einwohnerzahl: #mw-content-text > div.mw-content-ltr.mw-parser-output > table > tbody > tr:nth-child(2) > td:nth-child(2)
Ausgabe: Speichere alle gescrapten Daten in einer CSV-Datei.
Zusätzliche Anweisungen: Entferne unerwünschte Symbole aus der ausgegebenen CSV-Datei.”
Hier ist die Antwort von ChatGPT:
- Prüfen Sie den finalen Code und führen Sie ihn aus.
Kopieren Sie das Skript in Ihren Editor und führen Sie es aus. Falls sich Selektoren oder Formatierungen unterscheiden, kann Debugging nötig sein. Wenn Sie Proxys verwenden, fügen Sie immer User-Agent-Header hinzu, um einen konsistenten Zugriff zu unterstützen. Durch das Hinzufügen von import time können Sie Verzögerungen zwischen Anfragen verwenden (time.sleep()). Das hilft, die Anfragelast zu verteilen. Hier ist der Code:
import requests
from bs4 import BeautifulSoup
import csv
import re
import time
# DataImpulse proxy configuration
PROXY = "http://username:[email protected]:8000"
proxies = {
"http": PROXY,
"https": PROXY
}
url = "https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/119.0.0.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
# Try with retry logic
for attempt in range(3):
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=15)
response.raise_for_status()
break
except requests.exceptions.HTTPError as e:
print(f"Attempt {attempt+1}: HTTP error {e}. Retrying...")
time.sleep(2)
else:
raise SystemExit("Failed to fetch the page after retries.")
soup = BeautifulSoup(response.text, "html.parser")
# Locate the first wikitable
table = soup.find("table", {"class": "wikitable"})
rows = table.find_all("tr")
data = []
for row in rows[1:]: # skip header row
cols = row.find_all("td")
if len(cols) >= 2:
country = cols[0].get_text(strip=True)
population = cols[1].get_text(strip=True)
# Clean unwanted symbols
population = re.sub(r"\[.*?\]", "", population) # remove [1], [note] etc.
population = population.replace(",", "").replace("\xa0", " ").strip()
data.append([country, population])
# Save results to CSV
with open("countries_population.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Country", "Population"])
writer.writerows(data)
print("Scraping completed. Data saved to countries_population.csv")
Sobald das Skript läuft, zeigt Ihr VS Code-Terminal Folgendes an:
Öffnen Sie nun die Datei countries_population.csv. Darin finden Sie eine strukturierte Tabelle mit Ländern und ihren Einwohnerzahlen. Glückwunsch, Sie haben die Aufgabe abgeschlossen!
Hier treten die Probleme auf
Beim Scraping läuft nicht immer alles wie erwartet. Hier sind einige häufige Probleme:
- 403-Client-Fehler: Manche Websites blockieren Anfragen, die nicht wie Anfragen eines echten Browsers aussehen. Fügen Sie immer Header wie User-Agent hinzu, besonders wenn Sie Proxys verwenden.
- Gesperrte IP oder Rate Limiting: Wiederholte Anfragen geben in der Regel Ihre IP preis. Websites können den Zugriff verweigern oder Ihnen Verifizierungsaufgaben anzeigen. Verwenden Sie Residential-Proxys (schnell und zuverlässig, von echten Heimgeräten) oder mobile Proxys (dynamisch und schwer zu erkennen, von Mobilfunkanbietern), um Unterbrechungen durch Verifizierungen zu reduzieren.
- Zeitüberschreitungen oder langsame Antworten: Die Website oder Ihre Verbindung kann langsam sein, sodass Anfragen fehlschlagen. Fügen Sie time.sleep() zwischen den Anfragen ein und implementieren Sie eine Wiederholungslogik.
- Defekte CSS-Selektoren: Websites ändern häufig ihr Layout, sodass Ihre gespeicherten Selektoren nicht mehr funktionieren können. Untersuchen Sie die Elemente im Browser erneut und aktualisieren Sie die Selektoren in Ihrem Skript.
- Unübersichtliche Daten: HTML kann zusätzliche Symbole, leere Werte oder unerwartete Formatierungen enthalten. Bereinigen Sie die Daten in Python, bevor Sie sie als CSV speichern, indem Sie beispielsweise Sonderzeichen entfernen oder Leerraum kürzen.
Hat KI-gestütztes Web Scraping Zukunft?
Die kurze Antwort lautet: Ja. KI-Tools wie ChatGPT ersetzen Entwickler nicht, sondern unterstützen sie. Solche Tools übernehmen repetitive Programmieraufgaben, erstellen schnell Scraping-Skripte und schlagen Lösungen für häufige Fehler vor. KI-gestütztes Scraping hilft Fachleuten, schneller und effizienter zu arbeiten und sich statt auf manuelles Programmieren auf Analysen auf höherer Ebene zu konzentrieren. Dennoch ist es wichtig, ein ausgewogenes Verhältnis zu wahren.
Natürlich ist es auch mit KI wichtig, verantwortungsvoll zu scrapen. Verwenden Sie zuverlässige Proxys, beachten Sie Rate Limits und halten Sie sich für ethisches Scraping an die Nutzungsbedingungen einer Website.
*Dieses Tutorial dient ausschließlich Bildungszwecken. Es demonstriert Techniken für Web Scraping. Es soll niemanden dazu ermutigen oder anleiten, Websites unter Verstoß gegen ihre Nutzungsbedingungen oder geltende Gesetze zu scrapen. Stellen Sie stets sicher, dass Ihre Scraping-Aktivitäten ethisch, legal und respektvoll gegenüber den Regeln der Website sind.