In this Article
Si desea saber dónde se sienten todos los desarrolladores como en casa, apoyados y conectados, entoncesGitHubes el lugar para estar. No importa si estás codificando solo o trabajando en una empresa de tecnología global, es una plataforma imprescindible para acceder a datos técnicos.GitHubincluye unAPIoficial rico en funciones y, en muchos casos, debería ser su primera opción. Sin embargo, cuando los datos que necesita no están disponibles a través delAPI, el web scraping puede ser una alternativa útil.
Este tutorial será útil para todos los que quieran saber más sobreGitHub, sus elementos principales y cómo extraer repositorios de tendencias.
*El web scraping siempre debe realizarse dentro de los límites legales y éticos. No fomentamos actividades ilegales y solo destacamos estrategias de uso responsable.
I am raw html block.
Click edit button to change this html
¿Qué esGitHuby cómo funciona?
GitHubse ha convertido en el centro central para desarrolladores de todo el mundo. Es una plataforma para alojar código, colaborar en proyectos y crear software. El nombre se construye alrededor Git, que es, de hecho, un sistema de control de versiones en el que se basaGitHub. Este sistema le facilita la vida porque no tiene que guardar varios archivos, ya queGitmantiene un historial completo de cambios en un solo lugar. Siempre podrás ver qué se cambió, cuándo se cambió y quién realizó la modificación. Es una gran opción para quienes trabajan en equipo.
Bifurcaciones, repositorios, estrellas, ramas: todo esto puede parecer un poco confuso al principio. Pero una vez que entiendes cómo funcionaGit, estos conceptos empiezan a tener sentido. EnGit, un repositorio contiene su proyecto y su historial, confirma cambios récord a lo largo del tiempo, las ramas permiten el desarrollo paralelo y la fusión combina el trabajo terminado en el proyecto principal. Aquí hay una imagen simple para ayudarlo a comprender el flujo:
Aconsejamos consultar estos términos previamente; puedes encontrarlos en su sitio oficial.
En pocas palabras, este sistema permite a los desarrolladores trabajar juntos sin sobrescribir el trabajo de los demás.
* ¿Es legal rasparGitHub?
Sí, generalmente es legal siempre que usted cumplir con sus Términos de servicio y respetar las normas de privacidad y derechos de autor. Se puede acceder a repositorios públicos, perfiles de usuario y metadatos como estrellas, bifurcaciones y confirmaciones sin violar la ley.
Sin embargo, los repositorios privados, la información confidencial del usuario o el acceso automatizado que viole los límites de tarifas deGitHubpueden dar lugar a la suspensión de la cuenta o a consecuencias legales. Asegúrese siempre de que sus actividades de scraping sean éticas, respeten la privacidad del usuario y no sobrecarguen los servidores deGitHub.
¿Cómo manejaGitHubel scraping y el abuso?
Como muchas plataformas importantes,GitHubaplica límites de velocidad estrictos para mantener la estabilidad y evitar el abuso automatizado. Hay una cantidad fija de solicitudes permitidas por hora que puede tener cada tokenAPIo cuenta autenticada. Son aproximadamente solicitudes5,000. Alcanzar el límite de tasa generalmente conduce a 403Prohibido respuestas. Si esto va acompañado de un comportamiento abusivo, los usuarios pueden enfrentar la suspensión temporal o permanente de su cuenta. Debido a los continuos intentos de bot,GitHubmonitorea el comportamiento anormal del tráfico, las ráfagas deIPy los repetidos errores de autenticación.
Para recopilar datos y mantenerse dentro de los umbrales aceptables, los desarrolladores implementan servidores proxy como protección de respaldo. Los servidores proxy rotan las direcciones de origenIPentre las solicitudes salientes, distribuyendo el tráfico entre los puntos finales para que sea menos probable que lo atrapen los sistemas anti-abuso deGitHub. Si no está seguro de qué tipo de proxy es mejor utilizar, considere factores como el volumen de extracción y la sensibilidad de los datos. apoderadosDataImpulse son asequibles y conocidos por su confiabilidad y velocidad de alto nivel. Recomendamos utilizarlos de forma responsable y ética sin violar las reglas de la plataforma.
Respete las reglasAPIdeGitHub, evite extraer repositorios privados o datos confidenciales del usuario.
Configuración inicial: ¿Qué descargar?
- Python3(la última versión)
Descargar aquí, instale la extensiónPythonenVS Code. Abra una terminal, verifique si está instalada con:
python3 --version
- Visual Studio Code (u otro editor de código, la última versión)
Descargar aquí, instale y abra la carpeta de su proyecto.
- Credenciales de proxy desde el panelDataImpulse
Inicie sesión enDataImpulsey copie los datos de inicio de sesión de su proxy.
- Bibliotecas:RequestsyBeautifulSoup; sys y escribiendo (módulosPythonintegrados).
Requests: se utiliza para realizar solicitudesHTTP.
BeautifulSoup: se utiliza para analizar HTML y extraer datos de las páginas de tendenciasGitHub.
sys: se utiliza para detener el programa con un mensaje de error si algo sale mal (sys.exit(…)).
escribiendo: proporciona sugerencias de tipo que especifican los tipos de datos esperados para cada función.
En primer lugar, abraTerminalen su computadora e instale pepita:
python3 -m ensurepip
Luego, instale las bibliotecasPythonusando:
pip3 install requests beautifulsoup4
Presione Entrar y verá si se instalaron.
Pasos comunes para rasparGitHubenPython
- Elija la página de destino – Decida qué páginaGitHubo datos del repositorio desea recopilar (por ejemplo, repositorios de tendencias, perfiles de usuario).
- Inspeccionar la estructura HTML – Examinar el HTML de la página para identificar elementos que contengan los datos requeridos.
- Enviar solicitudesHTTP – Utilice una biblioteca como solicitudes para recuperar el contenido de la página.
- Analizar la respuesta – Usar BeautifulSoup para procesar el HTML.
- Extraer los datos requeridos – Identificar y extraer la información específica que necesita.
- Manejar la paginación – Recorre las páginas para extraer todas las entradas disponibles.
- Guardar resultados – Guarde los datos recopilados en un CSV,JSONo una base de datos (opcional).
Nuestro ejemplo práctico:
Para nuestro caso de scraping, utilizamos la página de repositorios de tendencias. Antes de compartir el código completo, repasemos brevemente sus componentes principales.
- Configuración de proxy
APODERADO – credenciales de proxy desde su panelDataImpulse(host, puerto, nombre de usuario, contraseña). Reemplace estos valores con sus propias credenciales.
SE ACABÓ EL TIEMPO – tiempo máximo de solicitud (20segundos).
VERIFICAR_SSL – asegura la conexiónHTTPS.
USUARIO_AGENTE – imita un navegador real para evitar las comprobaciones básicas de los bots.
- Filtros de tendenciasGitHub
IDIOMA – su lenguaje de programación (puede ser Ninguno a pesar de).
DESDE – rango de tiempo: diario, semanal, mensual.
TIMEOUT = 20 # seconds
VERIFY_SSL = True
USER_AGENT = (
"Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/118.0.0.0 Safari/537.36"
Aquí está el primer código simple que puedes probar:
import requests
from bs4 import BeautifulSoup
LANGUAGE = "python" # Programming language. None can be used as "Any" parameter in GitHub Trending
SINCE = "daily" # Date range: daily / weekly / monthly
PROXY = {
"host": "DATAIMPULSE HOST",
"port": "DATAIMPULSE PORT",
"user": "DATAIMPULSE LOGIN",
"pass": "DATAIMPULSE PASSWORD",
}
# Proxy configuration
proxy_url = f"http://{PROXY['user']}:{PROXY['pass']}@{PROXY['host']}:{PROXY['port']}"
proxies = {
"http": proxy_url,
"https": proxy_url,
}
# Checking proxies
ip = requests.get("https://api.ipify.org", proxies=proxies).text
print("Your IP:", ip)
# Scraping Github Trending section
url = "https://github.com/trending"
# Adding parameters like Language and Date Range, and make HTTP request to GitHub
params = {"since": SINCE}
if LANGUAGE:
params["language"] = LANGUAGE
headers = {
"User-Agent": "Mozilla/5.0"
}
r = requests.get(
url,
headers=headers,
params=params,
proxies=proxies,
timeout=20
)
# Scrape and output details
soup = BeautifulSoup(r.text, "html.parser")
print("\n🔥 GitHub Trending:\n")
for count, repo in enumerate(soup.select("article.Box-row"), start=1):
name = repo.h2.text.strip().replace("\n", "").replace(" ", "")
link = "https://github.com" + repo.h2.a["href"]
desc = repo.p.text.strip() if repo.p else "No description"
stars_today = repo.select_one("span.d-inline-block.float-sm-right").text.strip() if repo.select_one("span.d-inline-block.float-sm-right") else None
print(f"{count}. {name}")
print(f"Link: {link}")
print(f"Stars Today: {stars_today}")
print(f"Description: {desc}")
print("-" * 40)
En el siguiente código, usaremos funciones. Hacen que el código sea más limpio, reutilizable, más fácil de depurar y mantenible, lo cual es especialmente importante para tareas complejas como rasparGitHubo manejar múltiples servidores proxy.
- Funciones
registro – formatea la salida de la consola.
construir_proxies – construye una cadena proxy (nombre de usuario:contraseña@host:puerto).
proxy_prueba – comprueba el proxy a través de https://api.ipify.org?format=json.
scrape_github_trending – analiza HTML usando BeautifulSoup4.
principal – inicia el proceso de raspado.
Aquí está la versión completa del código:
import sys
import requests
from bs4 import BeautifulSoup
from typing import List, Dict, Optional
# =========================================================
# CONFIG — CHANGE ONLY THIS SECTION
# =========================================================
GITHUB_TRENDING_URL = "https://github.com/trending"
# Proxy configuration (leave PROXY = None to disable proxy)
PROXY = {
"host": "DATAIMPULSE HOST",
"port": "DATAIMPULSE PORT",
"username": "DATAIMPULSE LOGIN",
"password": "DATAIMPULSE PASSWORD",
}
# PROXY = None # uncomment to disable proxy completely
LANGUAGE = "python" # e.g. "python", "javascript", or None
SINCE = "daily" # "daily", "weekly", "monthly"
TIMEOUT = 20 # seconds
VERIFY_SSL = True
USER_AGENT = (
"Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/118.0.0.0 Safari/537.36"
)
# =========================================================
# END CONFIG
# =========================================================
def log(msg: str) -> None:
print(f"[INFO] {msg}")
def build_proxies(proxy_cfg: Optional[Dict]) -> Optional[Dict[str, str]]:
if not proxy_cfg:
return None
proxy_url = (
f"http://{proxy_cfg['username']}:{proxy_cfg['password']}"
f"@{proxy_cfg['host']}:{proxy_cfg['port']}"
)
return {
"http": proxy_url,
"https": proxy_url,
}
def test_proxy(proxies: Optional[Dict[str, str]]) -> None:
log("Testing proxy...")
r = requests.get(
"https://api.ipify.org?format=json",
proxies=proxies,
timeout=10,
)
r.raise_for_status()
log(f"Proxy OK. Outgoing IP: {r.json()['ip']}")
def scrape_github_trending(
language: Optional[str],
since: str,
proxies: Optional[Dict[str, str]],
timeout: int,
) -> List[Dict]:
headers = {"User-Agent": USER_AGENT}
params = {"since": since}
if language:
params["language"] = language
log("Fetching GitHub Trending page...")
response = requests.get(
GITHUB_TRENDING_URL,
headers=headers,
params=params,
proxies=proxies,
timeout=timeout,
verify=VERIFY_SSL,
)
response.raise_for_status()
soup = BeautifulSoup(response.text, "lxml")
repos = []
for article in soup.select("article.Box-row"):
name = (
article.h2.text
.replace("\n", "")
.replace(" ", "")
.strip()
)
url = "https://github.com" + article.h2.a["href"]
description = article.p.text.strip() if article.p else None
language_el = article.select_one(
'[itemprop="programmingLanguage"]'
)
stars_today_el = article.select_one(
"span.d-inline-block.float-sm-right"
)
repos.append({
"name": name,
"url": url,
"description": description,
"language": (
language_el.text.strip()
if language_el else None
),
"stars_today": (
stars_today_el.text.strip()
if stars_today_el else None
),
})
return repos
def main() -> None:
proxies = build_proxies(PROXY)
# 1) Test proxy
try:
if proxies:
test_proxy(proxies)
else:
log("Proxy disabled.")
except Exception as e:
sys.exit(f"[ERROR] Proxy test failed: {e}")
# 2) Scrape GitHub Trending
try:
repos = scrape_github_trending(
language=LANGUAGE,
since=SINCE,
proxies=proxies,
timeout=TIMEOUT,
)
except Exception as e:
sys.exit(f"[ERROR] Scraping failed: {e}")
# 3) Output
print("\n🔥 GitHub Trending Repositories\n")
print(f"Language: {LANGUAGE or 'All'} | Since: {SINCE}\n")
for i, repo in enumerate(repos, 1):
print(f"{i}. {repo['name']}")
print(f" URL: {repo['url']}")
print(f" Language: {repo['language']}")
print(f" Stars today: {repo['stars_today']}")
if repo["description"]:
print(f" Description: {repo['description']}")
print()
log(f"Done. Total repositories: {len(repos)}")
if __name__ == "__main__":
main()
Como resultado, nuestroTerminalmuestra una lista limpia de repositorios de tendencias14.
Pensamientos y recomendaciones finales
RasparGitHubes una habilidad útil que debes tener en tu haber, pero es importante seguir los aspectos éticos y técnicos. Los principiantes pueden incluso empezar conGemini Bot, que extrae datos estructurados sin codificación. Sólo necesitas crear un bot y escribir el mensaje, así:
Analice esta página del repositorioGitHuby extraiga la siguiente información:
– Nombre del repositorio
– Número de estrellas
– Lenguaje de programación principal
– Fecha del último compromiso
Devuelve los datos en formatoJSON.
Y eso es todo. Sin embargo, fomentamos la creatividad y sugerimos a los desarrolladores que prueben nuevas ideas, combinen herramientas y adapten métodos a sus propios proyectos. Implemente servidores proxy, respete siempre los Términos de servicio deGitHub, use filtros para apuntar a idiomas específicos o períodos de tendencia, registre y monitoree solicitudes y experimente primero con algunos repositorios para escalar gradualmente.