Cos’è l’autenticazione del proxy e come configurarla

L’autenticazione del proxy è il modo in cui un server proxy conferma che una richiesta di connessione proviene da un client autorizzato prima di inoltrare il traffico. Senza di essa, un proxy aperto inoltrerebbe il traffico per chiunque, quindi l’autenticazione è ciò che mantiene un pool di proxy a pagamento o privato riservato agli utenti paganti.

Questo articolo illustra i due principali metodi di autenticazione del proxy, il formato delle credenziali da incollare negli strumenti, il ruolo del codice di stato HTTP 407 e la configurazione passo dopo passo per browser, Python e curl.

DataImpulse è un fornitore etico di proxy che offre oltre 90 milioni di indirizzi IP residential, mobile e datacenter in 195 Paesi. Usa un modello a consumo a partire da 1 dollaro per GB con traffico senza scadenza, ed è utilizzato per web scraping, ad verification, monitoraggio dei prezzi, ricerche di mercato e gestione di più account.

Che cos’è l’autenticazione del proxy?

L’autenticazione del proxy è il processo con cui un server proxy verifica che un client sia autorizzato a instradare il traffico attraverso di esso. Risponde a un’unica domanda prima che qualsiasi richiesta passi dal proxy: questa connessione è autorizzata a usare il pool?

I fornitori usano l’autenticazione per due ragioni. La prima è il controllo degli accessi, affinché solo i clienti paganti possano raggiungere il pool di IP. La seconda è la contabilizzazione, affinché traffico e larghezza di banda possano essere attribuiti all’account corretto. La maggior parte delle reti commerciali di proxy, compresi i residential proxy e i proxy datacenter, supporta due metodi di autenticazione: credenziali con nome utente e password e inserimento nella whitelist dell’IP.

Come funziona l’autenticazione con nome utente e password?

L’autenticazione con nome utente e password invia un insieme di credenziali con ogni richiesta e il proxy le convalida prima di inoltrare il traffico. Si tratta dello schema HTTP Basic applicato al livello del proxy.

Le credenziali vengono fornite in un’unica stringa di connessione accettata dalla maggior parte degli strumenti. Il formato è:

username:password@host:port

Con DataImpulse, l’host e la porta del gateway sono fissi, mentre login e password provengono dal tuo dashboard. Una stringa tipica è simile a questa:

login:[email protected]:823

Poiché le credenziali viaggiano con la richiesta anziché essere legate a una posizione fissa, questo metodo funziona da qualunque rete, inclusi laptop con Wi-Fi variabile, server cloud con IP dinamici e container. Questa flessibilità è il motivo principale per cui è la scelta predefinita per la maggior parte delle configurazioni di scraping e automazione.

Che cos’è l’inserimento nella whitelist dell’IP e quando usarlo?

L’inserimento nella whitelist dell’IP ti autentica tramite il tuo indirizzo IP di origine anziché con le credenziali. Registri uno o più IP statici presso il fornitore e il proxy accetta ogni richiesta che proviene da tali indirizzi.

Vale la pena valutare i compromessi fra i due metodi prima di decidere:

• Nome utente e password. Funziona da qualunque rete ed è facile da ruotare, ma le credenziali devono essere gestite con attenzione perché chiunque le legga può usare il tuo account.
• Inserimento nella whitelist dell’IP. Tiene i segreti fuori dal tuo codice ed è pratico per un parco fisso di server, ma smette di funzionare non appena il tuo IP pubblico cambia ed è poco pratico per macchine con indirizzi dinamici.

In pratica, i team spesso inseriscono nella whitelist gli IP statici di un server dedicato allo scraping e ricorrono all’autenticazione con nome utente e password per laptop e istanze cloud di breve durata.

Che cos’è l’errore HTTP 407 che richiede l’autenticazione del proxy?

HTTP 407 è il codice di stato restituito da un proxy quando una richiesta necessita di autenticazione che non è stata fornita o non è valida. È l’equivalente, a livello di proxy, del codice 401 Non autorizzato usato dai server di origine.

Quando un proxy risponde con 407, include un’intestazione Proxy-Authenticate che descrive lo schema previsto. Il client ripete quindi la richiesta con un’intestazione Proxy-Authorization contenente le credenziali, di solito come token Basic codificato in Base64. La maggior parte delle librerie HTTP e dei browser esegue questo scambio automaticamente dopo che hai fornito nome utente e password, quindi raramente dovrai creare l’intestazione a mano. Se continui a vedere errori 407, le cause abituali sono credenziali errate, un IP che non è nella whitelist oppure credenziali inviate al gateway sbagliato.

Come configurare l’autenticazione del proxy in un browser o sistema operativo?

A livello di browser o sistema operativo, inserisci host e porta del proxy nelle impostazioni di rete e fornisci nome utente e password quando richiesto. La schermata esatta varia in base alla piattaforma, ma i dati da inserire sono gli stessi.

Nella maggior parte dei sistemi, la procedura è questa:

• Impostazioni di sistema. Apri il pannello di configurazione di rete o del proxy, abilita un proxy HTTP o HTTPS manuale e inserisci gw.dataimpulse.com come host e 823 come porta.
• Richiesta di credenziali. La prima richiesta attiva una finestra di dialogo che chiede nome utente e password. Inserisci login e password del tuo dashboard. Il browser aggiunge quindi l’intestazione Proxy-Authorization a ogni richiesta successiva.
• Estensioni del browser. Le estensioni per cambiare proxy ti permettono di salvare vari profili con credenziali incorporate, una soluzione pratica quando passi tra pool diversi o vuoi mantenere separato il traffico di navigazione.

Le impostazioni a livello del sistema operativo applicano il proxy alla maggior parte delle applicazioni contemporaneamente, mentre un browser o un’estensione ne limita l’ambito alla navigazione web.

Come configurare l’autenticazione del proxy in Python e curl?

Nel codice, passi la stessa stringa username:password@host:port al tuo client HTTP e la libreria gestisce per te lo scambio 407. Due degli strumenti più comuni sono la libreria Python requests e curl.

Con Python requests, definisci un dizionario proxies e lo passi alla richiesta:

import requests

proxies = {
    "http": "http://login:[email protected]:823",
    "https": "http://login:[email protected]:823",
}

resp = requests.get("https://httpbin.org/ip", proxies=proxies)
print(resp.json())

Con curl, il flag -x imposta il proxy e accetta credenziali in linea:

curl -x http://login:[email protected]:823 https://httpbin.org/ip

Entrambi gli esempi inviano il traffico attraverso il gateway e stampano l’IP di uscita, un modo rapido per confermare che l’autenticazione sia riuscita. Questo schema è alla base della maggior parte dei flussi di lavoro di scraping senza subire blocchi, in cui le richieste vengono instradate tramite IP a rotazione.

Come mantenere sicure le credenziali del proxy?

Tratta le credenziali del proxy come segreti, perché chiunque le ottenga può consumare la tua larghezza di banda e instradare traffico tramite il tuo account. Alcune abitudini evitano le perdite più comuni.

• Non inserire mai le credenziali direttamente nel codice condiviso. Le chiavi salvate in un repository o incollate in un notebook condiviso sono il modo più frequente in cui i login dei proxy vengono esposti. Caricale invece dalle variabili d’ambiente.
• Preferisci le variabili d’ambiente o un gestore di segreti. Leggi login e password in fase di esecuzione anziché incorporarli, così lo stesso codice funziona in ogni ambiente senza esporre segreti.
• Ruota periodicamente le credenziali. Cambia la password del proxy a intervalli regolari e subito se sospetti un’esposizione, così un vecchio valore esposto smette di funzionare.
• Limita l’accesso con la whitelist quando è adatta. Per un parco fisso, l’inserimento nella whitelist dell’IP elimina del tutto la necessità di memorizzare le credenziali nel codice.

DataImpulse ottiene i suoi IP da proxy etici forniti da utenti che scelgono di aderire e ricevono un compenso, e la stessa attenzione che riservi all’approvvigionamento dovrebbe estendersi al modo in cui conservi le credenziali di accesso al pool.

Credenziali e whitelist dell’IP a confronto

Domande frequenti

Guide correlate

• Errore HTTP 407: autenticazione del proxy richiesta
• Correggere il problema del server proxy che non risponde
• Configurare un proxy in Selenium Wire

Pronto a provare proxy autenticati?

DataImpulse offre accesso HTTP, HTTPS e SOCKS5 con nome utente e password o whitelist dell’IP, a consumo da un dollaro per GB con traffico senza scadenza. Crea un account per ottenere le credenziali del gateway dal dashboard e iniziare a instradare il traffico in pochi minuti.