In questo articolo
Crawl4AI è un crawler open-source progettato per trasformare pagine web in testo pulito, pronto per LLM, e dati strutturati, e per farlo controlla un browser reale. Questo singolo fatto determina il ruolo di un proxy: lo configuri a livello del browser, dove si applica al documento e a ogni risorsa, script e XHR attivato dalla pagina.
Un proxy Crawl4AI è quindi un’impostazione a livello del browser con semantica di sessione, non un’opzione per singola richiesta. Questa guida spiega dove collocare il proxy nello stack, come mantenere coerenti le sessioni, come controllare la frequenza senza compromettere il throughput e come evitare che un crawl basato su LLM costi più di quanto renda.
Informazioni chiave
- Crawl4AI controlla un browser reale, quindi il proxy viene configurato a livello del browser e si applica a ogni richiesta effettuata dalla pagina, non soltanto al documento.
- Quattro livelli da configurare correttamente: browser, proxy, estrazione e limitazione. La maggior parte dei costi e dei blocchi deriva dai due che si configurano per ultimi.
- Una sessione, un’uscita. Un contesto browser che conserva i cookie mentre le sue richieste arrivano da indirizzi a rotazione è incoerente e riceve verifiche.
- Il rendering è la parte costosa, non la larghezza di banda. Esegui il rendering solo delle pagine che ne hanno bisogno e recupera le altre normalmente.
- I costi dell’estrazione con LLM crescono con il peso della pagina, quindi ridurre il DOM prima che raggiunga il modello è di solito il maggiore risparmio singolo nella pipeline.
Dove deve stare il proxy in un’esecuzione Crawl4AI?
Nella configurazione del browser, non per singola richiesta. Crawl4AI avvia un browser e lo usa per navigare, quindi un proxy impostato sul contesto browser instrada tutto ciò che fa quella pagina. Impostarlo altrove produce il risultato peggiore: il documento arriva da un indirizzo, mentre script e chiamate API arrivano da un altro, una contraddizione che qualunque sistema di rilevamento legge subito.
Due implicazioni pratiche. Primo, le credenziali vanno nella configurazione di avvio del browser, dove il crawler può passarle, usando host del gateway, porta, nome utente e password forniti dal tuo provider. Secondo, una singola esecuzione di crawl dovrebbe mantenere una singola uscita per tutta la sua durata, perché il browser conserva cookie e archiviazione locale tra le navigazioni e questi sono legati all’indirizzo che li ha ottenuti.
Se effettui il crawl di diversi siti in un unico lavoro, assegna a ciascuno il proprio contesto browser con la propria sessione invece di riutilizzare un contesto per host non correlati.
Che aspetto ha una configurazione completa? Il modello di configurazione del crawl a 4 livelli
Il modello di configurazione del crawl a 4 livelli separa le impostazioni che spesso vengono configurate nell’ordine sbagliato.
| Livello | Cosa controlla | Errore comune |
|---|---|---|
| 1. Browser | Modalità headless, viewport, lingua, fuso orario, user agent, flag di automazione | Una lingua statunitense con un’uscita tedesca, oppure un user agent mobile su un viewport desktop |
| 2. Proxy | Gateway, credenziali, targeting per paese, sessione rotante o sticky session | Rotazione per richiesta mentre il browser conserva un unico archivio dei cookie |
| 3. Estrazione | Cosa viene trasformato in markdown o output strutturato e se è coinvolto un LLM | Inviare l’intero DOM a un modello quando basterebbe un ambito CSS |
| 4. Limitazione | Concorrenza, ritardo, tentativi, timeout, caching | Configurarla per ultima, o non configurarla affatto: è ciò che davvero fa bloccare un crawl |
Quando qualcosa si rompe, procedi a ritroso dal livello quattro. Nove volte su dieci, un crawl che ha iniziato a fallire non ha incontrato una nuova difesa: ha raggiunto una frequenza che fino a quel momento era riuscito a sostenere.
Come mantieni coerenti le sessioni?
Vincola un contesto browser a una sola uscita per tutta la sua durata e lascia che il crawl completi il sito prima di cambiare sessione.
- Usa una sticky session per qualsiasi sito in cui la navigazione comprende più pagine e assegna a ogni sito il proprio identificatore di sessione, così lo stato non passa mai tra host diversi.
- Abbina lingua e geografia. Se l’uscita è in Germania, anche lingua e fuso orario del browser dovrebbero indicare la Germania.
- Conserva i cookie per contesto invece di cancellarli tra una pagina e l’altra: un visitatore che arriva senza cookie a ogni visualizzazione non sembra un visitatore.
- Ruota tra le esecuzioni, non al loro interno. Indirizzi nuovi per il crawl successivo sono una scelta sana; indirizzi nuovi a metà sessione sono una contraddizione.
La nostra guida alle best practice per la rotazione dei proxy tratta il modello di sessione in generale e gli stessi principi si applicano a Playwright e Puppeteer, alla base di molti crawler di questo tipo.
Come eviti che un crawl con LLM diventi costoso?
Riduci ciò che raggiunge il modello ed esegui meno rendering. Sono entrambe questioni di configurazione, non di ingegnosità.
Delimita l’estrazione. Indica al crawler il contenitore del contenuto anziché l’intera pagina. Navigazione, footer, banner dei cookie e sezioni di articoli correlati sono puro costo di token senza valore informativo.
Preferisci l’estrazione con schema a quella libera. Quando i campi sono noti, uno schema CSS o XPath è deterministico, gratuito e più veloce che chiedere a un modello di trovarli; puoi riservare il modello alle pagine in cui la struttura varia davvero.
Usa il caching in modo aggressivo. Ripetere il crawl di una pagina invariata costa larghezza di banda, tempo di rendering e token. Usa la cache per URL con una finestra di aggiornamento e confronta le differenze prima di rielaborare.
Esegui il rendering in modo selettivo. Non ogni pagina richiede un browser. Se il contenuto è nell’HTML renderizzato dal server, un recupero semplice costa un ordine di grandezza in meno; nella pratica funzionano bene pipeline miste che prima recuperano e renderizzano soltanto in caso di errore.
Insieme, queste quattro misure di solito riducono il costo di un crawl funzionante più di qualsiasi decisione sul proxy.
Quale tipo di proxy è adatto a questo tipo di crawl?
Abbina l’uscita al target e al modello di sessione, non al crawler.
| Target | Usa | Evita quando |
|---|---|---|
| Siti rivolti ai consumatori, navigazione su più pagine | Residential sticky, una sessione per sito | Il sito è un’API aperta o documentazione, per cui datacenter va bene e costa meno |
| Crawl ampi e poco profondi su molti host | Residential rotating, una sessione per host | Ogni host necessita di una lunga sessione con stato, che la rotazione interrompe |
| Documentazione, dati aperti, i tuoi servizi | Datacenter | Il target tratta gli intervalli di hosting come automazione |
| Contenuti o prezzi specifici per regione | Residential vincolato al paese | Il contenuto è identico ovunque e il costo aggiuntivo non porta alcun vantaggio |
DataImpulse residential costa $1 per GB in 195 paesi, HTTP, HTTPS e SOCKS5, con rotazione o sticky session e targeting per paese incluso. I crawl controllati dal browser scaricano risorse oltre ai documenti, quindi la disciplina sulla larghezza di banda conta: blocca immagini e font non necessari e lo stesso budget rende molte volte di più.
Quali limiti vale la pena conoscere?
Un proxy non è un’autorizzazione. Leggi robots.txt e i termini dei siti di cui effettui il crawl, rispettali e preferisci le API ufficiali quando esistono. La nostra panoramica su se il web scraping è legale affronta il contesto più ampio.
Il rendering ha un limite. Il crawling controllato dal browser richiede molta memoria e CPU; una concorrenza che sembra adeguata su un laptop può sovraccaricare un piccolo container. Misura le pagine al minuto per gigabyte di RAM prima di scalare orizzontalmente.
L’estrazione con LLM non è gratuita né esatta. I modelli parafrasano, occasionalmente inventano e hanno un costo per pagina. Verifica un campione rispetto alla fonte e mantieni l’estrazione deterministica per i campi che devono essere corretti.
I blocchi dipendono di solito dalla frequenza. Se un crawl che funzionava ieri oggi fallisce, controlla la frequenza e la gestione delle sessioni prima di acquistare qualsiasi cosa. La nostra guida agli errori 403 Forbidden durante lo scraping illustra la diagnosi nell’ordine giusto.
Domande frequenti
Dove imposto il proxy in Crawl4AI?
Nella configurazione del browser, così si applica al documento e a ogni risorsa, script e XHR attivato dalla pagina. Impostarlo per singola richiesta fa sì che la pagina carichi le proprie risorse da un indirizzo diverso, una contraddizione che i sistemi di rilevamento leggono subito.
Dovrei usare sessioni rotanti o sticky session?
Sticky per qualsiasi sito in cui il crawl naviga più pagine, perché il browser conserva i cookie e questi sono legati all’indirizzo che li ha ottenuti. Ruotare tra le esecuzioni è sano; ruotare all’interno di una sessione mentre l’archivio cookie persiste è ciò che genera verifiche.
Come riduco il costo dei token in un crawl basato su LLM?
Delimita l’estrazione al contenitore del contenuto invece che all’intero DOM, usa schemi CSS o XPath quando i campi sono noti e riserva il modello alle pagine davvero variabili, usa la cache per URL con una finestra di aggiornamento ed esegui il rendering solo delle pagine che richiedono un browser.
Mi servono residential proxy per Crawl4AI?
Solo quando il target lo giustifica: siti rivolti ai consumatori e contenuti specifici per regione. Documentazione, dati aperti e API vanno bene da un’uscita datacenter e costano meno. Decidi per ogni target invece di impostare un solo tipo di uscita per l’intero crawler.
Il mio crawl funzionava ieri e oggi fallisce. Cosa è cambiato?
Di solito la tua frequenza, non la loro difesa. Riduci a un worker con jitter e riprova; se funziona, la causa era il ritmo e la rotazione alla frequenza precedente non la risolverà. Solo dopo dovresti verificare se un tipo di uscita diverso cambia il risultato.
Assegna a ogni crawl un’uscita stabile
Per i crawl controllati dal browser, una sessione legata a un’uscita precisa dal punto di vista geografico mantiene coerente lo stato. DataImpulse residential proxies offre sessioni sticky o rotanti a $1 per GB in 195 paesi, con targeting per paese incluso, HTTP, HTTPS e SOCKS5. Crea un account e collegalo a livello del browser, poi consulta il nostro caso d’uso del web scraping per una configurazione più ampia.
Guide correlate: perché i crawler vengono bloccati · un target concreto: i negozi Shopify · proxy per web scraping.
Ultimo aggiornamento: 17 settembre 2026.
