L’analisi dei dati è il cuore pulsante di ogni strategia SEO di successo. Eppure, molti professionisti si limitano a osservare ciò che accade “in superficie” tramite Google Search Console o Google Analytics, trascurando la fonte di verità assoluta: il server.
L’analisi dei file di log ti offre una visione oggettiva di come Googlebot scansiona il tuo sito. In questo articolo vedremo come interpretare questi dati per ottimizzare il crawling e migliorare le tue performance SEO.
Ti guiderò alla scoperta di Screaming Frog Log Analyzer, imparerai a identificare sprechi di crawl budget, errori strutturali e opportunità di ottimizzazione che altrimenti resterebbero invisibili.
Che cos’è un File Log e perché è fondamentale per la SEO
Un file log è un registro testuale generato automaticamente dal server web (come Apache o Nginx) ogni volta che avviene un’interazione con il tuo sito. Ogni singola richiesta, che provenga da un utente reale o da un software automatico come Googlebot, viene trascritta in questo documento.
Immagina il log come la scatola nera di un aereo: contiene la cronologia esatta di chi ha visitato quella pagina, in quale momento e con quale esito tecnico. Per un SEO Specialist, questi dati sono oro colato perché non si basano su stime o campionamenti, ma su eventi realmente accaduti e registrati dal server.
Analizzare questi registri permette di vedere il sito con gli occhi dei motori di ricerca. Mentre i comuni strumenti di scansione simulano il comportamento di un bot, il log ti mostra la realtà dei fatti: quali URL Google scansiona quotidianamente e quali, invece, ignora totalmente.
L’anatomia di una riga di log
Per comprendere il valore di questi dati, devi sapere quali informazioni contiene solitamente una riga di un file di registro standard. Ogni voce comprende elementi specifici che definiscono l’evento:
- L’indirizzo IP del visitatore;
- La data e l’ora precisa della richiesta (Timestamp);
- Il metodo HTTP utilizzato (solitamente GET o POST);
- L’URL specifico richiesto;
- Il codice di stato HTTP restituito dal server (ad esempio 200, 404 o 500);
- L’User-Agent, ovvero la stringa che identifica il browser o il bot che ha effettuato l’accesso.
Nota: tieni presente che la configurazione del server influisce sulla quantità di dettagli registrati; assicurati che il tuo hosting memorizzi anche l’User-Agent e l’URL completo per un’analisi SEO efficace.
Dove posso trovare il file log all’interno del mio hosting?
Individuare la posizione corretta del file log può variare in base al pannello di controllo che il tuo servizio di hosting mette a disposizione.
Sebbene ogni provider possa personalizzare l’interfaccia, i registri si trovano quasi sempre in sezioni dedicate alle statistiche o alla gestione dei file.
Se utilizzi cPanel, uno dei pannelli più diffusi al mondo, il procedimento è molto semplice. Devi scorrere la pagina fino alla sezione denominata “Metriche“. Qui troverai l’icona “Accesso non elaborato” (o Raw Access Logs).
Una volta cliccato, vedrai l’elenco dei domini gestiti; ti basta selezionare il dominio di tuo interesse per scaricare un archivio compresso che contiene i dati necessari per Screaming Frog Log Analyzer.
Per chi utilizza invece Plesk, la procedura è simile. All’interno della dashboard principale del dominio, cerca la voce “Log“. Da qui puoi visualizzare i dati in tempo reale o scaricare i file storici salvati nella cartella /logs del tuo spazio FTP.
Se il tuo sito si trova su piattaforme con pannelli proprietari, come Aruba o SiteGround, la logica rimane la stessa:
Su SiteGround, accedi al Site Tools, vai nella sezione “Statistiche” e clicca su “Log di accesso“.
Su Aruba, entra nel pannello di gestione del dominio e cerca l’area dedicata ai “Log Web” o alle statistiche del server.
In molti altri casi, puoi connetterti direttamente tramite un client FTP (come FileZilla) e cercare una cartella chiamata logs o access_log posizionata allo stesso livello o sopra la cartella public_html.
Nota: ricorda che alcuni hosting economici non mantengono uno storico lungo dei log. Ti consiglio di scaricare i file regolarmente o di verificare se esiste un’opzione per conservare i registri per un periodo più esteso, così da avere dati sufficienti per una analisi SEO completa.
Introduzione a Screaming Frog Log Analyzer
Leggere manualmente migliaia o milioni di righe di testo in un file raw è un’impresa impossibile. Qui entra in gioco Screaming Frog Log Analyzer, un software specifico progettato per elaborare moli enormi di dati e restituire grafici e tabelle intuitive.
A differenza del celebre “SEO Spider“, prodotto dalla stessa azienda che esegue una scansione attiva del sito, il Log Analyzer è uno strumento passivo. Questo significa che non interroga il tuo sito, ma elabora i dati che il server ha già raccolto.
L’utilizzo di questo programma ti permette di filtrare immediatamente il traffico dei bot (Google, Bing, Baidu, ecc.) e di isolarlo dal traffico degli utenti umani. In questo modo, puoi concentrarti esclusivamente su come i motori di ricerca gestiscono il tuo Crawl Budget, ovvero il tempo e le risorse che Google dedica alla scansione delle tue pagine.
Requisiti tecnici e installazione
Il software è disponibile per Windows, macOS e Linux. Esiste una versione gratuita che permette di analizzare un numero limitato di righe di log, ma per siti di medie e grandi dimensioni è necessaria una licenza che ha un costo annuale di 129,00 euro.
L’installazione è semplice e non richiede configurazioni server particolari, poiché il software gira in locale sul tuo computer. Una volta installato, il primo passo consiste nel recuperare i file dal tuo server (solitamente tramite FTP o pannello di controllo dell’hosting) e caricarli nell’interfaccia.
Importazione del File Log e setup
Prima di importare il File di Log che hai scaricato dal tuo hosting, è necessario effettuare un setup corretto affinchè questo possa essere elaborato al meglio.
La prima cosa da fare è creare un nuovo progetto e stabilire quali bot monitorare. Per farlo ti basterà andare sulla tab “User agent” e cliccare sul pulsante “Configura gli user agent“. Nella colonna di sinistra trovi tutti quelli disponibili che dovrai aggiungere alla colonna destra “selezionato“.
IMPORTANTE: Affinchè il tracciamento sia più accurato ti consiglio di spuntare la voce “Verifica i bot durante l’importazione dei log“. Questa opzione permette a Screaming Frog Log Analyzer di effettuare una verifica dell’indirizzo IP dei vari crawler che accedono al sito per accertarsi della loro autenticità.
Gli spider presenti all’interno del software sono molti e vengono aggiunti di continuo, ecco i principali che ti consiglio di aggiungere al monitoraggio:
- Googlebot-Smartphone: Crawler principale per l’indicizzazione mobile-first di Google;
- Googlebot: crawler usato per indicizzare i contenuti desktop;
- Googlebot-Image: bot di Google dedicato alla scansione e indicizzazione delle immagini;
- Googlebot-Video: bot di Google per la scansione dei contenuti video;
- Googlebot-News: Crawler specifico per l’inclusione dei contenuti in Google News;
- Bingbot: Crawler standard per la ricerca organica di Microsoft Bing;
- DuckDuckBot: Crawler utilizzato dal motore di ricerca DuckDuckGo;
- GPTBot: spider di OpenAI per l’addestramento dei modelli linguistici;
- OAI-SearchBot: bot di OpenAI per l’estrazione di dati in tempo reale (SearchGPT);
- ClaudeBot: Crawler di Anthropic per l’addestramento dell’AI Claude;
- PerplexityBot: spider di Perplexity AI per l’analisi dei contenuti e le risposte dirette;
- ChatGPT-User: bot di OpenAI che indica quando l’utente incolla un URL o usa i plugin di ChatGPT;
- Claude-User: spider di Anthropic che si attiva quando l’utente fornisce un link diretto in chat;
- Perplexity-User: bot di Perplexity attivato dall’input specifico di un utente per analizzare una pagina;
- Applebot: Crawler per Siri, Spotlight e i suggerimenti di Apple;
- CommonCrawl (CCBot): Crawler che genera dataset aperti utilizzati da numerose AI.
Una volta seguiti questi passaggi puoi importare il file di log semplicemente trascinandolo sull’interfaccia del software e ti ritroverai nella panoramica di Screaming Frog Log Analyzer che ti mostrerà una serie di grafici.
Il primo riporta una panoramica con le principali metriche rilevate.
A seguire trovi i codici di stato http che è possibile filtrare cliccando sull’icona a forma di ingranaggio.
Proseguendo vedrai la tabella relativa agli eventi ossia gli accessi registrati dal tool. Anche in questo caso è utile cliccare sul pulsante a forma di ingranaggio per selezionare solo i bot realmente utili e rendere più leggibile il grafico.
Infine nella tab “url” trovi la lista di tutte le pagine scansionate e per ciascuna di queste le relative statistiche. Si tratta di una delle sezioni di Screaming Frog Log Analyzer che reputo più importante perchè ti consente di capire effettivamente se il Crawl Budget assegnato da Google viene utilizzato nel modo corretto.
Analisi del Crawl Budget con Screaming Frog Log Analyzer
Uno dei motivi principali per cui si analizza il file log è l’ottimizzazione del crawl budget. Google non ha risorse infinite e decide quanto tempo dedicare al tuo sito in base alla sua autorevolezza e alla velocità di risposta del server.
Se il crawler spreca tempo su pagine inutili, parametri di ricerca o URL duplicati, rischia di non arrivare mai ai contenuti nuovi o aggiornati che vuoi posizionare. Con il Log Analyzer, puoi identificare con precisione chirurgica dove avviene questo spreco.
Osserva la frequenza di scansione: se noti che Google visita ossessivamente pagine con parametri (come i filtri di un e-commerce) ma ignora le categorie principali, hai un problema di architettura o di gestione dei parametri che richiede un intervento immediato tramite il file robots.txt o l’attributo rel=”canonical”.
Identificazione delle pagine mai scansionate
Un altro aspetto fondamentale riguarda le cosiddette “Orphan Pages” (pagine orfane). Incrociando i dati della scansione del sito con i dati del log, il software ti mostra quali pagine del tuo sito non hanno ricevuto visite dai bot negli ultimi 30 o 60 giorni.
Se una pagina non compare mai nel file log, per Google quella pagina non esiste o non ha valore. Questo è un segnale d’allarme: potresti avere problemi di link building interna oppure la pagina si trova troppo in profondità nella struttura del sito.
Senza un’analisi dei log, potresti pensare che una pagina sia indicizzata correttamente solo perché è presente nella sitemap, mentre nella realtà il bot non la visita da mesi, impedendo qualsiasi aggiornamento del posizionamento in SERP.
Risoluzione degli errori tramite l’analisi dei codici di stato
Il monitoraggio dei codici di stato HTTP è l’attività più immediata e d’impatto che puoi svolgere con Screaming Frog Log Analyzer. Vedere la percentuale di risposte del server divise per categoria ti permette di capire lo stato di salute tecnica del sito.
Gli errori 404 (Not Found) sono i primi che puoi individuare. Se Googlebot continua a richiedere URL che restituiscono un errore 404, stai sprecando Crawl Budget. Peggio ancora, se quegli URL ricevono ancora backlink, stai perdendo “link juice” prezioso.
Gli errori della classe 5xx (Server Error), invece, indicano che il tuo server non riesce a gestire le richieste del bot. Se questi errori sono frequenti, Google potrebbe ridurre drasticamente la velocità di scansione per evitare di sovraccaricare l’infrastruttura, danneggiando l’indicizzazione dei tuoi contenuti.
Gestione dei redirect e catene di reindirizzamenti
I codici 301 e 302 rappresentano i reindirizzamenti. Sebbene siano strumenti utili, un eccesso di redirect può rallentare la scansione. Il Log Analyzer ti aiuta a individuare le “catene di redirect”, ovvero situazioni in cui un URL rimanda a un altro, che a sua volta rimanda a un terzo.
Ogni salto in una catena consuma risorse e aumenta il tempo di caricamento percepito dal bot. L’obiettivo deve essere sempre quello di avere un rapporto diretto 1:1 tra la risorsa richiesta e quella finale con codice 200 (OK).
Monitoraggio della velocità di risposta del server
La velocità del sito è un fattore di ranking confermato da Google. All’interno del file log, ogni richiesta è associata a un tempo di risposta espresso in millisecondi. Screaming Frog Log Analyzer aggrega questi dati per mostrarti il tempo medio di risposta per ogni sezione del sito.
Puoi scoprire, ad esempio, che le pagine del blog rispondono in 200ms, mentre le schede prodotto impiegano oltre 2 secondi. Questa discrepanza spesso indica problemi a livello di database o di script pesanti che rallentano solo determinate aree.
Migliorare i tempi di risposta non serve solo all’esperienza utente, ma incoraggia i motori di ricerca a scansionare più pagine in meno tempo. Un server veloce è un server che riceve più visite dal Googlebot, facilitando la scoperta di nuovi contenuti.
Nota: ricorda che il tempo di risposta registrato nei log riguarda solo l’elaborazione lato server e non include il tempo di rendering del browser o il download di risorse esterne come i font.
Analisi della stagionalità e del comportamento del bot
I motori di ricerca non scansionano il sito sempre con la stessa intensità. Attraverso la visualizzazione temporale del Log Analyzer, puoi notare picchi di attività in concomitanza con la pubblicazione di nuovi contenuti o durante particolari periodi dell’anno.
Se noti un calo improvviso e prolungato dell’attività di scansione dopo un aggiornamento del sito, potresti aver introdotto involontariamente dei blocchi tecnici. Al contrario, un picco anomalo di scansione su URL irrilevanti potrebbe indicare un problema di “URL inflation“, dove il server genera infiniti indirizzi (magari per errori nel calendario o nei filtri) che “intrappolano” il bot.
Questa analisi permette di sincronizzare la tua strategia di content marketing con i ritmi di Google. Sapere quando lo spider è più attivo ti aiuta a decidere il momento migliore per lanciare sezioni importanti del sito.
Conclusioni sull’efficacia del Log Management
Abbiamo visto come l’analisi del file log rappresenti il livello più profondo di audit tecnico che un SEO possa eseguire. Grazie a strumenti come Screaming Frog Log Analyzer, si riesce a trasformare righe di testo criptiche in decisioni strategiche basate su dati certi. Ricapitolando, l’analisi costante ti permette di:
- Identificare e correggere errori 404 e 5xx in tempo reale;
- Eliminare sprechi di crawl budget su URL non necessari;
- Monitorare i tempi di risposta del server per migliorare le performance;
- Scoprire pagine orfane o ignorate dai motori di ricerca;
- Verificare l’autenticità degli spider che accedono alle tue risorse.
Ignorare questi dati significa operare al buio, basandosi solo su supposizioni. La padronanza dei log ti eleva da semplice esecutore a consulente capace di dialogare con gli sviluppatori e di risolvere problemi strutturali complessi.
Hai mai provato ad analizzare i log del tuo server o ti sei sempre affidato solo ai dati della Search Console?
Se hai riscontrato difficoltà nel recuperare i file dal tuo hosting o se i risultati dell’analisi ti hanno sorpreso, sono a tua disposizione per fornirti una mia consulenza.
