Il file robots.txt è uno dei file più sottovalutati della SEO tecnica. Due righe sbagliate possono azzerare il traffico organico di un sito in pochi giorni, mentre una configurazione fatta bene controlla la scansione di Google, dei motori AI e di tutti i bot che bussano al sito. Nel 2026 il robots.txt ha assunto un ruolo strategico aggiuntivo rispetto al passato: non si tratta più solo di gestire Googlebot e Bingbot, ma di prendere decisioni su decine di crawler AI che vogliono allenare i propri modelli sui contenuti del web, su quelli che vogliono usarli per le risposte generative, su quelli triggherati dagli utenti che richiedono informazioni specifiche. In questo articolo ti spiego cosa è il file robots.txt, come si scrivono correttamente le direttive, quali sono le best practice di sintassi e di sicurezza, quali nuovi user-agent vanno presi in considerazione nel 2026, come pensare strategicamente al rapporto tra crawler di training e crawler di retrieval AI e come verificare che il file funzioni davvero come pensi.
Cos’è il file robots.txt
Il robots.txt è un file di testo semplice posizionato nella root del dominio (es. www.tuosito.it/robots.txt) che contiene istruzioni per i crawler dei motori di ricerca e di altri sistemi automatici che visitano il sito. Attraverso una sintassi standardizzata, comunica quali parti del sito possono essere scansionate e quali invece devono essere ignorate.
Le caratteristiche fondamentali del file sono:
- è pubblicamente accessibile a chiunque digiti l’URL corretto;
- viene letto prima di qualsiasi altra pagina del sito dai crawler ben educati;
- contiene direttive per user-agent specifici o per tutti;
- è case sensitive sia nel nome del file che nelle direttive;
- standardizzato dal protocollo RFC 9309 dal 2022.
Il punto critico da comprendere è che il robots.txt è una richiesta cortese, non un meccanismo di sicurezza. I bot ben educati la rispettano, ma chi vuole ignorarla può semplicemente farlo. Bytespider, il crawler di ByteDance (proprietaria di TikTok), è famoso per ignorare le direttive del file e generare comunque circa il 90% del traffico AI verso molti siti, secondo i dati di HAProxy del 2024.
Il robots.txt regola la scansione, non l’indicizzazione. Un’URL bloccata via Disallow può comunque finire indicizzata se ricevuta tramite link esterni, e apparire nelle SERP come “informazioni non disponibili”. Per impedire effettivamente l’indicizzazione si usa il meta tag noindex direttamente nella pagina, non il robots.txt.
Come funziona la sintassi del robots.txt
La sintassi è semplice ma rigorosa. Ogni regola si compone di un user-agent e di una o più direttive di scansione. Vediamo gli elementi base.
L’user-agent
Indica a quale crawler sono rivolte le direttive successive. Sintassi:
User-agent: Googlebot
Significa che le direttive che seguono si applicano solo a Googlebot. L’asterisco indica invece tutti i crawler:
User-agent: *
Disallow e Allow
Le due direttive principali bloccano o permettono l’accesso a percorsi specifici:
Disallow: /admin/ blocca la scansione della cartella admin;
Allow: /pubblica/ permette esplicitamente la scansione della cartella pubblica;
Disallow: / blocca l’intero sito;
Disallow: (vuoto) permette la scansione completa.
I caratteri speciali
Due caratteri permettono di scrivere regole più potenti:
- l’asterisco
*sostituisce qualsiasi stringa di caratteri; - il dollaro
$indica la fine dell’URL.
Esempi pratici:
Disallow: /*.pdf$ blocca tutti gli URL che finiscono con .pdf;
Disallow: /*? blocca tutti gli URL con parametri di query;
Disallow: /admin* blocca tutto ciò che inizia con /admin.
La sitemap
Anche se non obbligatorio, è buona pratica indicare l’URL della sitemap XML nel file:
Sitemap: https://www.tuosito.it/sitemap.xml
Questa direttiva può essere indicata una sola volta o ripetuta se hai più sitemap. Aiuta i crawler a scoprire tutte le URL importanti del sito.
I commenti
Il carattere # introduce un commento che viene ignorato dai crawler:
# Questo è un commento
Utile per documentare il file e renderlo leggibile per chi lo manutiene nel tempo.
Un esempio operativo di robots.txt per WordPress
Vediamo un esempio concreto di robots.txt ben configurato per un sito WordPress generico:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /*/feed/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.tuosito.it/sitemap.xml
Le scelte qui sono operative:
- blocca l’area amministrativa di WordPress (wp-admin, wp-includes);
- blocca le ricerche interne (parametro ?s=) per evitare duplicati;
- blocca i feed RSS per impedire indicizzazione di contenuti duplicati;
- permette esplicitamente admin-ajax.php perché serve a molti temi e plugin;
- dichiara la sitemap principale del sito.
È un punto di partenza solido per la maggior parte dei siti WordPress, ma va sempre adattato alla struttura specifica del sito.
I crawler AI da gestire nel 2026
Qui arriva la novità più importante del 2026 per chi configura il file robots.txt. Oltre ai classici Googlebot e Bingbot, oggi vanno gestiti decine di crawler AI con politiche diverse a seconda di cosa fa ciascuno. La distinzione fondamentale è in tre categorie.
I crawler di training
Sono quelli che raccolgono contenuti per allenare i modelli linguistici. Non producono traffico di ritorno verso il sito, lo consumano soltanto. I principali nel 2026 sono:
- GPTBot: il crawler di training di OpenAI;
- ClaudeBot: il crawler di training di Anthropic (Claude);
- Google-Extended: separato da Googlebot, gestisce specificamente i modelli AI di Google (Gemini);
- CCBot: il crawler di Common Crawl, fonte di molti dataset open-source;
- Meta-ExternalAgent: il crawler di Meta per Meta AI;
- Applebot-Extended: il crawler di training di Apple Intelligence;
- Bytespider: il crawler di ByteDance, famoso per ignorare robots.txt.
I crawler di retrieval AI
Sono quelli che recuperano contenuti per generare risposte negli AI search engine. Producono citation traffic, cioè utenti che cliccano sulle citazioni delle fonti nelle risposte AI. I principali:
- OAI-SearchBot: il crawler di ChatGPT Search;
- Claude-SearchBot: il nuovo crawler di Claude per il search;
- PerplexityBot: il crawler di Perplexity;
- Googlebot: il crawler standard di Google (alimenta anche gli AI Overviews).
I crawler user-triggered
Sono quelli che si attivano quando un utente chiede esplicitamente all’AI di accedere a una pagina specifica. Sono i più “preziosi” perché significa interesse esplicito di un utente reale:
- ChatGPT-User: triggerato dagli utenti ChatGPT;
- Claude-User: triggerato dagli utenti Claude.
Nota: “Claude-Web” e “anthropic-ai” sono ora deprecati. Anthropic ha riorganizzato i suoi user-agent nel 2025 e ora usa ClaudeBot per il training, Claude-SearchBot per il search e Claude-User per i fetch user-triggered. Siti che bloccano ancora i vecchi nomi pensando di bloccare Anthropic in realtà non bloccano nulla.
Strategia surgical, blocca training, permetti retrieval
La strategia operativa che oggi consiglio nella maggior parte dei progetti è quella che gli specialisti chiamano “surgical approach”: bloccare i crawler di training (che consumano risorse senza dare ritorno) e permettere quelli di retrieval (che generano citation traffic).
Il template di riferimento per chi vuole questa configurazione è:
# Blocco training AI
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
# Permetto retrieval AI
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Permetto user-triggered
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
# Search engine classici
User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.tuosito.it/sitemap.xml
I numeri di settore confermano la logica di questo approccio: l’89,4% del traffico crawler AI è di training (poco utile), solo il 2,2% è user-triggered (alto valore). ClaudeBot scansiona in media 23.951 pagine per ogni referral generato, GPTBot ha un ratio di 1.276:1, mentre PerplexityBot è di gran lunga il più “remunerativo” con un ratio di 110:1 pagine per referral.
La scelta dipende comunque dalla strategia editoriale del singolo brand. Un publisher di news ha esigenze diverse da un e-commerce, un sito di consulenza diverse da un blog hobbystico. Non esiste una configurazione universale, ma esiste un framework di decisione: per ogni categoria di crawler, decidere se l’accesso è investimento o costo.
Robots.txt e crawl budget
Il robots.txt gioca un ruolo importante nella gestione del crawl budget, soprattutto sui siti grandi. Bloccare le sezioni del sito che non hanno valore SEO (pannelli admin, pagine di ricerca interna, parametri URL inutili) libera tempo di scansione per i contenuti che contano davvero. Sul tema della gestione strategica del crawl budget e di tutte le tecniche di ottimizzazione delle risorse di scansione, il mio articolo sul crawl budget entra nel merito di come ridurre lo spreco di tempo dei crawler sui contenuti irrilevanti.
Come creare e verificare il file robots.txt
Creare il file è un’operazione tecnica banale. Verificare che funzioni come ti aspetti è la parte importante che molti saltano e che genera i problemi peggiori.
La creazione
Basta un editor di testo (Notepad su Windows, TextEdit su Mac, nano o vim su Linux). Si scrivono le direttive, si salva il file con il nome robots.txt (rigorosamente minuscolo) e si carica nella root del dominio via FTP o pannello di amministrazione del CMS.
Su WordPress, plugin SEO come Yoast, Rank Math e AIOSEO permettono di modificare il file direttamente dal pannello senza accesso FTP.
La verifica
Una volta caricato, va testato. I tool affidabili:
- Google Search Console: ha uno strumento di test integrato che simula la scansione;
- Screaming Frog: permette di verificare quali URL sono bloccate per ciascun user-agent;
- Bing Webmaster Tools: offre verifica simile a quella di Google ma per Bing;
- Tester online: vari servizi gratuiti come technicalseo.com/tools/robots-txt/.
La regola pratica: dopo ogni modifica al robots.txt, fare almeno un test su due crawler diversi per verificare che il comportamento sia quello atteso. Un robots.txt mal configurato può azzerare il traffico organico in pochi giorni.
Best practice e regole d’oro
Le buone pratiche consolidate per il file robots.txt si riassumono in alcuni punti che vale la pena memorizzare:
- posizionare il file nella root del dominio, mai in sottocartelle;
- per i sottodomini serve un robots.txt separato per ogni sottodominio;
- mantenere il nome tutto minuscolo (è case sensitive);
- non inserire informazioni sensibili: il file è pubblico e visibile a chiunque;
- sempre dichiarare la sitemap XML alla fine;
- commentare le sezioni complesse per facilitare manutenzione futura;
- non usare robots.txt per nascondere contenuti: usare noindex per quello;
- dopo modifiche, verificare in Search Console che Google legga il file correttamente;
- backup del file prima di modifiche importanti;
- limitare il file a 500KB (limite Google): testi inutili sopra vengono ignorati.
Robots.txt e x-robots-tag, due strumenti complementari
C’è uno strumento alternativo al robots.txt che merita di essere conosciuto, perché in alcuni casi è più potente: l’x-robots-tag. Mentre robots.txt è un file di testo, x-robots-tag è un’intestazione HTTP che il server invia insieme alla risposta della pagina.
La differenza pratica è importante: robots.txt blocca la scansione (il crawler non legge la pagina), x-robots-tag controlla cosa il crawler fa dopo aver letto la pagina (può indicizzarla, può seguirne i link, ecc.).
L’x-robots-tag si configura tipicamente nel file .htaccess (Apache) o nella configurazione di nginx. Permette controlli granulari come:
- applicare noindex a interi tipi di file (es. tutti i PDF);
- specificare regole per user-agent direttamente nell’header;
- gestire indicizzazione di pagine dinamiche senza dover modificare ogni singolo template;
- controllare comportamenti specifici come archive, snippet, max-image-preview.
Per la maggior parte dei siti, robots.txt copre il 90% dei casi. L’x-robots-tag entra in gioco quando servono controlli avanzati che il robots.txt non supporta.
Gli errori più comuni nel robots.txt
Negli anni ho visto ricorrere alcuni errori tipici nel robots.txt che meritano attenzione perché sono tra le cause più frequenti di problemi SEO inattesi:
- Disallow: / dimenticato dopo un test: blocca tutto il sito;
- file copiato dall’ambiente di staging alla produzione senza modifiche;
- regole conflittuali tra Allow e Disallow non risolte correttamente;
- spazi e formattazione errati che invalidano direttive;
- uso del robots.txt come strumento di sicurezza: non lo è;
- blocco di JavaScript e CSS che Google ha bisogno di leggere per renderizzare;
- non testare il file dopo le modifiche con tool dedicati;
- uso di user-agent deprecati (anthropic-ai, Claude-Web);
- blocco di OAI-SearchBot insieme a GPTBot pensando siano lo stesso bot;
- nessuna gestione dei crawler AI nel 2026.
L’errore strategico più grave però è uno: configurare il robots.txt una volta e dimenticarsene. Nel 2026 il panorama dei crawler cambia continuamente, nuovi user-agent appaiono, vecchi diventano deprecati. Il file va rivisto almeno ogni sei mesi per restare aggiornato.
Un file piccolo con conseguenze grandi
Abbiamo visto cosa è il file robots.txt e perché un file di testo apparentemente banale può avere conseguenze enormi sulla SEO del sito, come funziona la sintassi (user-agent, Disallow, Allow, caratteri speciali, sitemap, commenti) con esempi operativi pratici, come si configura per i diversi crawler AI emersi nel 2026 (GPTBot, ClaudeBot, Google-Extended, OAI-SearchBot, PerplexityBot e tutti gli altri), qual è la strategia “surgical” che permette di bloccare il training senza rinunciare al citation traffic dei motori AI generativi, come gestire il rapporto tra robots.txt e crawl budget per i siti grandi, come creare e soprattutto verificare il file dopo ogni modifica, qual è la differenza tra robots.txt e x-robots-tag e quali sono gli errori più frequenti che azzerano il traffico organico anche di siti ben fatti.
La riflessione finale è che il robots.txt nel 2026 è uno dei pochi strumenti tecnici che mette ancora il proprietario del sito in posizione di controllo. Mentre quasi tutto il resto della SEO è dipendenza da algoritmi opachi e in costante cambiamento, il file robots.txt resta un canale di comunicazione diretto e prevedibile con i crawler. Investire qualche ora a configurarlo bene è uno dei migliori rapporti tra tempo speso e impatto ottenibile in tutta la SEO tecnica.
