Testa e valida il tuo file robots.txt per assicurarti che i motori di ricerca e i crawler possano accedere correttamente al tuo sito web. Verifica le regole per Google, Bing, bot AI e altro.
Contenuto Robots.txt
Test Configuration
Risultati del test
✅PERMESSO
URL testato:/
Bot:-
Motivo:-
Regole applicabili
Regole da User-agent: * (si applica a tutti i bot)
Regole specifiche per il bot selezionato
Analisi Robots.txt
URL Sitemap:-
Ritardo di crawl:-
Regole totali:-
User Agent trovati:-
Analisi riga per riga
Testa Robots.txtCancella tuttoCopia risultatiScarica risultatiElaborazione...Inserisci il contenuto robots.txtSeleziona un user agentPERMESSONON PERMESSONON SPECIFICATOPermettiNon permettereEsempio robots.txt caricato!Tutto cancellato!Test completato!Risultati copiati negli appunti!Errore nella copia dei risultatiRisultati scaricati!Nessun risultato da scaricareNessun risultato da copiareNon specificatoRigaNessuno trovatoTutti gli URLUser-AgentSitemapRitardo di crawlCommentoRiga vuotaRegola corrispondentesecondiNessuna regola trovata per questo user agentNessuna regola trovata per User-agent: *Regole specifiche perNessuna regola trovata per questo user agent - accesso permesso per defaultNessuna regola Disallow corrispondente trovata - accesso permesso per defaultAccesso negato dalla regola
⚙️
Impostazioni di test
Mostra tutte le regole Allow/Disallow che si applicano al bot selezionato
Evidenzia le regole che corrispondono all'URL di test
Mostra i numeri di riga nell'analisi
I percorsi URL sono sensibili alle maiuscole (raccomandato per la maggior parte dei server)
📋
Riferimento rapido
User-agent: *
Applies to all bots
Disallow: /
Blocca intero sito
Disallow: /admin/
Blocca directory specifica
Allow: /admin/public/
Permetti sottodirectory specifica
Sitemap: URL
Specifica posizione sitemap
Crawl-delay: 10
Delay between requests (seconds)
🤖 Suggerimenti Robots.txt
📋 Sintassi Base
User-agent: Specifica a quale crawler si applicano le regole
Disallow: Indica al crawler di non accedere a URL specifici
Allow: Sovrascrive un Disallow per permettere l'accesso a URL specifici
Sitemap: Specifica la posizione della sitemap XML
Crawl-delay: Imposta il tempo tra le richieste del crawler
🎯 Pattern Matching
* (wildcard): Matches any sequence of characters
$ (end anchor): Matches the end of the URL
/path/: Matches URLs starting with /path/
/*.pdf$: Matches all PDF files
/dir/*: Matches everything in a directory
⚠️ Best Practice
Posiziona sempre robots.txt nella directory root
More specific rules take precedence over general ones
Le regole Allow sovrascrivono le regole Disallow della stessa lunghezza
Robots.txt è pubblicamente accessibile - non usare per la sicurezza
Testa il tuo robots.txt prima di deployare in produzione
Usa Google Search Console per validare il tuo robots.txt