Testeur Robots.txt

Testez et validez votre fichier robots.txt pour vous assurer que les moteurs de recherche et les robots peuvent accéder correctement à votre site Web. Vérifiez les règles pour Google, Bing, les robots IA et plus encore.

Contenu Robots.txt

Configuration du Test

⚙️ Paramètres du Test

Afficher toutes les règles Allow/Disallow qui s'appliquent au bot sélectionné

Mettre en évidence les règles qui correspondent à l'URL de test

Afficher les numéros de ligne dans l'analyse

Les chemins URL sont sensibles à la casse (recommandé pour la plupart des serveurs)

📋 Référence Rapide

User-agent: *

S'applique à tous les bots

Disallow: /

Bloquer tout le site

Disallow: /admin/

Bloquer un répertoire spécifique

Allow: /admin/public/

Autoriser un sous-répertoire spécifique

Sitemap: URL

Spécifier l'emplacement du sitemap

Crawl-delay: 10

Délai entre les requêtes (secondes)

🤖 Conseils Robots.txt

📋 Syntaxe de Base

  • User-agent: Spécifie à quel robot les règles s'appliquent
  • Disallow: Indique au robot de ne pas accéder à des URLs spécifiques
  • Allow: Annule un Disallow pour permettre l'accès à des URLs spécifiques
  • Sitemap: Spécifie l'emplacement du sitemap XML
  • Crawl-delay: Définit le temps entre les requêtes du robot

🎯 Correspondance de Motifs

  • * (joker): Correspond à n'importe quelle séquence de caractères
  • $ (ancre de fin): Correspond à la fin de l'URL
  • /chemin/: Correspond aux URLs commençant par /chemin/
  • /*.pdf$: Correspond à tous les fichiers PDF
  • /rep/*: Correspond à tout dans un répertoire

⚠️ Bonnes Pratiques

  • Placez toujours robots.txt dans le répertoire racine
  • Les règles plus spécifiques ont la priorité sur les règles générales
  • Les règles Allow annulent les règles Disallow de même longueur
  • Robots.txt est accessible publiquement - ne pas utiliser pour la sécurité
  • Testez votre robots.txt avant de déployer en production
  • Utilisez Google Search Console pour valider votre robots.txt