Robots.txt

Juin 2016

Présentation du fichier robots.txt

Le fichier robots.txt est un fichier texte utilisé pour le référencement naturel des sites web, contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

Format du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

  • User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche".
  • Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".



Attention
Le fichier robots.txt ne doit contenir aucune ligne vide !



Voici des exemples de fichier robots.txt :

  • Exclusion de toutes les pages :

User-Agent: *    
Disallow: /
  • Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :

User-Agent: *    
Disallow:
  • Autorisation d'un seul robot :

User-Agent: nomDuRobot    
Disallow :
User-Agent: *
Disallow: /
  • Exclusion d'un robot :

User-Agent: NomDuRobot    
Disallow: /
User-Agent: *
Disallow:
  • Exclusion d'une page :

User-Agent: *    
Disallow: /repertoire/chemin/page.html
  • Exclusion de plusieurs page :

User-Agent: *    
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html
  • Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

User-Agent: *    
Disallow: /repertoire/

Quelques User-Agents

Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :


Nom du moteurUser-Agent
Alta VistaScooter
ExciteArchitextSpider
GoogleGooglebot
HotBotSlurp
InfoSeekInfoSeek Sidewinder
LycosT-Rex
VoilàEcho

Pour plus d'informations


Pour approfondir


Pour une lecture illimitée hors ligne, vous avez la possibilité de télécharger gratuitement cet article au format PDF :
Robots-txt.pdf

Réalisé sous la direction de , fondateur de CommentCaMarche.net.


A voir également


Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Robots.txt
Ce document intitulé «  Robots.txt  » issu de CommentCaMarche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.