Le fichier robots.txt est un fichier texte utilisé pour le référencement naturel des sites web, contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.
Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :
 | Le fichier robots.txt ne doit contenir aucune ligne vide ! |
Voici des exemples de fichier robots.txt :
User-Agent: * Disallow: /
User-Agent: * Disallow:
User-Agent: nomDuRobot Disallow : User-Agent: * Disallow: /
User-Agent: NomDuRobot Disallow: / User-Agent: * Disallow:
User-Agent: * Disallow: /repertoire/chemin/page.html
User-Agent: * Disallow: /repertoire/chemin/page.html Disallow: /repertoire/chemin/page2.html Disallow: /repertoire/chemin/page3.html
User-Agent: * Disallow: /repertoire/
Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :
| Nom du moteur | User-Agent |
|---|---|
| Alta Vista | Scooter |
| Excite | ArchitextSpider |
| Googlebot | |
| HotBot | Slurp |
| InfoSeek | InfoSeek Sidewinder |
| Lycos | T-Rex |
| Voilà | Echo |
Combien cela coûte-t-il au total ? Quelles aides apportent l'état et les acteurs du marché pour alléger cette charge non choisie ? Tous les détails sur Commentçamarche.net.
