Signaler

[robots] fichier robots.txt [Résolu/Fermé]

Posez votre question gdv - Dernière réponse le 16 oct. 2010 à 01:35 par pierrich
Bonjour, qui peut m'expliquer à quoi servent les fichiers robots.txt
Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?
Merci d'avance.
Utile
+3
plus moins
Salut

tu peux aller voir sur
 http://www.commentcamarche.net/web/robots txt.php3 
pour plus d'infos, ou encore
 http://fr.wikipedia.org/wiki/Robots.txt 
. Pour un tuto je te conseille
 http://craym.eu/tutoriels/referencement/fichier_robot_txt.php 


a+
Cette réponse vous a-t-elle aidé ?  
Utile
-2
plus moins
Salut,

à quoi servent les fichiers robots.txt

A indiquer aux robots des moteurs de recherche quelles sections de ton site peuvent être indexées (ou non).


Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?

Oui, à la racine de ton site, et... ça dépend de ce que tu veux :)

Plus d'infos ici :
http://www.commentcamarche.net/web/robots-txt.php3
http://www.robotstxt.org/wc/robots.html
http://docs.abondance.com/robots.html

A+
gdv- 3 mars 2005 à 17:59
Merci SirHill, cela devient beaucoup plus clair maintenant !!
Utile
-2
plus moins
Hello la chicane,

Ce fichier n'est pas forcément inutile si tu ne veux exclure aucune page de l'indexation de ton site.
Tu peux par exemple t'en servir pour déclarer ton fichier sitemaps (utile pour le référencement).

Plus d'infos ici :
http://www.webrankinfo.com/actualites/200704-sitemap-dans-fichier-robots-txt.htm
Utile
-4
plus moins
Bonjour à tous,

j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...

je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:


cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???

merci pour votre réponse.
SHUNKA-SAPA 1Messages postés lundi 31 décembre 2007Date d'inscription 31 décembre 2007 Dernière intervention - 31 déc. 2007 à 18:45
Bonsoir la chicane

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

ou

User-Agent: *
Allow: /


Il peut-être utile pour faciliter l'indexation des pages d'1 site.

Les membres obtiennent plus de réponses que les utilisateurs anonymes.

Le fait d'être membre vous permet d'avoir un suivi détaillé de vos demandes.

Le fait d'être membre vous permet d'avoir des options supplémentaires.

Vous n'êtes pas encore membre ?

inscrivez-vous, c'est gratuit et ça prend moins d'une minute !