Les Allergies
Alimentaires
Posez votre question Signaler

[robots] fichier robots.txt [Résolu]

gdv - Dernière réponse le 16 oct. 2010 à 01:35
Bonjour, qui peut m'expliquer à quoi servent les fichiers robots.txt
Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?
Merci d'avance.
Lire la suite 

[robots] fichier robots.txt »

6 réponses
Réponse
+3
moins plus
Salut

tu peux aller voir sur
 http://www.commentcamarche.net/web/robots txt.php3 
pour plus d'infos, ou encore
 http://fr.wikipedia.org/wiki/Robots.txt 
. Pour un tuto je te conseille
 http://craym.eu/tutoriels/referencement/fichier_robot_txt.php 


a+
Ajouter un commentaire
Réponse
-2
moins plus
Salut,

à quoi servent les fichiers robots.txt

A indiquer aux robots des moteurs de recherche quelles sections de ton site peuvent être indexées (ou non).


Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?

Oui, à la racine de ton site, et... ça dépend de ce que tu veux :)

Plus d'infos ici :
http://www.commentcamarche.net/web/robots-txt.php3
http://www.robotstxt.org/wc/robots.html
http://docs.abondance.com/robots.html

A+
gdv - 3 mars 2005 à 17:59
Merci SirHill, cela devient beaucoup plus clair maintenant !!
Ajouter un commentaire
Réponse
-2
moins plus
Hello la chicane,

Ce fichier n'est pas forcément inutile si tu ne veux exclure aucune page de l'indexation de ton site.
Tu peux par exemple t'en servir pour déclarer ton fichier sitemaps (utile pour le référencement).

Plus d'infos ici :
http://www.webrankinfo.com/actualites/200704-sitemap-dans-fichier-robots-txt.htm
Ajouter un commentaire
Réponse
-4
moins plus
Bonjour à tous,

j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...

je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:


cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???

merci pour votre réponse.
SHUNKA-SAPA- 31 déc. 2007 à 18:45
Bonsoir la chicane

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

ou

User-Agent: *
Allow: /


Il peut-être utile pour faciliter l'indexation des pages d'1 site.
Ajouter un commentaire
Ce document intitulé « [robots] fichier robots.txt » issu de CommentCaMarche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.
Dossier à la une
Passage au tout numérique : quel coût pour les particuliers ?