Bonjour à tous,
j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...
je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci
Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:
cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???
merci pour votre réponse.