Comment bloquer le crawl d'une catégorie ?

Fermé
JJ.Coltrane Messages postés 41 Date d'inscription mercredi 18 septembre 2013 Statut Membre Dernière intervention 22 octobre 2022 - 3 oct. 2018 à 05:13
JJ.Coltrane Messages postés 41 Date d'inscription mercredi 18 septembre 2013 Statut Membre Dernière intervention 22 octobre 2022 - 10 oct. 2018 à 12:38
Bonjour,

J'ai un paquet d'articles en Noindex sur mon blog, je voudrais les regrouper dans une catégorie « archives », puis bloquer le crawl de tous les articles de cette catégorie.

J'ai donc pensé à ajouter cette ligne dans mon fichier robots.txt : Disallow: /category/archives.

Mais j'ai un doute : est-ce que ce code va bloquer le crawl de tous les articles contenus dans cette catégorie, ou seulement le crawl de la page category/archives ?

Merci d'avance.

A voir également:

1 réponse

bg62 Messages postés 23590 Date d'inscription samedi 22 octobre 2005 Statut Modérateur Dernière intervention 15 avril 2024 2 362
Modifié le 5 oct. 2018 à 15:59
NOTA: " category/archives " ne peut pas être une page ( *.html, *.php ... ) mais sous-dossier dans ce cas.
tu as toutes les indications ici :
https://www.commentcamarche.net/contents/1268-robots-txt
:)
voir également :
http://robots-txt.com/

1
JJ.Coltrane Messages postés 41 Date d'inscription mercredi 18 septembre 2013 Statut Membre Dernière intervention 22 octobre 2022 2
10 oct. 2018 à 12:38
Hmmm, donc le code pour bloquer l'acces des robots à tous les articles de la catégorie "archives" serait : Disallow: /category/archives/.
0