[référencement] Ne pas être référencé [Résolu]

Oui exact, merci pour la réponse.
J'avais trouvé entre temps également, je me permet donc de compléter la réponse.

Voici les différentes valeur pour l'attribut 'content' :
- all : permet à tous les robots d'indexer, archiver, etc. vos pages
- noindex : permet d'interdire l'indexation à tous les robots
- nofollow : permet de ne pas faire suivre vos pages / liens
- noarchive: permet de ne pas archiver vos pages
- none : équivalent à 'noindex,nofollow'

Ex : <META NAME="ROBOTS" content="none,noarchive">


Si vos pages sont déjà référencé sur le net par google ou un autre robot, il vous faudra placer un fichier nommé 'robot.txt' à la racine de votre site. Dans ce fichier vous mettrez la ligne suivante :

# robots.txt
User-agent: *
Disallow: /

User-agent: permet de spécifier quel type de robot. '*' signifie donc tous les robots. Si vous ne souhaitez interdire l'indexation que sur google, remplacez '*' par 'googleBot'
Disallow: permet de spécifier quel répertoire de votre site ne doit pas être indexé.
Vous pouvez donc mettre autant de ligne qu'il faut pour chaque répertoire à interdire comme suit par exemple :

# robots.txt
User-agent: *
Disallow: /toto/
Disallow: /mesPhotos/

Le '/' du premier exemple signifie le répertoire courant (ou est mis le fichier texte robot.txt)

Voilou :)


EDIT : Autant pour moi Jérémi, je n'avais pas vu ton post ^^

Par contre, je cite :

pour les robots.txt (de google) 

En fait c'est le standard pour n'importe quel robot normalement, donc ca fonctionne pour d'autre que google.

<META NAME="ROBOTS" content="noindex"> dans toutes les pages à exclure

Salut

Pour ne pas être référencé (bizarre) il faut mettre quelques indications sur l'index de ton site pour les robots.txt (de google)

Voici des exemples de fichier robots.txt :

* Exclusion de toutes les pages :

User-Agent: *
Disallow: /

* Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :

User-Agent: *
Disallow:

* Autorisation d'un seul robot :

User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /

* Exclusion d'un robot :

User-Agent: NomDuRobot
Disallow: /
User-Agent: *
Disallow:

* Exclusion d'une page :

User-Agent: *
Disallow: /repertoire/chemin/page.html

* Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

User-Agent: *
Disallow: /repertoire/

Idem, je ne vois rien de bizarre à ne pas vouloir être référencé.

Genre tu développe un site pour un client, tu as une version en prod qui doit être référencé, et une version de dev ou tu peux bidouiller et faire voir l'avancement au client. La version de dev n'a aucune raison et ne doit pas être référencé.

Vous allez me dire que si aucun lien extérieur ne pointe vers la version de dev, il n'y a aucune raison que les google vienne dessus!!! C'est vrai, mais il suffit qu'un blaireau (et les clients le sont souvent!!!) mette le lien de la version de dev dans un forum pour en parler à un ami, et hop les robots se font l'incruste en suivant le lien!!!!

La théorie de se brillant algorithme qu'est pageRank veut que les robots se contentent de suivre les liens et se baladent de page en page. En pratique, ces gentils petits robots sont bien plus indiscret qu'ils ne devraient!!! Une fois qu'ils ont mis le nez sur votre site, ils scannent, référencent, et mettent en cache tout ce qu'ils trouvent.

Je parle en connaissance de cause en vous disant que des documents placés dans un répertoire de votre site web peuvent être référencé et mis en cache même si aucun lien ne pointe dessus!!!

La prudence s'impose, Big Brother vous observe!!!!