Configuration du Robots.txt

No-One - Dernière réponse le 5 déc. 2007 à 11:23

Bonjour!
J'ai un site web et mon robots.txt bloque toutes les pages.
Je voudrais le configurer pour qu'il bloque toutes les pages mais qu'il laisse l'accès à la page d'index du site.
Je m'explique : imaginons que mon site soit http://www.exemple.com/
Je voudrais bloquer toutes les pages sauf l'accès au site. Juste http://www.exemple.com/ et pas http://www.exemple.com/index.html
En espèrant que vous me comprendrez...

Configuration du Robots.txt »

Suggestions

Configuration du Robots.txt
Robots.txt » Articles
Robots.txt, un fichier important » Fiches pratiques
[référencement] Ne pas être référencé (Résolu) » Forum
Fichier robot.txt dans recherche Google (Résolu) » Forum
Questions Robots.txt sur OfficeLive (Résolu) » Forum

Plus

Réponse

Yoan 11813Messages postés 1 février 2005Date d'inscription ModérateurStatut 27 mai 2012Dernière intervention 24 juil. 2007 à 13:58

Bonjour,
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :

User-agent: *
Disallow: /perso/
Disallow: /comptes/
Disallow: /membres/
Disallow: /index2.html
Disallow: /menu.php

etc...

Ajouter un commentaire - Site web

Réponse

No-One 24 juil. 2007 à 20:29

Bonsoir

J'ai compris, je m'attrait donc à cette tache difficile...

PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: http://www.exemple.com/
Disallow: /

Ajouter un commentaire

Réponse

Yoan 11813Messages postés 1 février 2005Date d'inscription ModérateurStatut 27 mai 2012Dernière intervention 24 juil. 2007 à 22:22

Malheureusement Allow n'existe pas :)

Ajouter un commentaire - Site web

Réponse

No-One 25 juil. 2007 à 09:08

Bonjour !

C'est vraiment dommage ca m'aurait épargné un temps fou... ^^

Mais google parle de cette commande : http://www.google.com/support/webmasters/bin/answer.py?answer=35237&ctx=sibling

Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?

Ajouter un commentaire

Réponse

Yoan 11813Messages postés 1 février 2005Date d'inscription ModérateurStatut 27 mai 2012Dernière intervention 25 juil. 2007 à 15:09

It understands Allow: lines, as well as * and $ pattern matching
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|

De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt.

Ajouter un commentaire - Site web

Yoan- 25 juil. 2007 à 15:17

D'ailleurs ça semble vrai :
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.

Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout.

Réponse

No-One 25 juil. 2007 à 22:26

Merci pour les réponses!

Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!

A la prochaine, et encore merci Yoan !

Ajouter un commentaire

Réponse

Yoan 11813Messages postés 1 février 2005Date d'inscription ModérateurStatut 27 mai 2012Dernière intervention 26 juil. 2007 à 01:28

Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....

np, à la prochaine, ciao ! :-)

Ajouter un commentaire - Site web

Réponse

bonviva1 3Messages postés 22 octobre 2003Date d'inscription 5 déc. 2007 à 11:23

bonjour, expliquer moi comment supperimer la page en cache de la recherche ou de supperimer carrément l'affichage de mon bolg de la recherche google et autre mon blog et "guelmaz-zahana.dzblog.com" si vous pouvez le faire tout seul fait le et merci pour votre aide et autre chose j'ai fait ouvrir un fichier word et j'ai ecris ça:
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp

Ajouter un commentaire

Répondre au sujet

Posez votre question

Dossier à la une

Passage au tout numérique : quel coût pour les particuliers ?

Passage au tout numérique : quel coût pour les particuliers ?

Combien cela coûte-t-il au total ? Quelles aides apportent l'état et les acteurs du marché pour alléger cette charge non choisie ? Tous les détails sur Commentçamarche.net.

Configuration du Robots.txt

Configuration du Robots.txt »

Passage au tout numérique : quel coût pour les particuliers ?