Rechercher : dans
Par :

Configuration du Robots.txt

Dernière réponse le 5 déc 2007 à 11:23:49 No-One, le 23 jui 2007 à 22:00:23 
 Signaler ce message aux modérateurs

Bonjour!

J'ai un site web et mon robots.txt bloque toutes les pages.
Je voudrais le configurer pour qu'il bloque toutes les pages mais qu'il laisse l'accès à la page d'index du site.

Je m'explique : imaginons que mon site soit http://www.exemple.com/
Je voudrais bloquer toutes les pages sauf l'accès au site. Juste http://www.exemple.com/ et pas http://www.exemple.com/index.html

En espèrant que vous me comprendrez...

Meilleures réponses pour « Configuration du Robots.txt » dans :
Robots.txt Voir Présentation du fichier robots.txt Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi...
Robots.txt, un fichier important Voir Sur votre site : le fichier robots.txt Sur votre site , vous essayez, dans la mesure du possible, de faire en sorte que vos pages soient indexées au mieux par les robots (spiders) des moteurs de recherche. Mais il peut également arriver que...
[Webmaster] Empêcher l'aspiration de mon site VoirMéthode 1 : Le fichier robots.txt Ce fichier sert à donner des instructions aux robots des moteurs de recherche qui se baladent sur les sites. Vous pouvez leur indiquer les URL à suivre ou ne pas suivre. Vous pouvez même donner des directives...
Configurer le mode Routeur de la Freebox VoirIl est possible d'activer le mode "Routeur" (NAT) de la Freebox. Avantages et inconvénients Avantages Inconvénient Configurer le mode routeur Connexion au site de Free Identification Fonctionnalités routeur de la Freebox Activation du...
Configurer sa connexion WiFi avec Windows XP VoirDepuis Windows XP, Microsoft a intégré à son système d'exploitation un agent WiFi, baptisé par la firme "Configuration Zéro". Dans un premier temps et pour l'utiliser convenablement, il est tout d'abord nécessaire de désactiver les autres logiciels...
Configuration d'un serveur d'un réseau TCP/IP sous Linux VoirIntroduction Dans cette partie , nous allons décrire toutes les étapes nécessaires pour configurer votre réseau TCP/IP sur votre serveur. Tout d'abord, nous verrons les types d'adressage IP, ensuite, nous configurerons vos interfaces réseaux et...
Configuration du serveur LDAP (OpenLDAP) VoirIntroduction à LDAP Avant de commencer la configuration, il est conseillé d'établir l'inventaire des objets et des informations à stocker dans l'annuaire. Dans le cadre de cet article, nous nous intéresserons à une gestion centralisée des carnets...
Fichier TXT VoirFormat TXT Un fichier TXT est un fichier texte, c'est-à-dire un simple fichier contenant du texte au format ASCII. Pour ouvrir ou modifier un tel fichier, il suffit d'utiliser le bloc-notes ou un éditeur de texte traditionnel.

1

Yoan, le 24 jui 2007 à 13:58:00
  • +1

Bonjour,
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :

User-agent: *
Disallow: /perso/
Disallow: /comptes/
Disallow: /membres/
Disallow: /index2.html
Disallow: /menu.php
etc... L'urgent est fait, l'impossible est en cours,
Pour les miracles, prévoir un délai ...

Répondre à Yoan

2

No-One, le 24 jui 2007 à 20:29:51

Bonsoir

J'ai compris, je m'attrait donc à cette tache difficile...

PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: http://www.exemple.com/
Disallow: /

Répondre à No-One

3

Yoan, le 24 jui 2007 à 22:22:25

Malheureusement Allow n'existe pas :) L'urgent est fait, l'impossible est en cours,
Pour les miracles, prévoir un délai ...

Répondre à Yoan

4

No-One, le 25 jui 2007 à 09:08:45

Bonjour !

C'est vraiment dommage ca m'aurait épargné un temps fou... ^^

Mais google parle de cette commande : http://www.google.com/support/webmasters/bin/answer.py?answer=35237&ctx=sibling

Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?

Répondre à No-One

5

Yoan, le 25 jui 2007 à 15:09:58

It understands Allow: lines, as well as * and $ pattern matching
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|

De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt. L'urgent est fait, l'impossible est en cours,
Pour les miracles, prévoir un délai ...

Répondre à Yoan

6

Yoan, le 25 jui 2007 à 15:17:26

D'ailleurs ça semble vrai :
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.

Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout. L'urgent est fait, l'impossible est en cours,
Pour les miracles, prévoir un délai ...

Répondre à Yoan

7

No-One, le 25 jui 2007 à 22:26:25

Merci pour les réponses!

Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!

A la prochaine, et encore merci Yoan !

Répondre à No-One

8

Yoan, le 26 jui 2007 à 01:28:34

Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....

np, à la prochaine, ciao ! :-) L'urgent est fait, l'impossible est en cours,
Pour les miracles, prévoir un délai ...

Répondre à Yoan

9

 bonviva1, le 5 déc 2007 à 11:23:49

Bonjour, expliquer moi comment supperimer la page en cache de la recherche ou de supperimer carrément l'affichage de mon bolg de la recherche google et autre mon blog et "guelmaz-zahana.dzblog.com" si vous pouvez le faire tout seul fait le et merci pour votre aide et autre chose j'ai fait ouvrir un fichier word et j'ai ecris ça:
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp

Répondre à bonviva1