Et Astalavista n'est pas à proprement parler un site underground "caché". Tout le monde le connaît!
Les sites underground échappent aux moteurs de recherche parce qu'ils ne sont pas recensés par leurs bots. En effet, il existe un fichier texte nommé robots.txt qui donne les autorisations aux bots de recenser le site ou non. Il faut placer ce fichier à la racine du site. Mais, bien entendu, ce fichier doit être respecté par les bots pour être efficace. Il suffit qu'un moteur de recherche programme un bot qui cherche vraiment tout, comme en ont les divers services de sécurité gouvernementaux, pour qu'aucun site ne soit à l'abri. Les sites vraiment secrets sont situés sur des serveurs dont le nom ne le laisse pas deviner, au milieu d'autres informations. Ils sont placés dans des dossiers aux noms qui ne veulent rien dire, et ont protégés de diverses manières. Pour y accéder, faut souvent un login/password, et il arrive souvent que des forums abritent des sections secrètes auxquelles seuls certaines personnes ont accès.
.sit
