Attention à Google !
Mercredi, 8 février 2006
Google, comme tous les grands moteurs de recherche, envoie des robots (spider) explorer le Web à la recherche de nouvelles pages et de nouveaux contenus. Pour trouver ces nouveautés, les spiders suivent les liens des pages déjà indexées et trouvent des données que leur propriétaire n'a pas fournies intentionnellement au moteur.
Les ingénieurs de Dell viennent ainsi d'apprendre que Google fouille partout quand ils ont constaté que des spécifications techniques d'un nouveau modèle se trouvaient dans le cache de Google alors que l'appareil n'est même pas encore sorti de l'usine.
La leçon a retenir est que tout ce qui se trouve sur un site Internet, même sur une page "cachée" est susceptible de se retrouver tôt ou tard dans les bases de données des moteurs de recherche.
Comment se protéger ? Outre le célèbre fichier "robot.txt", plusieurs méthodes existent. Pour en savoir plus sur ces méthodes, lire SearchTools.com (http://www.searchtools.com/robots/robots-txt.html).
How to evade Google search
Langue: anglais
Accès: gratuit
