robot - user agent : Googlebot/2.1

moteur de recherche Google

description : Google robot 66.249.64.XXX

bande passante : Pour prendre connaissance de la quantité de bande passante qu’utilise Googlebot sur votre serveur, vous devez utiliser l’outil de mesure du taux d’exploration de GG.

notes : Contrairement à certains robots, Googlebot interprète la correspondance de format. Cet avantage permet de cibler précisément un certain type d’ url , tout en nécessitant de n’écrire qu’un minimum de lignes dans le fichier robot.txt

en savoir plus : log Agent_Log - identifier un utilisateur - Plugin de détection de UserAgent

adresse et informations : http://www.google.com/bot.html

code robots.txt :

User-agent: Googlebot
Disallow: /

User-agent: Googlebot
Disallow:

User agent - robots.txt - liens utiles et outils