moteur de recherche VoilaBot BETA 1.2
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95)
bande passante : Les robots de Voila ne sont pas spécialement cités sur Internet en tant que grands consommateurs de bande passante.
notes : L’aide concernant l’utilisation du fichier robots.txt de Voila.fr est très succincte. Cependant, voyez une remarque qui n’est pas anodine, dans le dernier [...]

moteur de recherche Exalead
description : Exalead (France) search robot (193.47.80.xx)
bande passante : Exalead – limitation de la bande passante
notes : La page d’informations pour webmasters du moteur de recherche Exalead est très bien conçue et complète, vous y trouverez de précieuses informations. Exabot : respect des règles d’écriture du fichier robots.txt
adresse et informations : http://www.exalead.com/about/document/53
code [...]

moteur de recherche Alexa Web Search
description : Alexa / The Internet Archive (209.237.238.1xx)
adresse et informations : http://www.alexa.com/site/help/webmasters
bande passante : La consommation des robots d’Alexa est suffisante pour avoir été citée plusieurs fois sur Internet, au sujet des robots les plus gourmands de bande passante.
code robots.txt :
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver
Disallow:
User agent – robots.txt – liens utiles [...]

moteur de recherche du site de Lycos – guide sur Internet
description : Lycos spider
adresse et informations : http://www.lycos.fr/help/tips/robots.html
notes : Les MetaTag ne sont pas pris en compte par les robots de Lycos à l’exception du meta name= »robots » content= » « 
bande passante : Il faut savoir qu’ Hébergement Lycos facture la bande passante. Il y a donc [...]