robot - user agent : ia_archiver
Jeudi, décembre 13th, 2007moteur de recherche Alexa Web Search
description : Alexa / The Internet Archive (209.237.238.1xx)
adresse et informations : http://www.alexa.com/site/help/webmasters
bande passante : La consommation des robots d’Alexa est suffisante pour avoir été citée plusieurs fois sur Internet, au sujet des robots les plus gourmands de bande passante.
code robots.txt :
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver
Disallow:
Ajoutez votre commentaire
Notre sélection d'articles sur une thématique proche.
Robot
User agent - robots.txt - liens utiles et outils
bots - agent user - moteurs de recherche : fiches [...]
robot - user agent : Googlebot/2.1moteur de recherche Google description : Google robot 66.249.64.XXX bande passante : Pour prendre [...]
robot - user agent : Slurp/2.0moteur de recherche Yahoo! description : (Hotbot-Lycos-NBCi) robot bande passante : Les robots de [...]
robot - user agent : msnbot-mediamoteur de recherche MSN Live Search description : MSN media search robot - 65.55.235.1xx bande passante [...]
robot - user agent : VoilaBotmoteur de recherche VoilaBot BETA 1.2 Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) bande passante [...]
