robot - user agent : Slurp/2.0
Jeudi, décembre 13th, 2007moteur de recherche Yahoo!
description : (Hotbot-Lycos-NBCi) robot
bande passante : Les robots de Yahoo! ont la réputation d’être relativement friands de bande passante.
notes : L’url d’une page rejetée pourrait être incluse dans Yahoo! Lisez la documentation française relative aux méthodes recommandées pour optimiser l’indexation de son site internet sur yahoo
adresse et informations : http://www.inktomi.com/slurp.html
code robots.txt :
User-agent: Slurp
Disallow: /
User-agent: Slurp
Disallow:
Ajoutez votre commentaire
Notre sélection d'articles sur une thématique proche.
Robot
User agent - robots.txt - liens utiles et outils
bots - agent user - moteurs de recherche : fiches [...]
robot - user agent : Googlebot/2.1moteur de recherche Google description : Google robot 66.249.64.XXX bande passante : Pour prendre [...]
robot - user agent : Slurp/2.0moteur de recherche Yahoo! description : (Hotbot-Lycos-NBCi) robot bande passante : Les robots de [...]
robot - user agent : msnbot-mediamoteur de recherche MSN Live Search description : MSN media search robot - 65.55.235.1xx bande passante [...]
robot - user agent : VoilaBotmoteur de recherche VoilaBot BETA 1.2 Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) bande passante [...]
