Archive pour la catégorie ‘Robot’

Jeudi, décembre 13th, 2007 :

bots – agent user – moteurs de recherche : fiches d’informations

Googlebot/2.1
Slurp/2.0
msnbot-media
VoilaBot
Exabot/2.0
ia_archiver
Lycos_Spider_(T-Rex)

Quelques liens utiles et des outils

log Agent_Log – identifier un utilisateur
Plugin de détection de UserAgent
syntaxe et programmation – utilisation du fichier robots.txt
outil de génération de fichiers robots.txt
The Robots Exclusion Protocol – standard d’exclusion robot

Lire la suite : User agent – robots.txt – liens utiles et outils
Jeudi, décembre 13th, 2007 :

moteur de recherche Google
description : Google robot 66.249.64.XXX
bande passante : Pour prendre connaissance de la quantité de bande passante qu’utilise Googlebot sur votre serveur, vous devez utiliser l’outil de mesure du taux d’exploration de GG.
notes : Contrairement à certains robots, Googlebot interprète la correspondance de format. Cet avantage permet de cibler précisément un certain type [...]

Lire la suite : robot – user agent : Googlebot/2.1
Jeudi, décembre 13th, 2007 :

moteur de recherche Yahoo!
description : (Hotbot-Lycos-NBCi) robot
bande passante : Les robots de Yahoo! ont la réputation d’être relativement friands de bande passante.
notes : L’url d’une page rejetée pourrait être incluse dans Yahoo! Lisez la documentation française relative aux méthodes recommandées pour optimiser l’indexation de son site internet sur yahoo
adresse et informations : http://www.inktomi.com/slurp.html
code robots.txt :
User-agent: [...]

Lire la suite : robot – user agent : Slurp/2.0
Jeudi, décembre 13th, 2007 :

moteur de recherche MSN Live Search
description : MSN media search robot – 65.55.235.1xx
bande passante : MSNbot est un grand consommateur de bande passante et pousse parfois certains webmasters à coder leur fichier robots.txt et d’ainsi préciser à l’intention des robots d’MSN, le Crawl-delay : le délai en secondes entre l’archivage de chaque page.
adresse et informations [...]

Lire la suite : robot – user agent : msnbot-media
Jeudi, décembre 13th, 2007 :

moteur de recherche VoilaBot BETA 1.2
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95)
bande passante : Les robots de Voila ne sont pas spécialement cités sur Internet en tant que grands consommateurs de bande passante.
notes : L’aide concernant l’utilisation du fichier robots.txt de Voila.fr est très succincte. Cependant, voyez une remarque qui n’est pas anodine, dans le dernier [...]

Lire la suite : robot – user agent : VoilaBot
Jeudi, décembre 13th, 2007 :

moteur de recherche Exalead
description : Exalead (France) search robot (193.47.80.xx)
bande passante : Exalead – limitation de la bande passante
notes : La page d’informations pour webmasters du moteur de recherche Exalead est très bien conçue et complète, vous y trouverez de précieuses informations. Exabot : respect des règles d’écriture du fichier robots.txt
adresse et informations : http://www.exalead.com/about/document/53
code [...]

Lire la suite : robot – user agent : Exabot/2.0
Jeudi, décembre 13th, 2007 :

moteur de recherche Alexa Web Search
description : Alexa / The Internet Archive (209.237.238.1xx)
adresse et informations : http://www.alexa.com/site/help/webmasters
bande passante : La consommation des robots d’Alexa est suffisante pour avoir été citée plusieurs fois sur Internet, au sujet des robots les plus gourmands de bande passante.
code robots.txt :
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver
Disallow:
User agent – robots.txt – liens utiles [...]

Lire la suite : robot – user agent : ia_archiver
Jeudi, décembre 13th, 2007 :

moteur de recherche du site de Lycos – guide sur Internet
description : Lycos spider
adresse et informations : http://www.lycos.fr/help/tips/robots.html
notes : Les MetaTag ne sont pas pris en compte par les robots de Lycos à l’exception du meta name= »robots » content= » « 
bande passante : Il faut savoir qu’ Hébergement Lycos facture la bande passante. Il y a donc [...]

Lire la suite : robot – user agent : Lycos_Spider_(T-Rex)
Samedi, novembre 3rd, 2007 :

Un User-Agent est chaine de caractère retournée par une application .
Nous parlerons exclusivement de son application dans le cadre du protocole HTTP ( la navigation sur internet )
Chaque navigateur propose une chaine qui permet de l’identifier.
Cette chaine est modifiable à volonté dans la plupart des navigateurs.
Cette chaine est donc réservée à un usage informatif et [...]

Lire la suite : Le User Agent

Marketing sur Internet

Comprendre et réussir la promotion de vos sites.

Publier un article

Publiez vous aussi votre article sur Megacherche.
Comment ajouter un article?
Comment ajouter un Flux : Marketing

Dossiers:

Chercher :


Dernières recherches

Tag cloud