robot – user agent : Lycos_Spider_(T-Rex)
moteur de recherche du site de Lycos – guide sur Internet description : Lycos spider adresse et informations : http://www.lycos.fr/help/tips/robots.html notes : Les MetaTag ne sont pas pris en compte...
View Articlerobot – user agent : ia_archiver
moteur de recherche Alexa Web Search description : Alexa / The Internet Archive (209.237.238.1xx) adresse et informations : http://www.alexa.com/site/help/webmasters bande passante : La consommation...
View Articlerobot – user agent : Exabot/2.0
moteur de recherche Exalead description : Exalead (France) search robot (193.47.80.xx) bande passante : Exalead – limitation de la bande passante notes : La page d’informations pour webmasters du...
View Articlerobot – user agent : VoilaBot
moteur de recherche VoilaBot BETA 1.2 Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) bande passante : Les robots de Voila ne sont pas spécialement cités sur Internet en tant que grands consommateurs de...
View Articlerobot – user agent : msnbot-media
moteur de recherche MSN Live Search description : MSN media search robot – 65.55.235.1xx bande passante : MSNbot est un grand consommateur de bande passante et pousse parfois certains webmasters à...
View Articlerobot – user agent : Slurp/2.0
moteur de recherche Yahoo! description : (Hotbot-Lycos-NBCi) robot bande passante : Les robots de Yahoo! ont la réputation d’être relativement friands de bande passante. notes : L’url d’une page...
View Articlerobot – user agent : Googlebot/2.1
moteur de recherche Google description : Google robot 66.249.64.XXX bande passante : Pour prendre connaissance de la quantité de bande passante qu’utilise Googlebot sur votre serveur, vous devez...
View ArticleUser agent – robots.txt – liens utiles et outils
bots – agent user – moteurs de recherche : fiches d’informations Googlebot/2.1 Slurp/2.0 msnbot-media VoilaBot Exabot/2.0 ia_archiver Lycos_Spider_(T-Rex) Quelques liens utiles et des outils log...
View Article
More Pages to Explore .....