Blogobot : le robot d'exploration d'images de la blogosphère francophone de ViKi

Blogobot est le robot d'exploration d'images de la blogosphère francophone de ViKi. Il rassemble des images sur la blogosphère francophone afin de créer un bassin d'images récentes pour Le Blogoscope! Vous trouverez sur cette page les réponses aux questions les plus fréquentes sur le fonctionnement de notre robot d'exploration.

Comment procéder pour empêcher l'exploration par Blogobot de certaines parties (ou de la totalité) de mon site ?
Le fichier robots.txt est un fichier standard qui permet d'indiquer à Blogobot de ne pas télécharger tout ou partie des informations à partir de votre serveur Web. Le format du fichier robots.txt est défini dans le protocole d'exclusion des robots (en anglais).

Blogobot me demande un fichier robots.txt qui n'existe pas sur mon serveur. Que dois-je faire ?
Le fichier robots.txt est un fichier standard qui permet d'indiquer à Blogobot de ne pas télécharger tout ou partie des informations à partir de votre serveur Web. Pour plus d'informations sur la création d'un fichier robots.txt, consultez la page consacrée au protocole d'exclusion des robots (en anglais). Si vous souhaitez simplement éviter l'erreur « fichier introuvable » dans le journal de votre serveur Web, vous pouvez créer un fichier vide nommé robots.txt.

Blogobot essaie de télécharger des informations confidentielles de mon serveur Web. Que dois-je faire pour l'en empêcher ?
Il est pratiquement impossible de conserver un serveur Web secret en ne publiant aucun lien vers celui-ci. Dès qu'un internaute suit un lien de votre serveur « secret » vers un autre serveur Web, l'URL de votre serveur « secret » peut apparaître dans la balise « referrer » (URL de provenance) et être stockée et publiée par cet autre serveur Web dans son journal d'URL de provenance. Dans ce cas, il existe un lien vers votre page ou serveur Web « secret » sur le Web et Blogobot et d'autres robots d'exploration du Web le trouveront probablement.

Blogobot ne respecte pas les instructions de mon fichier robots.txt. Pourquoi ?
Nous conseillons toujours de vérifier que la syntaxe de ce fichier est conforme aux spécifications fournies sur la page http://www.robotstxt.org/wc/exclusion.html#robotstxt. De nombreux problèmes sont dus au fait que le fichier robots.txt n'est pas placé dans le répertoire principal du serveur (www.nom_hôte.fr/robots.txt, par exemple). S'il se trouve dans un sous-répertoire, le fichier est sans effet.

Pouvez-vous fournir la liste des adresses IP à partir desquelles Blogobot lance ses explorations afin que je puisse filtrer mes journaux ?
Les adresses IP utilisées par Blogobot peuvent changer de temps à autre. Le meilleur moyen d'identifier les accès de Blogobot est de rechercher directement les occurrences de l'agent-utilisateur (Blogobot), sans tenir compte des adresses IP qui lui sont associées.

Pourquoi Blogobot télécharge-t-il une même page de mon site plusieurs fois ?
En règle générale, Blogobot ne télécharge qu'une seule copie de chaque fichier de votre site au cours d'une même exploration. Il arrive en de rares occasions que le robot d'exploration soit arrêté et relancé. Dans ce cas, il peut réexplorer des pages qu'il a extraites récemment.

Pourquoi les pages de mon site qui ont été explorées par Blogobot n'apparaissent-elles pas dans votre index ?
Ne vous inquiétez pas si vous ne retrouvez pas immédiatement dans Le Blogoscope! des images que Blogobot a explorés. Les images sont ajoutées à notre site peu de temps après avoir été explorées. Il arrive parfois que des imagess extraites par Blogobot ne soient pas inclus, pour diverses raisons (s'ils semblent être identiques à d'autres images de la blogosphère francophone, par exemple).

Je ne trouve pas la réponse à ma question sur Blogobot dans cette section. À qui puis-je m'adresser ?
N'hésitez pas à si vous avez des questions.