Notre robot de lecture

AiguilleuseBot est le robot d'Aiguilleuse. Il lit le site d'une entreprise quand elle crée son assistant Aiguilleuse : vous l'avez peut-être vu passer dans les journaux de votre site. Voici ce qu'il fait, et comment le bloquer ou l'autoriser.

À quoi il sert

Aiguilleuse installe sur le site d'une entreprise un assistant qui répond à ses visiteurs et lui transmet leurs demandes. Pour que cet assistant connaisse l'entreprise, notre robot lit les pages publiques de son site quand elle le crée, ou quand elle relance la lecture.

Ce qu'il lit sert seulement à cet assistant : nous ne l'utilisons pas pour entraîner un modèle d'intelligence artificielle. Le détail est dans notre politique de confidentialité.

Comment il se présente

Son nom, celui de votre fichier robots.txt : AiguilleuseBot
Son User-Agent complet : Mozilla/5.0 (compatible; AiguilleuseBot/1.0; +https://aiguilleuse.ai/robot)
Son en-tête From : contact@aiguilleuse.ai
Son adresse IP : 193.168.147.177

Ce qu'il lit, et à quel rythme

20 pages au plus par lecture, en commençant par l'accueil et les liens de votre menu.
4 requêtes en même temps au plus.
Des pages publiques seulement : il ne se connecte à aucun compte et ne remplit aucun formulaire.
Sur l'accueil, et sur les pages dont le texte n'apparaît qu'avec JavaScript, il ouvre la page dans un navigateur, avec ses images et ses styles, toujours sous son nom : c'est ainsi qu'il relève la couleur principale et le logo du site.

Ce qu'il respecte

Votre fichier robots.txt : il suit le groupe qui porte son nom, sinon le groupe *, et ne demande jamais une adresse de votre site qui y est interdite.
La réserve contre la fouille de textes (TDMRep) : l'en-tête tdm-reservation, la balise du même nom ou le fichier /.well-known/tdmrep.json arrêtent la lecture.
Le premier refus : une erreur 403 ou 429, un défi anti-robots ou un CAPTCHA arrêtent la lecture, sans nouvel essai.
Il ne contourne jamais une protection : il ne se fait pas passer pour un visiteur, ne change pas d'adresse IP et ne résout aucun CAPTCHA.

Bloquer notre robot

Ajoutez ces deux lignes à votre fichier robots.txt :

User-agent: AiguilleuseBot
Disallow: /

Il ne lira plus aucune page de votre site. L'entreprise qui crée son assistant peut alors nous confier ses textes elle-même.

Autoriser notre robot

Votre site bloque notre robot alors que vous créez votre assistant ? Selon ce qui le bloque :

Mon site est derrière Cloudflare

Dans Cloudflare, ouvrez « Security rules » pour votre site, puis « Create rule », « IP access rules ».
Saisissez notre adresse IP, 193.168.147.177, choisissez l'action « Allow » pour ce site seulement, puis « Create ».

Une règle sur le nom du robot ne suffit pas : le Bot Fight Mode de Cloudflare l'ignore, seule une règle par adresse IP le fait passer.

Mon site est sur WordPress

Dans Réglages, Lecture, la case « Demander aux moteurs de recherche de ne pas indexer ce site » doit rester décochée.
Une extension de sécurité (Wordfence, par exemple) peut bloquer les robots : ajoutez notre adresse IP, 193.168.147.177, à sa liste d'adresses autorisées.

Je modifie moi-même le fichier robots.txt

Ajoutez ces deux lignes au fichier robots.txt, à la racine de votre site :

User-agent: AiguilleuseBot
Allow: /

Un autre pare-feu, ou mon hébergeur

Demandez à votre hébergeur, ou à la personne qui gère votre site, d'autoriser notre adresse IP, 193.168.147.177, et notre robot, AiguilleuseBot.

Nous écrire

Une question, ou un problème causé par notre robot : contact@aiguilleuse.ai.