Crawler
Content version:
À propos de GrimlaBot
GrimlaBot est le robot d’exploration de Grimla, un service de découverte de produits dans des boutiques en ligne vérifiées. Il visite les boutiques en ligne pour recueillir les informations commerciales publiques qui alimentent notre annuaire de vérification — les mêmes informations qu’une boutique est tenue d’afficher. Il s’identifie comme GrimlaBot et renvoie vers cette page.
Reconnaître GrimlaBot
- Son user-agent est
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Ce que nous consultons
- Votre page d’accueil et vos pages professionnelles publiques (mentions légales, conditions, confidentialité, retours, contact)
- Quelques pages de catégories, pour voir ce que vous vendez
- Pour les boutiques répertoriées, votre flux de produits — afin que les prix restent à jour, actualisé environ une fois par jour
Comment se comporte GrimlaBot
- Il ne lit qu’un petit nombre de pages par boutique
- Il limite le nombre de requêtes qu’il envoie en même temps
- Il vérifie d’abord votre
robots.txt
Se désinscrire — l’une de ces options suffit
- Ajoutez ceci à votre
robots.txt:User-agent: GrimlaBot Disallow: / - Ou, en alternative, ajoutez ceci dans le
<head>de votre page :<meta name="grimlabot" content="noindex"> - Ou écrivez à [email protected] depuis une adresse du domaine de votre boutique, afin que nous puissions confirmer que la demande vient bien de vous.