Crawler

Content version: 2026-10-14

Over GrimlaBot

GrimlaBot is de crawler van Grimla, een dienst om producten te ontdekken bij geverifieerde webshops. Hij bezoekt webshops om de openbare bedrijfsinformatie te verzamelen die onze verificatiegids voedt — dezelfde gegevens die een winkel verplicht moet tonen. Hij identificeert zich als GrimlaBot en linkt terug naar deze pagina.

GrimlaBot herkennen

Zijn user agent is Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot).
GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/http-message-signatures-directory.
While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.

Waar we naar kijken

Je startpagina en openbare bedrijfspagina’s (bedrijfsgegevens, voorwaarden, privacy, retouren, contact)
Een paar categoriepagina’s, om te zien wat je verkoopt
Voor vermelde winkels je productfeed — zodat de prijzen actueel blijven, ongeveer één keer per dag bijgewerkt

Hoe GrimlaBot zich gedraagt

Hij leest slechts een klein aantal pagina’s per winkel
Hij beperkt hoeveel verzoeken hij tegelijk doet
Hij controleert eerst je robots.txt

Afmelden — één hiervan volstaat

Voeg dit toe aan je robots.txt:
```
User-agent: GrimlaBot
Disallow: /
```
Of voeg, als alternatief, dit toe aan de <head> van je pagina:
```
<meta name="grimlabot" content="noindex">
```
Of mail [email protected] vanaf een adres op het domein van je winkel, zodat we kunnen bevestigen dat het verzoek echt van jou komt.