Crawler
Content version:
Om GrimlaBot
GrimlaBot är crawlern för Grimla, en tjänst för att upptäcka produkter hos verifierade webbutiker. Den besöker webbutiker för att samla in den offentliga företagsinformation som driver vår verifieringskatalog — samma uppgifter som en butik är skyldig att visa. Den anger sig som GrimlaBot och länkar tillbaka till den här sidan.
Så känner du igen GrimlaBot
- Dess user agent är
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Vad vi tittar på
- Din startsida och offentliga företagssidor (företagsuppgifter, villkor, integritetspolicy, returer, kontakt)
- Några kategorisidor, för att se vad du säljer
- För listade butiker, din produktfil — så att priserna hålls aktuella, uppdateras ungefär en gång om dagen
Så beter sig GrimlaBot
- Den läser bara ett litet antal sidor per butik
- Den begränsar hur många förfrågningar den gör samtidigt
- Den kontrollerar din
robots.txtförst
Avanmäl — välj något av följande
- Lägg till detta i din
robots.txt:User-agent: GrimlaBot Disallow: / - Eller, som ett alternativ, lägg till detta på sidans
<head>:<meta name="grimlabot" content="noindex"> - Eller mejla [email protected] från en adress på butikens domän, så att vi kan bekräfta att begäran verkligen kommer från dig.