Crawler
Content version:
Om GrimlaBot
GrimlaBot er crawleren for Grimla, en tjeneste til at opdage produkter hos verificerede onlinebutikker. Den besøger onlinebutikker for at indsamle de offentlige virksomhedsoplysninger, der driver vores verificeringskatalog — de samme oplysninger, som en butik er forpligtet til at vise. Den identificerer sig som GrimlaBot og linker tilbage til denne side.
Sådan genkender du GrimlaBot
- Dens user agent er
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Hvad vi ser på
- Din forside og offentlige virksomhedssider (virksomhedsoplysninger, vilkår, privatliv, returnering, kontakt)
- Nogle få kategorisider, for at se hvad du sælger
- For listede butikker, dit produktfeed — så priserne holdes aktuelle, opdateres cirka en gang om dagen
Sådan opfører GrimlaBot sig
- Den læser kun et lille antal sider pr. butik
- Den begrænser hvor mange forespørgsler den sender ad gangen
- Den tjekker din
robots.txtførst
Frameld — vælg én af disse
- Tilføj dette til din
robots.txt:User-agent: GrimlaBot Disallow: / - Eller, som alternativ, tilføj dette i din sides
<head>:<meta name="grimlabot" content="noindex"> - Eller skriv til [email protected] fra en adresse på butikkens domæne, så vi kan bekræfte, at anmodningen virkelig er fra dig.