Crawler
Content version:
Über GrimlaBot
GrimlaBot ist der Crawler von Grimla, einem Dienst zum Entdecken von Produkten in verifizierten Online-Shops. Er besucht Online-Shops, um die öffentlichen Geschäftsangaben zu sammeln, die unser Verifizierungsverzeichnis speisen — dieselben Angaben, die ein Shop anzeigen muss. Er weist sich als GrimlaBot aus und verlinkt auf diese Seite.
So erkennen Sie GrimlaBot
- Sein User-Agent lautet
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Was wir uns ansehen
- Ihre Startseite und öffentliche Geschäftsseiten (Impressum, AGB, Datenschutz, Widerruf, Kontakt)
- Einige Kategorieseiten, um zu sehen, was Sie verkaufen
- Bei gelisteten Shops Ihren Produktfeed — damit die Preise aktuell bleiben, etwa einmal täglich aktualisiert
So verhält sich GrimlaBot
- Er liest nur eine kleine Anzahl von Seiten pro Shop
- Er begrenzt, wie viele Anfragen er gleichzeitig stellt
- Er prüft zuerst Ihre
robots.txt
Abmelden — eines davon genügt
- Fügen Sie dies zu Ihrer
robots.txthinzu:User-agent: GrimlaBot Disallow: / - Oder, als Alternative, fügen Sie dies in den
<head>Ihrer Seite ein:<meta name="grimlabot" content="noindex"> - Oder senden Sie eine E-Mail an [email protected] von einer Adresse Ihrer Shop-Domain, damit wir bestätigen können, dass die Anfrage wirklich von Ihnen stammt.