Crawler
Content version:
O GrimlaBot
GrimlaBot to robot serwisu Grimla, służącego do odkrywania produktów w zweryfikowanych sklepach internetowych. Odwiedza sklepy internetowe, aby zbierać publiczne informacje biznesowe, które zasilają nasz katalog weryfikacji — te same dane, które sklep ma obowiązek pokazać. Przedstawia się jako GrimlaBot i odsyła z powrotem do tej strony.
Jak rozpoznać GrimlaBot
- Jego user agent to
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Na co patrzymy
- Twoją stronę główną i publiczne strony firmowe (dane firmy, regulamin, prywatność, zwroty, kontakt)
- Kilka stron kategorii, aby zobaczyć, co sprzedajesz
- W przypadku wymienionych sklepów Twój plik produktowy — aby ceny były aktualne, aktualizowany mniej więcej raz dziennie
Jak zachowuje się GrimlaBot
- Odczytuje tylko niewielką liczbę stron na sklep
- Ogranicza liczbę żądań wysyłanych jednocześnie
- Najpierw sprawdza Twój plik
robots.txt
Rezygnacja — wystarczy jedna z tych opcji
- Dodaj to do swojego
robots.txt:User-agent: GrimlaBot Disallow: / - Albo, alternatywnie, dodaj to w
<head>swojej strony:<meta name="grimlabot" content="noindex"> - Albo napisz na [email protected] z adresu w domenie swojego sklepu, abyśmy mogli potwierdzić, że prośba naprawdę pochodzi od Ciebie.