Crawler
Content version:
O GrimlaBotu
GrimlaBot je prohledávač služby Grimla, která pomáhá objevovat produkty v ověřených internetových obchodech. Navštěvuje internetové obchody, aby shromáždil veřejné firemní údaje, které pohánějí náš ověřovací katalog — tytéž údaje, které je obchod povinen zobrazovat. Představuje se jako GrimlaBot a odkazuje zpět na tuto stránku.
Jak GrimlaBot poznáte
- Jeho user agent je
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Na co se díváme
- Vaši domovskou stránku a veřejné firemní stránky (firemní údaje, obchodní podmínky, soukromí, vrácení zboží, kontakt)
- Několik stránek kategorií, abychom viděli, co prodáváte
- U uvedených obchodů váš produktový feed — aby ceny zůstaly aktuální, aktualizuje se přibližně jednou denně
Jak se GrimlaBot chová
- Načítá jen malý počet stránek na obchod
- Omezuje, kolik požadavků odesílá najednou
- Nejprve zkontroluje váš
robots.txt
Odhlásit — stačí jedna z těchto možností
- Přidejte toto do svého
robots.txt:User-agent: GrimlaBot Disallow: / - Nebo, jako alternativu, přidejte toto do
<head>své stránky:<meta name="grimlabot" content="noindex"> - Nebo napište na [email protected] z adresy na doméně svého obchodu, abychom mohli potvrdit, že žádost je opravdu od vás.