Prehľadávač
Content version:
O GrimlaBote
GrimlaBot je crawler služby Grimla, ktorá pomáha objavovať produkty v overených internetových obchodoch. Navštevuje internetové obchody a zhromažďuje verejné firemné informácie pre náš overovací adresár — tie isté údaje, ktoré má obchod povinnosť zverejniť. Identifikuje sa ako GrimlaBot a odkazuje na túto stránku.
Ako GrimlaBot rozpoznať
- Jeho user agent je
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Čo kontrolujeme
- Domovskú stránku a verejné firemné stránky (firemné údaje, podmienky, súkromie, vrátenie tovaru a kontakt)
- Niekoľko stránok kategórií, aby sme zistili, čo predávate
- Pri zaradených obchodoch produktový feed, aby ceny zostali aktuálne; obnovuje sa približne raz denne
Ako sa GrimlaBot správa
- Na jeden obchod načíta iba malý počet stránok
- Obmedzuje počet súbežných požiadaviek
- Najprv skontroluje súbor
robots.txt
Odhlásenie — stačí jedna možnosť
- Pridajte do súboru
robots.txt:User-agent: GrimlaBot Disallow: / - Alebo pridajte do časti
<head>stránky:<meta name="grimlabot" content="noindex"> - Alebo napíšte na [email protected] z adresy v doméne obchodu, aby sme mohli potvrdiť, že žiadosť pochádza od vás.