Crawler
Content version:
Despre GrimlaBot
GrimlaBot este crawlerul serviciului Grimla, dedicat descoperirii de produse din magazine online verificate. Vizitează magazine online pentru a colecta informațiile publice de afaceri care alimentează directorul nostru de verificare — aceleași informații pe care un magazin este obligat să le afișeze. Se identifică drept GrimlaBot și trimite înapoi la această pagină.
Cum se recunoaște GrimlaBot
- User agent-ul său este
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Ce analizăm
- Pagina dvs. principală și paginile publice de afaceri (date de firmă, termeni, confidențialitate, retururi, contact)
- Câteva pagini de categorii, pentru a vedea ce vindeți
- Pentru magazinele listate, fluxul dvs. de produse — pentru ca prețurile să rămână actuale, actualizat aproximativ o dată pe zi
Cum se comportă GrimlaBot
- Citește doar un număr mic de pagini per magazin
- Limitează câte solicitări trimite în același timp
- Verifică mai întâi
robots.txt
Renunțare — este suficientă una dintre acestea
- Adăugați acest lucru în
robots.txt:User-agent: GrimlaBot Disallow: / - Sau, ca alternativă, adăugați acest lucru în
<head>-ul paginii dvs.:<meta name="grimlabot" content="noindex"> - Sau scrieți la [email protected] de la o adresă de pe domeniul magazinului dvs., pentru a putea confirma că cererea vine într-adevăr de la dvs.