Crawler
Content version:
Tietoja GrimlaBotista
GrimlaBot on varmennettujen verkkokauppojen tuotteiden löytämiseen tarkoitetun Grimla-palvelun crawler. Se vierailee verkkokaupoissa kerätäkseen julkiset yritystiedot, jotka pyörittävät verifiointihakemistoamme — samat tiedot, jotka kaupan on lain mukaan näytettävä. Se tunnistautuu nimellä GrimlaBot ja linkittää takaisin tälle sivulle.
GrimlaBotin tunnistaminen
- Sen user agent on
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Mitä katsomme
- Etusivusi ja julkiset yrityssivut (yritystiedot, ehdot, tietosuoja, palautukset, yhteystiedot)
- Muutaman kategoriasivun, nähdäksemme mitä myyt
- Listatuille kaupoille tuotesyötteesi — jotta hinnat pysyvät ajan tasalla, päivitetään noin kerran päivässä
Miten GrimlaBot toimii
- Se lukee vain pienen määrän sivuja kauppaa kohti
- Se rajoittaa, kuinka monta pyyntöä se tekee kerralla
- Se tarkistaa ensin
robots.txt-tiedostosi
Kiellä — mikä tahansa näistä riittää
- Lisää tämä
robots.txt-tiedostoosi:User-agent: GrimlaBot Disallow: / - Tai vaihtoehtoisesti lisää tämä sivusi
<head>-osioon:<meta name="grimlabot" content="noindex"> - Tai lähetä sähköposti osoitteeseen [email protected] kauppasi verkkotunnukseen kuuluvasta osoitteesta, jotta voimme varmistaa, että pyyntö on todella sinulta.