Crawler
Content version:
Informazioni su GrimlaBot
GrimlaBot è il crawler di Grimla, un servizio per scoprire prodotti nei negozi online verificati. Visita i negozi online per raccogliere le informazioni aziendali pubbliche che alimentano la nostra directory di verifica — le stesse informazioni che un negozio è tenuto a mostrare. Si identifica come GrimlaBot e rimanda a questa pagina.
Come riconoscere GrimlaBot
- Il suo user agent è
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Cosa esaminiamo
- La tua home page e le pagine aziendali pubbliche (dati societari, termini, privacy, resi, contatti)
- Alcune pagine di categoria, per capire cosa vendi
- Per i negozi elencati, il tuo feed di prodotti — così i prezzi restano aggiornati, aggiornato circa una volta al giorno
Come si comporta GrimlaBot
- Legge solo un piccolo numero di pagine per negozio
- Limita quante richieste invia contemporaneamente
- Controlla prima il tuo
robots.txt
Disattiva — ne basta una
- Aggiungi questo al tuo
robots.txt:User-agent: GrimlaBot Disallow: / - Oppure, in alternativa, aggiungi questo nell’
<head>della tua pagina:<meta name="grimlabot" content="noindex"> - Oppure scrivi a [email protected] da un indirizzo del dominio del tuo negozio, così possiamo confermare che la richiesta è davvero tua.