Crawler
Content version:
Acerca de GrimlaBot
GrimlaBot es el rastreador de Grimla, un servicio para descubrir productos en tiendas online verificadas. Visita tiendas online para recopilar la información comercial pública que nutre nuestro directorio de verificación — los mismos datos que una tienda está obligada a mostrar. Se identifica como GrimlaBot y enlaza de vuelta a esta página.
Cómo reconocer a GrimlaBot
- Su user agent es
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Qué consultamos
- Tu página de inicio y páginas comerciales públicas (aviso legal, términos, privacidad, devoluciones, contacto)
- Algunas páginas de categorías, para ver qué vendes
- Para tiendas listadas, tu feed de productos — para que los precios estén al día, actualizado aproximadamente una vez al día
Cómo se comporta GrimlaBot
- Solo lee un pequeño número de páginas por tienda
- Limita cuántas solicitudes hace a la vez
- Comprueba primero tu
robots.txt
Excluirse — con una de estas basta
- Añade esto a tu
robots.txt:User-agent: GrimlaBot Disallow: / - O, como alternativa, añade esto en el
<head>de tu página:<meta name="grimlabot" content="noindex"> - O escribe a [email protected] desde una dirección del dominio de tu tienda, para que podamos confirmar que la solicitud es realmente tuya.