Crawler
Content version:
Sobre o GrimlaBot
O GrimlaBot é o crawler do Grimla, um serviço para descobrir produtos em lojas online verificadas. Visita lojas online para recolher as informações empresariais públicas que alimentam o nosso diretório de verificação — as mesmas informações que uma loja é obrigada a apresentar. Identifica-se como GrimlaBot e cria uma ligação de volta para esta página.
Como reconhecer o GrimlaBot
- O seu user agent é
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
O que analisamos
- A sua página inicial e páginas empresariais públicas (informação legal, termos, privacidade, devoluções, contacto)
- Algumas páginas de categorias, para ver o que vende
- Para lojas listadas, o seu feed de produtos — para que os preços se mantenham atualizados, atualizado cerca de uma vez por dia
Como o GrimlaBot se comporta
- Lê apenas um pequeno número de páginas por loja
- Limita quantos pedidos faz de cada vez
- Verifica primeiro o seu
robots.txt
Cancelar — basta uma destas
- Adicione isto ao seu
robots.txt:User-agent: GrimlaBot Disallow: / - Ou, em alternativa, adicione isto ao
<head>da sua página:<meta name="grimlabot" content="noindex"> - Ou envie um e-mail para [email protected] a partir de um endereço do domínio da sua loja, para que possamos confirmar que o pedido é mesmo seu.