Обхождащ робот
Content version:
За GrimlaBot
GrimlaBot е обхождащият робот на Grimla — услуга за откриване на продукти от проверени онлайн магазини. Той посещава онлайн магазини, за да събира публичната фирмена информация за нашия каталог за проверка — същите данни, които магазинът е длъжен да показва. Той се идентифицира като GrimlaBot и дава връзка към тази страница.
Как да разпознаете GrimlaBot
- Неговият user agent е
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Какво преглеждаме
- Началната ви страница и публичните фирмени страници (данни за фирмата, условия, поверителност, връщане, контакт)
- Няколко страници с категории, за да видим какво продавате
- За включените магазини — продуктовия ви каталог, за да поддържаме цените актуални, с обновяване приблизително веднъж дневно
Как се държи GrimlaBot
- Чете само малък брой страници от магазин
- Ограничава броя на едновременните заявки
- Първо проверява вашия
robots.txt
Отказ — достатъчно е едно от следните
- Добавете това към
robots.txt:User-agent: GrimlaBot Disallow: / - Или добавете това в
<head>на страницата:<meta name="grimlabot" content="noindex"> - Или изпратете имейл на [email protected] от адрес в домейна на магазина, за да можем да потвърдим, че искането е ваше.