Crawler
Content version:
A GrimlaBotról
A GrimlaBot az ellenőrzött online üzletek termékeinek felfedezésére szolgáló Grimla szolgáltatás keresőrobotja. Online üzleteket látogat, hogy összegyűjtse a nyilvános céges adatokat, amelyek az ellenőrzési katalógusunkat működtetik — ugyanazokat az adatokat, amelyeket egy üzletnek kötelező megjelenítenie. GrimlaBot néven azonosítja magát, és visszahivatkozik erre az oldalra.
Hogyan ismerhető fel a GrimlaBot
- A user agentje:
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Mit nézünk meg
- A kezdőlapját és a nyilvános céges oldalakat (céges adatok, feltételek, adatvédelem, visszaküldés, kapcsolat)
- Néhány kategóriaoldalt, hogy lássuk, mit árul
- A felsorolt üzletek esetében a terméklistáját — hogy az árak naprakészek maradjanak, körülbelül naponta egyszer frissül
Hogyan viselkedik a GrimlaBot
- Üzletenként csak kevés oldalt olvas be
- Korlátozza, hogy egyszerre hány kérést küld
- Először az Ön
robots.txtfájlját ellenőrzi
Leiratkozás — bármelyik megfelel
- Adja hozzá ezt a
robots.txtfájljához:User-agent: GrimlaBot Disallow: / - Vagy, alternatívaként, adja hozzá ezt az oldala
<head>részéhez:<meta name="grimlabot" content="noindex"> - Vagy írjon a [email protected] címre az üzlete domainjéhez tartozó címről, hogy megerősíthessük, a kérés valóban Öntől származik.