Tīmekļa robots
Content version:
Par GrimlaBot
GrimlaBot ir tīmekļa robots pakalpojumam Grimla, kas palīdz atklāt produktus pārbaudītos interneta veikalos. Tas apmeklē interneta veikalus, lai apkopotu publisko uzņēmējdarbības informāciju mūsu pārbaudes katalogam — tos pašus datus, kas veikalam jāuzrāda. Tas sevi identificē kā GrimlaBot un norāda saiti uz šo lapu.
Kā atpazīt GrimlaBot
- Tā user agent ir
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Ko mēs apskatām
- Jūsu sākumlapu un publiskās uzņēmuma lapas (uzņēmuma informāciju, noteikumus, privātumu, preču atgriešanu, kontaktus)
- Dažas kategoriju lapas, lai redzētu, ko pārdodat
- Iekļauto veikalu produktu plūsmu — lai cenas būtu aktuālas, tā tiek atjaunināta aptuveni reizi dienā
Kā GrimlaBot darbojas
- Nolasa tikai nelielu skaitu katra veikala lapu
- Ierobežo vienlaicīgu pieprasījumu skaitu
- Vispirms pārbauda jūsu
robots.txt
Atteikšanās — pietiek ar vienu iespēju
- Pievienojiet savam
robots.txt:User-agent: GrimlaBot Disallow: / - Vai pievienojiet savas lapas sadaļā
<head>:<meta name="grimlabot" content="noindex"> - Vai rakstiet uz [email protected] no adreses sava veikala domēnā, lai varam apstiprināt, ka pieprasījums tiešām ir no jums.