Web-paučina
Content version:
O GrimlaBotu
GrimlaBot je alat za indeksiranje usluge Grimla, koja omogućuje otkrivanje proizvoda u provjerenim internetskim trgovinama. Posjećuje internetske trgovine kako bi prikupio javne poslovne podatke za naš katalog provjere — iste podatke koje je trgovina dužna prikazati. Predstavlja se kao GrimlaBot i upućuje na ovu stranicu.
Kako prepoznati GrimlaBot
- Njegov user agent je
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Što pregledavamo
- Vašu početnu stranicu i javne poslovne stranice (podaci o društvu, uvjeti, privatnost, povrati, kontakt)
- Nekoliko stranica kategorija kako bismo vidjeli što prodajete
- Za uvrštene trgovine, vaš izvor proizvoda — radi ažurnih cijena osvježava se približno jednom dnevno
Kako se GrimlaBot ponaša
- Čita samo mali broj stranica po trgovini
- Ograničava broj istodobnih zahtjeva
- Najprije provjerava vaš
robots.txt
Isključivanje — dovoljna je jedna od ovih mogućnosti
- Dodajte ovo u svoj
robots.txt:User-agent: GrimlaBot Disallow: / - Ili dodajte ovo u
<head>svoje stranice:<meta name="grimlabot" content="noindex"> - Ili pošaljite poruku na [email protected] s adrese na domeni svoje trgovine kako bismo mogli potvrditi da zahtjev doista dolazi od vas.