Spletni pajek
Content version:
O GrimlaBotu
GrimlaBot je spletni pajek storitve Grimla, ki omogoča odkrivanje izdelkov v preverjenih spletnih trgovinah. Obiskuje spletne trgovine in zbira javne poslovne podatke za naš imenik preverjanja — iste podatke, ki jih mora trgovina prikazati. Predstavi se kot GrimlaBot in se poveže nazaj na to stran.
Kako prepoznati GrimlaBot
- Njegov user agent je
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Kaj pregledamo
- Vašo domačo stran in javne poslovne strani (podatki o podjetju, pogoji, zasebnost, vračila, stik)
- Nekaj strani kategorij, da vidimo, kaj prodajate
- Za navedene trgovine vaš vir izdelkov — zaradi ažurnih cen se osveži približno enkrat na dan
Kako se GrimlaBot obnaša
- Prebere le majhno število strani na trgovino
- Omeji število sočasnih zahtev
- Najprej preveri vaš
robots.txt
Izključitev — zadostuje ena od možnosti
- Dodajte to v svoj
robots.txt:User-agent: GrimlaBot Disallow: / - Ali dodajte to v
<head>svoje strani:<meta name="grimlabot" content="noindex"> - Ali pišite na [email protected] z naslova na domeni svoje trgovine, da lahko potrdimo, da je zahteva res vaša.