Crawler
Content version:
Σχετικά με το GrimlaBot
Το GrimlaBot είναι ο crawler του Grimla, μιας υπηρεσίας για την ανακάλυψη προϊόντων σε επαληθευμένα ηλεκτρονικά καταστήματα. Επισκέπτεται ηλεκτρονικά καταστήματα για να συλλέξει τις δημόσιες επιχειρηματικές πληροφορίες που τροφοδοτούν τον κατάλογο επαλήθευσής μας — τα ίδια στοιχεία που ένα κατάστημα υποχρεούται να εμφανίζει. Ταυτοποιείται ως GrimlaBot και παραπέμπει πίσω σε αυτήν τη σελίδα.
Πώς αναγνωρίζετε το GrimlaBot
- Το user agent του είναι
Mozilla/5.0 (compatible; GrimlaBot/1.0; +https://grimla.com/bot). - GrimlaBot requests are identified by the user agent and a cryptographic Web Bot Auth signature. Public keys are published at https://grimla.com/.well-known/
http-message-signatures-directory . - While all nodes use exits, /bot/ips.txt contains comments only. Rotating exit addresses are not published. If direct mode is enabled, the file lists only the direct nodes' request addresses.
Τι εξετάζουμε
- Την αρχική σας σελίδα και τις δημόσιες επιχειρηματικές σελίδες (νομικά στοιχεία, όροι, απόρρητο, επιστροφές, επικοινωνία)
- Μερικές σελίδες κατηγοριών, για να δούμε τι πουλάτε
- Για καταχωρημένα καταστήματα, τη ροή προϊόντων σας — ώστε οι τιμές να παραμένουν ενημερωμένες, ενημερώνεται περίπου μία φορά την ημέρα
Πώς συμπεριφέρεται το GrimlaBot
- Διαβάζει μόνο έναν μικρό αριθμό σελίδων ανά κατάστημα
- Περιορίζει πόσα αιτήματα κάνει ταυτόχρονα
- Ελέγχει πρώτα το
robots.txtσας
Εξαίρεση — αρκεί ένα από αυτά
- Προσθέστε αυτό στο
robots.txtσας:User-agent: GrimlaBot Disallow: / - Ή, εναλλακτικά, προσθέστε αυτό στο
<head>της σελίδας σας:<meta name="grimlabot" content="noindex"> - Ή στείλτε email στο [email protected] από μια διεύθυνση στον τομέα του καταστήματός σας, ώστε να μπορέσουμε να επιβεβαιώσουμε ότι το αίτημα προέρχεται πράγματι από εσάς.