Τι κάνει το robots.txt

Ένα αρχείο robots.txt λέει στους crawlers ποιες περιοχές ενός ιστότοπου θα πρέπει να επισκεφτούν, να παραλείψουν ή να αντιμετωπίσουν με ειδικούς κανόνες πριν ξεκινήσουν να ανακτούν σελίδες.

Πώς βοηθά αυτός ο γεννήτορας

Αυτό το εργαλείο σας επιτρέπει να επιλέξετε μια προεπιλεγμένη πολιτική crawl, να προσθέσετε ρητές επιτρεπόμενες και απαγορευμένες διαδρομές, να ορίσετε μια προαιρετική καθυστέρηση crawl και να προσθέσετε κατευθύνσεις sitemap ή φιλοξενίας χωρίς να γράψετε το αρχείο με το χέρι.

Κοινές περιπτώσεις χρήσης

• Αποκλείστε περιοχές διαχείρισης, σελίδες αναζήτησης, φίλτρα ή εσωτερικά εργαλεία από ευρεία πρόσβαση crawler.
• Επιτρέψτε σε μια ιδιωτική κατά προεπιλογή ενότητα ιστότοπου να εκθέτει μόνο μερικές δημόσιες διαδρομές.
• Δημοσιεύστε την κύρια τοποθεσία sitemap ώστε οι μηχανές αναζήτησης να μπορούν να ανακαλύψουν νέες διευθύνσεις URL πιο γρήγορα.
• Δημιουργήστε ένα αρχικό πρότυπο robots.txt για staging, μετεγκαταστάσεις και λίστες ελέγχου εκκίνησης.

Καλές πρακτικές και περιορισμοί

Το robots.txt είναι μια κατεύθυνση crawl, όχι ένα σύστημα ελέγχου πρόσβασης, επομένως το ευαίσθητο περιεχόμενο θα πρέπει να προστατεύεται με αυθεντικοποίηση ή άλλους περιορισμούς από την πλευρά του διακομιστή.

Διαφορετικοί crawlers υποστηρίζουν διαφορετικές κατευθύνσεις. Για παράδειγμα, η κατεύθυνση host δεν είναι καθολική και η καθυστέρηση crawl μπορεί να αγνοηθεί από ορισμένα bots, οπότε πάντα επικυρώστε τους τελικούς κανόνες σας σε σχέση με τους crawlers που σας ενδιαφέρουν.