Wat doet robots.txt

Een robots.txt-bestand vertelt crawlers welke delen van een site ze moeten bezoeken, overslaan of behandelen met speciale regels voordat ze beginnen met het ophalen van pagina's.

Hoe deze generator helpt

Deze tool stelt je in staat om een standaard crawlbeleid te kiezen, expliciete toestemmings- en verbodspaden toe te voegen, een optionele crawlvertraging in te stellen en sitemap- of hostinstructies toe te voegen zonder het bestand met de hand te schrijven.

Veelvoorkomende gebruiksgevallen

• Blokkeer beheerdersgebieden, zoekpagina's, filters of interne tools voor brede crawler-toegang.
• Sta een privé-per-default site sectie toe om alleen een paar openbare paden bloot te stellen.
• Publiceer de locatie van de hoofd-sitemap zodat zoekmachines verse URL's sneller kunnen ontdekken.
• Maak een startrobots.txt-sjabloon voor staging, migraties en lanceringschecklists.

Best practices en beperkingen

Robots.txt is een crawl-instructie, geen toegangssysteem, dus gevoelige inhoud moet nog steeds worden beschermd met authenticatie of andere server-side beperkingen.

Verschillende crawlers ondersteunen verschillende instructies. Bijvoorbeeld, de hostinstructie is niet universeel en crawl-vertraging kan door sommige bots worden genegeerd, dus valideer altijd je uiteindelijke regels tegen de crawlers die je belangrijk vindt.