Was macht robots.txt

Eine robots.txt-Datei sagt Crawlern, welche Teile einer Website sie besuchen, überspringen oder mit speziellen Regeln behandeln sollen, bevor sie mit dem Abrufen von Seiten beginnen.

Wie dieser Generator hilft

Dieses Tool ermöglicht es Ihnen, eine Standard-Crawl-Richtlinie auszuwählen, explizite Erlauben- und Verboten-Pfade hinzuzufügen, eine optionale Crawl-Verzögerung festzulegen und Sitemap- oder Host-Direktiven hinzuzufügen, ohne die Datei von Hand zu schreiben.

Häufige Anwendungsfälle

• Blockieren Sie Admin-Bereiche, Suchseiten, Filter oder interne Tools vor breitem Crawler-Zugriff.
• Erlauben Sie einem standardmäßig privaten Abschnitt der Website, nur einige öffentliche Pfade offenzulegen.
• Veröffentlichen Sie den Hauptstandort der Sitemap, damit Suchmaschinen frische URLs schneller entdecken können.
• Erstellen Sie eine Ausgangs-robots.txt-Vorlage für Staging, Migrationen und Start-Checklisten.

Best Practices und Einschränkungen

Robots.txt ist eine Crawl-Richtlinie, kein Zugriffskontrollsystem, daher sollte sensibler Inhalt weiterhin durch Authentifizierung oder andere serverseitige Einschränkungen geschützt werden.

Verschiedene Crawler unterstützen unterschiedliche Direktiven. Zum Beispiel ist die Host-Direktive nicht universell und die Crawl-Verzögerung kann von einigen Bots ignoriert werden, daher sollten Sie Ihre endgültigen Regeln immer gegen die Crawler validieren, die Ihnen wichtig sind.