Robots.txtの役割

Robots.txtファイルは、クローラーにサイトのどの部分を訪問、スキップ、または特別なルールで扱うべきかを指示します。

このジェネレーターがどのように役立つか

このツールを使用すると、デフォルトのクロールポリシーを選択し、明示的な許可および拒否パスを追加し、オプションのクロール遅延を設定し、手動でファイルを書くことなくサイトマップやホスト指示を追加できます。

一般的な使用例

• 管理エリア、検索ページ、フィルター、または内部ツールへの広範なクローラーアクセスをブロックします。
• プライベートデフォルトのサイトセクションが、わずかに公開されたパスのみを公開することを許可します。
• 検索エンジンが新しいURLをより早く発見できるように、主要なサイトマップの場所を公開します。
• ステージング、移行、ローンチチェックリストのための開始robots.txtテンプレートを作成します。

ベストプラクティスと制限

Robots.txtはクロール指示であり、アクセス制御システムではないため、機密コンテンツは依然として認証や他のサーバー側の制限で保護する必要があります。

異なるクローラーは異なる指示をサポートします。たとえば、ホスト指示は普遍的ではなく、クロール遅延は一部のボットによって無視される可能性があるため、常に気にかけるクローラーに対して最終的なルールを検証してください。