Apa itu robots.txt

File robots.txt memberi tahu crawler bagian mana dari situs yang harus mereka kunjungi, lewati, atau perlakukan dengan aturan khusus sebelum mereka mulai mengambil halaman.

Bagaimana generator ini membantu

Alat ini memungkinkan Anda memilih kebijakan crawl default, menambahkan jalur yang diizinkan dan dilarang secara eksplisit, mengatur jeda crawl opsional, dan menambahkan direktif sitemap atau host tanpa menulis file secara manual.

Kasus penggunaan umum

• Blokir area admin, halaman pencarian, filter, atau alat internal dari akses crawler yang luas.
• Izinkan bagian situs yang bersifat pribadi secara default untuk mengekspos hanya beberapa jalur publik.
• Terbitkan lokasi sitemap utama agar mesin pencari dapat menemukan URL baru lebih cepat.
• Buat template robots.txt awal untuk staging, migrasi, dan daftar periksa peluncuran.

Praktik terbaik dan batasan

Robots.txt adalah direktif crawl, bukan sistem kontrol akses, jadi konten sensitif harus tetap dilindungi dengan otentikasi atau pembatasan sisi server lainnya.

Crawler yang berbeda mendukung direktif yang berbeda. Misalnya, direktif host tidak universal dan crawl-delay mungkin diabaikan oleh beberapa bot, jadi selalu validasi aturan akhir Anda terhadap crawler yang Anda pedulikan.