Co robi robots.txt

Plik robots.txt informuje crawlerów, które części witryny powinni odwiedzić, pominąć lub traktować według specjalnych zasad przed rozpoczęciem pobierania stron.

Jak ten generator pomaga

To narzędzie pozwala wybrać domyślną politykę przeszukiwania, dodać wyraźne ścieżki dozwolone i zablokowane, ustawić opcjonalne opóźnienie przeszukiwania oraz dodać dyrektywy mapy witryn lub hosta bez ręcznego pisania pliku.

Typowe przypadki użycia

• Zablokuj obszary administracyjne, strony wyszukiwania, filtry lub narzędzia wewnętrzne przed szerokim dostępem crawlerów.
• Zezwól, aby sekcja witryny domyślnie prywatna ujawniała tylko kilka publicznych ścieżek.
• Opublikuj główną lokalizację mapy witryn, aby wyszukiwarki mogły szybciej odkrywać nowe adresy URL.
• Utwórz szablon roboczy robots.txt do testów, migracji i list kontrolnych przed uruchomieniem.

Najlepsze praktyki i ograniczenia

Robots.txt to dyrektywa przeszukiwania, a nie system kontroli dostępu, więc wrażliwe treści powinny być nadal chronione uwierzytelnieniem lub innymi ograniczeniami po stronie serwera.

Różni crawlerzy obsługują różne dyrektywy. Na przykład dyrektywa hosta nie jest uniwersalna, a crawl-delay może być ignorowane przez niektóre boty, więc zawsze weryfikuj swoje ostateczne zasady w odniesieniu do crawlerów, które są dla Ciebie ważne.