ไม่มีเลย — เพิ่มจากรายการด้านล่าง
ตัวสร้างทั้งหมด
ไม่มีเลย — เพิ่มจากรายการด้านล่าง
ร้านอาหาร, การเดินทาง, การเช่า…
จัดการค่าใช้จ่ายกลุ่มด้วยความคล่องตัวของสเปรดชีต.
ไฟล์ robots.txt บอก crawlers ว่าส่วนใดของไซต์ที่พวกเขาควรเยี่ยมชม, ข้าม, หรือปฏิบัติตามกฎพิเศษก่อนที่พวกเขาจะเริ่มดึงหน้า
เครื่องมือนี้ให้คุณเลือกนโยบายการเก็บข้อมูลเริ่มต้น, เพิ่มเส้นทางที่อนุญาตและไม่อนุญาตอย่างชัดเจน, ตั้งค่าความล่าช้าในการเก็บข้อมูลที่ไม่บังคับ, และเพิ่มคำสั่งแผนผังหรือโฮสต์โดยไม่ต้องเขียนไฟล์ด้วยมือ
Robots.txt เป็นคำสั่งการเก็บข้อมูล ไม่ใช่ระบบควบคุมการเข้าถึง ดังนั้นเนื้อหาที่ละเอียดอ่อนควรได้รับการป้องกันด้วยการตรวจสอบสิทธิ์หรือข้อจำกัดอื่น ๆ ที่อยู่ด้านเซิร์ฟเวอร์
Crawler ที่แตกต่างกันสนับสนุนคำสั่งที่แตกต่างกัน ตัวอย่างเช่น คำสั่งโฮสต์ไม่เป็นสากลและความล่าช้าในการเก็บข้อมูลอาจถูกมองข้ามโดยบางบอท ดังนั้นควรตรวจสอบกฎสุดท้ายของคุณกับ crawler ที่คุณสนใจ
เรามีเครื่องมือเพิ่มเติมสำหรับคุณ...
เลือกหลายเครื่องมือและใส่ลงในแดชบอร์ด.