เลือก path ที่ต้องการอนุญาตหรือห้าม bot เข้าถึง ใส่ URL sitemap ระบบสร้างไฟล์ robots.txt ที่ถูกต้องตามมาตรฐานให้พร้อมคัดลอกไปใช้
อัปโหลดไฟล์ไว้ที่ราก (root) ของโดเมน เช่น https://example.com/robots.txt · robots.txt ไม่ใช่ระบบความปลอดภัย — หน้าที่เป็นความลับต้องล็อกด้วยรหัสผ่าน
ต้องวางที่ root ของโดเมนเท่านั้น เช่น https://example.com/robots.txt ถึงจะมีผล วางในโฟลเดอร์ย่อยจะไม่ถูกอ่าน
ไม่แน่นอน robots.txt เป็นแค่คำขอให้ bot ที่ทำตามกฎไม่เข้าไปครอว์ล แต่หน้าที่มีลิงก์จากที่อื่นอาจยังถูก index ได้ ถ้าต้องการกันการ index จริงๆ ควรใช้ meta tag noindex ร่วมด้วย