หน้าของแต่ละไซต์ได้รับการรวบรวมข้อมูลโดยโรบ็อตการค้นหาเป็นประจำ ซึ่งประมวลผลข้อมูลบนไซต์เพื่อให้พร้อมใช้งานตามคำขอของผู้ใช้ในเครื่องมือค้นหา การเข้าชมของผู้เยี่ยมชมจากเครื่องมือค้นหามีผลดีต่อการเข้าชมไซต์และกระตุ้นการพัฒนาทรัพยากร แต่ถ้ามีหน้าในเว็บไซต์ ข้อมูลที่ไม่ได้มีไว้สำหรับผู้ชมทางอินเทอร์เน็ต (เช่น หน้าส่วนตัวของผู้ใช้หรือหน้าลงทะเบียน) ก็ไม่จำเป็นต้องเปลี่ยนจากเครื่องมือค้นหาเป็นหน้าดังกล่าว เป็นการดีกว่าที่จะห้ามไม่ให้ข้อมูลนี้จัดทำดัชนี
จำเป็น
- - มีเว็บไซต์เป็นของตัวเอง
- - หากต้องการทราบลิงก์ไปยังหน้าต่างๆ ซึ่งควรห้ามการจัดทำดัชนี
- - มีความรู้พื้นฐานเกี่ยวกับ HTML. อย่างน้อย
คำแนะนำ
ขั้นตอนที่ 1
เพื่อป้องกันไม่ให้โรบ็อตค้นหาสร้างดัชนีหน้าบางหน้าของไซต์ คุณต้องทำการเปลี่ยนแปลงไฟล์ robots.txt หากไฟล์นั้นอยู่บนไซต์ของคุณอยู่แล้ว หรือสร้างไฟล์นี้
ขั้นตอนที่ 2
หากไฟล์ robots.txt ถูกอัปโหลดไปยังไซต์แล้ว และเป็นไปได้ที่จะแก้ไขไฟล์นี้โดยตรงจากแผงควบคุมทรัพยากร ให้เปิด robots.txt ผ่านบริการเว็บเพื่อทำการแก้ไข
ขั้นตอนที่ 3
หากไม่มีวิธีแก้ไขไฟล์ที่ต้องการได้โดยตรงจากแผงควบคุม ให้เปิด robots.txt ในเบราว์เซอร์โดยคลิกที่ลิงก์ไปยังไฟล์นี้ คัดลอกข้อมูลทั้งหมดจากหน้าที่เปิดและวางลงในแผ่นงานใน Notepad
ขั้นตอนที่ 4
หากไม่มี robots.txt บนเว็บไซต์ ให้เปิดโปรแกรม "Notepad" ในเอกสารใหม่ที่คุณจะต้องป้อนรหัสที่จำเป็น
ขั้นตอนที่ 5
ในเอกสารข้อความเปล่า ให้เขียนบรรทัดแรกที่ต้องการ:
ตัวแทนผู้ใช้: *
ขั้นตอนที่ 6
จากนั้นไปที่บรรทัดถัดไปโดยกดปุ่ม Enter แล้วพิมพ์รหัสต่อไปนี้:
Disallow: / index / page3Disallow: ระบุว่าไม่มีการจัดทำดัชนี และ / index / page3 เป็นลิงค์ไปยังหน้าที่ไม่จำเป็นต้องจัดทำดัชนี แทนที่จะใส่ลิงก์ / ดัชนี / หน้า 3 ให้แทรกลิงก์ไปยังหน้าของไซต์ของคุณที่คุณต้องการบล็อกสำหรับการประมวลผลโดยโรบ็อต
ขั้นตอนที่ 7
โปรดทราบว่าชื่อโดเมนเองหายไปที่จุดเริ่มต้นของลิงก์ การมีอยู่ในรายการหมายถึงเครื่องหมายทับ เมื่อรวบรวมข้อมูลเว็บไซต์ หุ่นยนต์ค้นหาจะแทรกชื่อโดเมนลงในลิงก์ดังกล่าวโดยอัตโนมัติ ดังนั้น ให้เขียนลิงค์ไปยังหน้าที่จำเป็นด้วยวิธีนี้
ขั้นตอนที่ 8
หลังจากไม่อนุญาต: คุณสามารถวางลิงก์ไปยังหน้าใดหน้าหนึ่งได้ ไม่เพียงแต่วางลิงก์ไปยังส่วนหรือไดเร็กทอรีใดๆ ของเว็บไซต์ ในทำนองเดียวกัน คุณสามารถห้ามการจัดทำดัชนีของส่วนที่ต้องการของไซต์ได้
ขั้นตอนที่ 9
หากจำเป็นต้องห้ามการประมวลผลโดยโรบ็อตในส่วนต่างๆ ของทรัพยากร ให้เขียนลิงก์ไปยังแต่ละส่วนหรือหน้าในบรรทัดใหม่ ซึ่งในตอนต้นอย่าลืมใส่รายการ Disallow:
ขั้นตอนที่ 10
หากต้องการเปลี่ยนแปลง robots.txt ให้เสร็จสิ้น ให้คลิกปุ่ม "บันทึก" ขณะแก้ไขไฟล์ในแผงควบคุม หรือบันทึกเอกสารข้อความที่มีรายการภายใต้ชื่อ robots.txt และอัปโหลดไฟล์นี้ไปยังเว็บไซต์