ผู้ดูแลเว็บเกือบทุกคนพยายามเพิ่มประสิทธิภาพหน้าต่างๆ ในไซต์ของเขา เพื่อให้ได้องค์ประกอบที่จัดทำดัชนีให้มากที่สุด แต่ในบางกรณี ตรงกันข้าม คุณต้องซ่อนบางหน้า เช่น แบบฟอร์มสำหรับการป้อนข้อมูลการลงทะเบียน การกู้คืนรหัสผ่าน ฯลฯ
มันจำเป็น
การแก้ไขไฟล์ Robots.txt
คำแนะนำ
ขั้นตอนที่ 1
วิธีที่ง่ายที่สุดในการปิดการจัดทำดัชนีของหลายส่วนหรือเฉพาะทั้งไซต์คือการสร้างรายการที่เหมาะสมในไฟล์ robots.txt เขาใช้เป็นแนวทางสำหรับเครื่องมือค้นหา เมื่อเข้าสู่หน้าต่างๆ ของไซต์ โรบ็อตการค้นหาจะอ้างอิงถึงไฟล์นี้ หากไม่มีอยู่ จะทำดัชนีทั้งไซต์ มิฉะนั้นจะทำตามคำแนะนำที่ระบุในไฟล์
ขั้นตอนที่ 2
หากคุณสร้างไซต์ของคุณเอง และคุณไม่มีแอปพลิเคชันดังกล่าว ในรูปแบบของเอกสารข้อความที่ระบุข้อห้าม คุณสามารถสร้างไซต์ได้เองโดยง่าย เปิดเอกสารข้อความใหม่ เช่น การใช้โปรแกรม Notepad วางบรรทัดต่อไปนี้ในเนื้อหาของเอกสาร: User-agent: * Disallow: /file.htmlDisallow: / directory /
ขั้นตอนที่ 3
ตอนนี้ มาดูกันว่าคุณถามเครื่องมือค้นหาว่าเป็นงานอะไร เครื่องหมาย "*" ตรงข้าม User-agent หมายความว่าคำสั่งนี้ต้องดำเนินการโดยระบบไฟล์ทั้งหมด ตัวอย่างเช่น หากคุณเขียน "Yandex" แทน "*" คำอุทธรณ์นี้จะถูกอ่านโดยหุ่นยนต์ของเครื่องมือค้นหา Yandex เท่านั้น คำสั่ง Disallow ห้ามสร้างดัชนีของส่วนเฉพาะ (ไดเร็กทอรี) หรือไฟล์ (ไฟล์.html)
ขั้นตอนที่ 4
หลังจากรวบรวมไฟล์ robots.txt แล้ว คุณสามารถไปที่ข้อความบนหน้าเว็บไซต์ได้โดยตรง ดังที่คุณทราบ เครื่องมือค้นหาไม่ชอบให้มีลิงก์ที่ทำงานอยู่ภายนอกมากกว่า 3 ลิงก์บนหน้าเว็บของคุณ ถ้าคุณต้องการเลือดกำเดาไหลแต่โพสต์ลิงก์ 5 ลิงก์ขึ้นไป ในกรณีเหล่านี้ คุณสามารถใช้แอตทริบิวต์หรือแท็กได้
ขั้นตอนที่ 5
หากต้องการปิดลิงก์จากการจัดทำดัชนีโดยเครื่องมือค้นหาของ Google คุณต้องนำลิงก์มาไว้ในแบบฟอร์มต่อไปนี้: ลิงก์สมอ ต้องแทรกเนื้อหาของแอตทริบิวต์ลงในส่วนใด ๆ ของลิงก์โดยไม่ลืมที่จะคั่นด้วยการเว้นวรรคเช่น สามารถวางแอตทริบิวต์ระหว่าง "a" และ "href" หรือระหว่างลิงก์กับสมอ
ขั้นตอนที่ 6
ในการปิดลิงก์จากการจัดทำดัชนีโดยเครื่องมือค้นหา Yandex คุณต้องนำลิงก์มาไว้ในแบบฟอร์มต่อไปนี้: anchor link แท็กถูกวางไว้ที่จุดเริ่มต้นและจุดสิ้นสุดของลิงก์ อย่าลืมว่าแท็กนี้จับคู่แล้ว: ส่วนที่สองซึ่งแตกต่างจากแท็กแรกจะมีเครื่องหมาย "/"