Таны вэбсайтын үндэст хадгалагдаж буй robots.txt файл нь хайлтын хөдөлгүүр аалзнууд гэх мэт вэб роботуудыг мөлхөж болох файлууд болон файлуудыг хэлэх болно. Robots.txt файлын системийг ашиглахад хялбар байдаг, гэхдээ та дараах зүйлсийг санаж байх хэрэгтэй:
- Хар малгайт вэб робот таны robots.txt файлыг үл тоомсорлодог. Хамгийн түгээмэл хэлбэр нь вирусын эсрэг програмууд болон роботууд нь мэйл хаяг хайж олохыг эрэлхийлдэг.
- Зарим шинэ программууд robots.txt файлыг үл тоомсорлодог робот бичнэ. Энэ нь ихэвчлэн алдаагаар хийгддэг.
- Хэн ч таны robots.txt файлыг харж чадна. Тэд үргэлж робот.txt гэж нэрлэгддэг бөгөөд үргэлж вэбсайтын үндэс дээр хадгалагддаг.
- Эцэст нь, хэн нэгэн таны robots.txt файлын робот.txt файлд ороогүй файл эсвэл лавлах руу холбодог бол хайлтын системүүд үүнийг олж мэднэ.
Ямар нэгэн зүйлийг нуухын тулд robots.txt файлуудыг бүү ашигла. Үүний оронд аюулгүй нууц үгүүдийн цаана чухал мэдээллийг оруулах эсвэл вэбээс бүхэлд нь орхих хэрэгтэй.
Эдгээр жишээ файлуудыг хэрхэн ашиглах талаар
Текстийг өөрийн хүссэн зүйлд ойрхон байгаа түүврээс хуулж, өөрийн робот.txt файлд хуулна уу. Өөрийн робот, сан, файлын нэрийг өөрийн тохиргоонд тааруулан өөрчлөх.
Хоёр үндсэн Robots.txt файлууд
Хэрэглэгчийн-агент: *
Зөвшөөрөхгүй: /
Энэ файл нь сайтад байрлах бүх хуудсыг үл тоомсорлодог аливаа робот (Хэрэглэгч-агент: *) гэж хэлдэг (Disallow: /).
Хэрэглэгчийн-агент: *
Зөвшөөрөхгүй:
Энэ файл нь сайтын бүх хуудсыг үзэхийг зөвшөөрөх ямар ч робот (Хэрэглэгч-төлөөлөгч: *) зөвшөөрөхийг зөвшөөрдөг (Хүлээхгүй).
Та мөн robots.txt файлаа хоосон орхиж, эсвэл таны сайт дээр байхгүй байх болно.
Роботоос тусгай заавруудыг хамгаалах
Хэрэглэгчийн-агент: *
Зөвшөөрөхгүй: / cgi-bin /
Зөвшөөрөхгүй: / temp /
Энэ файлд хандах хандалт нь / cgi-bin / ба / temp / (Disallow: / cgi-bin / Disallow: / temp /) сангаас үл хамааран хэрэглэгддэг робот (User-agent: *).
Роботоос тусгай хуудсыг хамгаалах
Хэрэглэгчийн-агент: *
Зөвшөөрөхгүй: /jenns-stuff.htm
Зөвшөөрөхгүй: /private.php
Энэхүү файл нь /jenns-stuff.htm болон /private.php файлуудыг үл тоомсорлодог ямар ч робот (Хэрэглэгч-агент: *) гэж хэлдэг (Disallow: /jenns-stuff.htm Disallow: /private.php).
Таны сайт руу нэвтрэх тусгай роботоос сэргийлэх
Хэрэглэгч-агент: Lycos / xx
Зөвшөөрөхгүй: /
Энэ файл нь Lycos bot (User-agent: Lycos / xx) сайтын аль ч хэсэгт нэвтрэхийг зөвшөөрөхгүй байна (Disallow: /).
Зөвхөн нэг тусгай робот хандалтыг зөвшөөрөх
Хэрэглэгчийн-агент: *
Зөвшөөрөхгүй: /
Хэрэглэгч-агент: Googlebot
Зөвшөөрөхгүй:
Энэ файл нь эхлээд бидний хийсэн шиг бүх роботуудыг татгалздаггүй, дараа нь Googlebot (Хэрэглэгч-агент: Googlebot) -г бүх зүйл рүү хандах боломжийг олгодог (Татгалзах:).
Олон мөрийг нэгтгэхийн тулд Танд хүссэн тоонуудыг ялгах
User-agent: * гэх мэт маш их багтаамж бүхий Хэрэглэгчийн-агентлагийн мөрийг ашиглах нь илүү дээр байгаа ч гэсэн та хүсч байгаатай яг ижил байж болно. Роботууд файлыг дарааллаар нь уншаарай. Эхний мөрөнд бүх роботууд бүх зүйлээс хаагдсан, дараа нь файл дотор бүх роботууд бүгдэд нь нэвтрэх эрхтэй гэж хэлж байгаа бол роботууд бүгдэд нь хандах боломжтой болно.
Хэрэв та өөрийн robots.txt файлыг зөв бичсэн эсэхээ сайн мэдэхгүй байгаа бол Google-ийн Вэбмастер Багаж хэрэгслийг ашиглан өөрийн robots.txt файлыг шалгаж эсвэл шинээр бичиж болно.