Robots.txt ფაილი ინახება root თქვენს ვებ მოგვითხრობს ვებ რობოტები, როგორიცაა საძიებო ობობები რა დირექტორიები და ფაილი მათ უფლება აქვთ სეირნობისას. მარტივი გამოყენება robots.txt ფაილი, მაგრამ არსებობს რამდენიმე რამ, რაც უნდა გახსოვდეთ:
- შავი ქუდი ვებ რობოტები იგნორირებას უკეთებს თქვენი robots.txt ფაილი. ყველაზე გავრცელებული ტიპები მავნე რობოტები და რობოტები ელ-ფოსტის მისამართების მოსასმენად.
- ზოგიერთი ახალი პროგრამისტი დაწერს რობოტებს, რომლებიც იგნორირებას უკეთებენ robots.txt ფაილი. ეს ჩვეულებრივ შეცდომით ხდება.
- ნებისმიერს შეუძლია თქვენი robots.txt ფაილის ნახვის საშუალება. ისინი ყოველთვის უწოდებენ robots.txt- ს და ყოველთვის ინახება ვებ-გვერდზე.
- და ბოლოს, თუ ვინმეს აკავშირებს ფაილი ან დირექტორია, რომელიც გამოირიცხება თქვენი robots.txt ფაილის გვერდზე, რომელიც არ არის გამორიცხული მათი robots.txt ფაილი, საძიებო სისტემებში შეიძლება მაინც მაინც.
არ გამოიყენოთ robots.txt ფაილები, რათა დამალვა არაფერი მნიშვნელოვანი. ამის ნაცვლად, აუცილებელია უსაფრთხო ინფორმაცია საიდუმლო პაროლის მიღმა, ან მთლიანად დატოვოთ ვებგვერდი.
როგორ გამოვიყენოთ ეს ნიმუში ფაილები
ტექსტის ნიმუშის ნიმუშის კოპირება, რომელიც ყველაზე ახლოს არის, რაც გსურთ და ჩასვით თქვენს robots.txt ფაილი. შეცვალეთ რობოტი, დირექტორია და ფაილის სახელები, რათა შეარჩიოთ სასურველი კონფიგურაცია.
ორი ძირითადი Robots.txt ფაილები
მომხმარებელი აგენტი: *
დაუშვებელია: /
ეს ფაილი ამბობს, რომ ნებისმიერი რობოტი (მომხმარებელი-აგენტი: *), რომელიც შედიხართ, უნდა იგნორირება ყველა გვერდზე საიტზე (არ დაუშვა: /).
მომხმარებელი აგენტი: *
გაუქმება:
ეს ფაილი ამბობს, რომ ნებისმიერი რობოტი (მომხმარებელი აგენტი: *), რომელიც წვდომას მისცემს უფლებას, იხილოს ყველა გვერდის საიტზე (Disallow:).
თქვენ ასევე შეგიძლიათ ამის გაკეთება თქვენს robots.txt ფაილის დატოვების გარეშე ან არ გაქვთ ერთი თქვენს საიტზე.
დაიცავით კონკრეტული დირექტორიები რობოტებიდან
მომხმარებელი აგენტი: *
გაუქმება: / cgi-bin /
გაუქმება: / temp /
ეს ფაილი ამბობს, რომ ნებისმიერი რობოტი (მომხმარებელი აგენტი: *), რომელიც შედის, უნდა იგნორირება იყოს კატალოგებს / cgi-bin / და / temp / (გაუქმება: / cgi-bin / disallow: / temp /).
დაიცავით კონკრეტული გვერდები რობოტებიდან
მომხმარებელი აგენტი: *
გაუქმება: /jenns-stuff.htm
გაუქმება: /private.php
ეს ფაილი ამბობს, რომ ნებისმიერი რობოტი (მომხმარებელი-აგენტი: *), რომელიც შედის, უნდა იგნორირება ფაილი / ჯენკ-ფაფ.ჰტმ და /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
აღკვეთეთ კონკრეტული რობოტი თქვენს საიტზე წვდომისგან
მომხმარებელი აგენტი: Lycos / xx
დაუშვებელია: /
ეს ფაილი ამბობს, რომ Lycos bot (მომხმარებელი აგენტი: Lycos / xx) არ არის დაშვებული დაშვება ნებისმიერ ადგილზე (Disallow: /).
მხოლოდ ერთი კონკრეტული რობოტის დაშვება
მომხმარებელი აგენტი: *
დაუშვებელია: /
მომხმარებელი აგენტი: Googlebot
გაუქმება:
ეს ფაილი პირველ რიგში არ იძლევა ყველა რობოტს, როგორიც ჩვენ გავაკეთეთ ზემოთ, შემდეგ კი აშკარად დავუშვებთ Googlebot (მომხმარებელი აგენტი: Googlebot) აქვს ყველაფრის ხელმისაწვდომობა (გაუქმება:).
შეუთავსეთ მრავალჯერადი ხაზები, რომ მიიღოთ ზუსტად არსებული გამონაკლისი
მიუხედავად იმისა, რომ უკეთესია გამოიყენოთ ძალიან ინკლუზიური მომხმარებელი აგენტი ხაზი, როგორიცაა მომხმარებელი აგენტი: *, თქვენ შეიძლება იყოს როგორც კონკრეტული, როგორც გსურთ. გაითვალისწინეთ, რომ რობოტები წაიკითხა ფაილი. ასე რომ, თუ პირველი ხაზები ამბობენ, რომ ყველა რობოტი დაბლოკილია ყველაფრისაგან, შემდეგ კი ფაილში ნათქვამია, რომ ყველა რობოტი დაშვებულია ყველაფრისთვის, რობოტებს ექნებათ ყველაფერი.
თუ არ ხართ დარწმუნებული, როდის სწორად დაწერე თქვენი robots.txt ფაილი, შეგიძლიათ გამოიყენოთ Google Webmaster Tools თქვენი robots.txt ფაილის შესამოწმებლად ან ახალი დაწერეთ.