Robots.txt: что за зверь

Перед индексацией ресурса любая поисковая система ищет в корневом каталоге файл, который имеет имя Robots.txt. Именно в его функции входит сообщение паукам-индексаторам, какие виды файлов могут быть проиндексированы, а какие не могут пройти индексацию.

Этот файл отличается особым форматом: он состоит из сплошных записей. Каждая из этих самых записей включает в себя два поля: несколько строк, которые начинаются с директивы Disallow, а также строки с названием user-agent (клиентское приложение).

Robots.txt. создается в текстовом файле Unix. Подавляющее большинство текстовых редакторов имеют возможности для превращения символов перевода в Unix строки Windows. Для редактирования крайне нежелательно использовать HTML-редактор, в особенности тот, который не имеет возможности текстового отображения кода.

В поле User-agent должно содержаться название робота – googlebot. При этом стоит отметить, если обращение идет ко всем роботам, то тогда в этом поле можно подставить знак *. Что касается всего списка роботов, то их названия можно найти в логах того веб-сервера, который Вами используется. Для этого стоит только выбрать запросы к файлу robots.txt – практически все поисковые сервера присваивают своим паукам-индексаторам довольно простые и короткие имена.



Рубрика: Продвижение

Статистика

Реклама

  • .