Файл robots.txt представляет собой текстовый файл, размещаемый в корневой директории сайта (т.е. имеющий путь относительно имени сайта /robots.txt) и предназначенный для написания инструкций специально для поисковых машин.

Основной целью создания файла robots.txt является разрешение и запрещение к индексации одной или нескольких страниц сайта или каких-либо разделов на сайте. Также файл robots.txt может использоваться для указания на правильное "зеркалирование" домена, в целях соблюдения поисковым роботом заданного интервала времени в промежутках между скачиванием документов и файлов с сервера и решения некоторых других задач.

Правила написания и синтаксис файла robots.txt

Файл robots.txt – это текстовый файл, представляющий собой набор записей, разделенных одной или более пустых строк. При этом каждая из записей включает в себя непустые строки указанного ниже вида:

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это User-agent или Disallow.

Таким образом, запись Disallow: /home будет означать запрет доступа поисковых систем как к разделу http://mysite.ru/home, так и к странице http://mysite.ru/home.php , а запись Disallow: /home/ — только к разделу http://mysite.ru/home. Если запреты к индексации разделов или страниц сайта поисковыми машинами не планируется вообще, допускается создание пустого файла robots.txt.

Примеры использования файла robots.txt

Для запрета индексации всего сайта применяется следующая запись:

User-agent: *
Disallow: /

Для запрета доступа какой-либо одной из поисковых машин к каталогу /about/ записи в файле robots.txt будут выглядеть несколько иначе:

User-agent: googlebot
Disallow: /about/

Кроме того, при помощи нестандартных директив Crawl-delay и Allow можно соответственно установить временной интервал, по истечении которого робот должен выполнить загрузку страниц, а также разрешить доступ поисковых машин к части ресурса, определенной веб-мастером.