robots.txt

Материал из свободной русской энциклопедии «Традиция»
Перейти к: навигация, поиск

robots.txt — файл ограничения доступа к содержимому роботам. Файл должен находится в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).

Использование файла добровольно, стандарт был принят консенсусом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Описание структуры[править]

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки символы CR,CR+LF, LF). Каждая запись содержит непустые строки следующего вида:

<field>:<optionalspace><value><optionalspace> где field — это или User-agent или Disallow, а value — значение. optionalspace — необязательный пробел.

Источники[править]

Ссылки[править]