FAIL (the browser should render some flash content, not this).
VACВеб-разработкаСоветы → Как написать правильный robots.txt?

Как написать правильный robots.txt?

robots txt

Robots.txt – это текстовый файл, в котором содержатся инструкции для поисковых роботов по индексации сайта. Он позволяет запрещать индексацию страниц и целых разделов сайта, указывать правильное зеркало домена, задавать путь к карте сайта. Это далеко не весь перечень возможностей файла robots.txt, а лишь те, которые чаще всего используются.

Прежде чем индексировать сайт, поисковики изучают файл robots.txt. Именно поэтому очень важно наличие этого файла, а еще важнее его содержание. Надо помнить, что все команды, содержащиеся в файле robots.txt не являются обязательными для выполнения, а имеют для ботов рекомендательных характер.

Robots.txt – это обычный текстовый файл .txt, который создают с помощью любого текстового редактора и размещают в корневой директории сайта. Важно, чтобы имя файла была именно в нижнем регистре, то есть названия Robots.txt или ROBOTS.TXT является неправильными.

При создании файла robots.txt является очень важным придерживаться синтаксиса его написания. Стандарт написания директив для следования робота был принят еще в 1994 году и с тех пор не менялся. Поэтому большинство ботов поддерживают команды, которых нет в стандарте.

Основные команды для robots.txt:

1. User-Agent – задает имя робота, к которому относится набор команд. Если набор инструкций предназначен для всех ботов, то вместо названия укажите звездочку (User-agent: *).

2. Disallow и Allow – запрещает или разрешает доступ к определенным страницам сайта. Обратите внимание, что инструкция Allow стандартом не поддерживается. Несмотря на это, эта инструкция поддерживается роботами Google и Yandex.

3. Host – эта директива поддерживается только поисковым роботом Yandex и указывает ему какое зеркало сайта считать главным. Под зеркалами понимаются домены сайта с префиксом www и без него. Домен нужно задавать без аббревиатуры протокола http:// и без закрывающего слеша. Данную директиву нужно указывать после всех команд Disallow.

4. Sitemap – информирует работа наличия карты сайта и указывает путь к ней. Эта директива является межсекционной.

Правила написания инструкций для файла robots.txt:

• В каждой строке с инструкцией Disallow должен быть указан только один файл или директория.

• Название файла должно быть в нижнем регистре.

• Строка User-agent не может быть пустым. Для обращения всех роботов, используйте звездочку (*).

• В директиве Disallow нельзя использовать символы подстановки вроде: Disallow: file *. html.

• Комментарии к инструкциям пишите в отдельной строке.

• По стандарту инструкция Disallow является обязательной. Поэтому, если вы не хотите ничего запрещать, то оставьте эту инструкцию пустой.

• При запрете индексации каталогов обязательно используйте слеши (Disallow: / folder /)

• Пустые строчки используются только для разделения секций.

Для избежания дублирования контента на WordPress блогах можно закрыть для индексации последующие строки:

• Страницы тегов: Disallow: / tag /

• Страницы архивов: Disallow: / archives /

• Страницы категорий: Disallow: / category /

Закрывать эти страницы или нет – это уже вам решать. Наконец, каждую из этих страниц можно раскручивать по определенному ключевому запросу. А если вы продаете ссылки на биржах, то такие страницы могут приносить неплохой заработок.

План
Каждый здравомыслящий человек в своей осознанной жизни ежедневно заним ...

Оптимизация сайта
Для того чтобы ваш сайт стал популярным и посещаемым, мало сделать кра ...

Источник: http://web-programmist.su/


© VAC-Visual.ru, 2009-2012.