Мет-тег "robots" указывает поисковым машинам можно ли индексировать контент или нельзя (index или noindex), можно ли переходить по ссылкам на страницах (follow или nofollow). Это наиболее часто используемые аттрибуты этого тега, но не многие знают, что этот тег имеет довольно большое количество различных аттрибутов, к сожалению, не все из них поддерживаются всеми поисковиками.

Аттрибуты для тега META:

index
Позволяет роботам поисковиков индексировать страницу, Вы можете не добавлять его на страницу, он используется по-умолчанию
noindex
Этот наоборот, запрещает роботам поисковиков индексировать страницу.
none
Это сокращение для noindex, nofollow, говорящий поисковым машинам: ничего не делайте с этой страницей вообще.
follow
Сообщает роботам поисковых систем, что они могут переходить по ссылкам на странице, независимо от того, разрешена страница для индексирования или нет.
nofollow
Обратный по значению предыдущему аттрибуту, запрещает роботам переходить по ссылкам на странице
noarchive
Препятствует тому, чтобы поисковые машины показывали кэшированную копию этой страницы.
nocache
Тоже самое что и noarchive, но используется только MSN/Live.
nosnippet
Препятствует тому, чтобы поисковые машины показали отрывок этой страницы в результатах поиска, и препятствует тому, чтобы они кэшировали страницу.
noodp
Запрещает поисковым машинам использовать описание для этой страницы в DMOZ (иначе ODP), а также сниппеты для Вашей страницы в результатах поиска.
noydir
Запрещает роботу Yahoo! использовать описание для этой страницы в Yahoo!-каталоге, как сниппет для Вашей страницы в результатах поиска. Другие поисковые машины не поддерживают этот тег.

Ресурсы о мета-теге "robots":

Какие поисковые машины поддерживают эти значения meta-тега "robots"?

Robots value Google Yahoo! MSN / Live Ask
index Да Да Да Да
noindex Да Да Да Да
none Да Неувер. Неувер. Да
follow Да Неувер. Неувер. Да
nofollow Да Да Да Да
noarchive Да Да Да Да
nosnippet Да Нет Нет Нет
noodp Да Да Да Нет
noydir Не испол.
Да Не испол. Не испол.

Вы можете заблокировать всех роботов сразу  или же только отдельных роботов, указав их конкретно:

Google
GOOGLEBOT
Yahoo!
SLURP
MSN / Live
MSNBOT
Ask
TEOMA
Список роботов

Источник


Если у Вас возникли вопросы, то для скорейшего получения ответа рекомендуем воспользоваться нашим форумом

    You have no rights to post comments