Мет-тег "robots" указывает поисковым машинам можно ли индексировать контент или нельзя (index или noindex), можно ли переходить по ссылкам на страницах (follow или nofollow). Это наиболее часто используемые аттрибуты этого тега, но не многие знают, что этот тег имеет довольно большое количество различных аттрибутов, к сожалению, не все из них поддерживаются всеми поисковиками.
Аттрибуты для тега META:
- index
- Позволяет роботам поисковиков индексировать страницу, Вы можете не добавлять его на страницу, он используется по-умолчанию
- noindex
- Этот наоборот, запрещает роботам поисковиков индексировать страницу.
- none
- Это сокращение для noindex, nofollow, говорящий поисковым машинам: ничего не делайте с этой страницей вообще.
- follow
- Сообщает роботам поисковых систем, что они могут переходить по ссылкам на странице, независимо от того, разрешена страница для индексирования или нет.
- nofollow
- Обратный по значению предыдущему аттрибуту, запрещает роботам переходить по ссылкам на странице
- noarchive
- Препятствует тому, чтобы поисковые машины показывали кэшированную копию этой страницы.
- nocache
- Тоже самое что и noarchive, но используется только MSN/Live.
- nosnippet
- Препятствует тому, чтобы поисковые машины показали отрывок этой страницы в результатах поиска, и препятствует тому, чтобы они кэшировали страницу.
- noodp
- Запрещает поисковым машинам использовать описание для этой страницы в DMOZ (иначе ODP), а также сниппеты для Вашей страницы в результатах поиска.
- noydir
- Запрещает роботу Yahoo! использовать описание для этой страницы в Yahoo!-каталоге, как сниппет для Вашей страницы в результатах поиска. Другие поисковые машины не поддерживают этот тег.
Ресурсы о мета-теге "robots":
- Google did a blogpost on the Google Webmaster Central Blog
- Live has a site owner help page for it
- You can search Yahoo!'s Webmaster resources
- Ask.com has some info about it in it's Webmaster resource page
- Official robots.txt pages
Какие поисковые машины поддерживают эти значения meta-тега "robots"?
| Robots value | Yahoo! | MSN / Live | Ask | |
|---|---|---|---|---|
| index | Да | Да | Да | Да |
| noindex | Да | Да | Да | Да |
| none | Да | Неувер. | Неувер. | Да |
| follow | Да | Неувер. | Неувер. | Да |
| nofollow | Да | Да | Да | Да |
| noarchive | Да | Да | Да | Да |
| nosnippet | Да | Нет | Нет | Нет |
| noodp | Да | Да | Да | Нет |
| noydir | Не испол. |
Да | Не испол. | Не испол. |
Вы можете заблокировать всех роботов сразу или же только отдельных роботов, указав их конкретно:
- GOOGLEBOT
- Yahoo!
- SLURP
- MSN / Live
- MSNBOT
- Ask
- TEOMA
Подробнее...