Meta Robots
Суть в одном предложении
Meta robots — это HTML-инструкция для поисковых систем, управляющая индексацией страницы и обработкой ссылок на ней.
Краткое определение
Meta robots — это метатег в <head> страницы, который задаёт правила для поисковых роботов: можно ли индексировать страницу и можно ли переходить по её ссылкам.
Оригинал и перевод
- Язык: английский
- Оригинал: Meta Robots
- Буквальный перевод: мета-инструкции для роботов
Синонимы и варианты написания
- Robots meta tag
- Метатег robots
- Meta robots directives
Происхождение
Метатег robots был введён как механизм точечного управления индексацией отдельных страниц без изменения глобальных правил robots.txt.
Где используется
- Управление индексацией страниц
- SEO-оптимизация
- Закрытие служебных страниц
- Контроль переходов по ссылкам
- Управление дублями
Когда это важно
Meta robots критичен, когда:
- страницу нужно исключить из индекса
- есть фильтры или сортировки
- есть служебные страницы
- есть дубли
- требуется ограничить передачу ссылочного веса
Подробное объяснение
Meta robots размещается в <head> HTML-документа:
<meta name="robots" content="noindex, nofollow">Основные директивы:
index / noindex
- index — разрешить индексацию
- noindex — запретить индексацию
follow / nofollow
- follow — разрешить переход по ссылкам
- nofollow — запретить переход по ссылкам
Примеры:
Индексировать, но не переходить по ссылкам:
<meta name="robots" content="index, nofollow">Не индексировать, но переходить по ссылкам:
<meta name="robots" content="noindex, follow">Важное отличие от robots.txt
robots.txt управляет сканированием URL
meta robots управляет индексацией страницы
Если страница закрыта в robots.txt, поисковик может не увидеть meta robots вообще.
Типичные ошибки
- noindex на важных страницах
- конфликт с canonical
- блокировка страницы в robots.txt + noindex
- случайное наследование noindex в шаблоне
- закрытие pagination без стратегии
Когда использовать noindex
- страницы фильтрации
- результаты поиска сайта
- тестовые страницы
- дубли
- технические URL
Аналоги и связанные термины
- Robots.txt
- Индексация
- Canonical URL
- Crawl budget
- Sitemap
Пример использования
«Страница доступна, но имеет meta robots noindex, поэтому не появляется в поиске.»
Мини-FAQ
- Что сильнее: robots.txt или meta robots?
Если страница закрыта в robots.txt, meta robots может не быть прочитан.
- Удаляет ли noindex страницу сразу?
Нет. После следующего обхода.
- Можно ли закрыть страницу только от одного поисковика?
Да, указав имя робота вместо "robots".
Смотри также
- Robots.txt
- Индексация
- Canonical URL