← Назад в словарь

Meta Robots

Meta Robots — мета-инструкции для роботов

Суть в одном предложении

Meta robots — это HTML-инструкция для поисковых систем, управляющая индексацией страницы и обработкой ссылок на ней.

Краткое определение

Meta robots — это метатег в <head> страницы, который задаёт правила для поисковых роботов: можно ли индексировать страницу и можно ли переходить по её ссылкам.

Оригинал и перевод

  • Язык: английский
  • Оригинал: Meta Robots
  • Буквальный перевод: мета-инструкции для роботов

Синонимы и варианты написания

  • Robots meta tag
  • Метатег robots
  • Meta robots directives

Происхождение

Метатег robots был введён как механизм точечного управления индексацией отдельных страниц без изменения глобальных правил robots.txt.

Где используется

  • Управление индексацией страниц
  • SEO-оптимизация
  • Закрытие служебных страниц
  • Контроль переходов по ссылкам
  • Управление дублями

Когда это важно

Meta robots критичен, когда:

  • страницу нужно исключить из индекса
  • есть фильтры или сортировки
  • есть служебные страницы
  • есть дубли
  • требуется ограничить передачу ссылочного веса

Подробное объяснение

Meta robots размещается в <head> HTML-документа:

<meta name="robots" content="noindex, nofollow">

Основные директивы:

index / noindex

  • index — разрешить индексацию
  • noindex — запретить индексацию

follow / nofollow

  • follow — разрешить переход по ссылкам
  • nofollow — запретить переход по ссылкам

Примеры:

Индексировать, но не переходить по ссылкам:

<meta name="robots" content="index, nofollow">

Не индексировать, но переходить по ссылкам:

<meta name="robots" content="noindex, follow">

Важное отличие от robots.txt

robots.txt управляет сканированием URL meta robots управляет индексацией страницы

Если страница закрыта в robots.txt, поисковик может не увидеть meta robots вообще.

Типичные ошибки

  • noindex на важных страницах
  • конфликт с canonical
  • блокировка страницы в robots.txt + noindex
  • случайное наследование noindex в шаблоне
  • закрытие pagination без стратегии

Когда использовать noindex

  • страницы фильтрации
  • результаты поиска сайта
  • тестовые страницы
  • дубли
  • технические URL

Аналоги и связанные термины

  • Robots.txt
  • Индексация
  • Canonical URL
  • Crawl budget
  • Sitemap

Пример использования

«Страница доступна, но имеет meta robots noindex, поэтому не появляется в поиске.»

Мини-FAQ

  • Что сильнее: robots.txt или meta robots? Если страница закрыта в robots.txt, meta robots может не быть прочитан.

  • Удаляет ли noindex страницу сразу? Нет. После следующего обхода.

  • Можно ли закрыть страницу только от одного поисковика? Да, указав имя робота вместо "robots".

Смотри также

  • Robots.txt
  • Индексация
  • Canonical URL