Как запретить индексацию архивов авторов и меток в WordPress без потери нужных страниц

На небольших и средних сайтах WordPress чаще всего проблема не в нехватке контента, а в его распылении: в индекс попадают архивы авторов, меток, дат и служебные страницы, которые дублируют друг друга и забирают краулинговый бюджет. Особенно это заметно на блогах, корпоративных сайтах и статейниках, где один и тот же материал доступен через несколько путей.

Ниже разберём, как аккуратно закрыть от индексации архивы авторов и меток, когда это действительно нужно, чем отличается noindex от удаления шаблона из выдачи и как проверить, что настройка сработала.

Когда архивы авторов и меток мешают SEO

Сами по себе архивы не являются ошибкой. Проблема начинается, когда они создают малоценные страницы:

• архив автора содержит 1–2 записи и почти не отличается от главной ленты;
• метки дублируют рубрики или используются как произвольные теги без структуры;
• в индексе появляются страницы пагинации архивов, которые не несут самостоятельной ценности;
• поиск по сайту, архивы дат и служебные страницы конкурируют с основными статьями в выдаче.

Если сайт небольшой, а контента немного, поисковик часто тратит время на обход страниц, которые не должны ранжироваться. В итоге полезные страницы индексируются медленнее, а в отчётах Search Console появляются URL без трафика и без смысла.

Диагностика: что именно попало в индекс

Перед правками нужно понять, какие архивы уже индексируются. Не стоит закрывать всё подряд: иногда архив автора полезен для медиа-проектов, а теги работают как нормальная навигация.

Что проверить вручную

• введите в поиске site:example.com author и site:example.com tag;
• посмотрите, есть ли в выдаче страницы вида /author/username/ и /tag/slug/;
• откройте HTML-код страницы и найдите мета-тег robots;
• проверьте, не создаёт ли SEO-плагин отдельные правила для архивов.

Если на странице уже стоит noindex, но она всё равно видна в поиске, обычно причина в том, что поисковик ещё не переобошёл URL или страница доступна по нескольким адресам без каноникала.

Что смотреть в Search Console

В отчёте по индексированию полезно искать не только ошибки, но и «Просканировано — не проиндексировано». Для архивов это типичный сигнал: робот видит страницу, но не считает её достаточно полезной. Если таких URL много, лучше не надеяться на естественное исключение, а задать явное правило.

Какой способ выбрать: плагин, настройки темы или код

Для большинства сайтов есть три рабочих варианта. Выбор зависит от того, чем вы управляете — SEO-плагином, темой или собственным кодом.

Если архив нужен людям, но не нужен в поиске, обычно достаточно noindex,follow. Если архив не нужен вообще, лучше не просто закрывать его от индексации, а убрать страницу из пользовательского сценария или отдать 404/410 в зависимости от задачи.

Пошаговое решение через код

Если вы не хотите зависеть от SEO-плагина, можно добавить мета-robots для архивов авторов и меток через хук wp_head. Это не самый «магический» способ, зато он понятен и легко проверяется.

add_action('wp_head', function () {
    if (is_author() || is_tag()) {
        echo "<meta name=\"robots\" content=\"noindex,follow\" />\n";
    }
});

Этот вариант подходит, если у вас нет другого SEO-слоя, который уже выводит robots. Если плагин тоже добавляет мета-теги, можно получить конфликт или дублирование. В таком случае нужно оставить только один источник правды.

Если вы хотите закрыть архивы более жёстко, можно добавить HTTP-заголовок X-Robots-Tag. Это полезно для страниц, где мета-тег может не отработать из-за нестандартного шаблона.

add_action('template_redirect', function () {
    if (is_author() || is_tag()) {
        header('X-Robots-Tag: noindex, follow', true);
    }
});

Но здесь есть важная оговорка: заголовки нужно отправлять до любого вывода. Если тема или плагин уже начал печатать HTML, заголовок не установится. Поэтому такой код лучше держать в дочерней теме или в небольшом функциональном плагине.

Если используете SEO-плагин

В Yoast SEO и Rank Math обычно есть отдельные переключатели для архивов авторов, тегов и дат. Это удобнее, чем вручную писать код, если у вас уже настроен весь SEO-стек. Логика простая: для архивов ставите noindex, а сами страницы оставляете доступными для обхода.

Если на сайте несколько авторов и у каждого есть сильная страница профиля с уникальным описанием, архив автора можно оставить индексируемым. Но тогда он должен быть полноценной посадочной страницей, а не просто списком записей без текста.

Что делать с архивами меток, если они уже используются в навигации

Метки часто создают больше шума, чем пользы. Но удалять их без анализа не стоит: иногда они помогают связать материалы по узкой теме. Практичный вариант — оставить только те метки, которые реально собрали контент и имеют смысл для пользователя.

• проверьте, есть ли у метки хотя бы несколько релевантных записей;
• уберите метки, которые дублируют рубрики;
• не создавайте новые метки ради SEO;
• если метка нужна для фильтрации на сайте, но не для поиска, закройте её от индексации.

Если на сайте уже накопилось много пустых или почти пустых тегов, сначала приведите в порядок таксономию, а потом задавайте noindex. Иначе вы просто спрячете проблему, но не уберёте дубли внутри структуры.

Проверка результата после внедрения

После правок не ограничивайтесь просмотром исходника. Нужно проверить несколько уровней.

1. Откройте архив автора или метки в браузере и убедитесь, что в <head> есть noindex,follow.
2. Проверьте, не выводится ли второй robots-тег из SEO-плагина.
3. Посмотрите заголовки ответа через DevTools или curl -I https://example.com/tag/slug/, если используете X-Robots-Tag.
4. Отправьте URL на переобход в Search Console, если страница уже была в индексе.
5. Через несколько дней проверьте, исчез ли URL из отчёта по страницам и не остались ли дубли в выдаче.

Если страница всё ещё индексируется, не спешите менять стратегию. Сначала убедитесь, что:

• нет каноникала, указывающего на саму страницу как на основную;
• страница не закрыта в robots.txt, но при этом уже была проиндексирована ранее;
• на сайте нет внутренних ссылок с анкором, который активно поддерживает этот URL;
• SEO-плагин не перезаписывает ваши правила.

Частые ошибки и как их исправить

Ставят noindex в robots.txt

Это старая и неверная практика. В robots.txt нельзя надёжно задать noindex для современных сценариев. Если нужно исключить страницу из индекса, используйте мета-тег robots или HTTP-заголовок.

Закрывают архивы и ломают навигацию

Если архив нужен пользователю, не удаляйте его из интерфейса только ради SEO. Лучше оставить страницу доступной, но закрыть от индексации. Иначе можно ухудшить поведенческие сигналы и внутреннюю перелинковку.

Получают дубли robots-тегов

Это частая проблема при сочетании кастомного кода и SEO-плагина. Решение одно: оставить один источник генерации robots. Если плагин умеет управлять архивами, уберите самописный вывод.

Закрывают всё подряд

Иногда после аудита закрывают и авторов, и метки, и рубрики, и пагинацию, а потом удивляются падению внутренней связности. Не все архивы бесполезны. Сначала оцените структуру сайта, потом принимайте решение по каждой таксономии отдельно.

Практические советы по безопасности и производительности

Если правите тему, не вносите изменения напрямую в родительскую тему. Используйте дочернюю тему или небольшой mu-plugin. Так вы не потеряете правки после обновления.

Для сайтов с большим числом архивов полезно дополнительно почистить дубли и служебные страницы. Если у вас уже стоит Clearfy Pro, его инструменты по удалению дублей и чистке сайта могут сэкономить время на ручной настройке, но всё равно проверьте итоговую разметку и robots на реальных URL.

И ещё один практический момент: не закрывайте от индексации страницу только потому, что она «не нравится» в отчёте. Сначала смотрите на реальную роль URL в структуре сайта, а потом уже решайте, нужен ли ему индекс.