Как настроить robots noindex для архивов товаров и страниц авторов в WordPress

На небольших и средних сайтах WordPress лишние архивы часто индексируются быстрее, чем полезные страницы. В результате в поиске появляются страницы авторов без контента, архивы по датам, пустые рубрики, а иногда и технические страницы, которые только размывают релевантность. Самая частая ошибка — пытаться решить это одной строкой в robots.txt. Для WordPress этого обычно недостаточно: поисковик может продолжать видеть URL, если они уже попали в sitemap, внутренние ссылки или имеют канонические сигналы не в вашу пользу.

Когда это действительно нужно

Не все архивы надо закрывать. Если у вас новостной проект, блог с сильной структурой авторов или каталог материалов по датам, часть архивов может быть полезной. Но если архив автора ведёт на страницу без описания, а архив даты показывает только список публикаций без дополнительной ценности, такие URL лучше убрать из индексации.

Типичные сценарии:

• на сайте один автор, и архив автора дублирует главную ленту;
• архивы дат создают тысячи слабых страниц;
• рубрики и теги плодятся автоматически и почти не заполнены;
• в sitemap попадают служебные или пустые архивы;
• поиск показывает страницы, которые не должны конкурировать с основными материалами.

Диагностика: что именно индексируется сейчас

Перед правками проверьте, откуда поисковик вообще берёт эти URL. Иначе можно поставить noindex, но оставить страницу в sitemap или в меню, и она продолжит жить своей жизнью.

Что смотреть в первую очередь

• Исходный код страницы — есть ли meta robots с noindex.
• XML-sitemap — попадают ли туда архивы авторов, дат, тегов.
• Канонический URL — не указывает ли он на сам архив вместо полезной страницы.
• Внутренние ссылки — есть ли ссылки из шапки, футера, хлебных крошек.
• Ответ сервера — не отдаёт ли архив 200 OK там, где должен быть закрыт от индексации.

Для быстрой проверки достаточно открыть страницу архива и посмотреть HTML. Если у вас есть доступ к консоли, можно проверить заголовки и код ответа:

curl -I https://example.com/author/admin/

Ищите 200 OK для страниц, которые должны быть доступны пользователю, но не индексироваться. Это нормальная ситуация: noindex не обязан превращать страницу в 404. Важно, чтобы поисковик видел правильные сигналы.

Что лучше: robots.txt, noindex или удаление из sitemap

Для WordPress это не взаимозаменяемые вещи. У каждого метода своя задача. Если закрыть URL в robots.txt, робот может не увидеть страницу, но уже известный URL всё равно может оставаться в индексе. Если поставить noindex, поисковик увидит инструкцию и со временем уберёт страницу из выдачи. Если убрать URL из sitemap, вы уменьшите вероятность повторного обнаружения.

Пошаговое решение через код темы или мини-плагин

Если у вас нет SEO-плагина с удобными настройками, можно аккуратно добавить правила через wp_robots. Это штатный фильтр WordPress, он не требует выдуманных API и работает на уровне генерации мета-тега robots.

1. Добавьте noindex для архивов авторов и дат

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_author() || is_date() ) {
        $robots['noindex'] = true;
        $robots['nofollow'] = false;
    }

    return $robots;
} );

Этот вариант оставляет страницу доступной, но просит поисковик не включать её в индекс. Для большинства сайтов это безопаснее, чем жёстко закрывать URL в robots.txt.

2. Уберите архивы из XML-sitemap, если они не нужны

Если вы используете SEO-плагин, проверьте его настройки sitemap. В коде WordPress можно хотя бы не генерировать лишние ссылки в шаблонах, но сам sitemap обычно удобнее править через настройки плагина. Если у вас собственная логика вывода, не добавляйте туда архивы, которые уже закрыты от индексации.

Для кастомной темы полезно проверить, не выводятся ли ссылки на архивы в хлебных крошках, футере или блоке «автор статьи». Если ссылка есть, поисковик всё равно будет регулярно находить URL.

3. Если архив автора не нужен вообще — перенаправьте его

Когда на сайте один автор, архив автора часто не несёт смысла. В таком случае лучше сделать редирект на главную или на страницу «О сайте», чем оставлять пустую страницу с noindex. Но редирект применяйте только если пользовательский сценарий не страдает.

<?php
add_action( 'template_redirect', function() {
    if ( is_author() ) {
        wp_redirect( home_url( '/' ), 301 );
        exit;
    }
} );

Такой подход уместен, если архив автора точно не нужен ни пользователям, ни поиску. Для многоавторного блога это уже плохая идея: вы потеряете полезную навигацию.

Как проверить, что всё сработало

После внедрения не ограничивайтесь визуальной проверкой. Нужны минимум три шага.

• Откройте архив автора или даты и убедитесь, что в исходном коде появился meta name="robots" с noindex.
• Проверьте, что страница всё ещё отдаёт 200 OK, если вы не делали редирект.
• Посмотрите sitemap и убедитесь, что закрытые архивы не дублируются там без необходимости.

Если используете Google Search Console или Яндекс Вебмастер, отправьте страницу на повторную проверку после обновления. Не ждите мгновенного исчезновения из выдачи: поисковику нужно время, чтобы переобойти URL и учесть новый сигнал.

Частые ошибки и как их исправить

Закрыли URL в robots.txt и ждёте удаления из индекса

Это самая распространённая ошибка. Если робот не может зайти на страницу, он может не увидеть и noindex. Для уже известных URL это часто затягивает очистку индекса. Если задача именно убрать страницу из выдачи, сначала дайте роботу увидеть noindex, а не блокируйте обход.

Поставили noindex, но оставили страницу в sitemap

Такой конфликтный сигнал не ломает сайт, но мешает поисковику быстрее понять вашу логику. Sitemap должен поддерживать основную стратегию индексации, а не спорить с ней.

Сделали редирект на все архивы подряд

Редирект на главную для всех авторских архивов может быть нормальным только на сайте с одним автором. Если авторов несколько, поисковик и пользователи потеряют полезную структуру. В этом случае лучше оставить архивы доступными, но закрыть их от индексации и улучшить саму страницу архива: добавить описание автора, список материалов, контакты или ссылку на профиль.

Использовали noindex на странице, которая должна ранжироваться

Иногда под раздачу попадают рубрики, которые реально приводят трафик. Перед массовым закрытием проверьте аналитику и поисковые запросы. Если архив уже даёт переходы, не убирайте его без причины.

Практические советы по безопасности и производительности

Любые правки лучше вносить не в активную тему напрямую, а через дочернюю тему или небольшой mu-plugin. Тогда обновление темы не затрёт ваши правила. Для проверки на тестовой копии достаточно включить те же условия и сравнить HTML-вывод.

Если на сайте много архивов и таксономий, полезно использовать SEO-плагин, который умеет управлять индексированием без ручного кода. Например, в Clearfy Pro есть инструменты для очистки дублей и технической оптимизации; это удобно, когда нужно централизованно управлять архивами, мета-тегами и лишними страницами. Смотрите настройки и документацию на странице плагина.

Но даже с плагином не отключайте проверку руками. После любых изменений полезно сравнить:

• код ответа страницы;
• наличие noindex в HTML;
• состав sitemap;
• видимость URL в поиске через оператор site: и отчёты вебмастеров.

Короткий чек-лист перед публикацией правок

• Проверил, какие архивы реально нужны пользователю.
• Убедился, что noindex ставится только на нужные типы страниц.
• Не блокировал эти URL в robots.txt без необходимости.
• Удалил лишние архивы из sitemap или настроил плагин SEO.
• Проверил исходный код, ответ сервера и внутренние ссылки.
• Отправил страницы на повторную проверку в вебмастерах.

Если у вас много однотипных архивов, лучше один раз выстроить правило для всей структуры сайта, чем вручную править отдельные URL. В WordPress это обычно решается комбинацией wp_robots, настроек SEO-плагина и аккуратной работы с шаблонами темы.