Как закрыть страницы WordPress от индексации через robots.txt, noindex и meta robots

Если в индексе начали всплывать служебные страницы WordPress — архивы авторов, теги, страницы поиска, вложения, пагинация или технические URL — одной директивы обычно недостаточно. Ошибка здесь в том, что robots.txt, noindex и meta robots решают разные задачи, и их часто смешивают.

Ниже разберём рабочую схему: что закрывать в robots.txt, что лучше отдавать с noindex, как проверить ответ сервера и как не сломать обход сайта поисковиками.

Когда проблема действительно в индексации, а не в дублях

Сначала стоит понять, что именно происходит. Если страница уже в индексе, но не должна там быть, это одна задача. Если же поисковик просто тратит краулинговый бюджет на мусорные URL, это другая. Для WordPress типичный набор проблем выглядит так:

• в поиске появляются страницы /page/2/, /page/3/ архивов;
• индексируются страницы тегов, которые не дают полезного трафика;
• попадают в индекс результаты внутреннего поиска вида ?s=;
• видны вложения медиафайлов как отдельные страницы;
• в индексе остаются служебные разделы автора, если сайт ведётся одним человеком;
• поисковик продолжает обходить URL, которые вы уже закрыли, но не исключили из индекса.

Важно: robots.txt не удаляет URL из индекса сам по себе. Он только ограничивает обход. Если страница уже известна поисковику, а вы хотите убрать её из выдачи, нужен noindex или корректный статус ответа, в зависимости от сценария.

Что использовать: robots.txt, noindex или 404/410

У этих инструментов разное назначение. Ниже — практическое сравнение без теории ради теории.

Если страница нужна пользователю, но не нужна в поиске, обычно выбирают noindex. Если URL вообще не должен существовать, лучше отдавать 410 или 404. Если нужно просто не тратить краулинг на технические пути, помогает robots.txt.

Диагностика: где именно WordPress отдаёт лишние URL

Перед правками проверьте, какие типы страниц реально индексируются. Это можно сделать вручную и через поиск в Google или Яндексе по шаблонам URL. Полезно посмотреть:

• архивы тегов и рубрик;
• страницы автора;
• страницы поиска;
• страницы вложений;
• пагинацию архивов;
• служебные параметры в URL, если они создаются плагинами.

Если у вас установлен SEO-плагин, сначала проверьте его настройки. Многие проблемы уже решаются на уровне шаблонов мета-тегов, без правки ядра и без ручного редактирования каждой страницы.

Быстрая проверка ответа сервера

Перед тем как закрывать URL, убедитесь, что он реально отдаёт тот код и те мета-теги, которые вы ожидаете. Для этого удобно использовать curl:

curl -I https://example.com/?s=test

Если страница должна быть закрыта от индексации, но доступна для просмотра, проверьте HTML-ответ и наличие директивы noindex в <head>. Если URL должен исчезнуть полностью, проверьте, что сервер отдаёт 404 или 410, а не 200.

Пошаговое решение для WordPress

Шаг 1. Закройте технические URL через robots.txt

В robots.txt имеет смысл добавлять только то, что не нужно сканировать. Например, внутренний поиск и некоторые служебные пути. Не стоит туда бездумно складывать всё подряд: если закрыть важную страницу, поисковик не увидит её мета-теги и не сможет корректно обработать noindex.

User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Для WordPress это базовый пример, но он не универсален. Если у вас поиск работает по другому шаблону URL, подставьте свой путь. /wp-admin/ закрывают почти всегда, но admin-ajax.php обычно оставляют доступным, потому что его используют темы и плагины.

Шаг 2. Поставьте noindex на архивы, которые не нужны в поиске

Если архив должен открываться пользователю, но не должен попадать в поиск, используйте noindex. В WordPress это можно сделать через SEO-плагин или кодом. Если нужен точечный контроль без лишних зависимостей, можно добавить фильтр в functions.php дочерней темы или в мини-плагин.

add_filter('wp_robots', function ($robots) {
    if (is_search() || is_author() || is_attachment()) {
        $robots['noindex'] = true;
        $robots['nofollow'] = true;
    }

    if (is_tag()) {
        $robots['noindex'] = true;
    }

    return $robots;
});

Этот вариант использует стандартный фильтр WordPress wp_robots. Он безопаснее, чем ручная печать meta-тега в шаблоне, потому что не ломает совместимость с другими плагинами, которые тоже добавляют директивы.

Шаг 3. Для ненужных страниц отдайте 410 или 404

Если страница больше не нужна, не маскируйте её под живую с noindex. Лучше удалить её из обхода и отдать корректный статус. Например, для старых технических страниц или устаревших URL можно использовать 410, если вы уверены, что контент удалён навсегда.

add_action('template_redirect', function () {
    if (is_page('old-landing')) {
        status_header(410);
        nocache_headers();
        exit;
    }
});

Такой подход уместен только для реально удалённых страниц. Не применяйте его к контенту, который должен остаться доступным пользователям или быть переехавшим на новый адрес с редиректом.

Шаг 4. Проверьте, не мешает ли кэш

После правок иногда оказывается, что поисковик видит старую версию страницы из-за серверного или плагинного кэша. Если вы используете кэширование HTML, обязательно очистите кэш страниц, объектный кэш и CDN, если он есть. Иначе вы будете проверять уже не текущий код, а старый снимок.

Если на сайте стоит плагин для технической чистки и SEO-настроек, например Clearfy Pro, его удобно использовать для централизованного управления частью таких правил: закрытие архивов, чистка служебных элементов и контроль мета-роботов. Но даже в этом случае важно понимать, какие именно URL вы закрываете и зачем.

Как проверить, что решение сработало

Проверка должна быть не по ощущениям, а по фактам. Смотрите сразу на три уровня:

• HTTP-ответ — 200, 404 или 410 там, где вы ожидали;
• HTML — есть ли noindex в <head>;
• индексация — исчез ли URL из поиска после переобхода.

Для быстрой проверки откройте страницу и найдите в исходном коде строку вроде:

<meta name="robots" content="noindex, nofollow" />

Если используете фильтр wp_robots, WordPress может выводить директивы в другом порядке, это нормально. Важен сам факт наличия noindex.

Дополнительно проверьте URL через инструменты вебмастера. Если страница закрыта правильно, она должна либо выпадать из индекса постепенно, либо перестать попадать в новые обходы. Для страниц с 410 процесс обычно быстрее и чище, чем для бесконечного noindex на старом мусоре.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt, но она всё ещё в индексе

Это ожидаемо. robots.txt не удаляет URL из выдачи. Если страница уже в индексе, добавьте noindex или отдайте 404/410, в зависимости от задачи.

Поставили noindex, но оставили страницу закрытой для обхода

Если поисковик не может зайти на страницу, он не увидит директиву noindex. В итоге URL может продолжать висеть в индексе как «известный, но недоступный». Для страниц, которые нужно именно исключить из выдачи, не блокируйте их в robots.txt.

Использовали noindex на всех страницах подряд

Так часто ломают архивы, категории и даже важные посадочные страницы. Закрывать нужно только те типы страниц, которые не несут поисковой ценности. Перед массовой правкой составьте список шаблонов URL и проверьте, какие из них реально должны оставаться открытыми.

Проверяли без очистки кэша

Если кэш не сброшен, вы можете видеть старые мета-теги и старый статус ответа. После изменения правил обязательно очистите кэш плагина, сервера и CDN.

Практические советы по безопасности и производительности

Чем меньше мусорных URL доступно для обхода, тем меньше лишней нагрузки на сайт. Но не стоит превращать robots.txt в свалку правил. Держите там только то, что действительно нужно ограничить на уровне обхода.

Если правите кодом, лучше вынести изменения в мини-плагин или дочернюю тему, а не в основной шаблон. Тогда обновление темы не сотрёт ваши правила. И ещё один практический момент: не закрывайте от индексации страницы, которые должны участвовать в перелинковке и передавать вес, если они важны для структуры сайта.

Для сайтов с большим количеством архивов и служебных страниц полезно периодически пересматривать список закрытых URL. После установки новых плагинов часто появляются дополнительные типы архивов, которые тоже нужно либо индексировать осознанно, либо закрывать по правилам.

Мини-чек-лист перед публикацией правок

• Проверил, нужен ли URL пользователю или только поисковику.
• Для живых страниц использую noindex, а не 404.
• Для удалённых страниц отдаю 404 или 410.
• robots.txt не блокирует страницы, где должен быть виден noindex.
• Сбросил кэш сайта, сервера и CDN.
• Проверил HTML-ответ и статус через curl или браузер.
• Сверил результат в панели вебмастера после переобхода.

Если нужен более централизованный контроль над SEO-настройками и чисткой служебных элементов, можно посмотреть на Clearfy Pro: https://wpshop.ru/plugins/clearfy?utm_source=wptalk.ru&utm_medium=article&utm_campaign=zakryt-ot-indeksacii-stranitsy-v-robots-txt-noindex-i-meta-robots-v-wordpress