Автор: Александр Ожгибесов, руководитель агентства поискового маркетинга Ozhgibesov Agency. Время чтения: ~6 минут. Обновлено: 09.09.2026
Индексация — это процесс, при котором поисковая система анализирует страницы сайта и заносит их в свою базу данных (индекс) для последующего ранжирования. Без индексации страница не появится в выдаче. Но далеко не все страницы сайта должны туда попадать.
В этом руководстве разберём:
- как работает индексация и сканирование;
- что такое краулинговый бюджет и почему его нужно беречь;
- какие именно страницы и разделы стоит закрывать;
- все рабочие способы запрета индексации (robots.txt, meta robots, X-Robots-Tag, Clean-param и другие);
- как проверить результат.
Материал основан на практической работе с сайтами и инструментами Яндекс.Вебмастера и Google Search Console.
Дополнительный материал: Ссылка на обзор Яндекс.Вебмастера.
Что такое индексация и как она работает
Индексация — это процесс анализа сайта или отдельных страниц поисковыми системами и занесения информации в базу данных (индекс). После этого страница может участвовать в ранжировании и появляться в выдаче (включая дополнительные элементы вроде нулевого ответа / нейроответов).
Как это происходит на практике:
- Поисковая система узнаёт о существовании страницы. Источники информации:
- вы сами сообщаете через инструменты «Переобход» / URL Inspection;
- Sitemap.xml;
- данные из Яндекс.Метрики / Google Analytics;
- переходы пользователей и внутренние ссылки.
- Планируется краулинговый бюджет — робот решает, когда и сколько страниц обойти.
- Происходит сканирование: робот запрашивает контент страницы, проверяет, отображается ли она, нет ли технических проблем, соответствует ли она требованиям.
- Если всё в порядке — страница попадает в индекс и дальше может ранжироваться.
Важно: сканирование и индексация — разные этапы. Страница может быть просканирована, но не проиндексирована (или наоборот — долго ждать сканирования).
SEO-консультации от Александра Ожгибесова: все, что Вы должны знать
10 000₽/1 час
Краулинговый бюджет: почему он критичен для SEO
Краулинговый бюджет — это количество страниц, которое робот поисковой системы готов просканировать на вашем сайте за определённый период (обычно считают в день).
Пример: сайт на 15 000 страниц, а бюджет — 300 сканирований в день. Робот успеет обойти только часть сайта. Если он тратит этот ресурс на 404-е страницы, дубли, служебные разделы или устаревший контент — важные страницы получают меньше внимания.
Прямого влияния на ранжирование у краулингового бюджета нет. Но он критически важен для:
- первичного попадания новых страниц в индекс;
- регулярного обновления важного контента (особенно в интернет-магазинах, где товары появляются и исчезают);
- скорости обнаружения изменений.
3.1. Когда бюджета не хватает
Бюджет «съедается» в следующих случаях:
- Технические ошибки:
- 404 и 500 страницы;
- ненужные редиректы (особенно цепочки);
- битые и недоступные страницы.
- Ненужные разделы и дубли, на которые робот ходит впустую.
- Старый / нерелевантный контент, который владелец давно не обновляет. Роботы начинают реже посещать такой сайт, и бюджет снижается.
- Отсутствие приоритезации: важные коммерческие разделы получают столько же внимания, сколько второстепенные.
Что делать:
- Убирать лишние редиректы и менять ссылки в коде на конечные URL.
- Закрывать от индексации (и желательно от сканирования) всё, что не нужно.
- Регулярно обновлять важный контент — это поддерживает интерес роботов.
- Настраивать приоритеты так, чтобы ключевые разделы получали больше сканирований.
3.2. Где смотреть статистику обхода
- Google Search Console → Настройки → Статистика сканирования (или отчёт о сканировании). Там видно количество запросов на сканирование и как расходуется бюджет.
- Яндекс.Вебмастер → Статистика обхода. Подробный разбор этого раздела уже был на канале.
Зачем запрещать индексацию
Закрывать нужно те страницы и дубли, которые:
- могут попасть в индекс, но там не нужны;
- являются техническими / служебными;
- содержат конфиденциальную информацию;
- создают дубли и размывают релевантность.
Типичные кандидаты: результаты внутреннего поиска, корзина (особенно результаты), личный кабинет, страницы с параметрами, административные разделы, черновики и страницы в разработке.
Что нужно закрывать от индексации всегда
Список того, что почти всегда стоит закрывать:
- Бесполезные для посетителей и поисковиков страницы:
- административная часть;
- внутренняя переписка / SMS-страницы;
- личная информация пользователей.
- Страницы с нерелевантным или очень слабым контентом (в процессе разработки или тестовые).
- Страницы, предназначенные для узкого круга лиц (внутренние системы для сотрудников).
- Аффилиатные / сателлитные сайты одной компании, которые конкурируют друг с другом в выдаче (лучше скрывать от индексации, чтобы не каннибализировать).
- Дубли (особенно с GET-параметрами).
- Корзина и результаты поиска по сайту (не саму страницу корзины, а динамические результаты).
- Личный кабинет пользователя.
Пример из практики:
На сайте агентства есть страницы разного качества. Страницу с подробным полезным контентом оставляем открытой. Страницы с минимальным контентом (например, короткие анонсы видео с тайм-кодами) либо дорабатываем, либо закрываем от индексации, если поисковик начинает их выкидывать. Постоянное добавление слабых страниц без доработки может негативно сказываться.
Продвижение сайтов Комплексные работы по продвижению сайтов: аналитика, стратегия, работа по KPI в виде трафика.
Способы закрытия страниц от индексации
Есть несколько уровней и инструментов. Их можно и нужно комбинировать.
1. Файл robots.txt
Это файл инструкций для роботов. По нему поисковик понимает, какие страницы можно сканировать, а какие — нет.
Чтобы заблокировать страницы, используют директиву Disallow.
Пример правила:
Disallow: /*?
Такое правило закрывает все URL с параметрами после знака вопроса.
Важные нюансы:
- robots.txt в первую очередь влияет на сканирование. Google и Яндекс в целом его учитывают, но для гарантированного запрета индексации в Google лучше дополнительно использовать meta robots и canonical.
- Проверять правила можно через:
- инструмент проверки robots.txt в Google Search Console (старый, но рабочий);
- Яндекс.Вебмастер;
- сторонние краулеры (например, Screaming Frog).
2. Meta-тег robots
Самый надёжный и распространённый способ для большинства поисковых систем.
Пример:
meta name=»robots» content=»noindex, nofollow»
- noindex — не индексировать страницу;
- nofollow — не переходить по ссылкам с этой страницы.
Можно указывать конкретного бота:
meta name=»googlebot» content=»noindex, nofollow»
Полезно, если нужно скрыть поддомен или раздел только от Google, а в Яндексе оставить.
3. HTTP-заголовок X-Robots-Tag
Аналог meta robots, но передаётся на уровне HTTP-заголовка. Используется, когда нет возможности вывести meta-тег в HTML (например, на файлах PDF, изображениях или при определённых настройках сервера).
Пример заголовка:
X-Robots-Tag: noindex, nofollow
Рекомендация: даже при использовании X-Robots-Tag лучше дополнительно ставить meta-тег robots, если это возможно.
4. Директива Clean-param (Яндекс)
Специфичная директива Яндекса. Позволяет указать, какие GET-параметры не нужно учитывать, и передавать накопленные показатели основному URL.
Инженеры Яндекса иногда относятся к ней неидеально: даже при наличии meta robots и canonical Яндекс может продолжать считать страницу с параметром дублем. В таких случаях Clean-param помогает дополнительно.
5. Жёсткие методы
- Закрытие страницы паролем (через CMS или сервер). Робот не сможет получить контент.
- Правила в .htaccess (для Apache).
- Специальные плагины CMS (на WordPress и других системах есть плагины, которые позволяют закрывать отдельные страницы/типы записей от индексации удобным интерфейсом).
Как проверить, что страница действительно закрыта
Рабочие инструменты:
- Плагины браузера (например, SEO-плагины вроде SiteAnalyzer, или специализированные):
- статус ответа (200 / 404 и т.д.);
- canonical;
- meta robots;
- X-Robots-Tag.
- Labrika (или аналоги) — показывает canonical и robots-директивы прямо на странице.
- Яндекс.Вебмастер и Google Search Console — инструменты проверки URL / robots.txt.
- Screaming Frog или другие краулеры — массовая проверка.
Практические рекомендации и типичные ошибки
Что делать системно:
- Закрывайте служебные, дублирующие и слабые страницы.
- Оптимизируйте краулинговый бюджет: убирайте 404/500, лишние редиректы, закрывайте ненужные разделы.
- Обновляйте важный контент, чтобы роботы не снижали частоту обхода.
- Комбинируйте методы: robots.txt + meta robots (+ Clean-param для Яндекса при необходимости).
- Для Google особенно важны meta robots и корректный canonical.
Типичные ошибки:
- Надеяться только на robots.txt в Google (для надёжного noindex лучше meta).
- Оставлять слабые страницы открытыми «на всякий случай».
- Не убирать старые редиректы и битые страницы.
- Закрывать важные коммерческие страницы по ошибке.
- Игнорировать статистику обхода в Вебмастере и Search Console.
Правильное управление индексацией — это не разовая настройка, а часть технического SEO. Закрывая ненужное, вы:
- экономите краулинговый бюджет;
- уменьшаете количество дублей;
- даёте поисковикам более чистый и качественный сигнал по важным страницам;
- снижаете риски, связанные со служебным и слабым контентом.
Начинайте с аудита: какие страницы реально нужны в индексе, а какие только мешают. Затем применяйте robots.txt + meta robots как базовую связку и проверяйте результат инструментами.
Если нужна помощь с аудитом индексации, настройкой robots.txt, Clean-param или оптимизацией краулингового бюджета на конкретном проекте — обращайтесь в агентство.
Кейсы и отзывы
Продвижение принесло рост SEO-трафика до 1,16 млн визитов в год. За 21 месяц работы число уникальных посетителей увеличилось на 158%, а трафик из Яндекса вырос на 216%, что обеспечило стабильное присутствие в ТОП-10 по 25 699 запросам.
За 13 месяцев создали качественный сервис, применяя продуктовый подход в SEO для разработки сайта. Сайт запущен 20 февраля 2023 года. По результатам 15 месяцев SEO продвижения достигли 1,5 млн трафика в месяц и 8,39 млн общего трафика . Для этого использовали ключевые методики SEO-оптимизации.
За 23 месяца мы трансформировали сайт Elate Moving, внедрив редизайн и SEO-стратегию. По итогам продвижения к началу 2025 года достигли 3870 запросов в ТОП-5 Google в Америке, 6776 в ТОП-10 и 1100 ссылок с 235 доменов. Использовали семантику на 13 000 запросов и ссылочную оптимизацию.
Кейс не является полностью завершенным. Мы идем по самому максимальному прогнозу трафика ниши. К 11 месяцу мы выполнили наш максимальный из четырех возможных прогнозов по месячным визитам на 105%. Есть не менее важный KPI, который мы пообещали выполнить. Это сделать 1 миллион визитов в рамках первого года продвижения.
Абсолютно идеальный кейс, где царила гармония между заказчиком и специалистом. Нам удалось внедрить более 25 000 запросов в категорийной семантике. Были выявлены самые важные страницы и написаны качественные SEO-текста, внедрена перелинковка, реализована региональная стратегия продвижения.
Все работы по проекту были завершены в Январе 2022 года, срок сотрудничества составил 16 месяцев. За последний год с поисковых систем сайт получил 254 тысячи посетителей. Объем трафика из SEO составляет 84,73% от всего трафика. Трафик из поисковых систем в месяц – с 0 до 25 тысяч посетителей. Позиции сайта впечатляют: 22% запросов в ТОП 5 (16 199 ключевых фраз), 41% запросов в ТОП 10 (30 855 ключевых фраз). Динамика видимости сайта показывает рост.
Сложность обусловлена тем, что в выдаче по коммерческим запросам присутствуют информационные результаты. Для того, чтобы избежать каннибализации, нам пришлось применять нестандартные методики, а именно, проведение текстового анализа в сравнении сразу с 2 типами конкурентов.
«Долго запрягаем, да быстро едем!». Пока велись работы по редизайну сайта, нам удалось провести всю необходимую аналитику для SEO. В следствие этого первые результаты по росту трафика и позиций получили за 3 месяца, на 50% позиций в ТОП вышли через 6 месяцев. В мае мы приступили к внедрению работ на сайт.
