Как проверить индексацию сайта в Google: страницы в индексе и процент покрытия
Проверка индексации сайта в Google начинается с простого вопроса: сколько страниц вашего домена поисковик действительно хранит в базе, а сколько вы считаете опубликованными. В родительском материале Cedar Journal Алексей Петров описал типичную ситуацию, когда интернет-магазин на несколько тысяч товаров получает в выдаче лишь несколько сотен карточек, и владелец долго не понимает причину. Здесь мы углубимся в практическую методику: как подготовить данные, посчитать процент покрытия и разобрать, почему расхождение возникает. Ключевая мысль родительской статьи остаётся прежней: цифра «в индексе» важна только тогда, когда её сопоставляют с эталоном и отслеживают в динамике.
Прежде чем открывать любой инструмент, стоит собрать базу для сравнения. Понадобятся доступ к Google Search Console с правами на домен, выгрузка карты сайта в формате XML и список URL, который отдаёт CMS или база товаров. Без эталонного списка страниц процент покрытия не имеет смысла: поисковик покажет число, но вы не будете знать, что именно должно было попасть в индекс. Поэтому первым шагом фиксируется полный перечень адресов, которые вы считаете публичными и значимыми, с датой выгрузки. Сама по себе проверка индексации сайта показывает, какая часть страниц уже попала в результаты поиска, поэтому начинать её стоит с понимания того, какие URL вообще должны там быть.
Регулярные замеры раз в месяц с записью показателей дадут картину, по которой видно, работают ли изменения
Доступы и инструменты для старта
Для точной проверки нужны три источника данных: отчёт «Страницы» в Search Console, карта сайта и внутренняя база URL. Отчёт показывает статусы каждого адреса, известного поисковику, карта задаёт то, что владелец хочет видеть в выдаче, а база CMS или товарной системы подскажет, сколько страниц существует на самом деле. Если сайт крупный, выгрузка через API позволяет обработать данные целиком, без ограничений интерфейса. Совпадение трёх источников обычно невозможно, и именно их расхождение становится предметом анализа.
Отдельно стоит проверить, что карта содержит только рабочие адреса и её путь указан в robots.txt. Карта с редиректами, ответами 404 или страницами с директивой noindex искажает эталон и занижает покрытие, хотя проблема лежит в самом списке, а не в индексе. Такой аудит занимает немного времени и часто даёт заметный прирост метрики без правок контента.
Определение генеральной совокупности
Знаменатель процента покрытия задаёт сама методика подсчёта, поэтому состав генеральной совокупности нужно определить до расчётов. Обычно в неё входят карточки товаров, категории, статьи и информационные страницы, то есть все URL, которые должны индексироваться по замыслу проекта. Фильтры, сортировки, пагинация второго и последующих уровней, служебные разделы и результаты внутреннего поиска в эталон обычно не включаются, поскольку их индексация не является целью.
Если включить в знаменатель все технические варианты адресов, процент покрытия окажется заниженным, и владелец начнёт «чинить» то, что чинить не нужно. Если же исключить слишком много, метрика станет завышенной и перестанет отражать проблемы. Граница между этими крайностями проводится по бизнес-ценности: страница, которая не нужна покупателю в поиске, не должна портить картину. Зафиксируйте список правил исключения в документе, чтобы при повторных замерах знаменатель оставался тем же.
Фиксация исходной точки
Без зафиксированной базы динамику оценить невозможно. Снимок текущих показателей должен включать дату, количество URL в карте, число проиндексированных страниц, версию сайта и состав генеральной совокупности. Если в этот период проводились миграции, смена CMS или редизайн, отметьте это явно: иначе внезапный скачок или провал будет принят за результат текущих работ.
Удобно вести простую таблицу с ежемесячными записями, где каждая строка соответствует одному замеру. Через несколько циклов станет видно, растёт ли покрытие после исправлений и как быстро реагирует поисковик на изменения. Разовая цифра на конкретную дату мало что говорит, зато ряд наблюдений показывает реальную тенденцию.
Прямые запросы site: и их границы
Оператор site: даёт быструю оценку порядка величин. Запрос вида site:domain.ru показывает, сколько страниц домена Google знает, а уточнение site:domain.ru/category/ позволяет сравнить отдельный раздел с его ожидаемым объёмом. Этот приём полезен для первичной диагностики, например, чтобы понять, есть ли серьёзный разрыв между картой и выдачей.
Однако результат оператора нельзя использовать как точную метрику. Число заметно меняется от обновления к обновлению, а в выдаче с большим количеством результатов поисковик показывает приблизительную величину. Полный список адресов через site: получить невозможно, поэтому для отчётности и принятия решений опирайтесь на Search Console, а оператор оставьте для быстрой проверки гипотез.
Отчёт «Страницы» в Search Console
Отчёт «Страницы» разделяет адреса по статусам, и каждый статус требует своей реакции. Статус «Проиндексирована» подтверждает, что страница в базе. Статус «Просканирована, но не проиндексирована» означает, что робот посетил адрес, но решил не сохранять его: чаще всего причина в слабом содержимом, дублировании или низкой ценности. Статус «Обнаружена, но не просканирована» говорит о том, что поисковик знает адрес, но ещё не добрался до него, и обычно это вопрос бюджета обхода и внутренней перелинковки.
Ошибкой будет реагировать на все статусы одинаково. Для «Просканирована, но не проиндексирована» нужно улучшать содержимое и уникальность, а для «Обнаружена, но не просканирована» — усиливать ссылки и структуру разделов. Смешение этих задач приводит к правкам, которые не дают эффекта, потому что исправляется не та причина.
Инспекция URL и выборочная проверка
Инспекция отдельного адреса показывает, проиндексирован ли он, когда его последний раз сканировал робот, какая версия сохранена и не мешают ли директивы. Полный перебор тысяч URL вручную не нужен: выборка из двадцати-тридцати адресов из каждого типа страниц обычно выявляет системную причину быстрее. Если все проверенные карточки товаров помечены как каноническая версия другого адреса, проблема в шаблоне, а не в отдельных карточках.
При выборочной проверке сверяйте не только статус индексации, но и код ответа, каноническую ссылку и финальный адрес после редиректов. Адрес с цепочкой перенаправлений или с каноническим указанием на другую страницу может выглядеть проблемным, хотя ошибка находится выше по цепочке. Запрос на повторное сканирование ускоряет обработку, но не гарантирует включение в индекс, если страница слабая или дублирующая.
Формула покрытия и её корректный расчёт
Процент покрытия считается как число проиндексированных страниц из эталонного списка, делённое на общее число индексируемых URL, умноженное на сто. Ключевое слово здесь — «эталонного»: в числитель попадают только те адреса, которые входят в генеральную совокупность, иначе к вам придут лишние дубли и служебные страницы, искажая результат. Именно поэтому состав совокупности фиксируется заранее.
Пример логики: если в эталоне две тысячи карточек и категорий, а в индексе из них тысяча двести, покрытие составляет шестьдесят процентов. Но этот показатель следует читать вместе с разбивкой по типам, поскольку общий процент может скрывать провалы в отдельных разделах. Сравнивайте результаты одного и того же состава совокупности, иначе динамика потеряет смысл.
Разбивка по типам страниц
Общий процент скрывает проблемные сегменты, поэтому покрытие нужно считать отдельно для товаров, категорий и блога. Если категории проиндексированы почти полностью, а карточки лишь наполовину, причина, скорее всего, в объёме уникального содержимого на карточках или в их перелинковке. Разбивка показывает, где искать узкое место, и позволяет сосредоточить усилия, а не править сайт целиком.
Такой подход особенно полезен, когда в проекте сочетаются разные типы страниц с разной ценностью. Карточка товара, снятого с продажи, естественно выпадает из индекса, а категория, которая приносит трафик, должна оставаться в нём всегда. Сегментация разделяет естественное выпадение и реальную проблему.
Пороги и ориентиры
Абсолютного эталона покрытия не существует: для медиа с однотипными и хорошо связанными материалами заметно выше, чем для интернет-магазина, где ассортимент постоянно меняется. Поэтому ориентироваться стоит на собственную динамику и на долю критичных разделов. Если ключевые категории стабильно проиндексированы, а общий показатель колеблется из-за сезонных карточек, тревожиться не о чем. Если нужно регулярно отслеживать покрытие по разделам без ручной выгрузки отчётов, при выборе сервиса стоит посмотреть, умеет ли PromoPilot™ — Cascad сравнивать динамику по группам страниц и показывать изменения во времени.
Тревожным сигналом служит устойчивое снижение покрытия в критичном сегменте или резкий провал после изменений структуры. В таких случаях рекомендуется немедленно проверять технические причины и только потом переходить к контенту. Пороги вырабатываются на основе ваших замеров, а не заимствуются из чужих цифр.
Технические ограничения индексации
Технические причины проверяются раньше контентных, потому что они блокируют индексацию независимо от качества страницы. Директива noindex, блокировка в robots.txt, ошибки 4xx и 5xx, а также цепочки редиректов не позволяют адресу попасть в базу. Проверка начинается с кода ответа и заголовков: страница, которая отдаёт 200 и не содержит запрета, имеет шанс на индексацию, а страница с ошибкой сервера — нет.
Отдельно стоит внимание к robots.txt: одна неверная строка может закрыть целый раздел, и он выпадет из индекса за несколько обходов. После каждого обновления шаблонов или перехода на новую CMS проверяйте файл и выборочные адреса разделов. Такая простая процедура предотвращает массовые потери, которые трудно заметить по косвенным признакам.
Дубли и канонические конфликты
Один товар может быть доступен по десяти адресам: с сортировкой, фильтром, меткой рекламной кампании или закладкой в конце URL. Поисковик воспринимает каждый вариант как отдельную страницу, если не настроены канонические ссылки. В результате индекс засоряется копиями, а полезные страницы теряются среди них, что снижает общее покрытие полезного контента.
Конфликты возникают и между версиями домена: с www и без него, по http и https, со слэшем на конце и без. Выберите одну каноническую форму, закрепите её редиректами и канонической ссылкой, затем проверьте, что все внутренние ссылки ведут на неё. Когда версии сведены к одной, поисковику не приходится выбирать между ними, и нужная страница с большей вероятностью сохраняется в индексе.
Качество и внутренняя перелинковка
Тонкий контент, сиротские страницы и слабая глубина сайта ограничивают индексацию сильнее, чем кажется. Страницы без внутренних ссылок сканируются реже, а страницы с минимальным содержимым поисковик считает малоценными. Сиротская страница, на которую не ведёт ни одна ссылка внутри сайта, рискует навсегда остаться за пределами обхода, даже если она есть в карте.
Исправление начинается с аудита перелинковки: найдите адреса без входящих ссылок и добавьте их в категории, подборки и связанные материалы. Затем оцените содержимое карточек и статей: если текст состоит из шаблонной фразы, а отличаются лишь название и цена, поисковику трудно выделить такую страницу среди тысяч похожих. Глубина сайта, то есть число кликов от главной, тоже важна: чем глубже страница, тем реже до неё добирается робот.
Практический чеклист проверки индексации
Чеклист превращает разовую проверку в регулярный процесс. Он включает пять действий: сформировать эталонный список URL, сверить его с отчётом Search Console, проверить канонические теги и коды ответа на выборке, проанализировать статусы исключённых страниц и повторить замер через две-четыре недели. Каждое действие даёт конкретный результат, который можно записать и сравнить с предыдущим циклом.
- Эталонный список URL сформирован и согласован с правилами исключения.
- Сверка с отчётом «Страницы» выполнена по всем критичным типам.
- Канонические теги и коды ответа проверены на выборке.
- Статусы исключённых страниц разобраны по причинам.
- Повторный замер запланирован на срок от двух до четырёх недель.
Для сайтов, где индексация зависит от регулярного появления новых карточек, полезно сопоставлять итоги чеклиста с результатами аудита, описанного в родительском материале. Так вы видите, какие изменения реально сработали, а какие остались на бумаге.
Критерии оценки результата
Критерии должны быть измеримы до начала работ, иначе вывод о результате станет субъективным. К ним относятся доля индексируемых критичных страниц, динамика по неделям и соотношение ошибок к общему объёму эталона. Зафиксируйте целевые значения заранее: например, цель по ключевой категории и допустимую долю исключений, которые объясняются канонизацией.
Оценивать результат нужно по совокупности метрик, а не по одной цифре. Рост общего покрытия при падении доли критичных разделов означает, что улучшились второстепенные страницы, а важные остались позади. Такой вывод невозможно сделать без заранее установленных критериев и сегментации.
Где чаще всего ошибаются
Чаще всего выводы искажаются не из-за данных, а из-за методологии. Частая ошибка — считать цифру site: точной метрикой и строить на ней отчёт. Вторая — игнорировать исключённые страницы в знаменателе, из-за чего процент выглядит лучше реального. Третья — отсутствие сегментации, когда общий показатель маскирует провал в одном разделе. Четвёртая — ожидание мгновенного эффекта после исправлений: поисковику нужно время на повторный обход и переоценку, и результат появляется не сразу.
Ещё одна распространённая ошибка — менять сразу всё: карту, шаблоны, контент и структуру в один цикл. В этом случае невозможно понять, какая правка дала эффект. Меняйте один блок за раз, фиксируйте изменения и смотрите на динамику, тогда вывод будет опираться на причину, а не на совпадение по времени.
Проверка индексации становится полезной, когда её результат превращается в решение: что исправить в первую очередь, какие разделы усилить, где перестать тратить бюджет на публикации, которые не попадают в поиск. Начните с эталонного списка и разбивки по типам, затем устраните технические барьеры и дубли, и только после этого переходите к контенту и перелинковке. Тогда индексация перестаёт быть загадкой и становится понятным показателем здоровья сайта, с которым можно планировать работу.