Онлайн-анализ сайта: как найти и исправить проблемы за минуты
Большинство аудитов сайта превращаются в длинный перечень из сотни параметров, где одни пункты дублируют другие, а решения не предлагаются вовсе. Владелец получает таблицу замечаний, но не понимает, с какого места начинать и что из этого реально влияет на выпадение страниц из выдачи. Поэтому в этой статье разбирается один конкретный вопрос: почему страницы не попадают в индекс или выпадают из него, и как пройти путь от симптома до причины и исправления. Такой подход полезен SEO-специалистам, аналитикам и владельцам сайтов, которым нужен рабочий алгоритм, а не обзор возможностей. Продолжение темы, начатое в материале о анализ сайта онлайн, здесь переходит от общих принципов к пошаговой процедуре проверки индексации.
Компания PromoPilot™ работает с владельцами сайтов и SEO-специалистами, поэтому практика проверки индексации составляет важную часть её рабочих задач. Сама процедура при этом не зависит от конкретного сервиса: её можно выполнить вручную, опираясь на штатные отчёты поисковых систем, краулер и серверные логи. Главное требование к методу, который будет описан ниже, — повторяемость. Если перед правками зафиксировано состояние сайта, после них можно сравнить результаты в тех же координатах и понять, что именно сработало.
Если расхождения обнаружены, исправьте их в порядке приоритета и зафиксируйте результат
Что понадобится для проверки индексации
Базовый набор инструментов для этой задачи состоит из четырёх источников данных. Первый — Google Search Console, второй — Яндекс.Вебмастер: отчёты о покрытии и страницах в них показывают, какие адреса поисковик знает, индексирует, исключает и по какой причине. Третий источник — краулер, например Screaming Frog или Sitebulb, который обходит сайт так же, как это делает робот, и отдаёт статусы ответа, каноникалы, директивы и цепочки редиректов. Четвёртый — логи сервера, без которых невозможно увидеть реальное поведение робота, а не его отчёт о самом себе.
Доступы тоже нужно подготовить заранее. Потребуются права владельца или полного пользователя в GSC и Вебмастере, актуальный sitemap.xml с полным списком URL, а также выгрузка из системы аналитики за тот период, который вы собираетесь изучать. Без выгрузки трафика невозможно расставить приоритеты: мелкая техническая ошибка на странице без посетителей и та же ошибка на карточке товара с заказами требуют разной скорости реакции.
Подготовка включает фиксацию даты и состояния сайта. Сохраните отчёты покрытия, текущее число страниц в индексе по каждой поисковой системе, список ошибок и выгрузку краулера. Эти файлы станут базовой линией. Через несколько недель после правок вы сравните новые цифры со старыми, а не будете опираться на память о том, как выглядел сайт.
Порядок действий при проверке индексации
Первый шаг — сверка количества страниц в индексе с числом URL в sitemap. Разница сама по себе ничего не доказывает: в индексе могут оказаться служебные адреса, а в sitemap — страницы, которые поисковик ещё не успел обойти. Важен характер расхождения. Если в индексе заметно больше адресов, чем в карте сайта, почти наверняка есть дубли, параметрические URL или пагинация. Если меньше — проблема в доступности или качестве страниц, и её надо искать на следующих шагах.
Второй шаг — сбор адресов, которые не попадают в индекс. В отчётах покрытия GSC и разделе «Страницы» в Вебмастере каждая исключённая страница сопровождается причиной: «Просканировано, но не проиндексировано», «Страница-дубликат», «Найдена, но не просканирована», «Ошибка сервера» и другие. Выгрузите эти статусы в таблицу. Группировка по причинам почти всегда показывает, что проблема сосредоточена в одном-двух шаблонах страниц, а не разбросана по всему сайту.
Третий шаг — краулинг сайта и сопоставление с индексом. Краулер должен отдать по каждому URL статус ответа, финальный адрес после редиректов, значение канонической ссылки и директивы meta robots. Затем эти данные накладываются на список непроиндексированных страниц. Если страница отдаёт 200, не закрыта директивами, имеет самоканонический тег и при этом не в индексе, причину следует искать в качестве контента, внутренних ссылках или в доверии к разделу. Если же она отдаёт редирект или закрыта — проблема техническая, и её решение обычно занимает считанные часы.
Четвёртый шаг — анализ логов сервера. Здесь видно, как часто робот заходит на важные разделы, и куда уходит краулинговый бюджет. Типичная картина: значительная часть обходов приходится на параметрические адреса фильтров, пагинацию и устаревшие URL, а коммерческие разделы посещаются редко. Такое распределение объясняет, почему новые товарные страницы месяцами остаются вне индекса, хотя сам сайт технически исправен. Логи позволяют подтвердить гипотезу до внесения правок.
Пятый шаг — группировка проблем по типам и приоритизация. Каждую проблему стоит оценить по двум параметрам: объёму затронутых страниц и их коммерческой ценности. Ошибка в двухстах пустых фильтрах может оказаться менее важной, чем сбой в тридцати карточках с основным трафиком. Итогом шага должен стать короткий список исправлений, упорядоченный по приоритету.
На что смотреть: ключевые критерии
Первый критерий — статусы ответа сервера и цепочки редиректов. Каждая лишняя ступень редиректа замедляет обход и может привести к тому, что робот прекратит переход по цепочке. Цепочка из двух-трёх переходов к одной и той же странице должна быть сведена к одному прямому редиректу, а все внутренние ссылки должны вести сразу на финальный адрес.
Второй критерий — канонические метатеги и их соответствие фактическим страницам. Канонический адрес должен возвращать 200, быть индексируемым и совпадать с тем URL, который вы хотите видеть в выдаче. Типичная ошибка — канонический тег, указывающий на страницу с noindex или на редирект. Поисковик в таком случае получает противоречивый сигнал и выбирает версию самостоятельно.
Третий критерий — директивы robots.txt и meta robots, а также конфликты между ними. Самый показательный пример — страница закрыта в robots.txt, но имеет noindex в метатеге. Робот не может прочитать метатег, потому что не заходит на страницу, и адрес может остаться в индексе с пустым сниппетом. Директивы нужно проверять совместно, а не по отдельности.
Четвёртый критерий — дубли, параметрические URL и пагинация. Сортировки, фильтры, идентификаторы сессий и страницы пагинации порождают множество адресов с одинаковым содержимым. Решение выбирается по типу страницы: одни параметры закрываются от индексации, другие канонизируются на базовую страницу, третьи остаются индексируемыми, если по ним есть спрос.
Пятый критерий — скорость отклика и стабильность доступности. Серия таймаутов или ошибок 5xx в логах заметно снижает частоту обхода, поэтому смотреть на доступность нужно не в момент проверки, а на протяжении нескольких недель. Разовый сбой может быть случайностью, а регулярный — признаком перегруженного хостинга или неверных лимитов. Перед тем как сравнивать результаты разных краулеров, стоит понимать, что анализ сайта онлайн обычно выполняется в браузере без установки программ и подходит для быстрой первичной проверки структуры и технических ошибок.
Шестой критерий — внутренняя перелинковка до целевых страниц. Страница, на которую не ведёт ни одна внутренняя ссылка из индексируемых разделов, воспринимается роботом как маловажная. Проверьте, сколько внутренних ссылок ведёт на каждую приоритетную страницу и с каких разделов они приходят. Если ссылки есть только из карты сайта, это слабый сигнал.
Чеклист для самопроверки
- Все важные URL возвращают 200 и доступны роботу.
- В sitemap нет закрытых, редиректных и неканонических адресов.
- Канонические ссылки ведут на индексируемые версии страниц.
- Нет конфликтующих директив в robots.txt и мета-тегах.
- Внутренние ссылки ведут на актуальные адреса без цепочек.
- Логи подтверждают регулярный обход приоритетных разделов.
Каждый пункт чеклиста проверяется конкретным действием. Для первых двух достаточно выгрузки краулера, сопоставленной с sitemap. Для третьего и четвёртого нужен отдельный просмотр директив и канонических значений на выборке страниц каждого типа. Пятый и шестой пункты требуют логов и выгрузки внутренних ссылок. Если хотя бы один пункт не выполняется, фиксируйте это в списке исправлений с указанием страниц и предполагаемого эффекта.
Типичные ошибки и как их избегать
Первая ошибка — исправление симптомов вместо причины. Удаление страниц из индекса без анализа дублей решает только видимую часть проблемы: дубли появятся снова, если не изменить источник их генерации. Перед любым удалением проверьте, откуда пришёл адрес, какие ссылки на него ведут и есть ли у него трафик.
Вторая ошибка — доверие одному инструменту без перекрёстной проверки. Отчёт GSC не совпадает с отчётом Вебмастера, а краулер не видит того, что видит поисковик, если сайт отдаёт разный контент разным клиентам. Сопоставляйте данные из нескольких источников и сразу отмечайте расхождения, потому что именно они часто указывают на реальную проблему.
Третья ошибка — анализ всего сайта сразу. Полный аудит крупного проекта растягивается на недели, и к моменту выводов часть данных уже устарела. Начинайте с приоритетных разделов: карточек с трафиком, категорий, которые приносят заказы. Остальное проверяется во вторую очередь по той же методике.
Четвёртая ошибка — отсутствие контроля после правок. Изменения в директивах и редиректах вступают в силу не мгновенно: робот должен повторно обойти затронутые страницы, а отчёты обновляются с задержкой. Повторная проверка через несколько недель по тем же метрикам и на тех же страницах покажет, сработало ли исправление.
Пятая ошибка — игнорирование логов сервера. Без них остаётся неизвестным, сколько обходов тратится впустую, и невозможно подтвердить, что робот вообще заходит в нужные разделы. Логи дают объективную картину поведения и часто опровергают предположения, которые казались очевидными по отчётам.
Заключение
Итог проверки индексации — короткий список исправлений, упорядоченный по приоритету. В верхней части списка обычно оказываются технические сбои: цепочки редиректов, конфликтующие директивы, неверные каноникалы на индексируемых страницах. Ниже идут структурные задачи: управление параметрическими адресами, перераспределение внутренних ссылок, работа с пагинацией. Для каждого пункта стоит записать ожидаемый эффект в понятной форме, например, рост числа проиндексированных страниц в приоритетном разделе или сокращение обходов мусорных адресов в логах.
Закрепить результат помогает регулярный мониторинг индексации по тем же показателям, что фиксировались в базовой линии. Раз в месяц или после крупных обновлений сайта повторите сверку с sitemap, выгрузку непроиндексированных страниц и анализ логов. Если алгоритм одинаков, изменения видны сразу, а причины новых проблем находятся быстрее. Именно воспроизводимость процедуры отличает рабочий аудит от разовой проверки.
Применить чеклист можно уже на этой неделе: возьмите один приоритетный раздел, пройдите шесть пунктов проверки и сравните полученные цифры с исходными данными. Такой подход не требует сложных инструментов и даёт конкретный ответ на вопрос, почему страницы выпадают из выдачи и что с этим делать.