Как проверить сайт на фильтры: за что накладывают санкции, способы избежать наказания

Что такое фильтры?

Фильтры — это алгоритмы, которые делают выдачу поисковых систем чище, не пропуская некачественные сайты и занижая их позиции в результатах выдачи.

Фильтры в Яндекс и Google могут быть наложены по разным причинам:

• публикация неуникального контента;
• бессистемный линкбилдинг;
• агрессивная реклама, обилие всплывающих окон;
• использование аффилиатов;
• переспам ключевыми словами;
• наличие скрытого текста;
• заражение сайта вирусами;
• накрутка поведенческих показателей;
• злоупотребление продажей ссылок;
• прочие «серые» технологии: кликджекинг, клоакинг, криптоджекинг, фишинг и др.

Это лишь небольшая часть возможных нарушений — каждая поисковая система имеет собственные требования, причем они часто обновляются и дополняются. Фильтрация необходима для того, чтобы сделать поиск более качественным.

Если вы обнаружили, что позиции вашего сайта внезапно просели, страницы пропали из индекса одного из поисковиков и трафик упал, то это серьезный повод для проверки сайта на попадание под фильтры. Для этого есть несколько способов.

7 способов проверить сайт на фильтры поисковых систем

Рассмотрим, какие есть способы проверки того, находится ли сайт под санкциями поисковых систем.

1. Уведомления о санкциях в панелях для вебмастеров

Это наиболее надежный способ. Поисковики уведомляют о применении санкций в панелях для вебмастеров: Яндекс — в Яндекс.Вебмастере, а Google — в Search Console.

Яндекс.Вебмастер

В Вебмастере необходимо проверить уведомления — если были применены санкции в ручном режиме, появится сообщение с пояснением, что именно не так. Например, такое:

Нарушения и угрозы безопасности на сайте

Если сообщения нет, но у вас есть подозрения, что сайт попал под фильтр, стоит перейти в раздел «Диагностика сайта» и посмотреть, есть ли фатальная ошибка «Обнаружены нарушения или проблемы с безопасностью».

Фатальная ошибка на сайте

Google Search Console

Об автоматических фильтрах, которые накладываются вследствие обновления основного алгоритма, Google обычно не уведомляет. Однако о мерах, принятых вручную, появится сообщение в Search Console. Перейдите в раздел «Проблемы безопасности и меры, принятые вручную» — «Меры, принятые вручную».

Если санкций нет, вы увидите такое сообщение:

Проблем с сайтом нет: проверка по Гуглу

При наличии санкций будет описана причина и дальнейшие действия. Например, при спаме в разметке структурированных данных сообщение будет таким:

Обнаружение ошибок в Гугл консоли

Обнаружив проблему, стоит сразу приступить к устранению недочетов. После этого нажмите кнопку “Запросить проверку” в сообщении. Если все сделано правильно, через некоторое время Google снимет фильтр.

2. Проверить ИКС (индекс качества сайта)

Способ можно использовать только для Яндекса. Поисковик аннулирует ИКС при попадании сайта под фильтр.

Краткая история ИКС

Проверить любой домен на фильтры можно с помощью бесплатного парсера ИКС — введите адрес главной страницы сайта, и если ИКС обнулен или аннулирован, это явный признак фильтрации.

Для проверки собственного сайта на санкции Яндекса стоит зайти в Яндекс.Вебмастер и посмотреть на значение ИКС интересующего вас ресурса в списке.

Показатель качества сайта в Яндекс.Вебмастер

3. Оценить трафик

Если вы обнаружили, что в одной из поисковых систем трафик «обвалился», а в другой остался стабильным, это возможный признак фильтрации.

Оценивать трафик удобно с помощью подключенной системы аналитики: Яндекс.Метрика, Google Analytics или Liveinternet. Если график посещаемости напоминает представленный на изображении ниже, следует начать искать причины такого положения дел.

Снижение посещаемости сайта

Полезный совет

4. Проанализировать количество страниц в индексе

Поисковые системы могут по-разному «наказывать» сайты за нарушение установленных правил. Они могут понижать позиции в выдаче или полностью исключать страницы из индекса. Если вы обнаружили, что в одной из ПС из индекса резко выпала некоторая доля страниц, проблема может быть как раз в фильтрах.

В данном случае важно верно «поставить диагноз». Кроме фильтров, возможны и такие причины исключения страниц из индекса:

• блокировка доступа к сайту для роботов со стороны хостинг-провайдера;
• заражение сайта вирусами, взлом;
• сайт был недоступен для сканирования роботами (например, хостинг не был оплачен вовремя) и, как следствие, исключен из поиска;
• запрет индексации сайта или отдельных страниц в robots.txt, .htaccess или настройках CMS.

Подробно узнать о том, что такое robots.txt, как проводятся его создание и настройка, вы можете в другой статье.

Для быстрой проверки количества страниц в индексе следует зайти в интересующий поисковик и ввести запрос site:вашдомен.ru (без пробела).

Быстрая проверка количества страниц в индексе

Проверить индексацию страниц и точно определить, какие из них выпали из индекса, можно с помощью Яндекс.Вебмастера и Google Search Console. Одновременную проверку в Яндексе и Google удобно проводить с помощью инструмента от PromoPult.

5. Проанализировать выдачу по запросам из топа

Стоит выделить наиболее важные запросы и регулярно снимать по ним позиции в Яндексе и Google. Просадка в одной из ПС — возможный признак применения санкций.

Снимать позиции в поисковиках можно, например, через сервисы Топвизор и Be1. Укажите домен, список ключевиков, выберите ПС и тип выдачи (десктоп/мобайл). Лучше всего снимать позиции регулярно — инструменты позволяют делать это раз в месяц, раз в неделю или даже ежедневно.

6. Проверить выдачу по брендовому запросу

Этот способ отлично подходит, если вы покупаете домен и желаете проверить, не наложены ли на него санкции. Нужно зайти в поисковик и вбить брендовый запрос с указанием части доменного имени или названия компании/бренда (адрес сайта без точки с пробелом). Если на первой позиции не отображается искомый домен, с ним наверняка что-то не так.

7. Использовать онлайн-сервисы

Есть ряд сервисов, которые позволяют анализировать наличие санкций со стороны поисковых систем. Например, фильтры Яндекса (АГС, Минусинск и др.) отлично определяет Xtool.ru.

Xtool

Обычно используется для анализа доменов на санкции Яндекса. Нужно ввести адрес сайта, чтобы получить таблицу с информацией о нарушениях и возможных проблемах.

Проверка на санкции моего блога

PR-CY

Этот сервис подходит для проверки сайта на АГС Яндекса.

Проверка сайта на АГС Яндекса

Website Penalty Indicator

Аналогичный онлайн-сервис, который выдает информацию только по Google и отображает данные по изменению трафика в привязке к обновлению алгоритмов поисковой системы. Чтобы использовать его, открывать доступ к Google Analytics не требуется.

Panguin Tool

Зарубежный сервис, который показывает наличие таких фильтров Google, как Panda и Penguin. Чтобы воспользоваться им, следует открыть доступ к Google Analytics. После отобразится график, где указываются даты обновления алгоритмов Google. Эта информация позволит понять, связаны ли изменения трафика сайта с нововведениями поисковой системы.

Google Penalty Checker

Необычный сервис, в котором влияние алгоритмов Google на сайт отображается в виде разноцветных кружков, где синий – это положительное влияние, желтый – нейтральное, а красный – негативное.

Есть огромное количество способов проверить сайт на санкции поисковых систем. Можно применять как один из них, так и сразу несколько, чтобы узнать о возможных фильтрах, наложенных на сайт. Чтобы не испытывать проблем с Яндексом и Google, рекомендуется увеличивать ссылочную массу ресурса с помощью естественных ссылок и оптимизировать сайт только белыми методами.

Для чего нужны фильтры в Яндексе и Google

Фильтры поисковых систем (ПС) выполняют защитную функцию. Такие алгоритмы помогают оградить пользователей от некачественного и недостоверного контента, мошенничества, обмана, бесполезных ресурсов. Фильтры позволяют сделать пользовательский опыт более положительным и ценным.

Если на весь сайт или конкретные страницы наложен фильтр — это вовсе не повод для паники. Ситуация не настолько патовая, как в случае бана, и выйти из-под фильтров вполне реально. Бан или безвозвратная блокировка ресурса встречаются очень редко — например, когда применяются методики «черного» SEO, имеет место злостный обман пользователей, поисковых систем (типично для фишинговых сайтов), которые воруют личные данные и деньги. Если на сайт наложен бан, поисковики полностью исключают его из поиска и рекламной сети.

На что накладываются фильтры поисковиков

Фильтры могут налагаться на:

1. Весь сайт целиком — тогда он не показывается в поиске.
2. Отдельную категорию. Из поисковой выдачи выпадает не сайт в целом, а определенный раздел или рубрика.
3. Отдельные страницы сайта. Такие фильтры обычно сложнее всего отследить, особенно когда страниц несколько сотен или тысяч, как в случае с интернет-магазином. Однако такую ситуацию легче всего исправить.

Малополезные страницы и страницы, которые не индексирует ПС — это страницы, которые не представляют. Например, с товарами, для которых не представлено обзоров и/или статей.

Малополезная страница в Яндекс.Вебмастер

По времени появления фильтры могут быть:

1. Ранние. Они накладываются еще до того, как сайт начнет индексироваться, уменьшают влияние определенного фактора на высоту позиции в выдаче.
2. Поздние или пост-фильтры. Сайт занимает позицию в соответствии с новым значением релевантности. Может измениться релевантный URL по причине его большей итоговой релевантности конкретному запросу.
3. Фильтры перед выводом. Они начинают работать после расчета релевантности. Сайт может полностью пропасть из выдачи по запросу.

По способу наложения фильтры бывают:

1. Алгоритмическими. Они накладываются роботами, когда те замечают нарушение правил ПС.
2. Ручными. Накладываются, если алгоритм фиксирует подозрительные действия или признаки. Он сообщает об этом сотруднику ПС, и асессор подвергает сайт санкциям.

Какие бывают фильтры в Яндекс и Google

Фильтры Google:

1. Google Penguin. «Пингвин» – компонент поискового алгоритма Google, который борется с манипулятивным линкбилдингом.
2. Google Panda. «Панда» – часть поискового алгоритма Google, которая отвечает за качество сайтов в целом и контента в частности.
3. Социтирование. С помощью «социтирования» Google якобы пессимизирует сайты, «окруженные плохими соседями».
4. Дополнительные результаты. Google помещает в дополнительный индекс страницы, которые признаются им недостаточно качественными и ценными для пользователей.
5. Песочница и возраст домена. Это условные фильтры или части поискового алгоритма, которые ограничивают посещаемость недавно созданных сайтов.
6. Google - 5, - 30, - 950. Симптомом таких фильтров считаются необъяснимое падение ресурса в выдаче на пять или 30 позиций, а также ранжирование в девятой сотне выдачи.
7. Слишком много ссылок и слишком большое количество страниц.
8. Фильтр за битые ссылки.
9. Дублированный контент.
10. Переоптимизация.
11. Фильтр за медленную загрузку страниц.
12. Фильтр за отсутствие оптимизации под мобильные устройства.

Фильтры «Яндекса»:

1. АГС. Есть два варианта расшифровки аббревиатуры «АГС»: «Автоматический гранатомет станковый» (есть модификации «АГС-17», «АГС-30» и «АГС-40» — они совпадают с названиями версий фильтра) и «Антиг*вносайт» — отражает суть фильтра, поскольку он направлен на борьбу с некачественными сайтами.
2. Минусинск. С его помощью «Яндекс» наказывает ресурсы за манипулятивный, очень агрессивный линкбилдинг.
3. Санкции за взрослый контент.
4. Фильтр за переоптимизацию «Баден-Баден».
5. Непот-фильтр. Яндекс создал данный фильтр для борьбы с торговлей ссылок.
6. Фильтр за накрутку поведенческих метрик.
7. Фильтр аффилиатов. Даже если у вас есть 10 отличных ресурсов, релевантных запросу, «поисковик» будет показывать в выдаче лишь один сайт.
8. Пессимизация за отсутствие адаптации к мобильному трафику и некорректные мобильные редиректы.

За что сайт или его страницы могут попасть под фильтр

Наиболее правильный подход, который поможет избавиться от фильтров или избежать их, — анализ своих ошибок и их недопущение в будущем. В таблице ниже приведены возможные действия и соответствующие фильтры поисковых систем, а также действия по устранению проблем.

Почему фильтры могут накладываться на хорошие качественные сайты?

От фильтров не застрахован ни один сайт — 100% защиты от них нет. Это такие риски, к которым должен быть готов владелец любого ресурса. Фильтры могут накладываться даже на качественный сайт, который не нарушает правил, если вебмастер стал жертвой конкурентов. Другие вебмастера могут накручивать ботов и поведенческие факторы на своих сайтах.

Чтобы бот давал ощутимый эффект, его требуется «нагулять». «Нагул» происходит путем посещения разных сайтов в схожей тематике. В результате ПС видит на сайте-жертве всплеск подозрительной активности (пришли погулять чужие боты) и считает, что виноват именно сайт-жертва, подвергая его фильтру.

Продолжительность фильтров

Страницы и разделы сайта могут оказаться под фильтрами на в среднем на срок 8-12 месяцев.

Яндекс и Google регулярно придумывают новые фильтры, их нейросети постоянно совершенствуются. Может оказаться так, что проседание трафика на сайте совпадает с датами появления нового фильтра, под который сайт как раз попал. Чтобы это проверить, рекомендуется отслеживать новости об обновлениях алгоритмов:

• на портале Moz;
• в новостных пабликах, каналах, СМИ, которые ориентированы на SEO.

Что делать, если сайт попал под фильтры

SEO-эксперты и опытные вебмастеры предлагают несколько вариантов действий в случае, когда сайт оказался под фильтрами:

1. Перенос домена. Если появилось подтверждение, что сайт не отображается в поиске, его можно временно перевести на другой домен и настроить редирект для посетителей, чтобы не терять их. Через несколько месяцев, когда фильтр будет снят, сайт можно переместить на прежнее место.
2. Неустанные обращения в техподдержку. Способ помогает, как правило, лишь в 20% случаев и требует огромного терпения. Нужно постоянно писать в техподдержку, игнорировать на ответы «Продолжайте развивать сайт, все будет хорошо». Иногда это помогает выйти из-под фильтров на несколько месяцев раньше.

Сайт может оказаться под фильтрами из-за изначально неверно выбранной маркетинговой стратегии. Иногда бывает проще и выгоднее полностью поменять подход к маркетингу и продвижению, чем постоянно бороться с фильтрами. Как замечают эксперты по SEO, некоторые сайты и вовсе лучше всего сделать с нуля.

Как защититься и избавиться от фильтров ПС

Сначала необходимо провести глубокий аудит сайта. Многие проблемы можно обнаружить и решить сразу. Например, если отмечается явная переоптимизация или неуникальность текстов — следует переписать или обновить статьи, добавить в них видео, удалить лишние ключевые слова и ссылки.

Если выявлено, что присутствует много малополезных страниц, дублей, необходимо бороться с дублицированностью. Помогут уникализация и увеличение количества полезного текста до 4 абзацев, добавление новых блоков и выборок, мета-тегов, видео, качественной перелинковки, расширение количества характеристик товаров.

Может обнаружиться проблема с технической оптимизацией. Например, если по Яндекс.Метрике виден большой процент отказов (более 16-20%) — это может быть сигналом для проверки скорости загрузки сайта. Максимальное время загрузки должно быть максимум 2,5 сек. Также рекомендуется убедиться, что редиректы не индексируются, поменять 301 на 404.

Чтобы повысить ранжирование, полезно удалить называемые «зомби-страницы» или страницы, не которые нет спроса, висящие мертвым грузом. Они могут показывать ПС, что сайт в целом не слишком качественный.

Для защиты от фильтра за качество бизнеса следует регулярно парсить и мониторить отзывы о себе, а также оперативно отвечать на них, в том числе на отрицательные. Если отзыв негативный — нужно показывать, что над проблемой работают, либо доказывать, что обвинения не являются обоснованными, например, если вам пытается навредить конкурент.

Чтобы избавиться от фильтра аффилированности для снятия алгоритмического фильтра, следует устранить факторы пересечения и дождаться их учета. Факторы аффилированности и чек-лист по их учету представил SEO-эксперт Дмитрий Севальнев, на инфографике ниже:

Факторы аффилированности