Как проверить сайт на бан или фильтры в Яндексе и Google

Фильтры и иные санкции накладываются на сайты, владельцы которых вольно или невольно нарушают правила поисковых систем. В некоторых случаях даже качественный и безупречный сайт может стать жертвой фильтров. Не всегда в Яндекс.Вебмастере или Google Search Console отображается уведомление, есть ли санкции и за что. Разберем, какие есть способы, чтобы проверить свой сайт на фильтры или бан.

Если вы работаете с трафиком и хотите понимать, как защитить свои проекты и оптимизировать сайты для арбитража, подписывайтесь на наш Telegram-канал по арбитражу трафика. Там мы делимся практическими схемами, инструментами и кейсами по проверке сайтов и работе с источниками трафика.

Для чего нужны фильтры в Яндексе и Google

Фильтры поисковых систем (ПС) выполняют защитную функцию. Это алгоритмы, которые охраняют пользователей от некачественного контента, мошенничества, обмана, бесполезных ресурсов. Цель фильтров — сделать пользовательский опыт более положительным и ценным.

Фильтры подразумевают под собой снижение позиций в выдаче. Например, сайт показывается на 10-30 позиций ниже, чем показывался бы без фильтров.

Если на сайт или его страницы наложен фильтр — это не повод для паники. Ситуация не такая патовая, как в случае бана, и выйти из-под фильтров всегда можно. Бан или безвозвратная блокировка ресурса бывает в исключительно редких случаях. Например когда используется «черное» SEO, злостный обман пользователей, поисковых систем вроде фишинговых сайтов, ворующих личные данные и деньги. Когда наложен бан, сайт полностью исключают из поиска и рекламной сети.

Чтобы снизить риск попадания под фильтры и быстрее находить проблемные места, полезно регулярно анализировать контент до публикации. В этом помогают сервисы для SEO-анализа текста — они показывают переспам, слабую структуру, проблемы с релевантностью и другими факторами, которые могут триггерить алгоритмы Яндекса и Google.

На что накладываются фильтры поисковиков

Фильтры могут налагаться на:

• Весь сайт целиком — когда он не показывается в поиске.
• Отдельную категорию. То есть вылетает не сайт в целом, а какой-либо определенный раздел, рубрика.
• Отдельные страницы сайта. Такие фильтры отследить сложнее всего, особенно когда страниц несколько сотен или тысяч, как в случае с интернет-магазином. Зато это легче исправить.

Малополезные страницы и страницы, которые не индексирует ПС — это те страницы, не представляют ценности. Например, с товарами, у которых нет статей, обзоров.

По времени появления фильтры могут быть:

• Ранние. Накладываются еще до того, как сайт начнет индексироваться, уменьшают влияние какого-либо фактора на высоту позиции в выдаче.
• Поздние или пост-фильтры. Сайт начинает занимать позицию согласно новому значению релевантности. Может измениться релевантный урл, по причине его большей итоговой релевантности запросу.

• Фильтры перед выводом. Начинают работать после расчета релевантности. Сайт может полностью исчезнуть из выдачи по запросу.

По способу наложения фильтры могут быть:

• Алгоритмическими. Их накладывают роботы, когда замечают нарушение правил ПС.
• Ручными. Накладываются, когда алгоритм фиксирует подозрительные действия или признаки, сообщает сотруднику ПС, и асессор подвергает сайт санкциям.

Когда фильтры затрагивают отдельные разделы или сотни страниц, без системной проверки обойтись сложно. В таких случаях выручают сервисы мониторинга доступности и состояния сайтов — они помогают отследить, какие страницы выпали из индекса, перестали отвечать или начали отдавать ошибки, что часто совпадает с наложением фильтров.

Какие бывают фильтры в Яндекс и Google

Основные фильтры, которым может подвергаться сайт у Яндекса:

• Минусинск — это фильтр за злоупотребление продажей и покупкой SEO-ссылок.
• Баден-Баден — за переоптимизацию текста, переспам, «воду». Один из способов проверять тексты перед публикацией на риски попадания под этот алгоритм — сервис Тургенев. Чем меньше итоговый балл, тем лучше; критично, если выдается балл от 7 и более.

• АГС. Фильтр за неоригинальный и бесполезный контент. Под него попадают в основном не совсем качественные сайты, созданные для заработка на рекламе, продажи ссылок.
• Адалт-фильтр. Накладывается, если на сайте не adult-тематики есть контент 18+.
• Фильтр на одинаковые сниппеты. Ему подвергаются страницы с одними и теми же не уникальными сниппетами.
• Фильтр за имитацию действий пользователей. Накладывается, если владелец сайта накручивает поведенческие факторы.
• Фильтр аффилированности. Аффилированность — принадлежность сайтов к одной организации, в результате которой только один из проектов может отображаться в текущей зоне видимости пользователя ПС. Он мешает сайтам одной или близких тематик в одном регионе.
• Фильтр за качество бизнеса. Сравнительно новый фильтр, появился в октябре 2021 года. Эта санкция накладывается, если присутствуют негативные отзывы о компании. Особенно если их содержание связано с тем, что компания мошенник, вымогает деньги, обманывает, не выполняет своих обязательств.

• Новый сайт или домен. Это не совсем фильтр, а особенность Яндекса и Google «присматриваться» к молодым сайтам весьма придирчиво. Чтобы вывести новый сайт в топ белыми методами, обычно требуется около года. SEO-специалисты отмечают, что если на молодом сайте все хорошо в плане контента, технической оптимизации, то примерно через год стоит ждать резкого притока посещаемости.
• Бан за нарушение законодательства. Если сайт нарушает закон, попадает в поле зрения Роскомнадзора, он перестает показываться.

Распространенные фильтры в Google:

Вакансии

Lead Retention Manager / CRM Manager

Rocket Project

После собеседования

Удаленно

Media Buyer Facebook

1win

После собеседования

Удаленно

HR-менеджер

BenJTeam

После собеседования

Удаленно

Все объявления

Разместить

• Панда, Panda. Фильтр за некачественную информацию, неуникальные тексты.
• Пингвин, Penguin. Накладывается из-за массовой покупки ссылок.

Ранее у Google выделялись фильтры понижения позиций -5, -30, -950 и другие виды пенальти. Сейчас эти санкции — часть общего алгоритма ранжирования.

Чтобы снизить риски реагирования фильтров за неуникальный или слабый контент, важно проверять тексты еще до публикации. Для этого удобно использовать сервисы проверки уникальности текста — они помогают выявить заимствования, дубли и проблемные фрагменты, которые поисковики считают бесполезными. 

За что сайт или его страницы могут попасть под фильтр

Причины, по которым сайт может попасть под фильтры и бан:

• Переоптимизация контента. Это использование большого количества ключевых или одних и тех же слов, так называемый переспам.
• Не уникальные тексты. Например, когда человек по незнанию или умыслу берет чужой контент и копипастит себе на сайт.
• Скрытая от людей информация. Например, текст белыми буквами на белом фоне, чтобы его увидели только поисковики.
• Некачественные внешние ссылки. Или когда на сайт ведет слишком много ссылок с сомнительных источников с плохой репутацией. Прежде, чем размещать ссылку на стороннем сайте, там нужно проверить уровень заспамленности, чтобы он был не более 10%. Это можно сделать с помощью инструментов checktrust, sbup, xtool.
• Неграмотно проставленные внутренние ссылки. Например, когда на одной странице слишком много перелинковки или когда внутренние ссылки ведут на несуществующие, неработающие, закрытые страницы.

Споткнуться о фильтры можно даже на мелочах — например, из-за неаккуратного текста с ошибками, «кривыми» формулировками и мусорными фразами, которые снижают общее качество страницы. В таких случаях помогают сервисы проверки орфографии, грамматики и пунктуации — они позволяют быстро привести контент в порядок и убрать сигналы низкого качества ещё до индексации.

• Неумелая накрутка поведенческих факторов. Если на сайт приходят непрогретые боты, некачественно настроенные, это всегда риск фильтров, а в некоторых особо тяжелых случаях — риск бана.
• Ошибки, которые выглядят как обман пользователей. Например, интернет-магазин указал, что продает адаптеры для телефонов — а на странице просто адаптеры.  
• Обман поисковых систем. Например, клоакинг: для поисковика показывается один контент, для пользователя — другой. Это всегда бан всего сайта.
• Малополезные страницы. Например, когда в интернет-магазине много однотипных дублирующихся страниц с карточками товара, отсутствием описания, грамотной верстки или когда нет адаптирования под мобильные устройства.
• Черное SEO. За это сайт может попасть не просто под фильтр, а под бан. Это вирусы, фишинг, дорвеи, кликджекинг, скрытые платные услуги.
• Много раздражающей агрессивной рекламы, которая мешает просмотру контента.
• Устаревший дизайн, «кривое» юзабилити. Например, когда владелец сайта решил сэкономить на SEO, дизайне, сделал сайт с версткой «на коленке».
• Отсутствие технической оптимизации. Это медленная загрузка дольше 3 секунд, отсутствие адаптации под разные типы устройств.

Пример плохой адаптации под мобильное устройство, Google такое не любит (источник):

Почему накладывают фильтры на хорошие качественные сайты

От фильтров не застрахован ни один сайт. 100% защиты от фильтров нет. Это такие риски, к которым по умолчанию должен готовиться любой владелец ресурса. Подобно тому, когда мы покупаем автомобиль — мы почти всегда покупаем вероятность хотя бы одной маленькой аварии на дороге.

Фильтры могут накладываться даже на качественный сайт, который ничего не нарушает, если вебмастер — жертва конкурентов. Другие вебмастера  накручивают ботов и поведенческие факторы на своих сайтах.

Чтобы бот давал ощутимый эффект, его нужно «нагулять». Нагул происходит посредством посещения разных сайтов в схожей тематике. В результате ПС видит на сайте-жертве всплеск подозрительной активности (пришли погулять чужие боты) и думает, что виноват именно сайт-жертва, подвергая его фильтру.

Продолжительность фильтров

Страницы и разделы сайта могут попасть под фильтр на в среднем на срок 8-12 месяцев.

Яндекс и Google периодически придумывают новые фильтры, их нейросети совершенствуются. Может случиться, что когда на сайте проседает трафик — это совпадает с датами появления нового фильтра, под который сайт как раз попал. Чтобы это проверить, важно следить за новостями обновлений алгоритмов:

• на портале Moz;
• в новостных пабликах, каналах, СМИ, ориентированных на SEO.

Как обнаружить фильтры

Многие фильтры не отображаются в Вебмастере, Яндекс.Метрике или Google Search Console. Владелец сайта видит нормальные показатели, но по факту фильтры присутствуют. Если он пишет письмо в техподдержку с запросом, не наложили ли на него фильтры, ответ приходит всегда один. Он выглядит примерно так: «Никаких фильтров нет, все в порядке, продолжайте развивать и улучшать ваш сайт, и все будет хорошо».

Ситуация усложняется, потому что Яндекс активно борется с различными способами диагностики. Не в интересах ПС, чтобы люди знали, как работают алгоритмы, накладывающие фильтры — иначе все будут уметь их обходить.

Однако, обнаружить фильтры все же можно. Для этого применяются следующие способы:

• Проверить наличие главной страницы в индексе. Это может быть брендовое название компании или самого сайта. Чтобы сделать проверку, нужно ввести в поисковик Яндекса или Google комбинацию: SITE:имя_сайта_или_компании.

• Если сайт появляется по этому запросу — все хорошо. Также показывается количество проиндексированных страниц. Важно, чтобы в Яндексе и Гугле оно было примерно одинаковым. При существенных расхождениях уже нужно выявлять проблему.
• Проверить число страниц в индексе. Важно, чтобы количество проиндексированных страниц было равным реальному. Например, на сайте 1 000 страниц по факту — а ПС видит только 500. Возможно, дело как раз в фильтре этих страниц.  
• Изучить по Яндекс.Метрике скачки посещаемости. Если они плавные — это нормально, может быть обусловлено сезонностью, трендами, какими-либо акциями на сайте. Если резкие — повод задуматься. Возможно, это конкурент нагнал роботов.
• Оценить динамику позиций. Желательно проверять по каждому запросу динамику, хотя бы еженедельно. Если происходит заметное снижение — скорее всего, есть фильтры.  
• Смотреть падение показателя ИКС (Индекса Качества Сайта, ранее — тИЦ) в Яндексе. Яндекс аннулирует ИКС при попадании сайта под фильтр.
• В Яндекс.Вебмастер заходить в раздел «Безопасность и нарушения». Там могут показываться явные сигналы. Аналогичный раздел есть в Google Search Console — «Меры, принятые вручную». Там можно посмотреть, были ли применены ручные санкции. После того, как эти нарушения будут исправлены, можно запросить проверку и вывести сайт из-под фильтра.
• В целом оценивать трафик. Если он резко просел за последние дни — тревожный знак.
• Смотреть, индексируются ли новые страницы. Проверять можно по Яндекс.Вебмастеру или Google Search Console.

Как обнаружить фильтр аффилированности

Этот фильтр не признается представителями ПС. Проекты аффилированы, если сайты никогда не находятся в топ-10 одновременно. Ранее второй сайт совсем скрывался из выдачи. Сейчас порой даже аффилированные сайты можно встретить одновременно в Топ-10, но по довольно специфическим запросам — навигационным, с топонимом. Способы проверить сайт на этот фильтр:

• Самый яркий сигнал — позиции «лесенкой» для двух проектов.

• Составить запрос, по которому в выдаче просто обязаны выйти два проекта.
• Убедиться, что в Топ-10 выводится только один из проектов.
• Исключить первый сайт из выдачи и зафиксировать появление второго.
• Удостовериться (зафиксировать по 2-5 запросам), исключив фильтр на одинаковые сниппеты.

Для обнаружения разных типов фильтров лучше применять комбинацию методов и способов. Если ориентироваться на что-то одно, легко ошибиться. Пример: падение трафика и посещаемости может быть связано с сезонностью, когда у людей отпуска, праздники, и они в это время не заходят на сайты определенных тематик.

Сервисы и инструменты для определения фильтров

Чтобы отследить дубли и страницы, которые явно вышли из индексации, нужно перейти в раздел Вебмастера Индексирование — Страницы в поиске — Новые и удаленные. Если количество удаленных страниц растет, нужно проанализировать, что это за страницы. Исключенные страницы разделены по видам. Там можно посмотреть дубли и недостаточно качественные страницы. Если их большое количество — за это накладывают фильтры.

Примеры некоторых сторонних инструментов:

• Поздние или пост-фильтры можно отслеживать с помощью инструмента Tools.Pixelplus. Для этого нужно зайти в модуль SEO-проектов, и далее в Распределение, вкладку Пост-фильтры. Если значение в районе 75% — это проблема.

• Сервис Xtool может показать наличие популярных фильтров Яндекса вроде Минусинска, АГС.  
• Pr-cy тоже поможет определить фильтр АГС.

• Panguin Tool — зарубежный сервис, который может определить фильтры Google вроде Панды, Пингвина.
• Похожие инструменты для Гугл: Website Penalty Indicator, Google Penalty Checker.
• PromoPult помогает определить, не произошло ли падение ИКС.

Что делать, если сайт попал под фильтры

SEO-эксперты и опытные вебмастеры предлагают несколько способов, как действовать, если сайт попал под фильтры:

• Перенос домена. Если появилось подтверждение, что сайт не показывается в поиске, его можно перенести временно на другой домен, настроить редирект для клиентов, чтобы не терять их. Через несколько месяцев, когда фильтр снимается, сайт перемещается на прежнее место.
• «Долбежка». Способ помогает в 20% случаев, требует изрядной доли терпения. Нужно постоянно писать в техподдержку, не обращать внимания на ответы «Продолжайте развивать сайт, все будет хорошо». Иногда это помогает выйти из-под фильтров на несколько месяцев раньше.

Сайт может попасть под фильтр вследствие изначально неверно выбранной маркетинговой стратегии. Иногда бывает легче и дешевле поменять подход к маркетингу и продвижению, чем постоянно бороться с фильтрами. Как замечают SEO-эксперты, некоторые сайты и вовсе лучше переделать с нуля.

По каким еще причинам сайт может не показываться

Если сайт не показывается, причина тому не всегда фильтры или бан. Страницы могут быть исключены из индекса, потому что:

• в настройках CMS индексация отключена, стоит запрет индексации в robots.txt, htaccess;
• сайт заражен вирусами, взломан;
• технические сбои на хостинг-провайдере, например произошло блокирование доступа роботам ПС к сайту;
• владелец сайта забыл вовремя оплатить хостинг.

При появлении проблем SEO-специалисты советуют первым делом пробежаться по этому списку, а уже потом «грешить» на фильтры. Вполне возможно, что ситуацию исправить гораздо легче, чем ждать выхода из-под санкций. Если же вы не можете это решить самостоятельно, то воспользуйтесь помощью SEO-специалистов.

Как защититься и избавиться от фильтров ПС

Первым делом нужно провести глубокий аудит сайта. Многие проблемы можно выявить и решить сразу. Например, если замечена явная переоптимизация или не уникальность текстов, нужно переписать или обновить статьи, добавить в них видео, убрать лишние ключевые слова и ссылки.

Если выявлено, что присутствует много малополезных страниц, дублей, важно бороться с дублицированностью. Могут помочь уникализация и увеличение количества полезного текста до 4 абзацев, добавление новых блоков, выборок, мета-тегов, видео, качественной перелинковки, расширить количество характеристик товаров.

Может выявиться проблема с технической оптимизацией. Например, если по Яндекс.Метрике виден большой процент отказов (более 16-20%) — это может быть сигналом проверить скорость загрузки сайтов. Максимальное время загрузки должно быть не более 2,5 секунд. Также нужно убедиться, что редиректы не индексируются, поменять 301 на 404.

Чтобы повысить ранжирование, может быть полезным удалить так называемые «зомби-страницы» или страницы, не которые нет спроса, которые висят мертвым грузом. Они показывают ПС, что сайт не очень качественный в целом.

Для защиты от фильтра за качество бизнеса нужно регулярно парсить и мониторить отзывы о себе, как можно быстрее отвечать на них. Если отзыв негативный — показывать, что по проблеме работают, либо доказывать, что обвинения не обоснованы в случае «наезда» конкурента.

Чтобы избавиться от фильтра аффилированности для снятия алгоритмического фильтра требуется устранить факторы пересечения и дождаться их учета. Факторы аффилированности и чек-лист по их учету представил SEO-эксперт Дмитрий Севальнев, на инфографике (источник) ниже:

Вывод

Вычислить явные и «скрытые» фильтры Яндекса и Google поможет регулярная аналитика показателей по трафику, индексации. Также полезно проводить аудит сайта раз в несколько месяцев. Многие фильтры можно снять с помощью исправления ошибок и нарушений, запросив повторную проверку у ПС. Если владельцу сайта важно любыми путями, в том числе черными, получить продвижение, следует быть готовым к постоянным фильтрам и банам.