Сегодня мы расскажем о фальшивом трафике, который не только «отравляет» интернет, но и «сжигает» ваш бюджет и деньги рекламодателя. В последние годы наблюдается значительный всплеск «серого» трафика, который нагоняют онлайн-боты. С каждым днем все больше и больше ботов запускаются в интернет. Хорошо это или плохо? Чтобы ответить на этот вопрос, мы должны изучить различные типы ботов и то, что для чего они предназначены.
Разбираетесь в трафике? Приглашаем в раздел Заказы, где можно найти подходящие проекты для монетизации своих навыков.
Особенности «серого» трафика
Бот-трафик — это любой онлайн-трафик, который не генерируется человеком. Обычно это означает, что трафик поступает от какого-то автоматизированного скрипта или программы, которая предназначена для того, чтобы сэкономить время на выполнение всех задач вручную.
Эти программы выполняют как простые действия (нажатие на кнопки, переход по ссылке) так и сложные задания (очистка или заполнение форм). Но чтобы они ни делали, они охватывают большие масштабы, работая практически безостановочно. По оценкам, более 50% интернет-трафика приходится на бот-трафик, поэтому их можно найти практически везде и практически на каждом веб-сайте.
Чтобы дать вам представление о различных типах трафика ботов, кратко расскажем отдельно о «хороших» и «плохих» ботах.
Хорошие боты
Хотя трафик, полученный с помощью ботов имеет повсеместную негативную репутацию у вебмастеров, на самом деле существует целый ряд полезных алгоритмов:
- Поисковые боты, которые просматривают контент. Это суть работы поисковиков, которые проверяют контент с помощью роботов-пауков на соответствие поисковому запросу. Например, у Google и Яндекса — Googlebot и YandexBot.
- Боты данных, которые работают на поиск самых свежих данных: новости, прогноз погоды, курсы валют и так далее. К ним относятся Amazon Echo, Google Home, Siri или Алиса. В широких кругах их называют медиа-ботами.
- Боты проверки авторского права, которые беспощадно проверяют контент на процент плагиата. Он проверяет все: статьи, видео, фото. Такие роботы чаще всего встречаются в социальных сетях, где львиная доля контента создается самими юзерами. Например, Content ID на YouTube проверяет ролики на наличие защищенного авторским правом контента. Правомерно ли использование этих данных?
- Торговые боты выискивают самое выгодное предложения о продаже товаров или услуг в сети. Они могут быть полезными и рядовому покупателю, и продавцу (выстроить ценовую политику, подчеркнуть выгоду, дать бонусы при покупке). Неплохой продуктивностью обладает браузерное расширение AliExpress Coupon Finder для поиска купонов и скидок на AliExpress или Honey для Amazon.
- SEO Crawlers, которые помогают вывести ваш сайт на первое место в поисковых системах, что, по началу, может быть очень сложно и затратно. Существует целый ряд программ, которые могут улучшить SEO-показатели, сканируя и сопоставляя ваш сайт с конкурентным. Собранные данные помогают улучшить органический трафик и подняться в топе.
Плохие боты
- Кликботы. Они имитируют поведение человека, а именно такое целевое действие, как клик. Из-за этого, естественно, страдают данные об эффективности рекламной кампании. Такие боты ещё и сливают ваш бюджет, который вы потратили на рекламные баннеры и объявления.
- Боты-загрузчики файлов. Можно сказать, что их деятельность схожа с кликающими роботами с той лишь разницей, что вместо переходов по линку, они портят достоверность данных по количеству загрузок файла. Даже разработчики сервисов для iPhone пару лет назад массово пользовались услугами сторонних сервисов, которые обещали самые высокие рейтинги. К чему это привело? К отказу от подобных услуг.
- Боты-самозванцы. Они тоже маскируются под пользователей-людей. Но в отличие от предыдущих, такие алгоритмы приносят намного больше вреда, чем слив рекламного бюджета через фальшивые клики. Цель самозванцев — обойти системы защиты таким образом, чтобы практически весь ваш трафик приносили только они, поэтому именно они стоят за внушительной долей DDoS-атак. Например, в 2016 году такая атака пришлась на Dyn DNS, из-за чего половина ресурсов сети, в том числе Twitter, перестала работать. Виновником происшествия был ботнет Mirai, который серфил уязвимые места в устройствах и заполнял сервисы ботами-самозванцами.
- Скрейпер-боты. Помните боты по защите авторских прав? Так вот, скрейперы работают наоборот: вместо соблюдения прав они нацелены на воровство чужого контента и внедрение его в другой контент.
- Программы-шпионы, которые собирают данные о людях, компаниях для формирования и продажи подписных баз. Если на вашу почту приходит письмо с незнакомого адреса, от незнакомого человека, которому вы не давали свои контакты — скорее всего, это дело рук программы-шпиона.
- Зомби-боты или сканеры ищут слабые, уязвимые места в защите, чтобы пробраться к вычислительной системе. Самое интересное, что, получив доступ, они начинают работать в фоновом режиме, используя ваш компьютер для рассылки вредоносного ПО.
Главное, что следует понять — те и другие боты используются для конкретных целей, связанных с обменом и сбором данным. Можно ли защититься от вредоносных программ?
Самые высокие ставки по RU, BY, KZ от прямого рекламодателя FONBET PARTNERS!
К заливам!
Всех роботов можно разделить на две большие категории по исполнению сценариев javascript. Одни их используют, а другим они недоступны. Суть в том, что те, кто исполняет сценарий, отображается в отчетах GA как хиты и искажают данные по трафику (как прямому, так и реферальному), а также данные по отказам, конверсиям. А те, кто не исполняет, никоим образом не могу повлиять на счетчик и отчеты, потому что не меняют параметры метрик.
Те же гугл боты следуют правилам robots.txt, а вот вредоносные им не подчиняются, создавая поддельные аккаунты, спам-рассылки, парсят e-mail адреса и обходят капчу. Такие алгоритмы умеют маскироваться, обнаружить их не так-то легко. Самый главный совет, который можно тут дать — считать всех ботов потенциально опасными.
Например: если бот использует сеть зараженных компьютеров, то он посылает реферальные запросы на ваш сайт из сотен разных IP, поэтому составление черного листа IP-адресов в данном случае не поможет. Спамер будет продолжать портить вашу статистику посещаемости. Но существуют и такие спамеры, которые отправляют на сайты прямые запросы. В данном случае их можно отследить с помощью отчетов по Direct трафику. Хорошим вариантом будет аналитика при помощи Google.
Первое, что нужно проверить — раздел рефералов. Так мы сможем убедиться, что не получаем реферальный спам. Если сайт подвержен атаке со стороны сканеров уязвимостей и спам-ботов, то, скорее всего, вам понадобится защита в виде брандмауэра. Лучший способ — просто установить бесплатный сервис CloudFlare на свой веб-сайт.
Этот сервис действует как барьер или щит между ресурсом и пользователем, то есть он разрешает доступ к вашему веб-сайту только законным пользователям. Любые подозрительные действия не смогут пройти незамеченными и будут заблокированы. Это означает, что вредоносные боты не будут искажать данные, портить аналитику или красть контент.
Еще один полезный способ заблокировать ботов — использовать файл robots.txt на сайте, заполнив его пользовательскими данными или реальным именем бота. Конечно, это работает только в том случае, если робот следует файлу robots.txt, что делают большинство хороших или полезных ботов. Если вы же вы пытаетесь избавиться от надоедливого вредоносного алгоритма, лучше использовать упомянутую выше опцию CloudFlare.
Кто виноват?
Многие предполагают, что виноваты SEO-агентства, которые отчаянно хотят добиться увеличения трафика и хороших результатов, не затрачивая реальных усилий. Обычно они обещают очень много за небольшую плату и в короткие сроки. Следует с подозрением относиться к таким объявлениям, как:
- «Мы удвоим ваш трафик за 2 месяца!»
- «Вы станете номером один в кратчайшие сроки!»
- «Мы повысим ваш рейтинг по X запросам в X раз!»
Короче говоря, ни одно агентство не может гарантировать вам точный рейтинг или конкретный трафик в определенные сроки. Возможно ли добиться высоких показателей? Несомненно. Но никто не может детально предсказать действия Google, обновления алгоритмов, поведение конкурентов и любые другие сотни факторов.
Также стоит насторожиться, если пользователи приходят в основном из очень старых интернет-браузеров или используют очень старые устройства (10-летние версии браузеров Internet Explorer или Nokia).
Фильтруем бот-трафик: построение защиты
- Перейдите в Admin > Настройки просмотра > убедитесь, что в разделе «Bot Filtering» установлен флажок.
- Начните регулярно анализировать ваш трафик на наличие странных паттернов, подобных тем, которые упомянуты выше.
- Если есть явные тенденции, по которым можно отфильтровать, скажем, высокий уровень российского трафика, когда ваш контент не ранжируется, не предназначен и не переведен на русский язык, — настройте фильтры и подождите, чтобы увидеть, как трафик изменится.
- Повторите шаги 2 и 3.
Основные показатели качества трафика
Существует много метрик, с помощью которых измеряется качество трафика. Выделим самые важные и популярные:
- Посещаемость — показатель, характеризующий общее число посетителей ресурса. Отследить его можно во всех счетчиках. Посещаемость дает только общие выводы. Например, если все запросы находятся в ТОП и при этом на сайт приходит незначительный трафик. Тогда вам нужно пересмотреть свое семантическое ядро. Если позиции растут, а посещаемость не меняется, то узнать почему. Проверить, как отображается ресурс на странице выдачи: возможно, сниппет не привлекателен.
- Источники трафика — дает понять, как и с какого сайта, поисковой системы пользователь попадает к вам. Если сайту больше 3-х месяцев, а доля переходов из поисковиков совсем минимальна, снова обратите внимание на ядро. Если вы еще используете помимо поисковика контекстную и баннерную рекламу, то разделите трафик по источникам, чтобы понять, какой является наиболее эффективным.
- Демография — это все половозрастные данные вашей ЦА. Зачем проверять данный показатель? Чтобы узнать: попадает ли ваш сайт и его наполнение под выбранную аудиторию. Например, вы продвигаете товары люкс-класса, рассчитанных на богатых мужчин в возрасте от 40 лет, а по результатам анализа увидите, что лидов нет, потому что на сайт заходят девушки 25 лет.
- Лояльность — данная характеристика показывает сколько юзеров возвращается к вам снова. Причем, высокий показатель лояльности может трактоваться и в положительную, и в отрицательную сторону. Людям может нравиться ресурс, быть удобным и полезным, но если доля новых посетителей уменьшается,то нужно корректировать рекламную кампании. Оптимальным показателем лояльных считается 30-40% от общего трафика.
- Страницы входа — это URL, с которого люди обычно начинают свой путь по ресурсу. Анализ взаимодействия юзера со страницей, конверсия — очень важны в оценке эффективности рекламной кампании. Если люди уходят с вашего сайта, обратите внимание на точки выхода.
- Ключевые слова — важный показатель качества трафика. Слова, которые должны приносить трафик и повышать конверт. Если этого не происходит, то, возможно, ядро сформировано некорректно и требует изменений.
- Страницы выхода — это страницы, после которых человек покидает ресурс. Самыми популярными должны быть: контакты, форма заявки, онлайн-заказ. Если закономерность не соблюдается, уделите внимание юзабилити всех страниц.
- Конверсия — это общее количество пользователей, достигших нужной нам цели. Например, заказ, заполнение формы. Если пользователь не достигает нужной нам цели, проверьте дизайн сайта, юзабилити и семантическое ядро.
- Количество просмотров — количество страниц, которые пользователь просмотрел за один раз. Данный показатель может быть от 1 до 10, 100 страниц. Средний показатель рассчитывается индивидуально, на основе данных по конкурентам. Опять же, если он посетил всего 1 страницу, но этого хватило, чтобы он сделал заказ, то небольшое число не должно пугать. А вот 5 страниц без целевого действия может плохо характеризовать сайт. Возможно, человек просто запутался в навигации или не нашел ответов.
- Показатель отказа — число посетителей, просмотревших страницу и ушедших с сайта. Имейте ввиду, что данные в Яндекс.Метрике и Google Analytics отличаются.
- Время на сайте — величина, которая может трактоваться по-разному, в зависимости от того, с каким показателем вы его сочетаете.
Все перечисленные нами параметры и величины помогают оценить качество трафика и сделать выводы: эффективна ли ваша рекламная кампания.
Как сохранить трафик чистым
1. Analytics Referrer/Ghost Spam Blocker. Бесплатный спам-блокер, в чёрном списке которого находятся 550 доменов. Данные обновляются. Типы фильтра: по имени хоста, разрешению экрана, доменам.
2. Analytics Toolkit. Платный инструмент ($15). Типы фильтра: по занесенным доменам. При появлении новых — обновление происходит автоматически. Простой интерфейс, квота обращений отсутствует.
3. Spam Filter Installer. Бесплатный ресурс, квота — 2000 обращений. Применяется только к одному аккаунту. Типы фильтра: по доменам, которые не всегда актуальны.
4. Referrer Spam Blocker. Бесплатный сервис, обладающий удобным интерфейсом. Квота — 5000 обращений. Типы фильтра: по занесенным доменам (но база неполная: 203 домена, 17 фильтров).
Можно ли вычистить уже зараженный трафик?
Если использовать приведенные выше утилиты, то очистить уже заспамленные данные в GA не получится. В Google analytics есть сегменты, которые позволяют отфильтровать старый трафик. Что сделать? Импортировать Analytics Spam Blocker (550 доменов).
Чего делать не стоит? Устанавливать дополнительные параметры. Для этого понадобится доступ к коду отслеживаемой страницы. Также, как и создание нового идентификатора. Вы просто попрощаетесь со всеми старыми данными. А боты смогут найти ваш новый аккаунт. Фильтрация IP адресов также малоэффективна, так как вредоносные алгоритмы используют разные IP.
Итог
Для борьбы с бот-трафиком нужно комбинировать фильтрацию с блокировкой спама. Только в этом случае можно надеяться на максимально точные данные в отчетах. Грамотная настройка рекламной кампании освободит массу времени, которое вы сможете потратить на работу с реальными данными и масштабирование.
