27 апреля 2023 0 2675

«Чтобы создать быстро 500 страниц сайта, используйте инструменты Open AI»: дропы для PBN, используя парсинг выдачи и сайтов

Все, кто занимается SEO знают, что покупать домены на аукционах — удовольствие не из дешевых. Возможно ли найти домены по цене регистрации, которые подойдут к любому типу бизнеса? Об этом Дмитрий Федосеев рассказал на вебинаре, прошедшем на одном из тематических YouTube-каналов. Помимо прочего, он затронул такие темы:

  • Как искать домены вне аукционов;
  • Какие нужны инструменты для поиска доменов;
  • Сколько стоит организовать парсинг;
  • Каких результатов можно достичь рекомендуемой методикой.

О спикере

Дмитрий является SEO-специалистом digital-агентства Ant-Team.ru. Кратко о нем повествует нижеприведенная информация.

Как работает аукцион дропов

Схема покупки дропов на аукционах выглядит таким образом: после того, как домен забыли продлить или он стал не нужен, в течение 30 дней он находится «на охлаждении». По окончании этого срока домен выставляется регистратором на аукцион.

Любой человек может зайти на сайт таких регистраторов, как Beget или Reg Ru, чтобы сделать ставки. Если до 17:00 дня, в который сделана ставка, ее никто не перебил, заявка направляется регистратору доменной зоны, и победитель аукциона выкупает домен. Следить за всеми регистраторами в поисках нужного по определенным параметрам дропа затратно по деньгам и по времени. Поэтому SEOшники пользуются нижеприведенной схемой.

Существуют сервисы-перехватчики, например, Expired и Backorder. В них можно зарегистрироваться, пополнить баланс личного кабинета, и они будут парсить всех регистраторов в поисках нужных доменов. Ближе к 17:00 боты сервисов будут перебивать ставки и выкупать дропы. Недостаток у этой схемы один — сервисы выкупают домены у регистраторов в среднем за 200 рублей, а SEO-специалисты платят за него около 10 000 рублей.

На самих аукционах, исходя из таблицы, приведенной спикером, средняя цена домена составляет 5 000 рублей.

При этом стоимость дропов популярных денежных тематик, таких как банкинг, МФО, займы, в десятки, а то и сотни раз выше. Например, домен одного из бывших банков продавался за 249 000 рублей. Если проанализировать его ссылочное, можно увидеть, что ничего особенного в нем нет, и его баснословная цена обусловлена только банковской тематикой.

Затраты команды Федосеева на покупку дропов для построения PBN-сети представлены в таблице ниже. Из нее видно, что самая затратная часть — это аукцион, статьи и проверка фильтров. Итоговая стоимость одного домена в PBN на сегодняшний день составляет порядка 7 000 рублей.

«20% PBN-бюджета у нас уходит на торги за домен на аукционе», — рассказал спикер.

Возникает логичный вопрос: «Можно ли обойтись в продвижении сайтов без PBN?» Ответ на него демонстрируют графики ниже. На них видно, что с использованием сеток сайтов видимость в Google продвигаемых ресурсов значительно выше.

Инструменты для поиска и парсинга дропов собственными силами

Чтобы самостоятельно парсить освобождающиеся домены, необходимы:

  • Роботы-парсеры доменов;
  • Роботы-парсеры пузомерок доменов;
  • Сервера;
  • Антидетект-браузеры для сохранения анонимности.

Относительно последнего пункта команда Дмитрия использует китайское железо, которое содержит 28 ядер, 192 Гб оперативной памяти и при этом работает не на полную мощность.

На этом же сервере ребята подняли виртуальные машины под Ubuntu.

В 2021 году поднятие одного вышеописанного сервера обошлось ребятам в 180 000 рублей. Готовясь к вебинару, Дмитрий решил перепроверить ценник на оборудование на AliExpress. К своему удивлению, он обнаружил, что видеокарта подешевела в два раза. Процессор 2 года назад ребята покупали за 17 000 рублей, сегодня он стоит 3 580 рублей. Таким образом, собрать сервис сегодня стоит гораздо дешевле, чем в 2021 году.

A-Parser

При помощи этого инструмента Дмитрий парсит внешние ссылки с доменов yandex.ru, mos.ru.

На предыдущем скриншоте видно, что количество завершенных запросов перевалило за сотни тысяч. Это говорит о том, что SEO-агентство пользуется парсером на регулярной основе длительное время.

Первая лицензия на его использование стоит $200, затем докупается условно-бесплатное пожизненное обновление еще за $200. Дополнительные $200 нужно заплатить за Pro-версию, дающую возможность поддержки по API.

Самые высокие ставки по RU, BY, KZ от прямого рекламодателя FONBET PARTNERS! К заливам!

XEvil

Данный инструмент необходим для разгадывания капч. При парсинге выдачи Google и Яндекс SEOшник постоянно сталкивается с необходимостью разгадывания капчи. Следующий скриншот демонстрирует сумму сэкономленных денег команды за счет использования XEvil.

Расходы на парсинг

Ниже расписана общая сумма затрат на оборудование, необходимое для парсинга доменов:

  • Сервер для Windows и Ubuntu — 180 000 рублей;
  • A-Parser — 600 $ (50 000 руб.);
  • XEvil и XRumer — 15 000 рублей;
  • MySQL — бесплатно;
  • Python — бесплатно;
  • Zennoposter — 15 000 рублей;

Итого: 260 000 рублей.

Для использования вышеприведенных инструментов необходимо обладать определенными знаниями. Поэтому к перечисленным затратам спикер порекомендовал прибавить также стоимость обучающих курсов по:

  • Python;
  • SQL;
  • Анализу и визуализации данных.

«Не обязательно становиться программистом, достаточно понять азы работы систем, чтобы эффективно заниматься парсингом», — дал совет Федосеев.

По утверждению спикера, время и финансы, потраченные на создание собственного инструмента парсинга поисковой выдачи, в долгосрочной перспективе помогут сэкономить много времени и денег на приобретение дропов.

Зачем придумывать велосипед?

В большинстве вакансий по поиску SEO-специалистов, в числе прочего, есть требование, чтобы кандидат владел инструментами парсинга.

Основная проблема приведенных на скриншоте сервисов — это их ресурсоемкость. Например, «лягушка» (Screaming Frog SEO Spider) загружает почти 760 000 спарсенных URL, что занимает 25 ГБ оперативной памяти.

Таким образом, минусами общедоступного софта для парсинга являются:

  • Отсутствие возможности парсить большие сайты;
  • Необходимость использования хорошего дорогого железа.

Тем не менее в них есть и очевидный плюс — это отличная возможность проводить стандартный технический аудит. Аналитических инструментов, которые содержат специализированный софт, более чем достаточно для ежедневных потребностей SEOшников.

Связка Zennoposter + A-Parser

Спикер рассказал, как он со своей командой использует интеграцию по API Zennoposter с A-Parser. Скриншот ниже демонстрирует шаблон постановки задач A-Parser через Zenoposter. В сервисе указывается, что необходимо парсить, как, сколько потоков и так далее.

На следующей картинке скриншот лога из Zennoposter. На ней видно, сколько задач стоит на парсинг тех или иных сайтов и другие подробности.

В самом A-Parser задача выглядит таким образом:

Количество завершенных запросов, которые обрабатывает A-Parser, как можно судить по предыдущему скриншоту, исчисляется сотнями тысяч. На таких объемах «лягушка» попросту легла бы, а A-Parser показывает загруженность ЦП на 33%.

Резюмировать приведенную схему можно следующим образом:

  • Необходимо указать домен и/или ключевые слова;
  • А-Parser + Zennoposter + Python сделают всю работу по парсингу;
  • А-Parser + Zennoposter + Python автоматически поставят на парсинг все найденные домены после первого парсинга;
  • SEO-специалисту нужно будет разобрать результаты.

Какие сайты парсить?

Большое количество дропов можно спарсить с таких сайтов, как:

  • ria.ru;
  • lenta.ru;
  • 1tv.ru;
  • mos.ru.

Однако Дмитрий утверждает, что все они будут заезжены сайтами тиматик гемблинга и крипты. Рассчитывать на то, чтобы сделать из них качественные ссылки, не стоит, ведь большинство из них находится под фильтрами поисковых систем.

Задача дроповода найти такие домены, которые не юзали другие SEOшники. Такие дропы можно искать на docs.ozon.ru и yandex.ru/support. На скриншоте ниже пример домена, на который ведет ссылка как с Яндекса, так и с Ozon. Стоимость данного домена была 200 рублей.

На приведенный в примере домен ссылались всего 17 сайтов и 23 бэклинка, а его DR был равен 25. Спикер рекомендует не обращать внимание на такие параметры, поскольку хорошее ссылочное при продаже не является гарантией качества дропа. Очень часто продавцы навешивают на сайт ссылки, бустят его DR, а после продажи снимают их.

Парсим выдачу

Федосеев показал, как на практике выглядит парсинг поисковой выдачи. Для примера он ввел в поисковик запрос «купить телевизор». Далее необходимо выбирать несколько сайтов из топа выдачи и провести их анализ на наличие внешних ссылок.

Твой голос может стать решающим! Престижная премия MAC AWARDS: голосуй за лучших в области CPA и онлайн-маркетинга

Сайт Эльдорадо, например, содержит 7 внешних ссылок.

Эти ссылки необходимо обрезать до уровня домена и сохранить в отдельное место. База данных сохраняет следующую информацию обо всех спарсенных доменах:

  • Какой из них является донором;
  • Где домен найден;
  • Дата обнаружения домена.

Все указанные операции делаются автоматически сервисом A-Parser. На скриншоте ниже видно, что за 3 дня парсинга в небольших объемах ребятам удалось найти 83 000 доменов. Для их поиска, в A-Parser было загружено около 7 000 ключевых слов.

Из всех спарсенных доменов дропами оказались около 1,5%. Это, по словам спикера, является хорошим результатом парсинга.

Что дальше?

После того, как описанным способом удалось найти дропы, необходимо их проверить через РКН, Ahrefs, а также проанализировать веб-архив сайтов. Чтобы создать у слушателей вебинара представление об объеме работы с дропами после их парсинга, Дмитрий показал скриншот CRM-системы команды.

Выполнить такой объем работы в одиночку крайне сложно, поэтому Дмитрий привлекает коллег, чтобы они помогали ему проанализировать, подходит ли конкретный домен команде. Ручной фильтр требует человеческих ресурсов, однако экономит значительный бюджет, в сравнении с покупкой дропов на аукционе. Также спикер подчеркнул, что вышеприведенная схема стабильно работает для Рунета.

А что в бурже?

Следующий скриншот из CRM-ки агентства Федосеева демонстрирует ответ его помощника после ручного анализа выбранных для парсинга зарубежных сайтов.

На момент проверки выдачи Дмитрием в ней было определенное количество интересных доменов. Однако при ручном анализе все они уже были куплены. То есть за несколько часов после появления в выдаче все качественные бурж-домены выкупаются. Это демонстрирует высокий уровень конкуренции в зарубежном сегменте сайтов.

Результаты и эффективность

За несколько итераций подклейки ссылок удается кратно увеличить видимость сайта в Google. На скриншоте ниже показано, как после первой подклейки видимость увеличилась на 10%, а после третьей составила уже 70%. По словам Федосеева, с сайтом ничего, кроме публикации статей, не делали, то есть видимость повышалась исключительно за счет ссылочного.

Где брать контент для дропов?

Многие SEO-специалисты продолжают использовать веб-архив для наполнения сайта контентом. Также для этих целей SEOшники используют труд копирайтеров. По мнению Дмитрия, в этом на сегодняшний день нет необходимости, поскольку есть компания Open AI, которая разрабатывает крутые инструменты. Команда спикера активно использует их с осени 2022 года.

«Для того чтобы создать быстро и качественно 500-1 000 страниц на сайт, использовать инструменты от Open AI будет самым лучшим решением», — поделился опытом Дмитрий.

Спикер подчеркнул, что ChatGPT является очень перспективным, и качество генерируемых текстов находится на высоком уровне. Однако есть один недостаток, который не позволяет его потоково использовать SEO-командам. В ChatGPT отсутствует интеграция по API.

Ниже представлены расчеты, сколько денег тратит Дмитрий на инструменты от Open AI при продвижении лично своих сайтов.

Затраты его команды на одну статью приблизительно одинаковы, но объемы генерации в разы выше.

Midjourney для генерации изображений

«Если у вас PBN из нескольких сотен или тысяч доменов, и вы для каждого из них тырите из сети картинки, то рано или поздно вам прилетит иск от их правообладателей», — предупредил спикер вебинара.

Генерация изображений Midjourney решает проблему уникальности картинок на сайтах. При этом сервис не простой, и необходимо время для того, чтобы разобраться, как с ним работать. Безлимитная генерация изображений в стандартном тарифе Midjourney стоит $30.

Ответы на вопросы

В завершении вебинара Дмитрий Федосеев ответил на вопросы слушателей. Самые интересные из них публикуем в финале этой статьи.

Чем накручиваете DR сайтов?

Я использую XRumer, других вариантов для буста DR не знаю.

На какие параметры ориентируйтесь при отборе ссылок для PBN?

Все параметры условны, бывает так, что отходим от общепринятых норм оценки домена, если чувствуем в нем потенциал. В целом стараемся брать домены с DR от 20, и чтобы на нем было от 10 ссылок. Но, опять же, если там будет одна ссылка с сайта, например, правительства Москвы с нужным мне анкором, я выкуплю этот домен с одной ссылкой.

Сколько будет стоить сделать PBN под ключ на 10 сайтов в бурже?

По Рунету отвечу без проблем, 7 000 рублей стоит 1 сайт, соответственно, сетка из 10 будет стоить 70 000 рублей. Под бурж нужно просчитывать, там много индивидуальных параметров, которые будут влиять на цену.

Дропы, которые вы перехватываете, восстанавливаете в оригинальный контент или все переписываете?

Мы полностью переписываем контент, генерируем нейросетями.

Что лучше работает — восстановить домен и поставить ссылку или подклеить дроп?

Подклейка работает лучше.

Кто получит престижную премию в области CPA и онлайн-маркетинга? Решаешь только ты. Премия MAC AWARDS: голосуй за лучших.

Сайты на WordPress, пусть даже сделанные на разных темах, не будут являться футпринтом?

Нет, не будут. У каждого сайта своя структура и разные авторы контента. Самое главное — это то, что все сайты сетки располагаются на разных серверах. К тому же, если в статьях с помощью Open AI генерировать комментарии к ним, то шансы, что Google спалит сетку крайне малы.

Есть белые альтернативы продвижению сайта с помощью сетки PBN?

Теоретически да. Мы используем аутрич, крауд, но по эффективности они и близко не стоят с PBN. Поэтому на практике почти во всех тематиках используют сетки сайтов для продвижения.

Подписывайся на наш Telegram-канал, где мы публикуем свежие новости и интересные кейсы по SEO!

Как вам статья?
ПОЛУЧИТЬ АКТУАЛЬНУЮ ПОДБОРКУ КЕЙСОВ

Прямо сейчас бесплатно отправим подборку обучающих кейсов с прибылью от 14 730 до 536 900 ₽.


Топовая партнерка 1xSlots