Как происходит парсинг запросов из Yandex.Wordstat через Кey Collector.
Кey Collector (далее - КК) обращается к серверу Yandex.Wordstat (далее - YW), передавая запрос с помощью гет-параметров
Для парсинга поисковых запросов КК может использовать прокси при подключении к сервису. Например, для парсинга запросов из Yandex.Wordstat КК рекомендует использовать по 1 потоку на 1 IP-адрес, с задержкой от 20 до 25 секунд.
То есть одна страница запросов будет парсится около 30 секунд, что неприемлемо много, так как для частотных запросов таких страниц может быть до 41. Получается, чтобы собрать похожие запросы для 5 частотных ключей нам понадобится около 112 часов. Конечно, почему бы не сократить задержку между запросами? Всего-то нужно поставить 1 секунду и все. Не все так просто - Яндекс Wordstat/Яндекс Директ/Google Trends/Google Ads беспокоятся о работоспособности своих сервисов, поэтому адреса, с которых поступает большое кол-во запросов просто блокируются на неопределенный срок. Если вы организация, то скорее всего у вас “белый” статичный IP и изменить его будет весьма проблематично, плюс для этого нужно время. Выход из этой ситуации очень простой - прокси. Покупка 10 прокси обойдется вам в ~500 рублей на ~10 дней. Добавляем прокси в КК и теперь запросы будут совершаться с IP прокси-сервера.
А если заблокируют?
Просто покупаем еще ;) , учитывая копеечную стоимость за один адрес. Но, как всегда, есть нюанс - количество потоков ограничено аккаунтами(1 поток на 1 аккаунт) Выход все тот же - купить или создать еще аккаунтов.
Для наших проектов обычно мы используем от 10 до 15 прокси и столько же аккаунтов. В зависимости от качества прокси и доверия к аккаунту(время регистрации, подтверждение по телефону и тд) на каждый парсинг уходит разное кол-во проксей.
Для примера взяли ВЧ запрос ”колбаса” без каких либо минус-слов с регионом “Вся Россия” БЕЗ использования прокси (т.е. 1 основной IP, 1 аккаунт Яндекс.Директ).
Личный рекорд, сбор семантики для швейного интернет-магазина - 500 000 ключевых слов было собрано всего за двое суток чистого парсинга. За это время мы сменили 18 прокси и 6 аккаунтов. Всего за 2000 рублей мы сэкономили неделю, а то и больше времени, которое мог бы занять парсинг такого количества ключей. Согласитесь - можно куда продуктивнее и приятнее провести это время, избавившись от такой рутины с помощью прокси? ;)
