Обзор Bright Data: сервис для работы с прокси

Bright Data — это многофункциональная платформа, предоставляющая ряд инструментов для работы с прокси. Одним из главных преимуществ является возможность анализа сайтов с последующим преобразованием в структурированные данные. В базе сервисе поддерживается более 72 млн. IP-адресов, подключенных к локальным прокси-серверам. Также стоит отметить технологию IDE Web Scraper, отвечающую за очистку веб-данных в режиме реального времени.

С чего начать

Получить доступ к функционалу пользователь сможет после регистрации учетной записи. Плюс в том, что сервис позволяет тестировать инструментарий на бесплатной основе, поэтому для создания аккаунта не потребуется вносить деньги.

Чтобы создать аккаунт, переходим на официальный сайт и кликаем на кнопку «Регистрация» или «Запустите бесплатную пробную версию».

В процессе регистрации пользователю нужно ввести имя, фамилию, действующую электронную почту и пароль. При необходимости можно задействовать аккаунт от Google.

После регистрации юзеру нужно выбрать вариант использования сервиса, который больше подходит по его запросы. На выбор предоставляется блок с инструментами для прокси и раздел для работы с веб-данными. Если пользователь не может самостоятельно определиться, то лучше связаться со специалистом, нажав на соответствующую кнопку.

Ниже разберем работу сервиса на примере раздела с инструментами для прокси.

Интерфейс и функциональные особенности

Когда пользователь выберет «Прокси-инфраструктура», на экране появится стартовая страница личного кабинета, где будут доступны панель управления и интерактивное окно для выполнения разных манипуляций.

Первый раздел — «Личный кабинет». Здесь будут отображаться все сведения по приобретенным прокси и собранным веб-данным. Статистика сохраняется в виде графиков, поэтому работать с ней будет гораздо проще. Обращаем внимание на левую часть экрана, где можно найти баланс и информацию о потраченных за месяц средствах.

Следующим разделом является «Прокси», где можно отобрать подходящие. На момент написания статьи сервис предлагал:

• мобильные прокси;
• прокси-серверы для помещений;
• прокси-серверы провайдеров;
• прокси-серверы для центров обработки данных.

Далее идет блок «Платформа Data Collector», с помощью которого пользователь может собирать и работать с разными наборами данных.

Если, например, выбрать раздел «Рынок наборов данных», на экране появится окно, где можно выбрать наборы данных под определенные сервисы:

• TikTok;
• Linkedin;
• Crunchbase;
• Amazon;
• Walmart

Для удобства поиска есть система фильтрации, разделяющая наборы данных по категориям.

Следующий блок — «API и интеграции». В нем пользователь может работать с API, регулировать параметры поиска, отрабатывать поисковые запросы в соответствии с заявленными требованиями. Поддерживается 4 поисковых системы: Google, Bing, DuckDuckGo, Яндекс.

Далее идет блок «Прокси-менеджер», в котором можно скачать установочный файл программы Bright Data для своего сервера.

Однако для начала нужно произвести оплату. Осуществить это можно с помощью кнопки «Добавьте способ оплаты», которая расположена в нижнем правом углу.

Еще один блок — «Расширение прокси для Chrome». С его помощью пользователь может установить расширение Bright Data для своего браузера. Поддерживается только Google Chrome.

Если нужно получить справочную информацию, кликаем на раздел «Центр поддержки». Далее система предложит библиотеку с обучающими материалами, разделенными по категориям:

• сборщик данных;
• настройки учетной записи;
• API поисковой выдачи;
• сети и прокси;
• инструменты и интеграции;
• ценообразование;
• документация по API.

Чтобы обратиться к специалистам за помощью, кликаем на значок сигнала в левом нижнем углу и выбираем блок «Обратиться в службу поддержки». После этого появится строчка, куда можно ввести свой запрос.

Рядом с блоком службы поддержки есть раздел с настройками аккаунта. Там пользователь может изменить персональную информацию, усилить безопасность с помощью Google-аутентификатора и сменить пароль.

Разберем каждый раздел более детально.

Личный кабинет

Раздел содержит всю важную информацию по прокси и трафику. В верхней панели отображается статус таких элементов, как аккаунт, статические и ротационные прокси сети, веб-разблокировщик и сборщик данных.

Большая часть этих элементов будет иметь статус «Неактивный». Чтобы их активировать, пользователю необходимо заполнить специальную форму и произвести оплату. Делается это следующим образом:

1. Кликаем на «Нажмите, чтобы активировать» в правой части экрана.

2. Выбираем «Запланировать звонок» или «Заполнить форму запроса». Учтите, что звонок осуществляется по выбранному сотрудниками техподдержки графику. Возможно, ждать придется несколько дней. Поэтому лучше выбрать вариант заполнения формы.

3. Указываем данные для активации аккаунта.

В процессе необходимо заполнить несколько страниц. На первой указывается имя проекта, электронная почта владельца аккаунта, тип проекта и данных (одноразовый и непрерывный сбор данных).

Далее идет страничка, где нужно рассказать о своих потребностях в сборе данных. Для начала нужно указать домен своего сайта, после чего выбрать IP-адреса страны, с которой будет осуществляться сбор данных. Также придется загрузить документ сопоставления, используя этот пример.

На последней странице выбираем выходные данные, которые будут учитываться системой при сборе. Для выбора предусмотрены специальные переключатели в левой части экрана. Указываем нужный вариант и кликаем на кнопку «Создать проект».

Все, на этом активация завершена. Продолжим обзор раздела.

Под блоком со статусами элементов расположен переключатель для выбора зон и сведения по трафику для следующих прокси:

• серверные;
• ISP-прокси;
• резидентские;
• мобильные;
• веб-разблокировщик;
• API-поисковой выдачи.

С помощью переключателя пользователь может выбирать следующие зоны:

• центр обработки данных;
• провайдер;
• резидентский;
• мобильный;
• веб-разблокировщик;
• API поисковой выдачи.

Далее идет блок, в котором отображается баланс и расход за текущий месяц. Чтобы пополнить счет, жмем на «Баланс», выбираем «Добавить баланса», подбираем подходящий способ оплаты и вводим реквизиты.

В нижней части раздела «Личный кабинет» отображается статистика в виде графика. Там будут сведения по всем типам прокси. В верхней части блока предусмотрена фильтрационная система, позволяющая разделять временным отрезкам (месяц, неделя, 3 дня, 1 день, 6 часов), скорости и следующим параметрам:

• пропускная способность;
• пропускная способность API;
• запросы;
• среднее количество запросов на IP;
• http и https;
• IP-адрес;
• используемые сессии;
• ошибки прокси;
• частота ошибок;
• CPM.

Ниже будет отображаться статистика от прокси-менеджера. Однако для начала его нужно подключить, используя соответствующий раздел.

Прокси

Один из главных разделов сайта, где представлен весь ассортимент прокси. Тут же осуществляется покупка, настройка определенных параметров, работа с документацией и прочее.

Обращаем внимание на основную часть дашборда. В ней отображены все предложения по прокси. В правой панели можно найти документацию, блок поддержки и примеры интеграции. Для оперативной связи с техподдержкой предусмотрена специальная форма. Ниже установлены ссылки для перехода в разделы «Прокси-менеджер» и  «Расширение прокси для Chrome».

Какие варианты прокси предлагает сервис:

Перед приобретением прокси необходимо произвести его настройку. Для этого выбираем, например, «Резидентские прокси» и жмем кнопку «Начать».

В верхней строке мы можем в случае чего изменить тип прокси. То есть заменить «Резидентские прокси» на любой другой продукт, предлагаемый сервисом. Далее идёт блок, где нужно задать proxy имя и выбрать тип IP. На последнем этапе настраиваем геолокационный таргетинг и кликаем на «Добавить прокси».

Стоит еще обратить внимание на вкладку «Примеры интеграций» в правой части дашборда. Здесь пользователь сможет ознакомиться с примерами, в зависимости от типа и языка кода.

Сервис поддерживает 3 типа кода: API, браузер и мобильные. Также поддерживается 5 языков:

• Shell;
• Node.js;
• Java;
• С#;
• VB.

Платформа Data Collector

Это многофункциональный раздел, главной задачей которого является сбор и анализ данных. Начать работу стоит с вкладки «Парсеры» в описываемом разделе. На главной странице осуществляется запрос на управляемого сборщика. Для этого нужно кликнуть на соответствующую кнопку и заполнить форму. Инструкция по заполнению представлены выше в пункте «Личный кабинет».

После настройки сборщика можно перейти к изучению дополнительных услуг сервиса. Для этого снова открываем раздел «Сборщик Data Collector» и кликаем на вкладку «датасеты». Далее откроется страничка, где нужно будет выбрать «Просмотр наборов данных».

Здесь сервис предлагает несколько типов услуг: наборы данных и конкретные продукты данных. К наборам относятся:

В наборы данных входят следующие элементы:

Чтобы приобрести набор, выбираем соответствующий вариант и жмем на кнопку «Получить предложение» в правой части экрана. Далее указываем электронную почту, номер телефона и свои требования. В ближайшее время напишет менеджер, который пришлет дальнейшие инструкции и ответит на все вопросы.

Также сервис предлагает такую услугу, как продукты данных. К ним относятся:

1. Рынок набора данных. Структурированные и простые в использовании данные с различных веб-сайтов, которые можно использовать по своему усмотрению. Отправка информации осуществляется разными способами, включая электронную почту, облако Google, Amazon и так далее..
2. Пользовательские наборы данных. Эти наборы данных адаптируются под потребности заказчика. Свои пожелания пользователь может указать во время беседы с менеджером.
3. IDE Web Scraper. Скрипты от Bright Data с готовыми шаблонами и функциями позволят оперативно разрабатывать скрепки в любом масштабе. Есть возможность собирать большие объемы данных в режиме онлайн. Также можно подключать API к любому рабочему процессу.
4. Яркие идеи. Оперативная и качественная аналитика различных веб-данных со своих сайтов или веб-ресурсов конкурентов. Можно получить данные по электронной коммерции, включая долю рынка, количество продаж, прибыль, ценовую политику и тому подобное.

Проще всего заказать пользовательские наборы данных. Для этого переходим в соответствующий блок и указываем сайт, с которого нужно получить данные. Стоит обратить внимание на окно, в котором выбирается тип сбора: содержимое всего веб-сайта или часть веб-ресурса. По завершении жмем на «Запросить ценовое предложение» и ждем ответа, который придет в течение 3 суток.

Если пользователь не может определиться с тем, какой продукт ему нужен, смело обращаемся в службу поддержки. Для этого в правой части экрана кликаем на кнопку «Давайте поговорим».

Прокси-менеджер

Это важный раздел, в котором можно получить доступ к прокси-менеджеру. Прокси-менеджер — это многофункциональный инструмент, позволяющий управлять всеми приобретенными прокси серверами, используя для этого всего один интерфейс.

Главным достоинством является открытый исходный код, что позволяет вносить собственные коррективы в работу инструмента и ускоряет процесс управления операциями с прокси. К функциональным особенностям прокси-менеджера можно отнести:

• простота настройки;
• оперативная установка SSL-отпечатков;
• предварительный просмотр трафика в режиме онлайн;
• детальная статистика;
• управление доступом с помощью генерации токена;
• активация маршрутизации запросов SOCKS5;
• ротация IP-адресов.

Стоимость прокси-менеджера — $150 в месяц. Один из плюсов в том, что первая неделя бесплатная, поэтому пользователь сможет протестить функционал инструмента без вложений. Установка на сервер заказчика осуществляется тоже бесплатно. Главное — на начальном этапе указать своим предпочтения.

Чтобы установить прокси-менеджер, переходим в соответствующий раздел и кликаем на кнопку «Я готов выбрать». Откроется окно, где будет несколько вариантов размещения на выбор:

Указав вариант, пользователь попадет на страницу, где нужно будет выбрать подходящий способ оплаты и внести реквизиты. После оплаты осуществляется интеграция менеджера в сервер.

Расширение прокси для Chrome

В этом разделе можно скачать расширение Bright Data для браузера Google Chrome. Нужно это в тех случаях, когда пользователь не имеет возможности работать с прокси-менеджером, а стандартный интерфейс напрягает переизбытком разных блоков.

Чтобы скачать расширение, достаточно зайти в раздел «Прокси», кликнуть на вкладку «Ещё» и в контекстном меню выбрать «Расширение для прокси».

 Далее появится окошко с кнопкой «Установить», по нажатию на которую вебмастера перебросит в магазин плагинов и расширений Chrome. Кликаем на кнопку «Добавить» и ждем завершения установки.

API

Раздел предназначен для работы с API поисковой выдачи. Стоит сразу обратить внимание на то, что этот блок разделен на 2 части:

• игровая площадка — здесь пользователь может взаимодействовать с параметрами поиска;
• руководство по API — справочная информация, которая поможет разобраться с API.

В первом блоке игровой площадки пользователь может играть с параметрами поиска. Для этого предусмотрены кнопки, позволяющие выбирать поисковые системы и фильтровать данные по некоторым параметрам:

• локализация;
• тип поиска;
• географическое местоположение;
• устройство.

Ниже идет блок, в котором пользователь может выбрать оболочку и сгенерировать для нее API. Также там можно включить режим предварительного просмотра.

Чтобы создать API, поднимаемся в правый верхний угол и кликаем на «Создайте прокси-сервер API поисковой выдачи». Однако для начала пользователь должен приобрести прокси-сервер».

Настройки аккаунта

Настройки аккаунта разделены на несколько отдельных блоков. Первый — «Доступ пользователей». В нем владелец аккаунта может выдавать доступ сторонним юзерам и создавать API-токен. В центре экрана указан администратор и его электронная почта.

Блок «Выставление счетов» отображает текущий баланс и позволяет выбирать другие тарифные планы. Радует, что указывается дата, до которой действует приобретенный пакет услуг. В нижней части блока предоставляется вся необходимая по тарифам информация, разделенная на следующие вкладки:

• обзор текущего тарифного плана;
• транзакции;
• счета-фактуры;
• обзор расходов;
• настройки выставления счетов;
• журнал активности.

Во вкладке «Настройки выставления счетов» можно добавить способ оплаты и подключить нового получателя. Для этого есть соответствующие кнопки.

Следующий блок настроек — «Уведомления». Здесь регулируются все настройки, касающиеся сообщений от системы. С помощью специальных переключателей можно включить/отключить уведомления API, об ограничении использовании зоны и о черном списке.

Блок «Данные учетной записи» отображает основную и контактную информацию об аккаунте. По умолчанию в этом блоке будет лишь указана страна, в которой проживает владелец акк. Чтобы его активировать, пользователю придется указать следующие данные:

• имя;
• адрес;
• регион;
• город;
• почтовый адрес;
• номер телефона;
• идентификационный номер налогоплательщика.

С помощью блога «Журнал событий» владелец учетки может следить за тем, как часто для работы использовался аккаунт. Полезно это в тех случаях, когда к акк подключено сразу несколько юзеров. В этом же блоке можно подписаться на оповещения о входе в систему.

Последний блок — «Пароли и аутентификации». Тут прикрепить/изменить пароль и активировать многофакторную аутентификацию. Дополнительная защита устанавливается с помощью Google Authenticator.

Кстати, настройку единого входа можно реализовать с помощью приложения Okta. Для этого кликаем на соответствующий тумблер и вводим следующие данные:

• домен Okta;
• идентификатор клиента;
• пароль.

В нижней части формы будут отображаться URL входа в систему.

Вывод

Bright Data — сложный в управлении сервис, позволяющий работать с прокси и данными из разных веб-ресурсов. Среди преимуществ стоит отметить поддержку десктопной версии, широкий набор инструментов и функциональную информационную панель, отображающую статистику по всем этапам работы. Минус в том, что сервис не принимает для оплаты российские банковские карты.

Официальный адрес сайта — https://brightdata.com/