PublicWWW — подробный гайд по поиску скрытых ссылок конкурентов

Напрасно конкуренты думают, что их обратные ссылки никто не видит. Есть один секретный инструмент под названием PublicWWW, который сдает любые сайты со всеми потрохами. Как с ним искать скрытые ссылки конкурентов — читайте дальше.

Классические инструменты по поиску обратных ссылок конкурентов показывают только то, что лежит на поверхности, а самое полезное может остаться за кадром.

Вот тут-то на помощь и приходит PublicWWW. Превосходя обычный поиск по анкорам и доменам, PublicWWW — это как мощный прожектор, который просвечивает самые тёмные уголки сайтов насквозь и находит ссылки, скрытые от посторонних глаз. О том, как по полной использовать все его возможности, мы подробно поведаем ниже.

Больше про полезные инструменты для арбитражников, а также практические рекомендации по заливам и горячие новости в индустрии читайте в нашем Telegram-канале.

Что такое PublicWWW и почему он должен быть в вашем арсенале

PublicWWW — это поисковая система по исходному коду веб-страниц. Это настоящий детектив в мире сайтов, который способен вытащить из закромов интернета такое, о чем могут и не подозревать даже эти самые конкуренты.

Сервис был создан в 2005 году и с тех пор стал настоящей находкой для тех, кто занимается пристальной слежкой за конкурентами. Он находит то, что скрыто от глаз Ahrefs, Majestic и им подобных, потому что их ботов вебмастера PBN-сеток банят в первую очередь через .htaccess. Но, как говорится, на всякую хитрую гайку найдется свой болт с левой резьбой. И этот болт — PublicWWW, про малоизвестный юзер-агент которого админы часто забывают. Что и открывает нам окно возможностей.

​​​​

Основная фишка сервиса в том, что он индексирует абсолютно весь код страниц, до которого может дотянуться — от видимых HTML-тегов до закомментированных строк, которые программисты забыли удалить.

Вебмастера, создавая сетки сайтов, часто оставляют одинаковые «следы», или, как их называют на профессиональном жаргоне, футпринты. Это могут быть уникальные идентификаторы, куски кода, комментарии, пути к файлам — что угодно. И PublicWWW позволяет нам эти футпринты находить.

Каждый забытый комментарий, каждый старый трекер, каждая партнерская ссылка рассказывают свою историю. И эта информация может стать бесценной для вашей собственной стратегии продвижения.

Во-первых, вы можете обнаружить скрытые связи между сайтами. Если несколько ресурсов используют одинаковые уникальные скрипты или имеют одинаковые идентификаторы Google Analytics, скорее всего, они принадлежат одному владельцу. Это поможет выявить целые сетки сайтов и понять реальный масштаб деятельности конкурентов.

Во-вторых, PublicWWW отлично подходит для поиска доноров ссылок. Классический пример — поиск по уникальным виджетам или скриптам. Если конкурент размещает свой виджет на сторонних сайтах, вы легко найдете все эти площадки через поиск по коду виджета. А дальше уже дело техники — связаться с владельцами и предложить свой виджет.

Тарифы

PublicWWW работает по freemium-модели. Бесплатный тариф дает доступ к поиску по топовому миллиону сайтов, что уже неплохо для начальных экспериментов. Но серьезная работа требует платной подписки.

Telegram Website

Ваш менеджер

Вакансии

Media Buyer Facebook (Медиабайер)

Land

После собеседования

Санкт-Петербург

Senior Native Ads Media Buyer (Taboola / Outbrain)

AlphaDevs

После собеседования

Удаленно

Team Lead Media Buying\ Media Buyer (Native)

Bypass LTD

После собеседования

Удаленно

Все объявления

Разместить

JetTon Partners 0

Норм партнерка, рекомендую

Изначально когда в тг их видел во времена ноткоина думал жуткий скам, но ребята смогли адекватное что-то построить за что респект.

Удалось как то налить им, 900~ фтд где-то вышло. До сих пор даже капает. Может чуть позже еще вернусь снова по ревшаре полить, а то в кейсах у коллег уж больно сладкие RD, надо проверить.

Ребята аффы написали вчера говорят вернуться траф дать)) ну отзыв попросили оставить, мне в целом не сложно, но вот как есть)

GorilaZZ

17 августа

Тариф Pro за 49 долларов в день или 79 долларов в неделю открывает доступ ко всей базе из 500+ миллионов страниц и позволяет делать до 100 поисковых запросов в день с возможностью получить до 100 тысяч результатов. Для разовых исследований это оптимальный вариант.

Бизнес-тариф предназначен для постоянной работы и включает API-доступ, что позволяет интегрировать PublicWWW в собственные системы мониторинга и анализа. Стоимость обсуждается индивидуально в зависимости от объемов использования.

Для большинства SEO-специалистов оптимальным вариантом будет недельная подписка Pro. За неделю активного использования можно собрать огромный массив данных, которого хватит на месяцы работы.

Как работать с PublicWWW

Технология PublicWWW строится на глубоком сканировании исходного кода веб-страниц. Роботы сервиса регулярно обходят сотни миллионов сайтов и сохраняют не только видимый контент, но и все то, что могут вытащить вместе с ним — скрипты, стили, комментарии разработчиков.

Интерфейс PublicWWW нарочито минималистичен — главная страница содержит только поисковую строку и несколько примеров запросов. Для начала стоит изучить готовые шаблоны на главной странице. Там есть примеры поиска по популярным трекерам — Google Analytics, Facebook Pixel, Яндекс.Метрика. Это поможет понять синтаксис запросов и принципы работы системы.

Чтобы отсеять мусор и сделать поиск максимально точным, нужно использовать операторы. PublicWWW поддерживает несколько полезных команд:

• Кавычки "" ищут точное совпадение фразы. Обязательно к использованию почти всегда. “RU-12345678-1”
• Минус - исключает слово или фразу. Например, вы нашли сетку, но хотите исключить из поиска сам главный сайт: вводите “некий_уникальный_код” -site:konkurent.com
• Оператор site: ограничивает поиск конкретным доменом или доменной зоной. Например, bootstrap site:edu найдет все сайты в зоне .edu, использующие Bootstrap.
• Оператор ip: позволяет искать сайты на одном IP-адресе или в одной подсети. Это мега-фича для поиска PBN, так как их часто хостят пачками на одних и тех же дешевых хостингах. ip:123.123.123.0/24 “текст_копирайта_в_футере”

Знакомые с математической логикой пользователи могут использовать логические операторы AND и OR для комбинирования условий поиска. Это особенно полезно при поиске сложных сочетаний кода или когда нужно найти сайты сразу по нескольким определенным характеристикам.

Что и как искать

Итак, теория — это хорошо, но нам нужна практика. С чего начать раскопки? Нам нужна зацепка, «ниточка», потянув за которую, мы размотаем весь клубок.

1. Уникальные идентификаторы: Analytics, Adsense и другие скрипты.

Это самый простой и очевидный футпринт. Многие вебмастера, особенно не слишком замороченные на паранойе, используют один и тот же код Google Analytics или Adsense на всех сайтах своей сетки. Это же удобно! Но для нас это подарок судьбы.

Допустим, вы анализируете сайт konkurent.com. Открываете его исходный код (Ctrl+U в большинстве браузеров) и ищете идентификатор Google Analytics. Он выглядит примерно так: RU-12345678-1 или в новом формате G-XXXXXXXXXX.

Теперь идем в PublicWWW и вбиваем в строку поиска этот идентификатор в кавычках: “RU-12345678-1”.

И вуаля! Если конкурент «спалился», сервис выкатит вам список всех сайтов, где установлен этот же самый код аналитики. Это с вероятностью 99% и есть его сетка.

Конечно, это могут быть и просто клиентские сайты, если аналитику настраивало одно агентство. Но если вы видите кучу блогов с винегретом разных тематик и дизайном «привет из 2010-го», которые ссылаются на вашего конкурента, — поздравляю, вы нашли его скрытую PBN-сетку.

То же самое касается и других сервисов:

• Google Adsense: ищите pub-XXXXXXXXXXXXXXXX
• Facebook Pixel: ищите facebook.com/tr?id=XXXXXXXXXXXXX
• Различные виджеты, чаты, калькуляторы: у многих из них есть уникальный ID клиента.

2. Уникальные куски кода и комментарии.

Не все так просто. Опытные сеошники знают про палевность общих ID и не допускают таких детских ошибок. Значит, нам нужно искать менее очевидные зацепки.

• HTML-комментарии. Вебмастера часто оставляют в коде комментарии для себя. Если комментарий достаточно уникален, например, стилистически или мнемонически, он может стать нашим ключом.
• Уникальные классы CSS или ID. Иногда разработчики или верстальщики используют свои, весьма специфичные названия для классов. Например, вместо банального .button можно встретить что-то вроде .puper-cool-mega-button-green. Если название выглядит достаточно уникально, есть шанс, что оно использовалось на нескольких проектах одного и того же исполнителя.
• Встроенные стили. Иногда стили прописывают прямо в HTML-теге, например style="padding-left: 17px; font-family: 'Times New Roman';" Такой набор свойств, особенно с нешаблонными значениями — почему именно 17px? — может быть уникальным футпринтом.
• JavaScript-код. Ищите уникальные названия функций, переменных, или просто характерные комбинации кода. Например, если вы видите самописный скрипт для обработки формы с уникальными именами полей, можно попробовать поискать его части.

Представим, что мы нашли на сайте конкурента вот такой код партнерской ссылки, зашифрованный в Base64 через JavaScript, чтобы скрыть его от простых пользователей: var encodedLink = 'aHR0cHM6Ly9wYXJ0bmVyLnNpdGUvP2lkPTEyMzQ1';. Искать всю строку бессмысленно. Но вот уникальная часть 'aHR0cHM6Ly9wYXJ0bmVyLnNpdGUvP2lkPTEyMzQ1' — это отличный кандидат для поиска. Это может вывести нас на другие сайты, использующие ту же партнерку с тем же ID.

3. Анализ исходящих ссылок и анкоров.

Классика PBN — это сквозные (сидят на всех страницах сайта) или полусквозные ссылки из футера или сайдбара. Часто, чтобы сделать их менее заметными для поисковиков, их маскируют.

• Поиск по голому URL. Самый простой вариант. Берем домен нашего пациента konkurent.com и просто вбиваем его в PublicWWW. Сервис покажет все сайты, где в коде упоминается этот домен. Да, будет много мусора — обычные упоминания, партнерские ссылки. Но среди них могут затеряться и сайты из сетки.
• Поиск по замаскированным ссылкам. Иногда ссылки прячут с помощью JavaScript. В коде это может выглядеть так: [span class="hidden-link" data-link="aHR0cHM6Ly9rb25rdXJlbnQuY29t"]наш партнер[/span] (вместо квадратных скобок подставьте треугольные для тэгов html). Пользователь видит текст «наш партнер», а ссылка подставляется скриптом. Обычный краулер такое может и не заметить. А мы можем поискать в PublicWWW по уникальному классу hidden-link или по части зашифрованной ссылки.
• Поиск по «невидимым» ссылкам. Ссылки могут быть скрыты с помощью CSS, например, style="font-size: 1px; color: #ffffff;". Они не видны пользователю, но отлично считываются поисковиками. Попробуйте поискать характерные куски такого кода, например: «font-size: 1px» «konkurent.com».

Пошаговая экспресс-стратегия

После того как вы нашли потенциальную сетку, работа не заканчивается. Вам нужно проанализировать полученный список сайтов.

• Проверьте IP-адреса. Если большинство сайтов хостятся на одних и тех же серверах или у одного и того же провайдера — это жирный плюс в копилку доказательств.
• Посмотрите на регистрационные данные доменов (Whois). Часто сетки регистрируют на одни и те же данные, хотя сейчас все больше используют сервисы сокрытия персональной информации. Но иногда можно найти совпадения по дате регистрации или регистратору.
• Оцените дизайн и контент. Сайты из одной сетки часто сделаны по одному шаблону, с минимальными изменениями. Контент на них обычно низкого качества, сгенерированный или рерайт.
• Проанализируйте ссылочный профиль найденных сайтов. Куда они ссылаются? Только на вашего конкурента или еще на кого-то? Это поможет понять всю схему.

Собрав всю эту информацию, вы получите полную картину теневой SEO-стратегии вашего конкурента. Вы поймете, какие анкоры он использует, какие страницы прокачивает, и, самое главное, сможете перенять его опыт или, как минимум, понять, почему он так высоко в выдаче.

Альтернативы и конкуренты PublicWWW

На рынке существует несколько альтернатив, но большинство из них решают более узкие задачи. Пока что PublicWWW остается уникальным в своей нише благодаря сочетанию огромной базы данных, гибкости поиска и фокуса именно на исходном коде веб-страниц. Но если вам нужно что-то узкоспециализированное, то можете обратить внимание на следующие сервисы.

• Wappalyzer и BuiltWith фокусируются на определении технологий, используемых на сайтах, но не предоставляют такой гибкости поиска по произвольным фрагментам кода.

• NerdyData — прямой конкурент PublicWWW с похожим функционалом, но меньшей базой данных.

• GitHub Code Search отлично подходит для поиска в открытых репозиториях, но не индексирует живые сайты.

Эксперты отвечают

Вывод

PublicWWW остается незаменимым инструментом для тех, кто хочет видеть полную картину конкурентной среды. Информация о том, где чужие сайты размещают скрытые ссылки в вашей нише, может стать решающим конкурентным преимуществом.

И если вы еще не догадывались покопаться в чужом коде в поисках скрытых возможностей для собственного ссылочного продвижения — самое время начать. Ведь пока вы изучаете конкурентов традиционными методами, кто-то уже находит их слабые места через анализ исходников их сайтов.