Обзор Screaming Frog SEO Spider: технический аудит сайтов, поиск ошибок и анализ структуры

Screaming Frog SEO Spider — приложение для сканирования и анализа технического состояния сайтов. Устанавливается на компьютер и работает на Windows, macOS и Linux.

Основная функция — краулинг сайта для сбора технической информации о каждой найденной странице. После полного сканирования вы получаете данные о мета-тегах, заголовках, HTTP-статусах, редиректах, ошибках индексации, дублировании контента, структуре ссылок. Вся информация организована в удобные вкладки для анализа.

Архитектура и принцип работы

Screaming Frog работает на компьютере пользователя, данные не передаются на чужие серверы, а скорость сканирования зависит от пропускной способности сети и мощности компьютера.

Из недостатков:

• для крупных проектов нужен большой объем оперативной памяти;
• программа написана на Java и может потребовать 8–16 ГБ RAM;
• на слабых машинах с 4 ГБ памяти сканирование больших каталогов идет очень медленно;
• хранить данные придется на компьютере, что усложняет работу в команде.

Настройки краулинга

Сканирование в Screaming Frog легко настроить под свои задачи. Вот что можно изменить:

• Юзерагент: программа может притвориться ботом Google или Bing, чтобы показать вам сайт именно так, как его видят поисковики.
• Скорость проверки: можно замедлить сканирование, чтобы программа не создала слишком большую нагрузку и случайно не «положила» сервер вашего сайта.
• Правила доступа в robots.txt: можно поставить запрет на сканирование определенных страниц.
• Чтение сложного кода  благодаря встроенному браузеру программа без проблем загружает и проверяет современные динамические сайты.
• Исключения: можно заранее запретить программе заходить в определенные разделы сайта, чтобы не тратить время и лимиты.
• Точечная проверка: можно не обходить весь сайт целиком, а просто загрузить свой список ссылок для анализа.

Бесплатная версия программы проверяет только 500 ссылок за один раз. Для небольшого блога или сайта-услуг этого хватит за глаза, но для интернет-магазина с кучей товаров придется покупать лицензию.

Технический аудит

После глубокого сканирования вы получаете полную картину технического здоровья вашего сайта. Вот что проверяют:

• Доступность страниц. Находит битые ссылки и ошибки, чтобы ваши клиенты не натыкались на пустые экраны, а поисковики не снижали рейтинг сайта.
• Уникальность контента. Выявляет страницы-близнецы и дубли заголовков, которые мешают сайту расти в поиске.
• Удобство структуры. Находит важные разделы, которые запрятаны слишком глубоко (в 5 кликах и дальше) или на которые вообще забыли поставить ссылки.
• Скорость загрузки. Вычисляет «тяжелые» картинки и лишний код, которые заставляют сайт тормозить.
• Индексацию. Сверяет карту сайта с реальностью, чтобы Google и Яндекс видели только полезный контент и не индексировали мусор.
• Привлекательность в поиске. Проверяет настройки, благодаря которым ваши товары красиво и заметно выделяются в поисковой выдаче, с ценами и фото.
• Мультиязычность и безопасность. Проверяет, чтобы иностранные клиенты попадают на нужную языковую версию, а само соединение с сайтом защищено.

On-page анализ

Screaming Frog — это в первую очередь технический сканер, а не сервис для анализа текстов. Но базовые текстовые параметры он проверяет отлично.

Что он анализирует на страницах:

• Главные заголовки и описания: находит пустые, слишком длинные, короткие или одинаковые. Сразу видно, если у вас на сотне страниц стоит один и тот же заголовок.
• Структуру текста: проверяет, есть ли на странице главный заголовок, не забыли ли его написать или, наоборот, не воткнули ли сразу несколько (что плохо для SEO).
• Картинки: находит сломанные изображения, слишком тяжелые файлы и картинки без Alt-тегов.
• Ссылки: собирает все внутренние и внешние ссылки, показывает их текст и сразу подсвечивает те, что ведут на несуществующие страницы.

Программа не проверяет качество самого текста: читабельность, переспам ключевыми словами или смысл статьи. Проверка орфографии есть только в платной версии.Также сканер сам по себе не умеет отслеживать позиции сайта в поиске и не имеет своей базы внешних ссылок.

Абсолютно все найденные ошибки можно выгрузить в удобные таблицы Excel или CSV. А чтобы получить еще больше данных, программу можно через API связать с другими сервисами:

• Google Analytics 4 — покажет трафик и конверсии по каждой страничке.
• Google Search Console — подтянет клики, показы и среднюю позицию в поиске.
• Google PageSpeed — добавит данные о скорости загрузки.
• Ahrefs или Majestic — покажет рейтинг сайта и качество внешних ссылок (потребуется платная подписка на эти сервисы).

Тарифы

Модель простая: бесплатная версия с ограничениями и одна платная лицензия.

Лицензия выдается на одного пользователя. Для двух сотрудников требуются две лицензии. При покупке от 5 лицензий вы получаете скидки.

Кому подходит инструмент

Кому подойдет эта программа:

• Новичкам в SEO. Бесплатной версии хватит для учебы и тренировок. Но чтобы понимать, что означают найденные ошибки, нужно знать хотя бы базовую теорию SEO.
• Фрилансерам. Отличный рабочий инструмент. Платная версия стоит $259 в год, количество проектов не ограничено. Обычно она окупается после первого же аудита крупного сайта.
• Штатным SEO-специалистам компаний. Идеально для ведения 1–2 больших корпоративных сайтов. Если связать программу с сервисами Google, можно видеть всю техническую картину как на ладони.
• SEO-агентствам. Тут есть нюанс: лицензию нужно покупать на каждого сотрудника (для команды из 10 человек это $2 590 в год). Кроме того, программа не умеет делать красивые отчеты с логотипом вашего агентства для клиентов.
• Владельцам бизнеса без опыта в SEO. Программа не подойдет. Она сделана инженерами для инженеров, интерфейс сложный, а данные без спецзнаний просто непонятны.

Главные плюсы:

• Скорость и глубина: это один из самых быстрых сканеров на рынке.
• Чтение сложных сайтов: умеет открывать страницы точно так же, как это делает сам Google.
• Связь с другими сервисами: собирает данные из Google (Analytics, Search Console, PageSpeed) и других SEO-программ в одну удобную таблицу.
• Умный сбор данных: программу можно настроить так, чтобы она массово выгружала (парсила) нужную информацию прямо из кода сайта — например, цены товаров или артикулы.
• Стабильность: программа работает без сбоев и регулярно обновляется.
• Цена: вполне адекватная стоимость для профессионального инструмента.

Главные минусы:

• Устаревший дизайн: программа выглядит так, будто ее сделали в 2010 году.
• «Прожорливость»: для сканирования больших сайтов нужен мощный компьютер с большим объемом оперативной памяти.
• Языковой барьер: нет русского языка (ни в самой программе, ни в техподдержке).
• Ограниченность: не умеет отслеживать позиции сайта в поиске и не имеет своей базы внешних ссылок.
• Нет облака и приложения: программу нужно устанавливать на компьютер. Работать в ней командой одновременно (как в Google Документах) не получится. Версии для смартфонов тоже нет.

Итоговая оценка

Screaming Frog SEO Spider — это п программа для глубокой технической проверки сайтов. За $259 в год вы получаете мощный сканер, который без проблем справится с проектом любого размера.

Для тех, кто профессионально занимается оптимизацией сайтов, это абсолютно незаменимый инструмент. Однако заменить вообще все SEO-сервисы он не сможет: чтобы следить за позициями в поиске, собирать ключевые слова и анализировать внешние ссылки, потребуются другие программы.

Если вы хотите просто протестировать формат или у вас маленький сайт — смело используйте бесплатную версию. А вот для работы с серьезными крупными проектами платная лицензия — это необходимость, которая окупается сразу же после первого полного аудита.