Бюджет сканирования — это количество URL-адресов на сайте, которые поисковые системы, такие как Google, могут обнаружить за определенный период времени. Но в мире существует множество веб-страниц, а у поисковиков ограниченные ресурсы, поэтому они не могут проверять каждую из них ежедневно.
Google сначала должен просканировать страницы, а затем проиндексировать их, прежде чем они смогут ранжироваться в результатах поиска. От этих процессов зависит видимость контента в поисковой выдаче.
Зачастую беспокоиться о бюджете не стоит, поскольку Google эффективно сканирует большинство сайтов. Однако есть несколько ситуаций, когда это особенно важно для SEO:
Если у вашего сайта более 10 000 страниц, Google может не сразу находить новые страницы или не часто пересканировать уже существующие.
Если вы регулярно добавляете много новых страниц, это может повлиять на их видимость.
Проблемы, мешающие сканированию, могут привести к тому, что ваш контент не будет отображаться в результатах поиска.
Бюджет сканирования определяется двумя основными элементами:
Crawl demand — это то, как часто Google сканирует сайт на основе воспринимаемой важности. Есть три фактора, которые на это влияют:
Google обычно пытается сканировать все или большинство страниц, о которых он знает на вашем сайте. Это означает, что Googlebot может по-прежнему пытаться сканировать дубликаты страниц и страницы, которые уже удалены, если вы не укажете ему пропускать их.
2. Популярность
Google обычно отдает приоритет страницам с большим количеством обратных ссылок (ссылки с других сайтов) и тем, которые привлекают больше трафика, когда дело доходит до сканирования. Это может сигнализировать алгоритму, что ваш сайт важен и заслуживает более частого сканирования. Но при этом само по себе количество обратных ссылок не имеет значения. Главное, чтобы они были релевантными и из авторитетных источников.
3. Обновление контента
Поисковые системы стремятся сканировать контент достаточно часто, чтобы улавливать любые изменения. Но если материал на сайте меняется с течением времени не сильно, Google может начать сканировать его реже. Это не означает, что нужно обновлять его ежедневно, чтобы способствовать процессу. Поскольку в собственных рекомендациях Google говорится, что он хочет сканировать только высококачественный контент. Поэтому отдавайте приоритет качеству материала, а не количеству правок.
Ограничение пропускной способности сканирования не позволяет ботам Google замедлять работу сайта из-за слишком большого количества запросов, что может привести к проблемам с производительностью.
Скорость ответа сайта на запросы Google напрямую влияет на краулинговый бюджет. Быстрая реакция может увеличить лимит пропускной способности, позволяя Google быстрее сканировать страницы. Однако если сайт работает медленно или отвечает ошибками сервера, лимит может быть уменьшен.
2. Ограничения Google на сканирование
Google имеет ограниченные ресурсы для сканирования веб-сайтов, поэтому существуют бюджеты сканирования. Они помогают расставить приоритеты.
Google Search Console (GSC) предоставляет подробную информацию о том, как Google сканирует сайт, а также об обнаруженных проблемах и значительных изменениях. Чтобы найти эту информацию, войдите в свой аккаунт GSC, выберите нужный ресурс и перейдите в раздел «Настройки».
В разделе «Сканирование» вы увидите количество запросов на сканирование за последние 90 дней. Нажмите «Открыть отчет» для получения более подробной информации.
На странице «Статистика сканирования» отображаются различные виджеты с данными:
В верхней части находится диаграмма запросов на сканирование сайта, выполненных Google за последние 90 дней.
Обозначение каждого поля сверху:
Показывает, насколько легко Google может сканировать сайт. При возникновении каких-либо проблем можно увидеть более подробную информацию, щелкнув это поле.
В этом разделе отчета представлена информация о запросах на сканирование, сгруппированная по следующим признакам:
Нажатие на любой из элементов в виджетах предоставит более подробную информацию. Например, страницы, которые вернули определенный код статуса.
Использование данных из Google Search Console поможет вам лучше понимать и управлять своим краулинговым бюджетом, выявляя и устраняя проблемы, влияющие на сканирование сайта.
Когда проблемы с бюджетом будут выявлены, вы сможете устранить их, а также повысить эффективность сканирования. Вот основные шаги, которые помогут в этом:
Повышение скорости сайта поможет Google быстрее сканировать его, что приведет к более эффективному использованию краулингового бюджета. Кроме того, это поможет улучшить пользовательский опыт. Способы ускорения загрузки страниц включают:
Используйте онлайн-инструменты, такие как Image Compressor, чтобы уменьшить размер файлов без потери качества.
2. Минимизацию кода и скриптов
Применяйте инструменты, например, Minifier.org или плагины WordPress, такие как WP Rocket, для минимизации кода и ускорения загрузки.
3. Использование сети доставки контента (CDN)
CDN — это сеть, которая ускоряет доставку контента пользователям, находящимся ближе всего к серверу.
Хорошо продуманная внутренняя структура ссылок облегчает поисковым роботам навигацию и понимание контента, повышая при этом эффективность использования краулингового бюджета и улучшая ранжирование.
Поэтому необходимо добавлять внутренние ссылки на важные страницы, чтобы Google мог легко находить ваш самый значимый контент и избегать страниц-сирот.
Актуальная карта сайта XML помогает Google находить важные страницы. Поэтому при добавлении новых страниц необходимо регулярно ее обновлять, чтобы повысить вероятность сканирования. Включайте в карту сайта только те URL, которые вы хотите видеть в результатах поиска, чтобы избежать траты краулингового бюджета.
Используйте файл robots.txt, чтобы указать поисковым системам, какие страницы не следует сканировать, чтобы минимизировать трату краулингового бюджета на неважные или конфиденциальные страницы. Это поможет Google сосредоточиться на более важных разделах сайта.
Пример файла robots.txt:
Перенаправления ведут пользователей и ботов с одного URL на другой, что может замедлить загрузку страницы и расходовать краулинговый бюджет. Особенно проблематичны цепочки, когда между исходным и конечным URL имеется несколько перенаправлений.
Неработающие ссылки ведут на страницы, которых не существует, и обычно выдают ошибку 404. Они также тратят краулинговый бюджет и раздражают пользователей, которые наталкиваются на неработающие ссылки.
Дублированный контент тратит краулинговый бюджет, поскольку боты сканируют несколько версий одной и той же страницы. Чтобы решить эту проблему:
Регулярный мониторинг и оптимизация технических аспектов сайта поможет поисковым роботам находить ваш контент и экономить краулинговый бюджет.
👍🏻 Инфа была полезной? Ставь лайк!
Всем конверта и ROI высоченного
Официальный сайт 👉🏻 rocketprofit.com
Наш Telegram-чат 👉🏻 t.me/rocketprofitchat
