На последней видеовстрече для веб-мастеров Джон Мюллер ответил на вопрос о том, как ошибка 500 может влиять на индексацию страниц сайта.
Мюллер рассказал об этом на примере нескольких ситуаций. В некоторых случаях ошибка 500 не сыграет никакой роли при сканировании, в других – может привести к выпадению страниц из индекса Google.
Ответ Мюллера можно посмотреть на видео с 13:48 минуты.
По словам задавшего вопрос веб-мастера, CMS на его сайте было настроено таким образом, что предоставляло доступ к контенту только реальным пользователям и «законным ботам», блокируя «плохих ботов». В первое время никаких сбоев в работе не было, но после обновления все настройки слетели. Спустя некоторое время специалисты обратили внимание на то, что в Search Console начали появляться уведомления об ошибке 505 в ответ на обход Googlebot. Веб-мастер хотел узнать, не приведёт ли эта ситуация к последующему выпадению страниц из индекса.
Джон Мюллер ответил, что Google неоднократно проверяет страницы с 500 ошибкой. Если ошибка повторяется на протяжении длительного времени, индексация начинает производиться реже. URL-адрес, который долго демонстрирует ошибку 500, удаляется из индекса. При этом в Google нет никаких строгих рамок относительно того, сколько ошибок должно быть получено при сканировании перед удалением страницы из индекса.
Если во время проверки страница иногда отвечает 500 ошибкой, это никак не отразится на работе сайта. Сканирование таких страниц будет произведено повторно и индексация будет совершена во время следующих проверок.
Мюллер также упомянул о том, что причиной замедления процесса сканирования может быть перегрузка сервера, вызванная работой Googlebot.
Источник: Search Engine Journal
Следите за нами
