Сотрудник Google Гэри Илш подтвердил в Twitter информацию о том, что компания производит работы по усовершенствованию проверки robots.txt. На данный момент этим инструментом можно воспользоваться только в старой версии Search Console.
Такая информация появилась в ответ на жалобу о возможном баге в работе robots.txt или некорректном прочтении этого файла сервисом.
Гэри Илш написал в своём Twitter: «Мы находимся сейчас в процессе интеграции тестера с продакшн-версией парсера”, добавив, что, по его мнению, проблема заключается в самом инструменте.
В начале 2019 года Google объявил о том, что в планы компании не входит отключение инструмента проверки robots.txt. Компания обещала со временем перенести инструмент в новую версию Search Console, однако, судя по ответу Илша, это не является сверхсрочной задачей для Google.
Источник: Search Engine Roundtable
Следите за нами