Специалист качества поиска Джон Мюллер рассказал, что лучше использовать Disallow или Noindex для закрытия страниц от индексации. Для начала разберем различия между ними.
Disallow — это директива в файле robots.txt для поисковых роботов указывающая к каким страницам вы хотите закрыть доступ. Например:
User-agent: *
Disallow: /
_____________
Такой вид строк в файле robots.txt закрывает весь сайт от индексации для всех роботов. В противовес Disallow, директива Allow открывает какие-либо страницы для индексации, но чаще всего в её использовании нет нужды.
Noindex — это мета-тег, размещенный в коде страницы, с помощью которого мы закрываем конкретные страницы от индексации. Выглядит он так:
<meta name=»robots» content=»noindex» />
Джон Мюллер на очередной встрече вебмастеров сделал акцент на том, что страницы, которые закрыты от индексации в robots.txt через Disallow могут индексироваться, если на них кто-то ссылается в сети и отображаться без контента. В случае мета-тега Noindex такой проблемы нет, Google моментально убирает отмеченные им страницы из индекса даже если кто-то ссылается на них.
Ответ Джона по данному вопросу можно прослушать с 25:00:
Следите за нами в Telegram
Отлично
[…] […]