19 марта 2015 г.
При создании любого сайта, разработчики задаются вопросом, как он будет отображаться в разных браузерах и на различных устройствах. Но мало кто задумывался о том, как видят сайт поисковые системы. Что увидят пользователи в поисковой выдаче, если робот не сможет проиндексировать часть элементов страницы?
Именно для этого Google создал новый инструмент «Отчет о заблокированных ресурсах». В этом отчете отображаются страницы и список ресурсов, которые недоступны для Googlebot’а, например картинки, файлы со стилями или скрипты. Недоступность этих элементов часто вызвано общими правилами запрета на индексацию в файле Robots.txt.
Исправить эту ситуацию можно разрешив индексацию отдельных папок или файлов на сайте.
Отчет выглядит так:
Также был доработан инструмент «Посмотреть как Googlebot». Если раньше он показывал отображение сайта только с точки зрения бота, то теперь вы сможете увидеть два скриншота. Один отображает результаты отображения для поискового робота, а другой как сайт видят обычные пользователи.
Сопоставив оба изображения, можно быстро выявить и устранить возможные проблемы.
В SEO продвижении мы практически всегда редактируем файл Robots.txt для того, чтобы скрыть от индексации нежелательные дубли контента, служебные страницы и параметры. Благодаря этим инструментам мы делаем более тонкую настройку индексации сайта, при этом учитывая, чтобы Google видел все необходимые элементы сайта.