Ё-хо-хо, привет, друзья! Уже полгода я вас не радовал новыми модулями для DLE – каюсь, исправляюсь! Сегодня презентация нового прекрасного модуля под названием DonBot! Как понятно из заголовка, данный модуль позволяет гибко управлять индексацией сайта, а точнее указывать роботам поисковых систем, какие страницы индексировать можно, а какие нельзя. Все сделано по уму, через метатег meta robots.
Тут нельзя не вспомнить пост про robots.txt для DLE, где я описывал технологию настройки метатега и корректировки robots.txt. И, конечно, нельзя забывать про матчасть – публикацию про особенности индексации сайтов и смысл метатега robots — тут я по полочкам разложил все преимущества использования метатега против директив в robots.txt.
Если коротко о пользе, то метатег особо интересен для Google, и позволяет улучшить качество индексации сайта и избежать попадания ненужных страниц сайта в supplemental index (дополнительная выдача, она же сопли»).