Привет, друзья! Сегодня в очередной раз хотел бы затронуть вопрос управления индексацией сайта. Еще более продвинутый способ, нежели использование метатега robots, по сути, являющийся его аналогом, но работающий не на уровне страниц, а на уровне заголовков header. Речь пойдет о X-Robots-Tag HTTP header – метод не нов (Google рассказали о нем ровно 6 лет назад, летом 2007 года), но почему-то мало кто знает об этом способе, а людей пользующихся я вообще не встречал пока.
X-Robots-Tag штука очень полезная, а главное простая в использовании, надеюсь, после моего поста вы это поймете и будете использовать в своей практике.