Ё-хо-хо, привет, друзья! Уже полгода я вас не радовал новыми модулями для DLE – каюсь, исправляюсь! Сегодня презентация нового прекрасного модуля под названием DonBot! Как понятно из заголовка, данный модуль позволяет гибко управлять индексацией сайта, а точнее указывать роботам поисковых систем, какие страницы индексировать можно, а какие нельзя. Все сделано по уму, через метатег meta robots.
Тут нельзя не вспомнить пост про robots.txt для DLE, где я описывал технологию настройки метатега и корректировки robots.txt. И, конечно, нельзя забывать про матчасть – публикацию про особенности индексации сайтов и смысл метатега robots — тут я по полочкам разложил все преимущества использования метатега против директив в robots.txt.
Если коротко о пользе, то метатег особо интересен для Google, и позволяет улучшить качество индексации сайта и избежать попадания ненужных страниц сайта в supplemental index (дополнительная выдача, она же сопли»).
Чем же интересен модуль DonBot в сравнении с ручной настройкой метатегов, о которой я рассказывал раньше? Все просто:
- Модуль способен автоматически сформировать список правил для простановки метатега, а вам достаточно только установить несколько галочек в админке.
- Нет никакой необходимости в правке файлов движка, а так же в каждой правке после обновления. Код один раз вставляется в шаблон – и никаких забот.
- Вам совершенно необязательно в чем-то разбираться и думать о том, какие строки кода надо активировать, а какие нет, и как это все настроить. Я уже решил все за вас – в админке есть предустановки!
- И еще много чего вкусного :)
Хотелось бы пару строк рассказать о названии модуля и как оно получилось. Вначале было рабочее название модуля StopRobots (а так же мной рассматривались названия MetaBot, StopBot, NoBot и др.) и до самых последних ревизий оно и оставалось таким. Но это слишком банально и скучно, совсем очевидно, я бы сказал. А наши модули имеют оригинальные названия (CatFace, LinkEnso), которые имеют за собой какую-то историю или определенный смысл.
Когда я занимался созданием иконки для модуля, я сделал два варианта, второй вы как раз сейчас и видите. На иконке изображен робот, он в шляпе. Это не простая шляпа, это «коппола» (итал. coppola) — обозначает традиционную сицилийскую шляпу — в ней наш Бот более чем похож на дона, отца какой-нибудь сицилийской мафиозной семьи. Дон Бот — очень крутой и серьезный мафиози, отвечает за свои слова и действия. Дон Бот каждому зашедшему на сайт поисковому роботу сможет сделать предложение, от которого тот не сможет отказаться. Ничего личного. Это просто бизнес!
Альтернативный вариант интерпретации названия предложил Санек: DonBot => Don’t bot => Не боть тут :) Надеюсь, вы поняли эту игру слов и смысла. А наш модуль вежливо попросит поисковых роботов не ботить на тех страницах, где этого делать не следует!
Полный список модулей для DLE от АлаичЪ'а:
DonBot — модуль настройки индексации сайта на DLE
Оригинальное название: DonBot
Совместимость с CMS: DLE 8.2-10.6
Распространение: Платно, 500 р.
Актуальная версия: 1.1 (от 05.06.2014)
Назначение: Вывод специального мета-тега <meta name="robots" content="noindex,nofollow" /> на страницах сайта, которые не должны индексироваться. Альтернатива использованию robots.txt
Особенности: Визуальный генератор кода для вставки в шаблон main.tpl. Гибкая настройка правил – 25 пунктов и 3 предустановленных рекомендуемых набора настроек, подходящих большинству сайтов.
Описание и настройка модуля DonBot
Кое-какое описание модуля и его преимущества я описал в начале поста, надеюсь, этого будет достаточно. Самое интересное внутри, в админке модуля, сами смотрите:
Как я и говорил, есть 3 пресета: Технические страницы, Пользователи, Теги. Подавляющему большинству пользователей будет достаточно отметить эти три пункта, вставить получившийся код в шаблон main.tpl и больше ни о чем не заботиться.
Конечно, предусмотрены и настройки для энтузиастов, тех, кто хорошо разбирается в том, что конкретно необходимо сделать – для вас целых 25 настроек!
Не обошлось и без прикола – надеюсь, вы его оцените. Спасибо большое Саньку за замечательное настроение! Не подведите, Саня хочет ваших улыбок ;)
Модуль вставляется в основной шаблон main.tpl между <head> и </head> при помощи тега:
{include file="engine/modules/donbot.php?tag=...&pages=..."}
Где параметр tag определяет, какой тег вставлять в шаблон, а параметр pages определяет, на каких страницах выводить этот тег.
Пример вставки: {include file='engine/modules/donbot.php?tag=nofollow&pages=mainp,catp'}
Данный код добавит тег <meta name="robots" content="noindex,nofollow" /> на все страницы постраничной навигации всех категорий и главной страницы.
Параметры модуля, передаваемые через tpl при вставке:
- Параметр tag определяет, какой тег вставлять в шаблон:
- nofollow — вставляет тег <meta name="robots" content="noindex,nofollow" />
- follow — вставляет тег <meta name="robots" content="noindex,follow" />
- Параметр pages определяет, на каких видах страниц необходимо вставлять этот тег:
- addnews — добавление новостей
- feedback — обратная связь
- lostpassword — восстановление пароля
- register — регистрация
- rules — правила сайта
- stats — статистика сайта
- search — поиск и результаты поиска
- pm — личные сообщения
- favorites — закладки
- newposts — просмотр непрочитанных новостей
- lastnews — просмотр всех последних новостей
- lastcomments — просмотр последних комментариев
- date — просмотр архива новостей по дате
- userinfo — профиль пользователя
- allnews — просмотр всех новостей пользователя
- alltags — страница списка тегов
- tags — страница просмотра новостей по конкретному тегу
- xfsearch — просмотр новостей по доп. полям
- catalog — просмотр новостей по буквенному идентификатору
- pages — любые страницы пагинации
- mainp — страницы пагинации для главной
- catp — страницы пагинации для категорий
- showfull — полный просмотр статьи
Повторюсь, вам совершенно не нужно знать обо всех этих параметрах и их значениях. Генератор кода сделает все за вас – просто вставьте тег в шаблон и забудьте!
Установка, удаление и обновление модуля DonBot
Все гениальное так же просто, как два пальца…сами знаете что :)
Установка модуля:
- Распакуйте архив с модулем;
- Скопируйте содержимое папки upload на ваш сервер, в папку где установлен DLE;
- Запустите файл http://site.ru/donbot_installer.php и следуйте его инструкциям;
- Зайдите в админпанель, выберите модуль DonBot, сгенерируйте код;
- Откройте /templates/{THEME}/main.tpl и вставьте после тега <head> сгенерированный код.
Удаление модуля:
- Загрузите файл donbot_uninstaller.php на сервер, в папку где установлен DLE;
- Запустите файл http://site.ru/donbot_uninstaller.php и следуйте инструкциям;
- Удалите все файлы модуля, загруженные при установке;
- Не забудьте также удалить файл donbot_uninstaller.php.
Обновление модуля:
- Скачайте новую версию модуля со страницы https://alaev.info/blog/post/4481
- Распакуйте архив с модулем;
- Скопируйте содержимое папки upload (кроме donbot_installer.php) на ваш сервер, отвечая «Да» на вопросы вашего FTP-клиента о замене существующих файлов.
Скачать модуль DonBot
АКТУАЛЬНАЯ ВЕРСИЯ: donbot v.1.1 — описание на store.alaev.info (скоро появится) или купить сейчас же!
История версий (History Log)
- v.1.1 — 05.06.2014
- Полностью переработано оформление модуля для всех версий DLE.
- v.1.0.1 — 18.03.2013
- Исправление багов в админке.
- v.1.0 — 11.03.2013
- Паблик релиз модуля.
Скачивайте, тестируйте и отписывайтесь, друзья! Я буду ждать ваших отзывов. Надеюсь, вы не найдете никаких ошибок, но зато внесете свои конструктивные предложения для будущих версий модуля. Спасибо!
Блин, я думал, что-то новенькое, а тут просто автоматизировано, для тех у кого руки из [s]жопы[/s]
Но все ровно спасибо, полезность явная и на лицо! Хотя я проделал руками тоже и бесплатно)
О круто =)
Отличный модуль! В скором времени приобрету для новых сайтов ибо делать в ручную надоедает.
ЕЩе бы подобное сделать если это возможно для
Оптимизация заголовков Title
Борьба с дублированием контента
Тонкости и особенности внутренней оптимизации движк
Исправление для версий
Ошибки движка модулями, увы не исправить, тут только файлы движка перелопачивать. А вот что касается title, то тут ты в точку попал — мы сейчас работаем над созданием крутого модуля для этих целей =)
Хороший модуль, хоть и привык править ручками файлы движка, для будущих проектов буду использовать DonBot.
Если использовать модуль, то ранее внесенные правки в engine.php по логике надо убрать ? А то одно и тоже действие будет дублироваться ?
Да, все верно, надо будет ранее внесенные правки отменить.
Эхх, модуль хорош, идея просто замечательная!
Но завтра будет в паблике, как всегда, очень жаль.
Надеюсь модуль написан НЕ на DLE_API? (покупать из-за его тестирования совсем не хочется, т.к. уже давно с редакторе живёт сниппет с необходимым кодом для вставки)
Очень надеюсь, что модуль в паблик все же не попадет.
Тоже надеюсь, но нет даже 50% уверенности. Школота наверняка уже скидывается на покупку. Они же за плюсик в карму готовы на что угодно, а тут такой модуль лежит практически даром.
Поздно. Уже скинулись.
Школота нищая, что тут сказать...
Нет, к дьяволу DLE_API. Да здравствует pure php и pure javascript!
Вот это замечательная новость! Осталось дождаться набора методов для разработчиков модулей "by mithrandir" ))
извиняюсь за глупые вопросы, но чем плох DLE_API?
Своим наличием в DLE )))
1. Для вызова любого метода из DLE_API сильно прибавляется расход оперативы, когда я делал блокпро3 — хотел перевести на api — расход оперативы после выпиливания api снизился в 8 раз!
2. Ошибки в API, длящиеся довольно долго — попробуйте зарегистрировать нового пользователя (вот результат моей многочасовой битвы с этой гадостью http://forum.dle-news.ru/index.php?showtopic=62664)
3. Отсутствие развития API
Это самые очевидные минусы.
Для комфортного использования лучше вcего дублировать нужные ф-ции из api и то не всегда. Там такое количество ненужных проверок порой, что проще построить свой лунапарк с картами и девицами.
Александр, можете подсказать как в dlе прикрутить <link rel="canonical". Если Вам не сложно.
Читайте внимательно этот блог, решение уже есть.
> управление индексацией страниц сайта при помощи метатега robots
Обычно в robots.txt указывают поисковым ботам, какие страницы НЕ индексировать. Поэтому можно было бы назвать модуль DontBot :-)
Ви наверное не прочитали весь пост.
В начале поста есть две ссылки, они специально для вас там.
В этом модуле реализована блокировка для site.com/catalog/ или только site.com/catalog/буква/ ?
Еще интересует страница site.com/rss.xml, а также остальные страницы rss, например, site.com/категория/rss.xml
site.com/catalog/ — такой страницы в движке не существует, соответственно, закрыть ее невозможно мететагом. Закрой ее в robots.txt или сделай редирект.
rss.xml так же нельзя закрыть данным способом. Воспользуйся robots.txt.
Вот ссылка на сайт разработчиков DLE
http://dle-news.ru/catalog/
Такая страница все-каки есть.
В robots.txt я её конечно закрил, но хотелось через метатег.
Это не страница, это адрес, по которому дублируется главная страница. Или опять не понятно?
Немного прояснилось :)
Сделал 301-редирект на главную вот таким образом:
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /catalog/\ HTTP/ RewriteRule ^catalog/ http://site.com [R=301,L]Работает, но не уверен, что все идеально правильно, может что-то поправить, как Вы считаете?
Из robots.txt получается нужно убрать строку?
Disallow: /catalog/
Да, все верно. Редирект правильный. Из роботса строку убрать.
АлаичЪ, а есть-ли смысл в использовании данного модуля (за исключением удобства), если все мета-теги уже прописаны согласно данной статье: https://alaev.info/blog/post/3900
Спасибо.
Есть смысл тем, кто принципиально не хочет вносить правки в двиг.
Если уже прописаны, то смысл — разве что поднять себе настроение :) Тем, что все настройки будут собраны аккуратненько в одном месте. Ну и вообще, не всякий захочет ковыряться в файлах движка, особенно те, кто всегда ставит себе обновления.
Есть смысл в том, чтобы сказать свое "спасибо" как минимум. А еще данный модуль — это своеобразная "защита от дурака", я видел, как некоторые каверкали мой код для engine.php, это нечто, здесь же сделать что-то неправильно просто невозможно.
"Заставь дурака богу молиться... " ©
От кривых рук нет спасения)))
Увы, но тех, кто умудрится и с модулем что-то накосячить, только могила исправит =)
Автоматизация — это круто! Правда платить за него я точно не стану. мне руками не сложно править:)
Вы бы лучше модуль для тегов допилили! Его бы я купил несколько раз :)
Доброго дня АлаичЪ, часто захожу на ваш блог за вкусняшками! Спасибо и за этот модуль, но появилось 2 вопроса
1) метатег особо интересен для Google — а для яндекса он так же полезен или яша его игнорирует ?
2) После установки модуля, robots.txt можно сделать такой
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
? спасибо за ответы .
1. Для Яндекса эффект от использования как robots.txt, так и meta robots совершенно одинаков. Т.е. метатег работает для всех поисковиков, но для Гугла он работает лучше, если можно так выразиться :)
2. Да.
АлаичЪ, подскажите...
1) Страницы для печати закрываются от индексации в админке, не подскажите какой там механизм? Так как посмотрев исходный код я там не нашел ничего, что закрывает доступ для поисковых роботов.
2) В DLE 9.8 появились страницы типа http://site.com/123-post.html#sel=5:52,5:73 которые выделяют определенный участок текста на странице. Такие ссылки будут появляться в соц. сетях, и по сути это дули основной страницы http://site.com/123-post.html Как с этим бороться? Я прописал rel="canonical" для страниц новостей, в котором указывается правильная ссылка. Но достаточно ли этого?
1. Настройки админки не зарывают страницы от индексации, они закрывают ссылку на страницу печати в rel="nofollow".
2. # — это знак якоря, который указывает лишь на конкретное место на странице. Якорь не может быть причиной появления дублей, поскольку не учитывается поисковиками.
1. Тогда получается страницы для печати тоже нужно либо в robots.txt закрывать, либо мета-тегом. Так как никто не исключает внешних ссылок на такие страницы, да и rel="nofollow" не запрещает индексацию, а только сохраняет вес основной страницы. Может тогда стоит добавить страницы печати в ваш модуль или закрывать их внося самому изменения в /engine/engine.php (кстати не подскажете как это сделать? пробовал прописать $subaction == 'print' OR или $do == 'print' OR не получилось).
2. Понятно не знал этих тонкостей.
https://alaev.info/blog/post/3900 — в самом конце поста написано, как это сделать.
Здравствуйте! Может кто-то подскажет, как выкинуть из индекса поисковиков все страницы сайта, чтобы в будущем было возможно разместить контент на другом сайте и поисковики приняли информацию как первоисточник? Извините, если вопрос не совсем по теме.
Удалением сайта с хостинга можно добиться желаемого результата?
Удалось потестировать сей модуль. Устанавливая клиенту, нашел незначительную ошибку...на дле 9.8, в админке... Если зайти в админку модуля и в самом верху админки Dle нажать Просмотр сайта...то этот модуль коим образом меняет ссылку на dle96.
т.к. в коде inc/donbot.php стоит:
<a href="http://dle96/" target="_blank" class=navigation>Просмотр сайта</a>
Вот это прикол :) Спасибо, исправим!
Обновление модуля до версии 1.0.1 — не критическое обновление, просто исправление багов в шаблоне админки модуля.
Здравствуйте, а можно статью такой тематики, только для uCoz, спасибо.
Нет, юкозом никогда не пользовался и не планирую.
АлаичЪ,
Да, первой грубой реализацией управления из админки был мой модуль, теперь вижу как всегда скрупулёзное развитие темы Вами. Молодец.
Обидно что всё же труд уже пошёл по псевдоклубам VIP... Ну не умеют люди продвигать свои ресурсы, делают это выкладывая платное чужое бесплатно, да ещё и на VIP на чужом зарабатывают.
Ну, что поделать, от школоты не уберечься никак. Зато хотя бы через поисковики ничего нельзя найти, кроме моего блога по соответствующим запросам :)
Пусть это останется на их совести, а приличные люди все равно купят модуль у меня, а не где попало.
Если купить данный модуль и всё установить, мне нужно будет заменить свой старый robots на:
User-agent: *
Disallow: /engine/
Host: blabla.ru
Sitemap: http://blabla.ru/sitemap.xml
Так как до этого всё прописывалось через него. Я правильно понимаю?)
Да, все правильно!
Здравствуйте уважаемы пользователи и администрация сайта, у меня к вам такой вопрос, после установки модуля в админке если поставить галочку где написано для стандратных настроек то я так понял это закроет разные страницы страницы добавление новости и тому подобное, ну когда открывает модуль то там как будто галочку эту и не ставил, так и должно быть???
Да, все так и должно быть. Это генератор кода — настроил, скопировал код и вставил его в шаблон. А сам генератор в админке никаких данные в себе не хранит.
Скажиет пожалуйста а как узнать закрыл ли он от индексации страницы что я выделил, чем можно проверить это?Есть ли прога для проверки закрытия страниц от индексирования чтобы наверняка было.
Открыть исходный код страницы, которую закрываем, и найти там <meta name="robots" ... /> — если в нем содержится noindex,nofollow — значит все сработало. Если мета-тега нет — значит не сработало.
Приветствую всех. Уважаемый Алаичъ я проверил как вы и сказали — зашел на страницу, где должна была закрыться страница от индексации, и там сверху было вот это <meta name="robots" content="noindex,nofollow" />, я так понял это закрывает от Яндекса и от Гугла вместе. Следующее, что я сделал, так это загнал в адурилку эту страницу, чтобы проверить закрыта ли она от индексирования или нет, так адурилка приняла его на индекс, не знаю что и делать.
Все верно, страница закрыта от индексации. А на счет адурился — не переживайте, Яндекс не умеет заранее проверять метатег, его он учитывает только при обходе сайта. Короче, все путем, не надо переживать!
Тут тfкое дело, для некоторых страниц хочется установить noindex follow в частности для страниц пагинации /page/ а остальные служебные в noindex nofollow Такое можно в модуле?
Нет, без ковыряний так сделать не получится. Я не вижу в этом какого-то смысла, потому это и не предусмотрено в модуле.
Жаль. Модулю очень не хватает универсализации, чтобы можно было выбрать галочкой разделы и выбрать один из четырех вариантов index folllow, noindex follow, index nofollow, noindex nofollow. У разных задач разные решения.
index follow — это равносильно отсутствию каких-либо правил.
Лично я не вижу никакого смысла лишних телодвижений. Реально необходимы только два варианта: noindex,nofollow или ничего. Зачем что-то иное?
Интересный модуль и очень полезен!
После установки модуля надо ли сделать robots по принципу?
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Да, после установки модуля необходимо поменять роботс на такой, как вы указали. Но надо иметь ввиду, что это не учитывает индивидуальных настроек сайта.
АлаичЪ
За модуль и труд огромное СПАСИБО!
Не хватает закрытия статических страниц.
В сгенерированный тег добавить: static
Все статические страницы будут закрыты.
Может кому надо.
а стандартный функционал при создании статической страницы: Запретить индексацию страницы для поисковиков, не-а?
он ведь использует именно этот мета-тег и я не думаю что при создании страницы проблемно задействовать этот чекбокс?
Вот именно по этому в модуле нет статических страниц. Как раз потому как и сказал Yeti.
С 10-й версией DLE работает?
Будет работать в скрипте ничего не изменилось, чтобы затрагивало данный функционал.
Здравствуйте, в теме https://alaev.info/blog/post/3900 закрыты комментарии, по этому спрошу тут:
Как закрыть от индексации все стандартные страницы ошибок и 404 в DLE через метатеги?
В этом нет необходимости, потому что ошибка — это ошибка. Если сервер отдает ответ 404, то уже не важно должна индексироваться страница или нет, потому что страницы не существует.
Тогда подскажите не будут ли дублироваться метатеги главной страницы и стандартных страниц ошибок...? Или лучше свою страницу ошибки(404) делать?
Если страница отдает ответ 404, то она не может поисковиком никак учитываться. Робот в принципе не загружает страницу, если получает ответ об ошибке.
А как запретит от индексации определенных категории
Модулем это не предусмотрено. Но это можно сделать вручную, описано здесь — https://alaev.info/blog/post/3900
Здравствуйте. Отметил три пункта в DonBot — Технические страницы,Пользователи,Теги. Сомнения, Остались не заполненные — любые страницы пагинации, страницы пагинации для главной, страницы пагинации для категорий — Нужно ли их отмечать?
И еще мне нужно чтобы категории не были закрыты от индексации, так как поставил и настроил catface для их оптимизации. Не будут ли категории закрыты при этих настройках DonBot.
Данных трех пунктов достаточно. Больше ничего отмечать не надо.
На версии 10,1 модуль не работает, придется править руками!
Но вот как быть, если надо вставить несколько тегов? Например, на какой-то странице noindex, nofollow, а на каких то только noindex?Позволяет модуль такое сделать?
Конкретно для определенных страниц добавить или не добавить не получится, только для глобальных разделов.
На 10.1 модуль работает, проверял.
на дле 10.1 работает нормально
a kak dobavit kategorii? :( pojalusta pomagite mne. ya xocu dobavit noindex,nofolllow dlya kategori stranica
Поставил код из первого поста https://alaev.info/blog/post/3900 в файл engine.php, после чего сайт потух и появилась такая ошибка: Parse error: syntax error, unexpected ')' in /home/p104516/www/сайт.ru/engine/engine.php on line 871
Подскажите пожалуйста, из-за чего такая проблема и как ее победить? Версия dle 10.2
Вы пишите,идеальный роботс:
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
============
А разве не так должно быть то?
User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Купил у вас модуль Donbot но нечаянно удалил. Оплачивал вебмани.Могу предоставить доказательства оплаты или номер wmr. Можно ссылку на почту?
Здравствуйте, поставил ваш модуль, но он помимо нужного тега в код добавляет это — "п»ї" и я даже не знаю, как это убрать. Думал кодировка, но вроде нет...
привет, оплатил модуль и как мне его получить?
Там, где оплачивали, ссылка на скачивание и появится.
где модуль ? или денги обратно на кашелек !
На этой странице после оплаты появится ссылка "Скачать" http://store.alaev.info/buy/?buy=9
Если не появилась, напишите мне через форму обратной связи, разберемся вместе.
в том то и дело что небыла ни какои сылки написал через контакты и прикрепил квитанцию
Все отправил вам на почту!
Здравствуйте, модуль совместим с DLE 10.4?
Тоже интересует, но никто по ходу отвечать не собирается, а тратить 500р просто так ради проверки не охота!
Совместим.
Здравствуйте при покупке ваших модов каким образом получать обновления?
Когда то покупал давно этот модуль, версия 1.1, на DLe 10.5 работает? стоит ставить?
Должно работать, проверьте.
Здравствуйте! Хотел спросить насчет index.html данный модуль запрещает индексацию или нет?
Нет, потому что такой страницы в принципе в движке не существует.
А как скрыть страницы пагинации в комментариях от индексации? А то я сам прописал titile для этой страницы и он везде одинаковый получается
на 11 версии работает, если кому вдруг интересно
Добрый день для DLE 11.0 актуально или нет?
Актуально.
Приветствую. А на DLE 11.1 работает?
Здравствуйте. если я поставлю такой тег
{include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags'}
Будет ли индексироваться статьи?
Что не будет индексироваться?
Добрый день. на версии 13.0 будет работать?
"Добрый день. на версии 13.0 будет работать?" — Проверено! На 13й работает как надо! Спасибо за модуль, автор руки у тебя золотые, здоровья тебе, счастья и богатства!