Модуль DonBot — настройка индексации сайта при помощи мета-тега robots для DLE Datalife Engine

DonBot - модуль управления индексацией сайта на DLE Ё-хо-хо, привет, друзья! Уже полгода я вас не радовал новыми модулями для DLE – каюсь, исправляюсь! Сегодня презентация нового прекрасного модуля под названием DonBot! Как понятно из заголовка, данный модуль позволяет гибко управлять индексацией сайта, а точнее указывать роботам поисковых систем, какие страницы индексировать можно, а какие нельзя. Все сделано по уму, через метатег meta robots.

Тут нельзя не вспомнить пост про robots.txt для DLE, где я описывал технологию настройки метатега и корректировки robots.txt. И, конечно, нельзя забывать про матчасть – публикацию про особенности индексации сайтов и смысл метатега robots — тут я по полочкам разложил все преимущества использования метатега против директив в robots.txt.

Если коротко о пользе, то метатег особо интересен для Google, и позволяет улучшить качество индексации сайта и избежать попадания ненужных страниц сайта в supplemental index (дополнительная выдача, она же сопли»).

Чем же интересен модуль DonBot в сравнении с ручной настройкой метатегов, о которой я рассказывал раньше? Все просто:

  • Модуль способен автоматически сформировать список правил для простановки метатега, а вам достаточно только установить несколько галочек в админке.
  • Нет никакой необходимости в правке файлов движка, а так же в каждой правке после обновления. Код один раз вставляется в шаблон – и никаких забот.
  • Вам совершенно необязательно в чем-то разбираться и думать о том, какие строки кода надо активировать, а какие нет, и как это все настроить. Я уже решил все за вас – в админке есть предустановки!
  • И еще много чего вкусного :)

Хотелось бы пару строк рассказать о названии модуля и как оно получилось. Вначале было рабочее название модуля StopRobots (а так же мной рассматривались названия MetaBot, StopBot, NoBot и др.) и до самых последних ревизий оно и оставалось таким. Но это слишком банально и скучно, совсем очевидно, я бы сказал. А наши модули имеют оригинальные названия (CatFace, LinkEnso), которые имеют за собой какую-то историю или определенный смысл.

Когда я занимался созданием иконки для модуля, я сделал два варианта, второй вы как раз сейчас и видите. На иконке изображен робот, он в шляпе. Это не простая шляпа, это «коппола» (итал. coppola) — обозначает традиционную сицилийскую шляпу — в ней наш Бот более чем похож на дона, отца какой-нибудь сицилийской мафиозной семьи. Дон Бот — очень крутой и серьезный мафиози, отвечает за свои слова и действия. Дон Бот каждому зашедшему на сайт поисковому роботу сможет сделать предложение, от которого тот не сможет отказаться. Ничего личного. Это просто бизнес!

Альтернативный вариант интерпретации названия предложил Санек: DonBot => Don’t bot => Не боть тут :) Надеюсь, вы поняли эту игру слов и смысла. А наш модуль вежливо попросит поисковых роботов не ботить на тех страницах, где этого делать не следует!


Полный список модулей для DLE от АлаичЪ'а:


DonBot — модуль настройки индексации сайта на DLE

Оригинальное название: DonBot
Совместимость с CMS: DLE 8.2-10.6
Распространение: Платно, 500 р.
Актуальная версия: 1.1 (от 05.06.2014)
Назначение: Вывод специального мета-тега <meta name="robots" content="noindex,nofollow" /> на страницах сайта, которые не должны индексироваться. Альтернатива использованию robots.txt
Особенности: Визуальный генератор кода для вставки в шаблон main.tpl. Гибкая настройка правил – 25 пунктов и 3 предустановленных рекомендуемых набора настроек, подходящих большинству сайтов.


Описание и настройка модуля DonBot

Кое-какое описание модуля и его преимущества я описал в начале поста, надеюсь, этого будет достаточно. Самое интересное внутри, в админке модуля, сами смотрите:

DonBot - визуальный генератор кода в админке

Как я и говорил, есть 3 пресета: Технические страницы, Пользователи, Теги. Подавляющему большинству пользователей будет достаточно отметить эти три пункта, вставить получившийся код в шаблон main.tpl и больше ни о чем не заботиться.
Конечно, предусмотрены и настройки для энтузиастов, тех, кто хорошо разбирается в том, что конкретно необходимо сделать – для вас целых 25 настроек!

Не обошлось и без прикола – надеюсь, вы его оцените. Спасибо большое Саньку за замечательное настроение! Не подведите, Саня хочет ваших улыбок ;)

Модуль вставляется в основной шаблон main.tpl между <head> и </head> при помощи тега:
{include file="engine/modules/donbot.php?tag=...&pages=..."}

Где параметр tag определяет, какой тег вставлять в шаблон, а параметр pages определяет, на каких страницах выводить этот тег.

Пример вставки: {include file='engine/modules/donbot.php?tag=nofollow&pages=mainp,catp'}
Данный код добавит тег <meta name="robots" content="noindex,nofollow" /> на все страницы постраничной навигации всех категорий и главной страницы.

Параметры модуля, передаваемые через tpl при вставке:

  • Параметр tag определяет, какой тег вставлять в шаблон:
    • nofollow — вставляет тег <meta name="robots" content="noindex,nofollow" />
    • follow — вставляет тег <meta name="robots" content="noindex,follow" />
  • Параметр pages определяет, на каких видах страниц необходимо вставлять этот тег:
    • addnews — добавление новостей
    • feedback — обратная связь
    • lostpassword — восстановление пароля
    • register — регистрация
    • rules — правила сайта
    • stats — статистика сайта
    • search — поиск и результаты поиска
    • pm — личные сообщения
    • favorites — закладки
    • newposts — просмотр непрочитанных новостей
    • lastnews — просмотр всех последних новостей
    • lastcomments — просмотр последних комментариев
    • date — просмотр архива новостей по дате
    • userinfo — профиль пользователя
    • allnews — просмотр всех новостей пользователя
    • alltags — страница списка тегов
    • tags — страница просмотра новостей по конкретному тегу
    • xfsearch — просмотр новостей по доп. полям
    • catalog — просмотр новостей по буквенному идентификатору
    • pages — любые страницы пагинации
    • mainp — страницы пагинации для главной
    • catp — страницы пагинации для категорий
    • showfull — полный просмотр статьи

Повторюсь, вам совершенно не нужно знать обо всех этих параметрах и их значениях. Генератор кода сделает все за вас – просто вставьте тег в шаблон и забудьте!


Установка, удаление и обновление модуля DonBot

Все гениальное так же просто, как два пальца…сами знаете что :)

Установка модуля:

  • Распакуйте архив с модулем;
  • Скопируйте содержимое папки upload на ваш сервер, в папку где установлен DLE;
  • Запустите файл http://site.ru/donbot_installer.php и следуйте его инструкциям;
  • Зайдите в админпанель, выберите модуль DonBot, сгенерируйте код;
  • Откройте /templates/{THEME}/main.tpl и вставьте после тега <head> сгенерированный код.

Удаление модуля:

  • Загрузите файл donbot_uninstaller.php на сервер, в папку где установлен DLE;
  • Запустите файл http://site.ru/donbot_uninstaller.php и следуйте инструкциям;
  • Удалите все файлы модуля, загруженные при установке;
  • Не забудьте также удалить файл donbot_uninstaller.php.

Обновление модуля:

  • Скачайте новую версию модуля со страницы https://alaev.info/blog/post/4481
  • Распакуйте архив с модулем;
  • Скопируйте содержимое папки upload (кроме donbot_installer.php) на ваш сервер, отвечая «Да» на вопросы вашего FTP-клиента о замене существующих файлов.

Скачать модуль DonBot

АКТУАЛЬНАЯ ВЕРСИЯ: donbot v.1.1 — описание на store.alaev.info (скоро появится) или купить сейчас же!

История версий (History Log)

  • v.1.1 — 05.06.2014
    • Полностью переработано оформление модуля для всех версий DLE.
  • v.1.0.1 — 18.03.2013
    • Исправление багов в админке.
  • v.1.0 — 11.03.2013
    • Паблик релиз модуля.

Скачивайте, тестируйте и отписывайтесь, друзья! Я буду ждать ваших отзывов. Надеюсь, вы не найдете никаких ошибок, но зато внесете свои конструктивные предложения для будущих версий модуля. Спасибо!

Александр «АлаичЪ» Алаев
Александр «АлаичЪ» Алаев

Вот уже 18 лет я профессионально занимаюсь созданием и продвижением сайтов и 13 лет с удовольствием пишу в любимый блог. Создал заслужившие доверие в seo-сообществе программы FastTrust и ComparseR и известный сервис для проверки траста сайтов CheckTrust.ru.

В 2014 основал веб-студию «АлаичЪ и Ко» в Краснодаре: 1 место в рейтинге агентств интернет-маркетинга (Рейтинг Рунета), 2 место в рейтинге SEO-компаний (CMSmagazine), 12 место в рейтинге известность бренда SEO-компаний в России (SeoNews).

Выступаю на профильных конференциях (All In Top, SEO Conference, SEMPRO, Baltic Digital Days). Веду канал в telegram про seo и бизнес. SEO-специалист года 2019 и 2020 (Sape).

Ерунда и баянЪ!Зачет! Плюсую!
+10

Профессиональный технический аудит и рекомендации по оптимизации вашего сайта.
Тот самый необходимый «фундамент» для успешного продвижения.

30 000 руб.

Комплексный подход к решению поставленных задач: достижение топ-10 и увеличение трафика на сайт. В стоимость уже включены полный технический аудит и оптимизация сайта.

45 000 руб.

У вас недостаточно знаний и нужны ответы на вопросы?
Интересует мнение эксперта или надо проверить подрядчика?
Вы задаете вопрос — я отвечаю!

5 000 руб./час

Проведу подробное исследование вашего сайта и основных конкурентов, опубликую материал на блоге для обсуждения и коллективного поиска новых идей.

70 000 руб.

Я начал запись своего обучающего курса по seo-продвижению.

В каждом видео я разбираю какую-то одну важную тему, и делаю это последовательно, в порядке, подходящем для изучения с нуля. Видео выкладываются раз в неделю – по средам. Я думаю, весь курс будет состоять из 50-70 роликов, так до конца еще далеко, а значит самое время подписаться и начать изучение вместе со мной.

В блоке слева всегда будет выводиться самое свежее видео курса. Ссылки: на мой канал, на плейлист обучения.

Комментарии: 110 Написать комментарий
  1. Hooligan (11 комм.)

    Блин, я думал, что-то новенькое, а тут просто автоматизировано, для тех у кого руки из [s]жопы[/s]

    Но все ровно спасибо, полезность явная и на лицо! Хотя я проделал руками тоже и бесплатно)

    Ответить
  2. Serj-Sat (3 комм.)

    О круто =)

    Ответить
  3. NeedLe (22 комм.)

    Отличный модуль! В скором времени приобрету для новых сайтов ибо делать в ручную надоедает.

    ЕЩе бы подобное сделать если это возможно для

    Оптимизация заголовков Title

    Борьба с дублированием контента

    Тонкости и особенности внутренней оптимизации движк

    Исправление для версий

    Ответить
    • АлаичЪ

      Ошибки движка модулями, увы не исправить, тут только файлы движка перелопачивать. А вот что касается title, то тут ты в точку попал — мы сейчас работаем над созданием крутого модуля для этих целей =)

      Ответить
  4. alex (1 комм.)

    Хороший модуль, хоть и привык править ручками файлы движка, для будущих проектов буду использовать DonBot.

    Ответить
  5. Андрей (7 комм.)

    Если использовать модуль, то ранее внесенные правки в engine.php по логике надо убрать ? А то одно и тоже действие будет дублироваться ?

    Ответить
    • АлаичЪ

      Да, все верно, надо будет ранее внесенные правки отменить.

      Ответить
  6. ПафНутиЙ (124 комм.)

    Эхх, модуль хорош, идея просто замечательная!

    Но завтра будет в паблике, как всегда, очень жаль.

    Надеюсь модуль написан НЕ на DLE_API? (покупать из-за его тестирования совсем не хочется, т.к. уже давно с редакторе живёт сниппет с необходимым кодом для вставки)

    Ответить
    • АлаичЪ

      Очень надеюсь, что модуль в паблик все же не попадет.

      Ответить
      • ПафНутиЙ (124 комм.)

        Тоже надеюсь, но нет даже 50% уверенности. Школота наверняка уже скидывается на покупку. Они же за плюсик в карму готовы на что угодно, а тут такой модуль лежит практически даром.

        Ответить
        • *Gaara* (7 комм.)

          Поздно. Уже скинулись.

          Ответить
          • АлаичЪ

            Школота нищая, что тут сказать...

            Ответить
    • mithrandir (100 комм.)

      Нет, к дьяволу DLE_API. Да здравствует pure php и pure javascript!

      Ответить
      • ПафНутиЙ (124 комм.)

        Вот это замечательная новость! Осталось дождаться набора методов для разработчиков модулей "by mithrandir" ))

        Ответить
      • OKyJIucT (7 комм.)

        извиняюсь за глупые вопросы, но чем плох DLE_API?

        Ответить
        • ПафНутиЙ (124 комм.)

          Своим наличием в DLE )))

          1. Для вызова любого метода из DLE_API сильно прибавляется расход оперативы, когда я делал блокпро3 — хотел перевести на api — расход оперативы после выпиливания api снизился в 8 раз!

          2. Ошибки в API, длящиеся довольно долго — попробуйте зарегистрировать нового пользователя (вот результат моей многочасовой битвы с этой гадостью http://forum.dle-news.ru/index.php?showtopic=62664)

          3. Отсутствие развития API

          Это самые очевидные минусы.

          Для комфортного использования лучше вcего дублировать нужные ф-ции из api и то не всегда. Там такое количество ненужных проверок порой, что проще построить свой лунапарк с картами и девицами.

          Ответить
  7. Серега (3 комм.)

    Александр, можете подсказать как в dlе прикрутить <link rel="canonical". Если Вам не сложно.

    Ответить
    • Юрий (23 комм.)

      Читайте внимательно этот блог, решение уже есть.

      Ответить
  8. SLANET.ru (8 комм.)

    > управление индексацией страниц сайта при помощи метатега robots

    Обычно в robots.txt указывают поисковым ботам, какие страницы НЕ индексировать. Поэтому можно было бы назвать модуль DontBot :-)

    Ответить
    • Юрий (23 комм.)

      Ви наверное не прочитали весь пост.

      Ответить
    • ПафНутиЙ (124 комм.)

      В начале поста есть две ссылки, они специально для вас там.

      Ответить
  9. Юрий (23 комм.)

    В этом модуле реализована блокировка для site.com/catalog/ или только site.com/catalog/буква/ ?

    Еще интересует страница site.com/rss.xml, а также остальные страницы rss, например, site.com/категория/rss.xml

    Ответить
    • АлаичЪ

      site.com/catalog/ — такой страницы в движке не существует, соответственно, закрыть ее невозможно мететагом. Закрой ее в robots.txt или сделай редирект.

      rss.xml так же нельзя закрыть данным способом. Воспользуйся robots.txt.

      Ответить
      • Юрий (23 комм.)

        Вот ссылка на сайт разработчиков DLE

        http://dle-news.ru/catalog/

        Такая страница все-каки есть.

        В robots.txt я её конечно закрил, но хотелось через метатег.

        Ответить
        • АлаичЪ

          Это не страница, это адрес, по которому дублируется главная страница. Или опять не понятно?

          Ответить
          • Юрий (23 комм.)

            Немного прояснилось :)

            Сделал 301-редирект на главную вот таким образом:

            RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /catalog/\ HTTP/ 
            RewriteRule ^catalog/ http://site.com [R=301,L]

            Работает, но не уверен, что все идеально правильно, может что-то поправить, как Вы считаете?

            Из robots.txt получается нужно убрать строку?

            Disallow: /catalog/

            Ответить
            • АлаичЪ

              Да, все верно. Редирект правильный. Из роботса строку убрать.

              Ответить
  10. Kim (6 комм.)

    АлаичЪ, а есть-ли смысл в использовании данного модуля (за исключением удобства), если все мета-теги уже прописаны согласно данной статье: https://alaev.info/blog/post/3900

    Спасибо.

    Ответить
    • ПафНутиЙ (124 комм.)

      Есть смысл тем, кто принципиально не хочет вносить правки в двиг.

      Ответить
    • mithrandir (100 комм.)

      Если уже прописаны, то смысл — разве что поднять себе настроение :) Тем, что все настройки будут собраны аккуратненько в одном месте. Ну и вообще, не всякий захочет ковыряться в файлах движка, особенно те, кто всегда ставит себе обновления.

      Ответить
    • АлаичЪ

      Есть смысл в том, чтобы сказать свое "спасибо" как минимум. А еще данный модуль — это своеобразная "защита от дурака", я видел, как некоторые каверкали мой код для engine.php, это нечто, здесь же сделать что-то неправильно просто невозможно.

      Ответить
      • ПафНутиЙ (124 комм.)

        "Заставь дурака богу молиться... " ©

        От кривых рук нет спасения)))

        Ответить
        • АлаичЪ

          Увы, но тех, кто умудрится и с модулем что-то накосячить, только могила исправит =)

          Ответить
  11. Axel (63 комм.)

    Автоматизация — это круто! Правда платить за него я точно не стану. мне руками не сложно править:)

    Вы бы лучше модуль для тегов допилили! Его бы я купил несколько раз :)

    Ответить
  12. Ангелина (1 комм.)

    Доброго дня АлаичЪ, часто захожу на ваш блог за вкусняшками! Спасибо и за этот модуль, но появилось 2 вопроса

    1) метатег особо интересен для Google — а для яндекса он так же полезен или яша его игнорирует ?

    2) После установки модуля, robots.txt можно сделать такой

    User-agent: *

    Disallow: /engine/

    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml

    ? спасибо за ответы .

    Ответить
    • АлаичЪ

      1. Для Яндекса эффект от использования как robots.txt, так и meta robots совершенно одинаков. Т.е. метатег работает для всех поисковиков, но для Гугла он работает лучше, если можно так выразиться :)

      2. Да.

      Ответить
  13. Юрий (23 комм.)

    АлаичЪ, подскажите...

    1) Страницы для печати закрываются от индексации в админке, не подскажите какой там механизм? Так как посмотрев исходный код я там не нашел ничего, что закрывает доступ для поисковых роботов.

    2) В DLE 9.8 появились страницы типа http://site.com/123-post.html#sel=5:52,5:73 которые выделяют определенный участок текста на странице. Такие ссылки будут появляться в соц. сетях, и по сути это дули основной страницы http://site.com/123-post.html Как с этим бороться? Я прописал rel="canonical" для страниц новостей, в котором указывается правильная ссылка. Но достаточно ли этого?

    Ответить
    • АлаичЪ

      1. Настройки админки не зарывают страницы от индексации, они закрывают ссылку на страницу печати в rel="nofollow".

      2. # — это знак якоря, который указывает лишь на конкретное место на странице. Якорь не может быть причиной появления дублей, поскольку не учитывается поисковиками.

      Ответить
      • Юрий (23 комм.)

        1. Тогда получается страницы для печати тоже нужно либо в robots.txt закрывать, либо мета-тегом. Так как никто не исключает внешних ссылок на такие страницы, да и rel="nofollow" не запрещает индексацию, а только сохраняет вес основной страницы. Может тогда стоит добавить страницы печати в ваш модуль или закрывать их внося самому изменения в /engine/engine.php (кстати не подскажете как это сделать? пробовал прописать $subaction == 'print' OR или $do == 'print' OR не получилось).

        2. Понятно не знал этих тонкостей.

        Ответить
        • АлаичЪ

          https://alaev.info/blog/post/3900 — в самом конце поста написано, как это сделать.

          Ответить
  14. Роман (15 комм.)

    Здравствуйте! Может кто-то подскажет, как выкинуть из индекса поисковиков все страницы сайта, чтобы в будущем было возможно разместить контент на другом сайте и поисковики приняли информацию как первоисточник? Извините, если вопрос не совсем по теме.

    Ответить
    • Роман (15 комм.)

      Удалением сайта с хостинга можно добиться желаемого результата?

      Ответить
  15. Adminn (15 комм.)

    Удалось потестировать сей модуль. Устанавливая клиенту, нашел незначительную ошибку...на дле 9.8, в админке... Если зайти в админку модуля и в самом верху админки Dle нажать Просмотр сайта...то этот модуль коим образом меняет ссылку на dle96.

    Ответить
    • Adminn (15 комм.)

      т.к. в коде inc/donbot.php стоит:

      <a href="http://dle96/" target="_blank" class=navigation>Просмотр сайта</a>

      Ответить
      • АлаичЪ

        Вот это прикол :) Спасибо, исправим!

        Ответить
  16. АлаичЪ

    Обновление модуля до версии 1.0.1 — не критическое обновление, просто исправление багов в шаблоне админки модуля.

    Ответить
  17. Дмитрий (2 комм.)

    Здравствуйте, а можно статью такой тематики, только для uCoz, спасибо.

    Ответить
    • АлаичЪ

      Нет, юкозом никогда не пользовался и не планирую.

      Ответить
  18. Yeti (4 комм.)

    АлаичЪ,

    Да, первой грубой реализацией управления из админки был мой модуль, теперь вижу как всегда скрупулёзное развитие темы Вами. Молодец.

    Обидно что всё же труд уже пошёл по псевдоклубам VIP... Ну не умеют люди продвигать свои ресурсы, делают это выкладывая платное чужое бесплатно, да ещё и на VIP на чужом зарабатывают.

    Ответить
    • АлаичЪ

      Ну, что поделать, от школоты не уберечься никак. Зато хотя бы через поисковики ничего нельзя найти, кроме моего блога по соответствующим запросам :)

      Пусть это останется на их совести, а приличные люди все равно купят модуль у меня, а не где попало.

      Ответить
  19. Динар (2 комм.)

    Если купить данный модуль и всё установить, мне нужно будет заменить свой старый robots на:

    User-agent: *

    Disallow: /engine/

    Host: blabla.ru

    Sitemap: http://blabla.ru/sitemap.xml

    Так как до этого всё прописывалось через него. Я правильно понимаю?)

    Ответить
  20. Салман (9 комм.)

    Здравствуйте уважаемы пользователи и администрация сайта, у меня к вам такой вопрос, после установки модуля в админке если поставить галочку где написано для стандратных настроек то я так понял это закроет разные страницы страницы добавление новости и тому подобное, ну когда открывает модуль то там как будто галочку эту и не ставил, так и должно быть???

    Ответить
    • АлаичЪ

      Да, все так и должно быть. Это генератор кода — настроил, скопировал код и вставил его в шаблон. А сам генератор в админке никаких данные в себе не хранит.

      Ответить
      • Салман (9 комм.)

        Скажиет пожалуйста а как узнать закрыл ли он от индексации страницы что я выделил, чем можно проверить это?Есть ли прога для проверки закрытия страниц от индексирования чтобы наверняка было.

        Ответить
        • АлаичЪ

          Открыть исходный код страницы, которую закрываем, и найти там <meta name="robots" ... /> — если в нем содержится noindex,nofollow — значит все сработало. Если мета-тега нет — значит не сработало.

          Ответить
          • Салман (9 комм.)

            Приветствую всех. Уважаемый Алаичъ я проверил как вы и сказали — зашел на страницу, где должна была закрыться страница от индексации, и там сверху было вот это <meta name="robots" content="noindex,nofollow" />, я так понял это закрывает от Яндекса и от Гугла вместе. Следующее, что я сделал, так это загнал в адурилку эту страницу, чтобы проверить закрыта ли она от индексирования или нет, так адурилка приняла его на индекс, не знаю что и делать.

            Ответить
            • АлаичЪ

              Все верно, страница закрыта от индексации. А на счет адурился — не переживайте, Яндекс не умеет заранее проверять метатег, его он учитывает только при обходе сайта. Короче, все путем, не надо переживать!

              Ответить
  21. Danila (23 комм.)

    Тут тfкое дело, для некоторых страниц хочется установить noindex follow в частности для страниц пагинации /page/ а остальные служебные в noindex nofollow Такое можно в модуле?

    Ответить
    • АлаичЪ

      Нет, без ковыряний так сделать не получится. Я не вижу в этом какого-то смысла, потому это и не предусмотрено в модуле.

      Ответить
      • Danila (23 комм.)

        Жаль. Модулю очень не хватает универсализации, чтобы можно было выбрать галочкой разделы и выбрать один из четырех вариантов index folllow, noindex follow, index nofollow, noindex nofollow. У разных задач разные решения.

        Ответить
        • АлаичЪ

          index follow — это равносильно отсутствию каких-либо правил.

          Лично я не вижу никакого смысла лишних телодвижений. Реально необходимы только два варианта: noindex,nofollow или ничего. Зачем что-то иное?

          Ответить
  22. d.j.starter (31 комм.)

    Интересный модуль и очень полезен!

    Ответить
  23. Amo (2 комм.)

    После установки модуля надо ли сделать robots по принципу?

    User-agent: *

    Disallow: /engine/

    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml

    Ответить
    • АлаичЪ

      Да, после установки модуля необходимо поменять роботс на такой, как вы указали. Но надо иметь ввиду, что это не учитывает индивидуальных настроек сайта.

      Ответить
  24. sprrut (2 комм.)

    АлаичЪ

    За модуль и труд огромное СПАСИБО!

    Не хватает закрытия статических страниц.

    В сгенерированный тег добавить: static

    Все статические страницы будут закрыты.

    Может кому надо.

    Ответить
    • Yeti (4 комм.)

      а стандартный функционал при создании статической страницы: Запретить индексацию страницы для поисковиков, не-а?

      он ведь использует именно этот мета-тег и я не думаю что при создании страницы проблемно задействовать этот чекбокс?

      Ответить
      • АлаичЪ

        Вот именно по этому в модуле нет статических страниц. Как раз потому как и сказал Yeti.

        Ответить
  25. Scumtron (4 комм.)

    С 10-й версией DLE работает?

    Ответить
    • Yeti (4 комм.)

      Будет работать в скрипте ничего не изменилось, чтобы затрагивало данный функционал.

      Ответить
  26. Валентин (67 комм.)

    Здравствуйте, в теме https://alaev.info/blog/post/3900 закрыты комментарии, по этому спрошу тут:

    Как закрыть от индексации все стандартные страницы ошибок и 404 в DLE через метатеги?

    Ответить
    • АлаичЪ

      В этом нет необходимости, потому что ошибка — это ошибка. Если сервер отдает ответ 404, то уже не важно должна индексироваться страница или нет, потому что страницы не существует.

      Ответить
      • Валентин (67 комм.)

        Тогда подскажите не будут ли дублироваться метатеги главной страницы и стандартных страниц ошибок...? Или лучше свою страницу ошибки(404) делать?

        Ответить
        • АлаичЪ

          Если страница отдает ответ 404, то она не может поисковиком никак учитываться. Робот в принципе не загружает страницу, если получает ответ об ошибке.

          Ответить
  27. Rustam (3 комм.)

    А как запретит от индексации определенных категории

    Ответить
    • АлаичЪ

      Модулем это не предусмотрено. Но это можно сделать вручную, описано здесь — https://alaev.info/blog/post/3900

      Ответить
  28. СерG (1 комм.)

    Здравствуйте. Отметил три пункта в DonBot — Технические страницы,Пользователи,Теги. Сомнения, Остались не заполненные — любые страницы пагинации, страницы пагинации для главной, страницы пагинации для категорий — Нужно ли их отмечать?

    И еще мне нужно чтобы категории не были закрыты от индексации, так как поставил и настроил catface для их оптимизации. Не будут ли категории закрыты при этих настройках DonBot.

    Ответить
    • АлаичЪ

      Данных трех пунктов достаточно. Больше ничего отмечать не надо.

      Ответить
  29. Dobrii (4 комм.)

    На версии 10,1 модуль не работает, придется править руками!

    Ответить
  30. teleoperator27 (1 комм.)

    Но вот как быть, если надо вставить несколько тегов? Например, на какой-то странице noindex, nofollow, а на каких то только noindex?Позволяет модуль такое сделать?

    Ответить
    • АлаичЪ

      Конкретно для определенных страниц добавить или не добавить не получится, только для глобальных разделов.

      Ответить
  31. Tom (1 комм.)

    На 10.1 модуль работает, проверял.

    Ответить
  32. РОМАН (3 комм.)

    на дле 10.1 работает нормально

    Ответить
  33. Tural (2 комм.)

    a kak dobavit kategorii? :( pojalusta pomagite mne. ya xocu dobavit noindex,nofolllow dlya kategori stranica

    Ответить
  34. Сергей (2 комм.)

    Поставил код из первого поста https://alaev.info/blog/post/3900 в файл engine.php, после чего сайт потух и появилась такая ошибка: Parse error: syntax error, unexpected ')' in /home/p104516/www/сайт.ru/engine/engine.php on line 871

    Подскажите пожалуйста, из-за чего такая проблема и как ее победить? Версия dle 10.2

    Ответить
  35. Сергей (2 комм.)

    Вы пишите,идеальный роботс:

    User-agent: *

    Disallow: /engine/

    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml

    ============

    А разве не так должно быть то?

    User-agent: *

    Disallow: /engine/

    Sitemap: http://site.ru/sitemap.xml

    Host: site.ru

    Ответить
  36. Артем (1 комм.)

    Купил у вас модуль Donbot но нечаянно удалил. Оплачивал вебмани.Могу предоставить доказательства оплаты или номер wmr. Можно ссылку на почту?

    Ответить
  37. Игорь (4 комм.)

    Здравствуйте, поставил ваш модуль, но он помимо нужного тега в код добавляет это — "п»ї" и я даже не знаю, как это убрать. Думал кодировка, но вроде нет...

    Ответить
  38. Bronka (3 комм.)

    привет, оплатил модуль и как мне его получить?

    Ответить
    • АлаичЪ

      Там, где оплачивали, ссылка на скачивание и появится.

      Ответить
  39. Bronka (3 комм.)

    где модуль ? или денги обратно на кашелек !

    Ответить
    • АлаичЪ

      На этой странице после оплаты появится ссылка "Скачать" http://store.alaev.info/buy/?buy=9

      Если не появилась, напишите мне через форму обратной связи, разберемся вместе.

      Ответить
  40. Bronka (3 комм.)

    в том то и дело что небыла ни какои сылки написал через контакты и прикрепил квитанцию

    Ответить
    • АлаичЪ

      Все отправил вам на почту!

      Ответить
  41. Сергей (1 комм.)

    Здравствуйте, модуль совместим с DLE 10.4?

    Ответить
    • Анатолий (17 комм.)

      Тоже интересует, но никто по ходу отвечать не собирается, а тратить 500р просто так ради проверки не охота!

      Ответить
  42. Leonid (1 комм.)

    Здравствуйте при покупке ваших модов каким образом получать обновления?

    Ответить
  43. BuHoBeH (1 комм.)

    Когда то покупал давно этот модуль, версия 1.1, на DLe 10.5 работает? стоит ставить?

    Ответить
    • АлаичЪ

      Должно работать, проверьте.

      Ответить
  44. skuchniy (2 комм.)

    Здравствуйте! Хотел спросить насчет index.html данный модуль запрещает индексацию или нет?

    Ответить
    • АлаичЪ

      Нет, потому что такой страницы в принципе в движке не существует.

      Ответить
  45. Артур (1 комм.)

    А как скрыть страницы пагинации в комментариях от индексации? А то я сам прописал titile для этой страницы и он везде одинаковый получается

    Ответить
  46. Василий (1 комм.)

    на 11 версии работает, если кому вдруг интересно

    Ответить
  47. Николай (1 комм.)

    Добрый день для DLE 11.0 актуально или нет?

    Ответить
  48. Димм (1 комм.)

    Приветствую. А на DLE 11.1 работает?

    Ответить
  49. Андрей (5 комм.)

    Здравствуйте. если я поставлю такой тег

    {include file='engine/modules/donbot.php?tag=nofollow&pages=addnews,feedback,lostpassword,register,rules,stats,search,pm,favorites,newposts,lastnews,lastcomments,date,userinfo,allnews,alltags,tags'}

    Будет ли индексироваться статьи?

    Что не будет индексироваться?

    Ответить
  50. Эльнур (1 комм.)

    Добрый день. на версии 13.0 будет работать?

    Ответить
    • trafaglot (1 комм.)

      "Добрый день. на версии 13.0 будет работать?" — Проверено! На 13й работает как надо! Спасибо за модуль, автор руки у тебя золотые, здоровья тебе, счастья и богатства!

      Ответить