Краудфандинг на новый софт для изучения индексации сайта от АлаичЪ’а

Краудфандинг на новый софт  от АлаичЪ’а Привет, друзья! Вы меня читаете в Твиттере? На днях я писал о посетившей меня идее для нового софта. Хотя идея и не новая, и крутится в голове уже как минимум полгода, но я созрел только сейчас!

Ниже я расскажу о проблеме, которая послужила причиной для создания новой программы. Если вы уделяете пристальное внимание внутренней оптимизации сайта, то идея вам очень понравится, ведь она позволит определить те ошибки сайта, которые трудно обнаружить существующими инструментами. Немного расскажу о самой программе и специфике ее работы. А самое главное – я в очередной раз предлагаю всем желающим принять участие в краудфандинге и стать бета-тестерами нового продукта. Но обо всем по порядку!

Предыстория или моя боль!

Как часто вы интересуетесь индексацией своего сайта? Хотя бы на предмет того, какие страницы вашего сайта попали и сидят в индексе, а какие нет? А когда эти страницы были проиндексированы или переиндексированы?

Или вот взяли вы очередной сайт на продвижение и надо его изучить. В первую очередь на предмет внутренних ошибок: дублей, битых ссылок, редиректов и других проблем. Благо программ сейчас для этого предостаточно. Окей, изучили, ошибки пофиксили, оставили для индексации только все нужное, а все ненужное закрыли. На этом и успокоились…

Каждую неделю у меня обязательно случается 1-2 заказа на технический аудит, а в связи с тем, что я снова решил взять немного сайтов на продвижение, то теперь и новые клиенты случаются. И вот в один из аудитов мне очень понадобилось изучить индексацию сайта, захотелось сравнить то, что я нашел на сайте и то, что я смогу найти в выдаче. Мне повезло, я делал это вручную и буквально на первых страницах выдачи нашел ошибки и несколько страниц дублей, которые проиндексировал Яндекс, а на сайте этих страниц не было (точнее они были когда-то, но владелец мог поменять адреса и не поставить редирект, а так часто бывает). А если бы мне не повезло, и я эти страниц вручную не нашел?

У Яндекса нет такого замечательного инструмента в панели вебмастера как у Google, где отображаются проблемы по части дублирования контента (title, в частности). Инструменты для веб-мастеров Google реально выручают и позволяют находить серьезные проблемы, но и эти инструменты не идеальны, т.к. информация обновляется с некоторой задержкой, и отображаются далеко не все проблемы. Да и сайт вообще может быть не добавлен в панель.

Вопросов много, и хочется решить их здесь и сейчас. А главное, чтобы это было удобно и качественно…

Знакомая ситуация? Приходилось ли вам когда-нибудь сравнивать поисковый индекс вашего сайта с реальным списком страниц, собранных с сайта? Если приходилось, прошу вас отметиться в комментариях и рассказать, какими инструментами вы пользовались, что делали и как смогли добиться своей цели?

Для меня это стало болью! Я не смог сходу придумать, как можно решить мою проблему. После того, как я написал о новой программе, на ФБ мне написал Витек и спросил, а че за софт-то? Ну, я в двух словах сказал, что софт призван получать и сравнивать списки страниц, собранных с сайта, со списком страниц, собранных из индекса поисковиков. Оказалось, что Витек заморачивался именно такой задачей для одного большого проекта и даже почти добился успеха. Алгоритм следующий: взять Яззл, вбить список запросов для парсинга Яндекса, экспортировать результат; взять программу Xenu и спарсить ей сайт, экспортировать результат; добиться одинакового форматирования двух файлов экспорта и свести в одну таблицу в Экселе, а потом как-то это сравнить. На словах звучит, вроде, вполне реально, правда я так и не понял, как можно два списка сравнить между собой и найти сходства или различия между ними.

Подсчитаем потенциальные потери: 4000 р. на покупку Яззл (можно постараться найти аналоги для парсинга выдачи, может быть, даже бесплатные), необходимость иметь сразу несколько программ, делать несколько экспортов и сводить в одну таблицу, шаманить с Excel, чтобы сравнить полученные результаты.

Дофига делов – кто-то может и готов это терпеть, но не я.

Идея создать инструмент, который позволит все сделать в одном окне и за пару кликов, пришла давно. Пора воплощать в жизнь!

О будущей программе в двух словах

Программа будет состоять из нескольких модулей:

  • Сканер сайта – обычный краулер, который обходит сайт, собирает все уникальные страницы, URL’ы, заголовки и другие важные характеристики. Умеет учитывать правила robots.txt, мета-тега robots и даже rel=canonical. Существующие аналоги: Xenu, Page-Weight, Netpeak Spider и т.п.
  • Парсер выдачи – парсер, который отправляет запросы в Яндекс (типа site:alaev.info, host:alaev.info или url:alaev.info, зависит от ситуации) и собирает все полученные результаты. Алгоритмы перебора, чтобы загрузить больше 1000 результатов. Возможность подключить Яндекс XML. Собирает заголовки, URL’ы, дату индексации и дату сохраненной копии. Заодно пробивает существование и доступность найденных страниц на сайте. То же самое для Google, но там все сложнее, с ним будем экспериментировать. Просто парсеров выдачи можно найти много, а вот, чтобы они собирали нужную инфу в нужном виде – такого не видел. Так что аналогов нет.
  • Статистика и аналитика – тот самый главный и важный модуль, который покажет результаты сравнения списков страниц. То, что было найдено на сайте, но отсутствует в выдаче, или наоборот, что нашлось в выдаче, а на сайте не нашлось. Так-то при желании можно будет сравнивать что угодно и делать любые выборки… Аналогов, понятное дело, нет.

Круто?

Мне тоже кажется, что круто!

Краудфандинг и бета-тестинг

Самое главное на повестке дня. Помните, как зарождался FastTrust? Я вам напомню. Родилась идея, и деньги на ее реализацию были, но не было уверенности в востребованности будущего продукта, и потому не хотелось потерять большие деньги на то, что никому не пригодится. Я решил устроить голосование (тогда я еще не знал слова краудфандинг). Голосование рублем – желающие получить будущий продукт бесплатно и на особых условиях должны были оплатить вступительный взнос. И все получилось очень классно. А что было дальше, вы уже знаете – теперь FastTrust успешный и известный продукт у которого почти две тысячи пользователей.

Я пока не решил, будет ли новая программа платная или бесплатная, но в накладе ни один участник складчины не останется, это я вам гарантирую!

Оплатив участие, вы автоматически становитесь бета-тестером и получаете доступ к программе. Ваши идеи и пожелания к программе имеют существенный вес, т.е. вы реально можете влиять на то, какой будет программа в итоге и будет ли она иметь те функции, которые нужны именно вам. А еще доступ в закрытый раздел форума, посвященный программе.

Дорогие друзья, сбор средств закрыт! Ждите публичного релиза программы!
Участников набралось достаточное количество, даже, признаться, более чем достаточное. Я и не ожидал, что будет такой ажиотаж, поэтому и приходится досрочно закрывать прием участников.
Всем, кто принял участие, выражаю огромную благодарность за оказанное доверие! Спасибо, ребята!

Кстати, вы вообще ни чем не рискуете. Во-первых, в отличие от прошлого раза я не ищу программистов, они уже есть и проверены временем. Во-вторых, программа не в планах, а она уже создана и уже работает, даже успели выйти несколько обновлений (однако, кроме меня программу еще никто не видел). А в-третьих, у меня уже есть опыт в таких делах.
По случаю, прошу участников закрытого клуба разработки FastTrust отписаться в комментариях, довольны ли вы результатами?

На этом все, друзья! До связи.

Вопросы, комментарии, предложения – пишите, не стесняйтесь!

С уважением, Александр Алаев
 
Ерунда и баянЪ!Зачет! Плюсую!
+6
 
Оптимизация сайта

Профессиональный технический аудит и оптимизация вашего сайта.
Тот самый необходимый «фундамент» для успешного продвижения.

от 10 000 руб.
Продвижение сайта

Комплексный подход к решению поставленных задач, будь то достижение заветных позиций в ТОП 10 или увеличение трафика на сайт. В стоимость уже включены полный технический аудит и оптимизация сайта.

от 15 000 руб.
Консультация

У вас недостаточно знаний?
Нужен ответ на ряд вопросов?
Хотите узнать мнение эксперта?
Вы задаете вопрос — я на него отвечаю!

1 500 руб./час
 
Получай новости блога АлаичЪ'а на e-mail:
 
Другие посты из категории SEO Софт:
Что нового на форуме:
  1. Bakalov (7 комм.)

    Ну ты и усложнять задачу :) Берем Яшколюб (ака YandexParser), собираем страницы из выдачи. Берем Ксену/НетПикСпайдер/СайтмапГенератор/Лягушку, или любой другой сканер, получаем список страниц сайта. Сравнивается в экселе элементарной формулой (1 раз сделал заготовку и забыл), если надо, то могу бы тебе скинуть заготовку, но тебе явно ведь не надо, раз ты над софтом заморочился :) Кстати, точно также в экселе оценивается и новые/выпавшие доки в индексе. По поводу дублей мета тегов — опять же, НетПиоковский спайдер отлично все находит.

    P.S. я бы поучаствовал, но имхо 500 руб дорого ))))

    Ответить
    • CB9TOIIIA (7 комм.)

      естественный отбор :) ради такого ПО мне лично и в 2-3 раза больше не жалко, у всех свои приоритеты и потребности)

      Ответить
      • АлаичЪ

        Я не усложнять. А наоборот — упрощать задачу.

        То, что ты сказал, все равно не заменит то, что делаю я. Да, вероятно, можно сделать все то, что будет уметь программа уже имеющимися инструментами, но для этого надо будет штук 5 программ и набор формул в Экселе. А я беру и удаляю из этого процесса весь геморрой. Один клик — получил все страницы с сайта. Второй клик — получил все страницы из выдачи. Третий клик — сравнил эти данные. Это если упрощать и не брать в рассмотрение различные полезные данные, которые можно собирать по ходу парсинга.

        PS Короче, давай скидывайся, не понтуйся :)

        Ответить
        • тот самый Витёк (1 комм.)

          Саш, не набор формул в экселе, а одна команда условного форматирования :)

          а из программ достаточно яззла, потому что список урлов можно собрать и из карты сайта ;)

          Ответить
          • АлаичЪ

            Я же говорю, что в твоем Экселе я нифига не понимаю :) Для меня условное форматирование звучит так же, как уравнение Ван-дер-Ваальса. Можно погуглить и разобраться в этом, или вспомнить, что я изучал это в институте на лекциях по ТДСФ. Я не хочу гуглить, и лишний раз думать над тем, над чем можно не думать. Я хочу нажать кнопку и все!

            А карта сайта есть не на всех сайтах и содержит он в 99% случаев не все страницы сайта, а только избранные. А нам надо все!

            Ответить
  2. CB9TOIIIA (7 комм.)

    Помню как FastTrust тестили)) было весело и информативно)) всем доволен) отправил денежку!) Буду рад потестить программу в первых рядах!)

    Ответить
    • АлаичЪ

      Да, круто было! Думаю, что и в этот раз будет не менее круто!

      Спасибо!

      Ответить
  3. Юрий (5 комм.)

    500 руп отправил ,я вообще за любой новый софт))))

    Ответить
    • АлаичЪ

      Спасибо. Правильное решение :)

      Ответить
  4. Руслан Sk8er Баночкин (1 комм.)

    Скинул денежку, ждёмс (:

    Ответить
  5. Кукуев (1 комм.)

    Насчет: "Парсер выдачи... аналогов нет" — есть такая софтина, довольно удобная — scrapebox. Она платная и многофункциональная (основная задача — спам по блогам). Одной из функций — есть парсер поисковиков, и можно в том числе использовать критерии типа site:alaev.info

    Ответить
    • АлаичЪ

      Парсеров, действительно много. Я не зря написал "Просто парсеров выдачи можно найти много, а вот, чтобы они собирали нужную инфу в нужном виде – такого не видел."

      Не могу сказать, что я прямо изучал рынок парсеров и их возможностей, но на вскидку ничего аналогичного не вспомнил.

      Ответить
  6. Goldendragon (2 комм.)

    Отправил свой взнос :). Уверен программа получится нужная, как и FastTrust.

    Ответить
  7. Артур (2 комм.)

    Тоже хочу участвовать. Потестировать софт, и вносить свои предложения, если таковые будут. На самом деле идея витает в воздухе. У самого давно идея по разработке софта или сервиса, который облегчал бы задачи оптимизатору.

    Такие программы облегчают работу оптимизатора, особенно когда ведешь большие проекты. Так что я только за такие темы!

    Ответить
  8. Артем Исаев (4 комм.)

    Прошлый опыт краудфандинга был положительный, потому поддержал своими 555 руб.

    Ответить
  9. rpob (5 комм.)

    Отправил, думаю программка будет полезной

    Ответить
  10. Александр Лощев (10 комм.)

    Участвовал в прошлом, было реально круто! Так что поучаствую и сейчас! :)

    Ответить
  11. seoonly.ru (4 комм.)

    Сколько уже человек в деле? Примерные сроки написания?

    Ответить
    • АлаичЪ

      В деле почти 30 человек. Примерные сроки написания чего? Прототип программы уже написан и работает, ждет нашего дружного тестинга!

      Ответить
      • CB9TOIIIA (7 комм.)

        и мы уже все ждем))) хотя бы скриншота в закрытом форуме))))

        Ответить
        • АлаичЪ

          Не пипешуй, скоро все будет!

          Ответить
  12. Turon (1 комм.)

    Скинул деньжата. А закрытая тема с фасттрастом на форуме пропала?

    Ответить
    • АлаичЪ

      Пропала. Я не удалил, но перенес в видимый только мне раздел. Все, время прошло, прошлый эвент отправляется в музей истории :)

      Ответить
  13. alekzey (1 комм.)

    Тоже оплатил.

    Ответить
  14. InYan89 (1 комм.)

    Спасибо. Участвую. ;)

    Ответить
  15. omikron21 (1 комм.)

    А киви кошелек нет? Было бы здорово!

    Ответить
    • АлаичЪ

      Увы, не держу таковой. Если будет удобно, пишите мне на почту — у меня есть альтернативные варианты оплаты: Сбербанк, Альфа-Клик.

      Ответить
  16. Юрий (2 комм.)

    Завтра закину денюжку, а каким образом она пойдет в зачет ?

    Ответить
    • АлаичЪ

      А какой зачет? Как минимум все тестеры будут иметь после релиза лицензии на программу без каких либо дополнительных платежей. Ол инклюзив )))

      Ответить
  17. potatnik (1 комм.)

    Оплачено. Ждем )

    Ответить
  18. Александр Борисов (2 комм.)

    Саня! Это супер прога уверен! Уже в теме )))

    Ответить
  19. volody1977 (1 комм.)

    Привет всем. Денежку перевел. С удовольствием поучаствую в тестировании.

    Ответить
  20. Demcheg (6 комм.)

    Затестим) Вечерком деньгу скину.

    Для проектов с большим количеством страниц должно очень пригодиться.

    П.С. Сразу могу сказать, что подключения одного Yandex.XML маловато будет, хорошо бы подключить те сервисы антикапчи, которые есть в FastTrust.

    Ответить
    • АлаичЪ

      Антикапча уже есть даже в альфабилде, все те сервисы, что в ФастТраст уже есть и здесь. Но XML то экономнее, за один запрос выдает 100 результатов, всего 10 запросов и вот уже 1000 страниц у тебя :)

      Ответить
  21. Simon (1 комм.)

    Скинул денег. Пользуюсь фасттрастом с первого дня. Очень помогает. Думаю и эта прога будет полезной, особенно если будут учтены интересные функции.

    Ответить
    • АлаичЪ

      Любой каприз, как я и обещал (в пределах разумного, разумеется).

      Ответить
  22. RUMYET (1 комм.)

    Оплатил, буду терпеливо ждать!

    Ответить
  23. Алексей (4 комм.)

    отправил только что тоже

    только какое примечание??)) я с банка на вм отправлял

    там ток номер и сумма

    Ответить
    • АлаичЪ

      Не знаю. Лучше пишите мне на почту, согласуем как-нибудь.

      Ответить
  24. ИчИ (2 комм.)

    Отправил денежку, ждёмс софтину. Как раз на досуге выписали мне тут магазин на 13к страниц... Есть уже даже и идеи по доработке. Fasttrust удался у тебя, надеюсь и тут будет не хуже! :)

    Ответить
    • АлаичЪ

      Спасибо. Удался ФастТраст, удастся и новая софтина!

      Ответить
  25. Ferment88 (1 комм.)

    Хочу потестить тоже, скинулся)

    Ответить
    • АлаичЪ

      Тест будет объявлен в понедельник, к тому времени основная масса желающих уже соберется как раз.

      Ответить
  26. Александр (1 комм.)

    Тоже отправил деньги. Уже сталкиваюсь с такой проблемой. Пэйдж-вейет есть. хсенум тоже. Проверку проиндексированности страницы можно конечно использовать с помощью проги "YCCY", но она кривая. Еще бы полезно было бы проверять полученные страницы в валидаторе (Написали мне прогу на это, но там проблемы с прокси и Ip банится через 30 урлов). Было бы приятней иметь одну программу (само собой врят ли получится обогнать пейдж-вейт по проверки статического веса страницы, но и бог с ним). Жду программу.

    Ответить
    • АлаичЪ

      Я думаю, что вот расчет статического веса будет тут лишним. Хотя там в процессе видно будет, что к чему... Для этого мы, собственно, все вместе и собираемся!

      Ответить
  27. Илья (1 комм.)

    Скинул свою копеечку. Одна просьба — смените внешний вид полосы прокрутки. от фасттрастовской хочется вешаться: пытаться попасть мышкой в ползунок шириной 5 пикселей на мониторе с большим разрешением — смерти подобно.

    Ответить
    • АлаичЪ

      Постараемся исправить это недоразумение :)

      Ответить
  28. Руслан (1 комм.)

    Отправил денежку. Очень хотел бы участвовать в тестировании такого полезного софта. Сам разрабатывал программы и думаю что буду полезен.

    Ответить
  29. Webgid (1 комм.)

    скинул 750 рублей, ждем ссылочку будем тестировать полезный софт.

    Ответить
  30. SergeyPoliK (4 комм.)

    Вписался, оплатил, программа полезная, жду дальнейших инструкций =)

    Ответить
  31. Виталий (2 комм.)

    Закинул, с нетерпением жду версию проги для теста :)

    Ответить
  32. Андрей (1 комм.)

    Отправил, вещь нужная. Жду с нетерпением.

    Ответить
  33. Юрий (2 комм.)

    Отправил, жду доступ! )

    Ответить
  34. Анатолия (1 комм.)

    Отправила. Ожидаю!

    Ответить
  35. Александр (1 комм.)

    Привет! Закинул wmz, жду доступ) Сенкс)

    Ответить
  36. АлаичЪ

    Абсолютно всем, кто отправлял переводы выдан доступ на форум. Всем сделана рассылка, а кто не получал, тот значит оплатил позже, чем я ее делал. Но в понедельник будет новая рассылка для всех.

    Ответить
  37. Виталий (1 комм.)

    Оплатил новую разработку, жду доступ в закрытый раздел. Уверен что программа будет очень полезна и высокого качества. Являюсь клиентом клиентом FastTrust более года и очень доволен.

    Ответить
  38. Сергей (1 комм.)

    Оплатил. Я не единожды пожалел что не принял участия в предыдущем FastTrust. Теперь я с Вами :))

    Ответить
  39. jkeks (9 комм.)

    Не успел принять участия. Имею опыт борьбы с индексациями и собственный софт. Грусте... 2 дня заметка болталась в opera mini на телефоне, как говориться что бы на компе разобраться и принять участие.

    Как говориться:

    Прощщелкалъ !

    Ответить
  40. Андрей (1 комм.)

    Эээххх...жалко, что не успел! Только пополнил счет на wm, а тут такое дело :))) Буду ждать скорейшего релиза, прога очень нужна для меня, особенно сейчас. Вот что значит уехать не вовремя в отпуск ;) Всем удачи в тестировании, жду с нетерпением :)

    Ответить
  41. danila (23 комм.)

    Жалко не успел, в отпуске был. А вообще проблема для меня очень актуальна. Еще было бы неплохо подключить возможность собирать данные из Яндекс Вебмастера, чтобы вот такие случаи мониторить: http://searchengines.guru/attachment.php?attachmentid=135851&stc=1&d=1403975479

    Т.е. у Яндекса есть четыре возможных варианта для страницы

    1...Неизвестна Яндексу

    2...Исключена из поиска

    3...Известна и присутствует в поиске

    4...Известна и не присутствует в поиске

    Т.е. есть реальное расхождение между тем сколько Яндекс проиндексировал страниц, сколько из этого исключил, сколько вогнал в поиск и сколько в результате осталось. Хотелось бы вычленить эти страницы.

    Ответить
  42. Влад (1 комм.)

    Как продвигаются успехи по созданию ПО ?))

    Когда можно примерно ожидать Релиз ?

    Заранее спасибо

    Ответить
  43. kavaf (3 комм.)

    Пропустил к сожалению... Скидки для владельце FT будут?

    Ответить
  44. Рома (1 комм.)

    Редко захожу к вам... Пропустил тоже((

    Ответить
  45. stza (1 комм.)

    Потсоянно это делаю с помощью норм такого комбайна seopowersuite, советую изучить софтину, сделана для того же,но достаточно много прикручено и планировщик есть.

    Ответить
    • АлаичЪ

      Зачем? У меня своя софтина удобная теперь есть! :)

      Ответить
Оставь комментарий или спроси через Twitter →

· Малоинформативные комментарии или комментарии, не содержащие вопрос, удаляются.
· В поле URL оставляйте ссылку только на свой сайт/блог. Эта ссылка для админа, посетители ее не увидят.
· Любой html-код отображается в виде текста, любые ссылки неактивны.
· Для спаммеров - БЛОГ НЕ DOFOLLOW!!!