Краудфандинг на новый софт для изучения индексации сайта от АлаичЪ’а

Привет, друзья! Вы меня читаете в Твиттере? На днях я писал о посетившей меня идее для нового софта. Хотя идея и не новая, и крутится в голове уже как минимум полгода, но я созрел только сейчас!

Ниже я расскажу о проблеме, которая послужила причиной для создания новой программы. Если вы уделяете пристальное внимание внутренней оптимизации сайта, то идея вам очень понравится, ведь она позволит определить те ошибки сайта, которые трудно обнаружить существующими инструментами. Немного расскажу о самой программе и специфике ее работы. А самое главное – я в очередной раз предлагаю всем желающим принять участие в краудфандинге и стать бета-тестерами нового продукта. Но обо всем по порядку!

Предыстория или моя боль!

Как часто вы интересуетесь индексацией своего сайта? Хотя бы на предмет того, какие страницы вашего сайта попали и сидят в индексе, а какие нет? А когда эти страницы были проиндексированы или переиндексированы?

Или вот взяли вы очередной сайт на продвижение и надо его изучить. В первую очередь на предмет внутренних ошибок: дублей, битых ссылок, редиректов и других проблем. Благо программ сейчас для этого предостаточно. Окей, изучили, ошибки пофиксили, оставили для индексации только все нужное, а все ненужное закрыли. На этом и успокоились…

Каждую неделю у меня обязательно случается 1-2 заказа на технический аудит, а в связи с тем, что я снова решил взять немного сайтов на продвижение, то теперь и новые клиенты случаются. И вот в один из аудитов мне очень понадобилось изучить индексацию сайта, захотелось сравнить то, что я нашел на сайте и то, что я смогу найти в выдаче. Мне повезло, я делал это вручную и буквально на первых страницах выдачи нашел ошибки и несколько страниц дублей, которые проиндексировал Яндекс, а на сайте этих страниц не было (точнее они были когда-то, но владелец мог поменять адреса и не поставить редирект, а так часто бывает). А если бы мне не повезло, и я эти страниц вручную не нашел?

У Яндекса нет такого замечательного инструмента в панели вебмастера как у Google, где отображаются проблемы по части дублирования контента (title, в частности). Инструменты для веб-мастеров Google реально выручают и позволяют находить серьезные проблемы, но и эти инструменты не идеальны, т.к. информация обновляется с некоторой задержкой, и отображаются далеко не все проблемы. Да и сайт вообще может быть не добавлен в панель.

Вопросов много, и хочется решить их здесь и сейчас. А главное, чтобы это было удобно и качественно…

Знакомая ситуация? Приходилось ли вам когда-нибудь сравнивать поисковый индекс вашего сайта с реальным списком страниц, собранных с сайта? Если приходилось, прошу вас отметиться в комментариях и рассказать, какими инструментами вы пользовались, что делали и как смогли добиться своей цели?

Для меня это стало болью! Я не смог сходу придумать, как можно решить мою проблему. После того, как я написал о новой программе, на ФБ мне написал Витек и спросил, а че за софт-то? Ну, я в двух словах сказал, что софт призван получать и сравнивать списки страниц, собранных с сайта, со списком страниц, собранных из индекса поисковиков. Оказалось, что Витек заморачивался именно такой задачей для одного большого проекта и даже почти добился успеха. Алгоритм следующий: взять Яззл, вбить список запросов для парсинга Яндекса, экспортировать результат; взять программу Xenu и спарсить ей сайт, экспортировать результат; добиться одинакового форматирования двух файлов экспорта и свести в одну таблицу в Экселе, а потом как-то это сравнить. На словах звучит, вроде, вполне реально, правда я так и не понял, как можно два списка сравнить между собой и найти сходства или различия между ними.

Подсчитаем потенциальные потери: 4000 р. на покупку Яззл (можно постараться найти аналоги для парсинга выдачи, может быть, даже бесплатные), необходимость иметь сразу несколько программ, делать несколько экспортов и сводить в одну таблицу, шаманить с Excel, чтобы сравнить полученные результаты.

Дофига делов – кто-то может и готов это терпеть, но не я.

Идея создать инструмент, который позволит все сделать в одном окне и за пару кликов, пришла давно. Пора воплощать в жизнь!

О будущей программе в двух словах

Программа будет состоять из нескольких модулей:

• Сканер сайта – обычный краулер, который обходит сайт, собирает все уникальные страницы, URL’ы, заголовки и другие важные характеристики. Умеет учитывать правила robots.txt, мета-тега robots и даже rel=canonical. Существующие аналоги: Xenu, Page-Weight, Netpeak Spider и т.п.
• Парсер выдачи – парсер, который отправляет запросы в Яндекс (типа site:alaev.info, host:alaev.info или url:alaev.info, зависит от ситуации) и собирает все полученные результаты. Алгоритмы перебора, чтобы загрузить больше 1000 результатов. Возможность подключить Яндекс XML. Собирает заголовки, URL’ы, дату индексации и дату сохраненной копии. Заодно пробивает существование и доступность найденных страниц на сайте. То же самое для Google, но там все сложнее, с ним будем экспериментировать. Просто парсеров выдачи можно найти много, а вот, чтобы они собирали нужную инфу в нужном виде – такого не видел. Так что аналогов нет.
• Статистика и аналитика – тот самый главный и важный модуль, который покажет результаты сравнения списков страниц. То, что было найдено на сайте, но отсутствует в выдаче, или наоборот, что нашлось в выдаче, а на сайте не нашлось. Так-то при желании можно будет сравнивать что угодно и делать любые выборки… Аналогов, понятное дело, нет.

Круто?

Мне тоже кажется, что круто!

Краудфандинг и бета-тестинг

Самое главное на повестке дня. Помните, как зарождался FastTrust? Я вам напомню. Родилась идея, и деньги на ее реализацию были, но не было уверенности в востребованности будущего продукта, и потому не хотелось потерять большие деньги на то, что никому не пригодится. Я решил устроить голосование (тогда я еще не знал слова краудфандинг). Голосование рублем – желающие получить будущий продукт бесплатно и на особых условиях должны были оплатить вступительный взнос. И все получилось очень классно. А что было дальше, вы уже знаете – теперь FastTrust успешный и известный продукт у которого почти две тысячи пользователей.

Я пока не решил, будет ли новая программа платная или бесплатная, но в накладе ни один участник складчины не останется, это я вам гарантирую!

Оплатив участие, вы автоматически становитесь бета-тестером и получаете доступ к программе. Ваши идеи и пожелания к программе имеют существенный вес, т.е. вы реально можете влиять на то, какой будет программа в итоге и будет ли она иметь те функции, которые нужны именно вам. А еще доступ в закрытый раздел форума, посвященный программе.

Дорогие друзья, сбор средств закрыт! Ждите публичного релиза программы!
Участников набралось достаточное количество, даже, признаться, более чем достаточное. Я и не ожидал, что будет такой ажиотаж, поэтому и приходится досрочно закрывать прием участников.
Всем, кто принял участие, выражаю огромную благодарность за оказанное доверие! Спасибо, ребята!

Кстати, вы вообще ни чем не рискуете. Во-первых, в отличие от прошлого раза я не ищу программистов, они уже есть и проверены временем. Во-вторых, программа не в планах, а она уже создана и уже работает, даже успели выйти несколько обновлений (однако, кроме меня программу еще никто не видел). А в-третьих, у меня уже есть опыт в таких делах.
По случаю, прошу участников закрытого клуба разработки FastTrust отписаться в комментариях, довольны ли вы результатами?

На этом все, друзья! До связи.

Вопросы, комментарии, предложения – пишите, не стесняйтесь!