Как я избавился от автоматического фильтра Гугл Пингвин – кейс и завершение эксперимента

Привет, друзья. Сегодня обещаю быть интересным, а главное полезным. Поделюсь с вами своей небольшой радостной новостью – как вы уже догадались из заголовка, мне удалось реабилитировать мой сайт, попавший ровно год назад под фильтр Гугл Пингвин. Хочу особо обратить ваше внимание, что речь пойдет именно про автоматически наложенные санкции без уведомлений в панели вебмастера о мерах принятых вручную – ничего этого не было, просто в октябре 2012 года трафик на сайт резко упал, а позиции вылетели из зоны видимости (за пределы ТОП 200). И с тех пор положение только усугублялось, но…

Но наконец-то свершилось то, чего я так долго ждал! Фильтр за спамные входящие ссылки снялся, значительно улучшилась видимость сайта, позиции сильно выросли.

Далее я вам расскажу, что стало причиной наложения фильтра, какие были последствия, как мне в итоге удалось победить Гугл Пингвина, и что происходит на данный момент, а так же мои рекомендации о том, как делать не стоит, имея полученный опыт!

Пост будет очень длинным, но наберитесь терпения, это поможет вам либо застраховать себя от возможного фильтра, либо избавиться от него, если он уже наложен. Итак, поехали!

Краткий экскурс в историю

Вот ссылка на мой апрельский пост, где я писал про определение ссылочного профиля (тогда еще программы FastTrust даже в планах не было). Там же я упомянул про один мой проект, который я никому не свечу, но сегодня я решил спалиться, вот этот сайт — slimdown.ru. Да, это женский сайт, кстати, крупнейший структурированный сборник диет в рунете. И это для него же я делал мобильные приложения для iOS и Android – если не в облом, можете скачать и поставить оценку в 5 звезд, я буду очень благодарен (ссылки на приложения в сайдбаре сверху на указанном сайте)! Но не о крутости моего сайта речь, как вы понимаете.

А речь о том, что данный сайт в октябре 2012 года попал под фильтр Google Penguin. Смотрите сами.

Срез среднесуточной посещаемости с поиска Google по месяцам по данным LiveInternet.ru:

Или вот вам статистика переходов с ПС Google за период 1 января 2012 – 13 октября 2013:

Как видите, 2 октября 2012 у меня было все в полном порядке, взял новый рекорд посещаемости с Google почти в 3000 посетителей в сутки, а уже 6 числа все оказалось в жопе и далее только усугублялось. Совершенно очевидно, что это наложение фильтра за искусственные или спамные ссылки, т.к. как раз в эти дни был апдейт Пингвина. И если все предыдущие обновления алгоритма для меня проходили незаметно, более того – сайт только рос, то в этот раз мне это с рук не сошло. Апдейт этого злосчастного алгоритма был 5 октября 2012 года, назывался он Penguin 3 и коснулся по официальным данным около 0.3% всех запросов.

Так вот, в посте, который уже упоминался выше, я выдвинул гипотезу, что «появление в ссылочном профиле трастовых сайтов должно улучшить ситуацию и теоретически вернуть трафик с Google хотя бы частично». А так же альтернативное исследование заключалось в том, чтобы сделать выгрузку беклинков на сайт из всех возможных источников, проверить их на качество… Далее почему-то я ничего тогда не сказал, но логично, что после проверки надо было понять, насколько плох текущий ссылочной профиль, выбрать всех плохих доноров и отклонить через инструмент Google Disavow Links Tool.

Восстановим хронологию событий

Чтобы ничего не упустить, еще раз разложим хронологию:

• До 5 октября 2012 года все было замечательно, трафик рос завидными темпами, я собирался начинать копить на яхту )))
• 5 октября случился апдейт алгоритма, после чего трафик резко упал, я понял, что это фильтр. Конечно, первым делом заглянул в панель вебмастера, в раздел «Меры, принятые вручную». Но и тогда и сейчас там написано «В отношении этого сайта вручную не принимались меры по борьбе с веб-спамом». Я расстроился, перестал закупать ссылки и вообще что-либо делать с сайтом.
• 15 ноября 2012 года, тогда еще, может кто-то помнит, была на странице «мер, принятых вручную» волшебная кнопка, позволяющая написать письмо в Гугл, даже если никаких мер не принято. Вскоре эту кнопку убрали, видимо, количество таких идиотов как я превысило критическую отметку. Так вот я решил прикинуться валенком и написать слезное письмо с мольбами о пощаде. Каково же было мое удивление, когда текст этого письма, бережно сохраненный в txt-файл, я нашел сегодня в одной из забытых папок на рабочем столе:

  Показать письмо

  Добрый день, уважаемая служба поддержки веб-мастеров.

  Я к вам обращаюсь по вопросу, по которому, наверняка, обращаются еще тысячи людей – проблемы с ранжированием сайта.

  Я прочитал данную инструкцию в вашей справке — http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=2648487
  Мой сайт slimdown.ru. Я скачал список ссылок из панели вебмастера для своего сайта. Просмотрел его, а там около 4 тысяч ссылок, и ужаснулся, очень много ссылок с мошеннический сайтов, или дорвеев, созданных на бесплатных хостингах, типа narod.ru и др., вот несколько ссылок примеров:

  http://a570028.narod.ru/page/dieta_na_chae_s_molokom_72.html
  http://alex1953.narod2.ru/dieta_kristiny_orbakayte.html
  http://andreydust.narod2.ru/kefirnaya_dieta_9_dnyay_otzyvy.html
  http://balbeska-999.narod2.ru/dieta_na_800_kkal.html

  Все они выглядят одинаково и их очень много. Я просмотрел около 1500 ссылок из списка из 4000 и чуть не сошел с ума, проверяя все вручную.

  Я составил список доменов для инструмента отклонения ссылок https://www.google.com/webmasters/tools/disavow-links?hl=ru&siteUrl=http%3A%2F%2Fslimdown.ru%2F и загрузил текстовый файл. Пример содержания файла:
  domain: 0good-diet-2011.ru
  domain: aleksei-pelevin.narod2.ru
  domain: deorseradar.pochta.ru
  domain: easy-diet.cu.cc
  и т.д.

  В соответствии с вашей справкой пишу вам это письмо.

  Хотелось бы еще попутно задать несколько вопросов:
  — Пропадут ли ссылки с доменов, указанных и загруженных в файле для инструмента отклонения ссылок? Если так, то я смогу периодически проверять список ссылок и добавлять в отклонение новые, некачественные ссылки.
  — Можно ли добавлять в список на отклонение домены верхнего уровня? Например, narod.ru, чтобы все поддомены так же не учитывались. Я готов пожертвовать ссылками с нормальных сайтов на бесплатных хостингах, иначе просто невозможно отследить все вредоносные поддомены третьего уровня.

  Небольшая предыстория этого письма. Раньше мой сайт очень хорошо чувствовал себя в поиске Google и получал хороший трафик. Я начал вести свой сайт с конца 2009 года и постепенно наполнял его качественными статьями. Сначала мы с женой писали туда новости, потом стали привлекать и других людей, которые помогали наполнять сайт. По сути, вот уже 3 года и продолжаем каждый день публиковать статьи.

  Я постоянно слежу за состоянием сайта в панели вебмастера, исправляю все ошибки, слежу, чтобы не было одинакового содержания на разных страницах и т.д. Внедряю ваши рекомендации, которыми вы делитесь в блоге и в справке для веб-мастера.

  Но вот в начале октября 2012 года трафик с Google резко упал. Вот скриншот графика одного из счетчиков — http://s2.ipicture.ru/uploads/20121115/7RIIQFhG.png (04.03.2014, прим — картинка уже не существует). Заметно, что трафик с начала 2012 года начал очень хорошо расти, мы как раз начали более активно наполнять сайт, чаще публиковать новости. Яндекс долго «думал» прежде чем понять, что мы стали усерднее работать над сайтом и только в мае трафик начал расти. И я не знаю, с чем связано столь резкое падение посетителей с Google, ведь развитие сайта было всегда в одном направлении, просто стали добавлять больше статей. Все статьи уникальные, мы их пишем сами, хотя иногда я и проверяю, не своровал ли кто-то наши тексты.

  Поэтому и обращаюсь к вам за помощью. Может быть и правда, причина в тех самых ссылках, о которых я говорил в самом начале письма.

  Мы очень ждем вашего ответа.
  Спасибо, что выслушали и прочитали такое большое письмо.

  Скрыть письмо

  Как вы понимаете, прикидываться валенком было бесполезно, ни ответа, ни какой-то иной реакции на мое письмо не последовало. Я продолжал грустить.
• В апреле 2013 наступило озарение – задумался про траст, запилил скрипт-парсер маджестика, попутно выдвинул гипотезу, решил провести обозначенный эксперимент. А еще через пару дней пришла мысль из разряда, а что если... Что если создать программу для автоматизации оценки имеющихся ссылок и будущих доноров!? И началась разработка (в мае).
• 26 июня 2013 случился публичный релиз программы FastTrust. Как вы знаете, случился такой ажиотаж вокруг программы, что я вообще забил все кроме программы, а времени не хватало даже на сон.
• Летом на эксперимент я забил, но не забыл. За месяц до релиза программы на самом первом рабочем прототипе я первым делом прогнал базу доноров GGL и стал закупаться понемногу ссылками с самых трастовых сайтов (Траст > 50, Спам < 7, цена до 500р), используя в качестве анкоров просто url страниц.
• Параллельно закупу ссылок я скачал полный список беклинков из Google WMT и из панели вебмастера Яндекса. Совместил эти таблицы, добавил в FastTrust и полностью проверил. На выходе получил список сайтов по самым жестоким фильтрам (Траст < 50, Спам > 7) и, сформировав txt-файл, использовал инструмент Disavow Tools. Под раздачу по таким критериям попали около 95% сайтов, требовались жестокие меры. Данный txt-файл я загрузил в Disavow 11 сентября 2013:
  
• 5 октября 2013 года случается апдейт алгоритма в Google, и видимость сайта резко улучшается, запросы из ниоткуда возвращаются в пределы ТОП10-ТОП30. Казалось бы – вот она Победа! Но…

«Мир уже никогда не будет прежним» ©

Помните те графики в начале поста? Я их сделал через несколько дней после снятия фильтра. Я был полон оптимизма, наблюдая растущий график по Liveinternet’у и смотря на тут «пипку», похожую на появившийся пульс после остановки сердца, на графике Яндекс Метрики…

Я уверен, вы хотите знать, что сейчас происходит, какие сейчас графики и вообще.
Вот, пожалуйста.

Статистика по трафику с Google по данным Яндекс Метрики за 2 года (период 26 февраля 2012 – 26 февраля 2014):

Не совсем понятно что там на графике происходит. Поэтому ниже предлагаю вам два графика из Liveinternet (среднесуточная посещаемость) с группировкой по месяцам и по неделям:

Вы думаете, какая-то фигня, АлаичЪ нас обманывает! На графике по месяцам и правда можно подумать, что это не больше чем «пук в лужу». Но на графике по неделям видно, что в первый же день трафик вырос в 2 раза и продолжал расти дальше. Далее провал, связанный с новым годом, а так же всплеск, связанный с ним же. Делать еще какие-то выводы из этих графиков я не берусь, но совершенно отчетливо видно, что падений нет, но, к сожалению, нет и роста…

Почему это – Победа!

Вы не поверите, насколько сильно мне хочется вернуть былую славу моего сайта в глазах Гугла, насколько сильно мне хочется вернуть и еще увеличить трафик. Разумеется, чтобы таки начать копить на яхту, ведь я же живу теперь совсем около моря ))) Но чудес не бывает, зато бывают победы, и эта одна из них.

Открывайте картинку по ссылке ниже в новой вкладке в полный размер и смотрите. Первым признаком снятия фильтра и улучшения самочувствия сайта в целом является улучшение видимости в выдаче. На графике видно, что видимость сайта улучшилась с 5000 до 8000 показов. После этого в течение 2 недель видимость увеличилась до 12 000, но скриншота этого графика у меня нет, а сейчас вернуться в те времена нельзя, история хранится только за последние 2 месяца. Другими словами, видимость сайта выросла более чем в 2 раза. А ниже графика вы можете видеть изменение видимости каких-то отдельных запросов, их CTR и средней позиции.

Ну и вот вам еще более конкретный пример моей статистики – реальные запросы и изменение их позиций. Историческая сводка по позициям ключевых слов от июня 2012 года до октября 2013. Напомню, что апдейт алгоритма Пингвина случился 5 октября 2012 (фильтр наложен) и 5 октября 2013 (фильтр снялся).

Так же хочу обратить ваше внимание на сами ключевые слова (я их не стал скрывать), это часть из списка моих ориентировочных ключей – это самые ВЧ ключевики в нише (во всяком случае, по тем временам, например, один только запрос «японская диета» дает 1000+ переходов в день, это без длинного хвоста). Я рассчитывал вывести их в топ в течение еще нескольких месяцев, и это потенциально давало мне 30-50 тысяч посетителей ежедневно. Но как в известном ролике «пацан к успеху шел», да не дошел. Я специально для мониторинга выбирал ВЧ, т.к. НЧ и СЧ отлично и сами сидели стабильно в топе, мониторить их смысла особого и не было.

Вот вам еще один график с изменением позиций по маркерным ключам после снятия фильтра. Немного более наглядно, чем исторический график:

Не знаю, что тут еще добавить, графики все наглядно показывают. Но у нас остается открытым чуть ли не самый важный вопрос – а почему все случилось именно так?

Причины и следствия

Итак, есть у меня несколько идей и мнений на тему, почему все произошло именно так, а не иначе, почему трафик восстановился не полностью, почему, почему…

Начну издалека. Знаете ли вы, что существуют специальные форумы Google для вебмастеров, где можно напрямую пообщаться с официальными представителями поиска и обсудить интересующие вопросы? Более всего нам будет интересен форум про индексирование и ранжирование сайтов, где обсуждаются вопросы о взаимодействии сайтов с поисковой системой и их положении в поисковой выдаче.

Конкретно там обсуждаются проблемы, связанные с наложением фильтра, там можно «запалить» свой сайт, если не боитесь и обсудить, почему же вашему сайту стало плохо. Лично я боюсь там обсуждать свой сайт, там валенком не прикинешься, там растерзают на месте, я уже достаточно видел случаев полного морального уничтожения вебмастеров :)

Вот просто для затравки вам несколько ссылок, связанных с наложением Пингвина:
Сайт резко «упал» по всем поисковым запросам
Помогите выйти из под автофильтра

Если почитать несколько топиков, можно заметить, что в обсуждениях отвечающие очень умело оперируют данными по беклинкам из Solomono – скрыться от алгоритма можно попытаться, а от людей – никак. Если вы действительно нарушаете правила, вас моментально разоблачат.

Короче, не о том речь. Выше я вам просто дал полезные ссылки, которые стоит почитать. Но вел я к тому, что я там однажды наткнулся на длинную переписку одного вебмастера и представителя Гугла. Заключалась переписка в следующем – на сайт наложили ручной фильтр, пользователь воспользовался Disavow Links, но эффекта не получил, решил спросить, что делать и как дальше жить. Сначала выяснилось, что он просто некорректно создал txt-файл со списком ссылок для отклонения, далее выясняли, откуда взялись ссылки и как их удалить, часть удалили, часть осталась, решили отклонить. В процессе всего это цирка, который длился около месяца, вебмастеру несколько раз отказывали в снятии ручного фильтра, с горем пополам он наконец смог создать и загрузить правильный список ссылок для отклонения и его приняли. О чудо! Ручной фильтр сняли…

А что было дальше?

Вы не поверите, но сайт вебмастера не поднялся в выдаче – он просел и потерял даже самые плохие имеющиеся позиции! Фееричная развязка, не так ли? Далее было все еще смешнее – вебмастер умолял наложить обратно на его сайт фильтр, чтобы вернуть хоть какие-то позиции. В итоге дело кончилось ничем — поохали, поахали и разошлись с миром. Зато я хорошо помню объяснение представителя Гугла на счет повторного падения позиций. Он сказал что-то в духе: «А что вы хотели?! Вы отклонили ссылки, они теперь не учитываются, а ваш сайт, может быть, только за счет них и держался хоть на каких-то позициях, теперь эти ссылки не учитываются, вот и позиций тоже нет».

Верить представителям ПС нельзя, но и не верить тоже нельзя. Возможно поэтому одной из причин, почему трафик на моем сайте не вернулся к прежнему уровню, стал именно неучет анкорных ссылок. А я, будучи совершенно бесстрашным человеком, продвигал все по-хардкору – анкорные ссылки с точным вхождением ключевиков (но без повторов, просто очень большой набор кейвордов). В итоге на сайт к моменту наложения фильтра было куплено около 300 ссылок на 50 000р в GGL и еще 300 ссылок на 30 000р в RotaPost. Ссылки покупались максимально тематические — в статьях по теме на соответствующих сайтах. Еще одно тому подтверждение, что тематика сайта мало что решает, а совсем другие факторы отвечают за то, будет ли ссылка работать и не наложат ли фильтр. Кстати, я же потом проанализировал купленные мной ссылки, оказалось, что большая часть сайтов, на которых стоят эти ссылки, заспамлены и не трастовые совсем. Поэтому почти все купленные ссылки и отправились в Disavow, а ведь когда-то они прекрасно работали…до поры до времени.

Зато в Яндексе ссылки продолжают хорошо работать. Давайте взглянем на график среднесуточной посещаемости с Яндекса по Liveinternet’у по месяцам.

Когда трафик с Гугла начал падать, с Яндекса он начал расти. Видимо, только тогда до Яндекса дошло, что я начал покупать ссылки, он начал их постепенно индексировать и учитывать. После фильтра в октябре я сразу перестал покупать ссылки, но Яндекс долго их учитывал, потому рост шел аж до февраля. Согласно эксперименту, летом 2013-ого я начал закупать трастовые ссылки, до Яндекса это дошло только в октябре-ноябре, зато хорошо дошло, посещаемость выросла с 3000 до 5000 в сутки. Так что под Яндекс ссылки с хороших сайтов продолжают рулить.

Как правильно отфильтровать некачественные ссылки

Я писал, что находил некачественные беклинки своей программой. Но программа есть не у всех, и далеко не у всех есть возможность ее купить, я это прекрасно знаю. И поэтому месяц назад, в конце января, я незаметно анонсировал наш новый мини-сервис под названием BackLinks Checker, цель которого как раз поиск и фильтрация некачественных ссылок.

Вы просто загружаете файл, скачанный из панели вебмастера Гугла, а сервис сам проанализирует каждый сайт. Когда анализ закончится, будет сформирован готовый txt-файл, который прямо сразу без каких-либо правок можно будет загрузить в Google Disavow Tools. Алгоритмы отбора некачественных сайтов основываются на опытах и наблюдениях, можете мне доверять!

И главное – стоимость такой проверки до смешного мала – 5 копеек за один проверенных хост! Обратите внимание, что я сказал не URL, а хост. В вашем файле с беклинками может быть и 50 000 ссылок, но ссылок с уникальных доменов там может быть всего 300, например. Соответственно и плата возьмется в размере 300*5=1500 копеек = 15 рублей! Где вы еще такое видели, чтобы проверка 1000 ссылок стоила вам всего 50 рублей!

Что касается продвинутых пользователей, которые хотят контролировать каждый шаг и решать все самостоятельно, ты в данный момент мы работаем над большим сервисом под названием CheckTrust — релиз его пока не состоялся, но уже я успел сделать анонс в Москве на конференции AllInTop Conf. Сервис в стадии беты, но вы можете регистрироваться уже сейчас и полноценно им пользоваться. При регистрации каждому будет выдано 500 бесплатных проверок. Если говорить кратко, то этот сервис – аналог программы FastTrust в вебе, а к своему релизу он обрастет новыми уникальными возможностями, которых у программы нет и не будет. Пользуйтесь на здоровье и не забывайте сообщать обо всех найденных багах!

О том, как получить список некачественных ссылок я вам рассказал. Но как говорится в том самом анекдоте – есть нюанс! И нюанс этот взялся из публичных заявлений представителей Google, высказываний на форуме поддержки вебмастеров и, собственно, из писем-уведомлений о наложении ручных санкций на сайт:

«Исправьте или удалите все искусственные ссылки, не ограничиваясь приведенными выше примерами. Возможно, для этого Вам придется связаться с веб-мастерами соответствующих сайтов. Если Вы не смогли добиться удаления каких-либо ссылок, воспользуйтесь инструментом для отклонения ссылок. Однако помните, что недостаточно просто внести в него все подозрительные ссылки: отправляя запрос на повторную проверку, необходимо продемонстрировать, что Вы сделали все возможное для удаления искусственных ссылок с других ресурсов».

Так вот нюанс заключается в том, чтобы не тупо загрузить список ссылок в Disavow, но создать видимость того, что вы приложили все силы к тому, чтобы избавиться от «плохих» ссылок. Если вы арендуете ссылки в sape, то просто перестаньте это делать. А если вы покупали вечные ссылки, как это делал я, то можете попытаться связаться с вебмастерами и договориться удалить ссылки. Но я решил забить на нюанс, опасаясь за Яндекс, и потому ограничился только инструментом Disavow.

В качестве послесловия

Надо сказать, что все вышеописанное актуально и для снятия ручного фильтра Google Penguin, когда вам приходят сообщения в панель вебмастера об искусственных входящих ссылках. В этом случае задача упрощается, вам не надо будет гадать, все ли вы сделали правильно, вы просто чистите ссылки, отправляете запрос на пересмотр и ждете результата, если необходимо повторяете процедуру. Все просто. А вот мануалов по избавлению от автоматического Пингвина я пока не встречал.

Вот так совершенно незаметно вы прочитали более 20 000 знаков, при этом мне пришлось упустить некоторые моменты, поэтому обязательно задавайте вопросы, уточняйте, вместе попытаемся всю недостающую информацию раскрыть в комментариях.

Надеюсь, что мой пост оказался для вас полезным и заставил задуматься о правильных вещах!

Успехов и побед вам, дорогие друзья, в борьбе с фильтрами. Но еще лучше – не попадайте под фильтры вообще!

Спасибо за внимание, до связи.