Аффилированность сайтов в Яндексе: принцип работы и признаки, определение сайтов-аффилиатов, как выйти из-под фильтра

Привет, друзья! Я вам обещал, что не заброшу публикации про SEO на моем блоге, который именно за это вы и полюбили.

Сегодня очередная публикация от моего коллеги – Алексея: аффилиат-фильтр в поисковых системах. Казалось бы, тема старая, ей много лет. И зачем об этом писать еще раз? Во-первых, в поисковиках все меняется постоянно, не только фильтры и санкции, но и методы их определения. В подтверждение тому – пока писалась данная публикация, один из методов определения фильтра перестал работать. Поэтому актуальность в таких вопросах – это главное.

Наш пост – самая актуальная инструкция на день публикации (на дворе 2018 год). Ну, и, во-вторых, я постараюсь поддерживать ее в актуальном состоянии, когда вдруг что-то поменяется.

Передаю слово Алексею.

Так называемый в среде сеошников аффилиат-фильтр — это попытка поисковых систем противостоять монополизации выдачи, то есть не допустить ситуаций, когда по каким-либо запросам в результатах выдачи одновременно присутствуют несколько сайтов, принадлежащих одной компании. Такие сайты называются аффилиатами (от англ. affiliate, филиал).

В своем разделе помощи Яндекс пишет:

«Мы стараемся не индексировать или не ранжировать высоко группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика».

И согласитесь: было бы совсем не здорово, если бы мы искали какой-нибудь товар, но на первой странице выдачи были бы площадки одной компании с одними товарами, условиями покупки, обслуживанием и т.д.

Стоит отметить, что Google более спокойно относится к аффилиатам, в основном обращая внимание на уникальность информации. Если с этим — порядок, то серьезных проблем, обычно, не возникает. Поэтому информация в статье по большей части направлена на отношение Яндекса к этому вопросу.

Принцип работы фильтра в Яндексе

Суть работы аффилиат-фильтра аналогична группировке выдачи. Например, когда вы вводите запрос, то видите в выдаче, как правило, только один документ с одного сайта, а не десять. Даже если у вас на сайте есть 10 документов, релевантных запросу, то в поиске по этому запросу будет виден только один — самый релевантный (индивидуальные ситуации, когда по запросу присутствует больше 1 результата для 1 сайта не учитываем).

При аффилировании принцип тот же, с одной только разницей – документы группируются не в рамках одного сайта, а по всей группе аффилированных ресурсов.

Или проще говоря, если взять 10 аффилированных ресурсов и ввести в поиск запрос, которому они все будут релевантны, то в выдаче по этому запросу будет находиться только 1 самый релевантный документ с этих десяти ресурсов.

Полезные факты, которые важно знать о работе фильтра

• Яндекс не признает наличие у себя подобного фильтра;
• Определение аффилиатов может проходить как автоматическим способом на уровне алгоритмов поисковой системы, так и вручную, с помощью асессоров. Если фильтр наложен алгоритмическим способом, то и избавиться от него можно только если алгоритмы перестанут фиксировать проблему, т.е. внеся необходимые изменения на сайт и подождав какое-то время;
• Наложение фильтра не зависит от апдейтов выдачи;
• С аффилиатами работает не только Поиск, но также Директ и Маркет (ниже будет небольшая информация на этот счет).

Какие ресурсы могут быть признаны аффилиатами

Причины, по которым можно подпасть под фильтр:

• На сайте есть пересечения контактной информации (телефон, e-mail, реквизиты, контакты в мессенджерах, контакты в соц.сетях и т.д.);
• В справочнике Яндекса есть пересечение контактной информации между карточками организаций (при этом контактная информация может быть не указана на сайте);
• Один адрес и похожие названия фирмы;
• Одинаковые данные whois у доменов;
• Ресурсы находятся на одном IP-адресе или хостинге;
• Ресурсы продвигаются в одном регионе и в одной тематике;
• Низкая уникальность контента и html-кода сайтов относительно друг друга (описание товаров, услуг, категорий, информация о компании, фото товаров, калькуляторы, плагины и т.д.);
• Добавление сайтов в один и тот же аккаунт Я.Метрики или Я.Вебмастер;
• Одинаковые счетчики (Метрика, liveinternet), коды Adsense и т.д.;
• Схожий дизайн, структура сайта, одинаковые CMS;
• Похожий ассортимент товаров или услуг, цены, скидки, условия обслуживания, доставки и т.д.;
• Похожая структура ссылочного профиля;
• Перекрестные ссылки между сайтами;
• Часто попадают под такой фильтр площадки, где размещены партнерские внешние ссылки. При переходе по такой ссылке или покупке, совершаемой посетителем, партнер получает определенную прибыль от продажи товара или услуги.

Какие-то причины являются более весомыми, например, одинаковые контакты, а какие-то являются только косвенными факторами, например одинаковые цены или CMS сайта. Обычно под аффилированность можно попасть только при совокупности нескольких факторов.

Признаки аффилированности

При появлении на сайте указанного фильтра он начинает выпадать сразу по многим запросам, при этом страницы продолжают находиться в индексе поисковика. Чаще всего пропадает видимость по всем запросам со страницы, но не всегда — иногда страница продолжает быть в топе по некоторым запросам, но по смежным не находится. Если аффилированные документы примерно одинаковой релевантности, то поисковая система может ранжировать их по очереди, и в этом случае они начинают «мигать» то есть — то появляться, то снова пропадать. Пример того, как это может выглядеть, на скриншотах ниже.

Пример позиций того же сайта, только в сравнении с конкурентом-аффилиатом, на скриншоте отчетливо видна смена релевантного документа: страница первого сайта стала ранжироваться в поиске, а страница второго исчезла из выдачи, при этом сами страницы продолжают находиться в индексе поисковика.

Как найти сайт-аффилиат, если он заранее неизвестен

1. Введите в поиск название компании на латинице и на русском, номера телефонов, адрес почт, логины в месседжерах и все прочие контакты, кроме адреса, которые размещены у вас на сайте. Проанализируйте результаты выдачи: очень часто поиски заканчиваются уже на этом этапе.
   • Для большей надежности можно повторить поиск в Яндекс.Справочнике. На практике был опыт, когда по номеру телефона аффилиат не находился в поиске, но находился в справочнике
2. Проверьте тексты на уникальность. Как правило среди аффилиатов большая часть имеет неуникальный контент, поэтому этот способ тоже часто выручает. Могу посоветовать этот сервис https://advego.com/plagiatus/ список сайтов с дублирующим контентом расположен на вкладке “Отчет”
   

Как проверить ресурсы на аффилированность

Способ проверки на аффилиат-фильтр №1

Суть в том, чтобы задать специальный запрос к выдаче, которому были бы релевантны оба ресурса url:164.ru | url:56.ru:

Проверяем, что оба сайта отображаются, теперь нужно провести группировку выдачи, для этого можно дописать к запросу какую-нибудь белиберду после оператора отрицания, например так url:164.ru | url:56.ru ~~ url:dfgfgf:

Если после группировки выдачи остался один ресурс, значит между ними есть аффилирование, если оба сайта остались в выдаче, то аффилирования нет. Вот аналогичная проверка для сайтов, заведомо не являющихся аффилиатами:

Как обнаружить аффилиат-фильтр, способ №2

Можно сказать, что данный способ пережил второе рождение т.к. какое-то время назад он становился нерабочим, но сейчас снова работает.

Суть проверки заключается в исключении из выдачи одно из сайтов. Рассмотрим на примере аффилиатов http://kranarenda.ru/ и http://realkraninvest.ru/

Для начала введем релевантный для обоих сайтов запрос и убедимся, что в выдаче присутствует только один сайт, пример:

Дальше минусуем тот сайт, который находится в выдаче. Для этого нужно дописать после запроса “ ~~ site:adres-sayta.ru” если второй сайт после этого появится в выдаче, то можно сделать вывод, что наложен аффилиат-фильтр.

Как обнаружить аффилиат-фильтр, способ №3

1. Выгрузить список запросов, по которым ресурс перестал находиться в поиске или по которым позиции начали “мигать”.
2. Собрать список всех конкурентов по этим запросам в топ-10 или топ-30 выдачи.
3. Сравнить позиции по этим запросам у своей площадки и сайтов-конкурентов из топа — искать конкурента у которого позиции максимально противоположны ващей площадке т.е. если по какому-то запросу ваша площадка присутствует в выдаче, то аффилиата там не будет и наоборот.

Нюанс в том, что проверка позиций через xml выдачу не даст результата т.к. где-то в июне-июле 2018 года Яндекс отключил влияние аффилиатного фильтра на xml выдачу. Поэтому данный способ работает только если парсить реальную выдачу, ну или проверять позапросно руками.

Как парсить реальную выдачу Яндекса в Кей Коллекторе

Для начала, необходимо проверить настройки, чтобы не был включен режим парсинга выдачи по xml:

После проверки настроек, запускаем парсинг и сравниваем позиции.

Алгоритм:

1. Переходим на вкладку: Сбор данных
2. Запускаем парсинг реальной выдачи Яндекса
3. После съема позиций выдачи, выбираем интересующие нас ключи
4. Переходим на вкладку: Дополнительная статистика
5. Выбираем вкладку: Позиции в ПС
6. Смотрим какие были позиции по запросу (обращаем внимание на целевые. Страницы могут меняться)

Уже нерабочий метод, на который не стоит тратить время

Способ был похож на вышеописанный, разница только в том, что вместо оператора url использовался domain, а сам запрос выглядел вот так: domain:164 domain:56. Суть заключалась в том, что если в выдаче присутствовало оба сайта, то можно было предположить, что фильтра нет, если же в выдаче присутствовал только 1 сайт, то следующим шагом шла проверка — к урл дописывался параметр pag=u (тем самым мы разгруппировывали выдачу), и если после этого второй сайт появлялся в результатах выдачи, то можно было определить наличие аффилиат-фильтра.

Раньше это выглядело примерно так:

Сейчас работа этого оператора изменилась и получить адекватные результаты не получится.

Еще один нерабочий способ проверки на аффилиат-фильтр

Надо было использовать цитатный поиск по тайтлам. Для этого указывались тайтлы страниц в кавычках вот таким образом (без квадратных скобок):

[“тайтл сайта №1” | “тайтл сайта №2”] .

Если в выдаче оставался один результат, то можно было сделать вывод, что это — аффилиаты. Однако сейчас подобный запрос в любом случае оставляет только один результат в выдаче, даже если сайты не являются аффилиатами, пример:

Как выйти из-под аффилиат-фильтра в Яндексе

Устранить возможные причины наложения фильтра

Если фильтр был наложен алгоритмическим способом, то необходимо устранить все возможные причины его наложения. Санкции будут сняты автоматически сразу же после того, как алгоритм перестанет фиксировать эти причины.

По опыту: этот период может занимать от нескольких дней, до нескольких недель. Если фильтр наложен вручную, то сниматься он должен тоже вручную, сам по себе он не пропадет. Поэтому после устранения возможных причин наложения фильтра надо обязательно написать Платонам.

Написать письмо Платонам

Перед обращением к Платонам надо знать одну вещь — Яндекс не признает такого понятия как аффилиат-фильтр. Поэтому вы тоже не должны оперировать этим понятием, если хотите получить ответ по существу.

Могу дать совет, основанный на личном опыте: заранее определите с каким ресурсом аффилируется ваш сайт, соберите статистику по позициям сайтов в выдаче. В обращении задавайте вопрос с акцентом на последствиях, сразу сообщите, что ваши сайты принадлежат разным компаниям, если есть подозрения из-за чего поисковик может думать иначе, то стоит добавить дополнительные обоснования.

Для примера: ниже переписка с Платоном по поводу аффилирования моего продвигаемого сайта с одним из конкурентов. Предположительно причиной наложения санкций мог послужить одинаковый плагин формирования информации о доставке (пересечение по дизайну, пунктам доставки, стоимости доставки), так же на сайтах есть пересечение по ассортименту — около 80% товаров одинаковые и по части позиций присутствуют идентичные цены (совпадение):

После этого обращения где-то через пару недель ситуация изменилась и сайт начал нормально ранжироваться.

Напоследок: что пишут сами поисковики по поводу аффилиатов?

В разделе правил показа в Директе есть следующий пункт:

«При этом сайты признаются сходными при совпадении значительной части ассортимента предлагаемых на сайтах товаров (работ, услуг), реализуемых в одном регионе, и/или наличии других признаков, позволяющих предположить, что предлагаются одни и те же товары одним и тем же (аффилированными, имеющими тесную взаимосвязь) поставщиком, вне зависимости от незначительного различия ассортимента, разного дизайна, структурной организации сайтов, отличия цен, а также от принадлежности (администрирования) сайтов разным(-и) лицам(-и).

При размещении Рекламных объявлений по соответствующему ключевому слову (словосочетанию) из Группы объявлений, признанных сходными, Пользователю показывается только одно объявление, у которого значение, рассчитанное с учетом показателей: прогноз Кликабельности, Цена за Клик / CPM и Коэффициент качества, является наилучшим. Все остальные Рекламные объявления такой группы признаются дублирующими и не показываются (не размещаются)»

В требованиях к рекламным материалам Яндекс.Маркета так есть упоминание аффилиатов:

«Яндекс может по своему усмотрению отказать в размещении нескольких магазинов (либо сайтов, относящихся к одному магазину), предлагающих товары в одном регионе и позволяющих предположить наличие аффилированности, взаимозаменяемости или иной тесной взаимосвязи между этими магазинами (сайтами), либо произвести группировку пересекающегося ассортимента со скрытием дублирующих предложений таких магазинов (сайтов).

При этом сайты признаются сходными вне зависимости от различия ассортимента, разного дизайна, структурной организации сайтов, отличия цен и принадлежности сайтов разным лицам. Пересекающимся ассортиментом признаются товарные предложения сходных магазинов, относящиеся к одному и тому товару, включая как идентичные по описанию товарные предложения, так и имеющие отличия по отдельным характеристикам (модификациям) одного и того же товара».

Google не оперирует понятием аффилиаты, а использует понятие “партнерские сайты”, в своем разделе помощи о некачественных сайтах пишет:

«Как указано в нашем руководстве для веб-мастеров, на сайтах нужно размещать оригинальный контент, представляющий интерес для пользователей. Это особенно важно для разработчиков, участвующих в партнерских программах. Позиции партнерских сайтов в результатах поиска могут быть невысокими, так как на них обычно публикуются описания продуктов, также представленные на других ресурсах партнерской сети. Это означает, что на таких сайтах мало оригинального контента, например дополнительных сведений о товарах и их категориях.

Специалисты Google считают, что некачественные партнерские сайты бесполезны для пользователей, особенно если в партнерской сети много подобных ресурсов. Такие сайты зачастую представляют собой группы шаблонных или низкокачественных страниц, на которых размещен один и тот же контент. Пользователям не нравится, когда они видят в результатах поиска множество страниц с одинаковым содержанием.»

Вот и все на сегодня. Спасибо за внимание. Задавайте вопросы и пишите комментарии.

А в самом конце я хочу анонсировать будущий seo-пост от Алексея, который он охарактеризовал так: «короче, это будет что-то типа описания алгоритма действий при оптимизации ресурса под ББ + пара небольших примеров, так что это еще и наполовину кейс».

До связи, друзья.