PROMOSITE / Увеличение эффективности поискового продвижения: продавцы ссылок против Яндекса / октябрь - ноябрь 2009 / Евгений Трофименко / доклады

Евгений Трофименко
октябрь - ноябрь 2009
доклады

Введение

Продвижение сайтов давно стало индустрией, а покупка ссылок через ссылочные биржи – важной частью этой индустрии. Личная оценка автора: прямые затраты на ссылки составляют 30-50% общих бюджетов на продвижение.

Если понимание алгоритмов поисковых систем можно считать искусством, не всем доступным, то даже и технические «ремесленные» методы (например, проверка на индексацию купленных ссылок) могут дать ощутимый плюс в увеличении эффективности продвижения.

Тому, насколько велики эти плюсы и насколько велики минусы (которых мы стараемся избежать) и посвящено это исследование. Постараемся отразить следующие моменты:

В работе обработана статистика по примерно 70 тысячам сайтов, продающих «SEO-ссылки» в биржах. Не всегда из этой статистики следует делать прямые выводы, этому посвящен один из примеров.

Итак: как быстро ссылочные площадки индексируются и как они выпадают из индекса Яндекса?

Фильтр АГС-17 Яндекса

В сентябре 2009 Яндекс официально сообщил о введении и начале активной работы фильтра АГС-17. http://www.searchengines.ru/news/archives/008057.html который направлен против сайтов и страниц, «не имеющих дополнительной ценности для пользователей». Выпадение некачественного сайта из индекса есть конечная стадия этого фильтра, и то, что «плохой» сайт пока что находится в индексе, не означает, что ссылки с этого сайта работают.

По обработанной базе ссылочных площадок фильтр «АГС-17» Яндекса выкосил:

Попробуем найти параметры сайтов, которые могут учитываться этим фильтром в числе прочих.

Выпадение «свежих» сайтов

С момента появления ссылочных бирж прошло около трех лет. Конечно, «сетки» для размещения ссылок существовали и раньше, но были приватными. После своего возникновения ссылочные биржи не сразу завоевали широкую популярность, а индустрия создания «сапосайтов» возникала медленно и сформировалась существенно позже.

По ссылочным площадкам с платным доменом 2 уровня в домене RU была собрана статистика по выпадениям сайтов из индекса Яндекса в зависимости от даты регистрации домена. На [графике 1] приведена доля «выпавших» площадок от возраста домена в годах.

Логично, что чем сайт свежее, чем позже зарегистрирован его домен, тем больше вероятность, что сайт создан не для людей, а для продажи ссылок и был успешно вычищен из индекса, на доменах младше года выпало от трети до четверти сайтов.

[график 1] Доля «выпавших» площадок - Возраст домена в годах (выборка по домену RU). Удалена первая точка – возраст домена меньше месяца (из-за малого количества пробитых сайтов, но с вероятностью выпадения около 70%)

Однако, и для старых доменов наблюдается процент выпадения около 3-5%, вероятно, это число характерно для ошибок фильтра АГС-17.

Общий итог простой – среди молодых сайтов, продающихся в ссылочных биржах, более трети расценены Яндексом как не имеющие ценности для посетителей (возможно, созданы специально для продажи ссылок).

Потери в максимуме: треть ссылочных площадок.

Выпадение низкоцитируемых сайтов

Посмотрим, связано ли выпадение сайтов под АГС с цитируемостью сайта.

Зависимость доли выпавших сайтов от индекса цитирования (тИЦ) описывается той же логикой – большая часть ссылочных площадок успешно продавала ссылки и без посетителей, без реальной популярности сайта, … и без дополнительного наращивания тИЦ.

[график 2] Доля «выпавших» площадок - тИЦ (тематический индекс цитирования)

Итог: среди низкоцитируемых сайтов с тИЦ=0 около трети признаны Яндексом некачественными, даже при небольшом увеличении тИЦ доля выпавших сайтов резко падает. Для сайтов с тИЦ около 200 доля выпавших площадок около 3%, вероятно, естественная ошибка фильтра.

Потери в максимуме: четверть ссылочных площадок.

Выпадение «дешевых» ссылок

Понятно, что при массовой продаже ссылок вебмастера не только не модерируют ссылки, но и выставляют минимальные цены на ссылки. Поэтому и получается так, что при минимальных ценах на ссылки – доля некачественных площадок максимальна.

[график 3] Доля «выпавших» площадок - Цена за ссылку в рублях в месяц

Вывод: «плохие площадки» не гонятся за ценой, выставляют минимальные цены, а зарабатывают за счет большого объема проданного. На графике при цене до 10 копеек в месяц за ссылку – выпадение площадок максимально.

Потери в максимуме: половина ссылочных площадок.

Среднее число страниц на сайте, число внешних ссылок: не влияют

Можно было бы предположить, что под продажу ссылок создаются большие сайты – на них много страниц глубоких уровней под продажу.

А можно было бы предположить, что ссылочные сайты, наоборот, делаются маленькими – чтобы продавать дорогие ссылки на главных страницах или на близких к главной страницах.

[график 4] Доля «выпавших» площадок - число страниц на сайте

Однако, реальность такова, что число страниц не связано с «качеством» сайта по «мнению» фильтра АГС-17. Доля выпавших сайтов примерно одинакова для сайтов с числом страниц от десятков до десятков тысяч и составляет 15-20%.

Еще одно предположение, которое приходит в голову – о том, что число внешних ссылок со страницы «плохих сайтов» должно быть велико. Предполагается, что вебмастера для увеличения прибыли продают много ссылок со страницы.

Однако, вебмастера понимают такую логику и наоборот, ставят мало ссылок со страниц. На графике приведено среднее число внешних ссылок со страницы, усредненное по всем страницам сайта:

[график 5] Доля «выпавших» площадок - Среднее число внешних ссылок со страницы

Видно, что максимальное выпадение, до 50% наблюдается при минимальном числе внешних ссылок. Здесь можно сделать два вывода:

1. «Хорошие сайты» не стесняются ставить ссылки и число внешних ссылок не является фактором, влияющим на работу фильтра АГС-17.

2. «Плохие сайты» не успевают продаться и выпадают из Яндекса, не успев разместить много внешних ссылок.

Оба этих вывода могут быть верны, но автор больше верит в вывод N2.

Итог: идеология «покупать там, где мало внешних» - не совсем верна (с точки зрения сохранности ссылок и непопадания под фильтр АГС), малое количество внешних может быть признаком сайта, созданного специально для продажи ссылок.

Скорость индексации ссылочных площадок

Скорость индексации – очень интересная характеристика сайта с точки зрения покупки SEO-ссылок. Могут применяться разные методы для определения «рабочести» ссылки после того, как она проиндексирована, но очевидно, что если страница со ссылкой не проинджексирована, такая ссылка работать точно не будет :)

Целью этого исследования сначала и было изучение скорости индексации сайтов, но в процессе обработки данных оказалось, что очень много площадок вообще выпали из индекса (проведение пробивок как раз пришлось на время активной работы фильтра АГС-17), что нашло отражение в первой части статьи. В дальнейшем все данные приводятся по сайтам, находящимся (м.б. частично) в индексе Яндекса.

Как быстро сайты индексируются Яндексом? Это можно выяснить с помощью операторов поиска по датам. Например, мы ищем страницы, которые были проиндексированы на определенном сайте позже определенной даты. Получая число проиндексированных страниц и сравнивая между собой, мы можем посчитать число страниц, проиндексированных на отдельных временных промежутках. График с глубиной на год в прошлое приведен ниже [график 6].

[график 6] Доля проиндексированных страниц – число дней в прошлое в от даты индексации станицы до сегодняшнего дня

Временные промежутки были выбраны одинаковым образом здесь и далее – с точностью от недели до года:

проиндексировано за	дней	число страниц	доля проиндексированных страниц
неделя	7	5.62E+07	13.49%
2 нед.	15	1.31E+08	31.48%
3 нед.	21	1.65E+08	39.66%
месяц	30	1.98E+08	47.48%
1.5 месяца	45	2.64E+08	63.25%
2 месяца	60	3.06E+08	73.43%
3 месяца	90	3.34E+08	80.17%
4 месяца	120	3.61E+08	86.57%
5 месяцев	150	3.73E+08	89.32%
6 месяцев	180	3.82E+08	91.51%
8 месяцев	240	3.91E+08	93.65%
10 месяцев	300	3.98E+08	95.34%
год	365	4.05E+08	97.22%
2 года	730	4.16E+08	99.65%
3 года	1095	4.17E+08	100.00%

Увеличенный вид этого графика приведен ниже.

[график 7] Доля проиндексированных страниц – число дней в прошлое в от даты индексации станицы до сегодняшнего дня

Видно, что за 30 дней Яндексом индексируется примерно половина всех доступных страниц (за 100% принимаем число страниц, проиндексированное в течение трех лет).

Грубо говоря, из месячного бюджета на покупку новых ссылок примерно половина тратится впустую из-за медленной индексации. Крупные компании и сервисы могут контролировать индексацию своих ссылок, вкладываясь в покупку IP-адресов для парсинга Яндекса, но обычному фрилансеру или небольшой фирме эти промышленные масштабы недоступны и им приходится искать другие решения, увеличивающие эффективность.

Следует отметить, что представленная зависимость числа проиндексированных страниц от времени неплохо приближается моделью, в которой вероятность индексации любой непроиндексированной страницы в любой день равна P~0.022 (модель можно улучшить разбиением группы страниц на долгоиндексируемые и быстроиндексируемые), но такое моделирование выходит за рамки этого «зоологического» исследования.

Не все, что продается – индексируется. Не все, что индексируется – продается

Неудивительно, что множества страниц, на которых продаются ссылки и страниц, находящихся в индексе Яндекса, отличаются.

Т.к. обычно продаются ссылки со страниц нескольких верхних уровней вложенности, можно было бы предположить, что в поиске должно быть больше страниц, чем в продаже.

Но так бывает не всегда. На представленных ниже графиках изображено число сайтов, продающих ссылки, в зависимости от числа страниц в поиске и в продаже.

[график 8] Число ссылочных площадок в зависимости от числа продаваемых страниц и числа страниц в индексе Яндекса (в логарифмических координатах)

Во-первых, основная масса сайтов (на линии X=Y) имеет распределение по соотношению числа страниц в поиске и в продаже с шириной около порядка. Это означает, что плюс-минус полпорядка (~три раза) – есть нормальный разброс для обычных ссылочных площадок.

Это несовпадение приводит либо к потерям оптимизаторов (когда куплена ссылка с непроиндексированной страницы), либо к потерям вебмастера (когда с проиндексированных страниц ссылки не продаются, например, в силу большой вложенности страницы).

[график 9] Число ссылочных площадок в зависимости от числа продаваемых страниц и числа страниц в индексе Яндекса (в логарифмических координатах)

Кроме этого, есть группа сайтов с большим числом (порядка тысячи) продаваемых страниц и малым числом (порядка 1-10) проиндексированных страниц. Маловероятно, что это сайты-обманщики. Скорее всего, это сайты, которые постепенно выпадают их индекса под фильтр АГС-17, поэтому число показываемых Яндексом страниц существенно уменьшилось. Возможно, позже эти сайты и выпали из индекса полностью.

Как быстро сайты индексируются Яндексом?

В качестве удобной и понятной характеристики скорости индексации сайта или группы сайтов было выбрано «среднее число дней, за которые сайт полностью переиндексируется».

Поиск по дате индексации дает число страниц, проиндексированных позже даты. Мы можем вычислить разницу – число страниц, проиндексированных в выбранный промежуток времени (недели, месяцы, годы в прошлое) и затем взвесить это число дней с учетом числа проидексированных в этот период страниц.

Среднее число дней для полной переиндексации = SUM((дней в прошлое)*(число страниц)) / SUM(число страниц)

* В этом расчете есть неявное предположение: что «новых» страниц на группе сайтов нет, и любая индексация есть повторная индексация.

Для самостоятельной проверки скорости индексации по такой схеме автор сделал сервис http://tools.promosite.ru/yandexrate.php , который по доменному имени проведет все приведенные выше расчеты.

Мы можем рассчитывать «среднюю скорость переиндексации» по любой группе сайтов и любым выборкам. При расчетах по любой группе сайтов - не усредняем это число дней полной переиндексации, а взвешиваем с учетом числа страниц на сайте. В среднем рунет переиндексируется Яндексом за два месяца (60 дней).

Попробуем посмотреть, от чего может зависеть скорость переиндексации. Сначала убедимся в довольно очевидном – чем больше страниц на сайте, тем медленнее он полностью переиндексируется:

[график 10] Число дней для полной переиндексации от числа страниц на сайте

Для небольших сайтов скорость переиндексации – раз в 30-40 дней, а для крупных число дней может быть существенно больше. В среднем все эти сайты как раз и дают общие 60 дней, требуемые на переиндексацю рунета. В дальнейших расчетах учитываем только сайты до 100 тыс. страниц.

От чего не зависит скорость индексации

Не удалось найти прямых зависимостей скорости индексации сайта или группы сайтов от чего бы то ни было, хотя именно такой и была исходная цель данной работы.

Ниже приведены графики, из которых видно, что ни от возраста домена, ни от цитируемости сайта скорость его переиндексации не зависит.

[график 11] Число дней для полной переиндексации от возраста домена в годах

[график 12] Число дней для полной переиндексации от тИЦ

От чего «зависит» в кавычках скорость индексации

Однако, при рассмотрении скорости индексации от суммарного числа внешних ссылок (а вдруг те сайты, которые много ссылаются наружу, считаются Яндексом особо ценными и быстрее обходятся? :)) мы можем обнаружить, что есть явная связь: сайты с большим количеством внешних ссылок индексируются быстрее (25 дней против 35).

[график 13] Число дней для полной переиндексации от суммарного числа внешних ссылок

Не следует забывать, что приведенная статистика не обязательноотражает раельно существующие взаимосвязи. Она не обязательно осмысленна, не стоит сразу делать выводы. Возможно, эти зависимости кажущиеся и есть только на данной выборке?

Приведенной статистике есть очень простое объяснение: чем быстрее сайт индексируется, тем больше на нем ссылок покупают, а не наоборот!

Общая практика такова, что все покупатели в той или иной мере стараются контролировать индексацию ссылок, и снимать непроиндексированные за N дней или недель ссылки. Естественным образом ссылки остаются на быстроиндексируемых сайтах и снимаются с медленноиндексируемых.

Отсюда и происходит эта воображаемая «связь» числа внешних и скорости индексации. Метод массовой пробивки индексации, однако, слабо доступен большинству оптимизаторов.

Заключение. Об увеличении эффективности.

Подводя итоги, можно рекомендовать пимерно следующее:

Стараться контролировать индексацию ссылок (экономия двух месячных бюджетов в начале продвижения, и экономия при ежемесячном обновлении ссылок)

Стараться не размещать ссылки на крупных сайтах (они медленно индексируются, таким образом можно увеличить скорость индексации своих ссылок вдвое, с 60 средних дней по рунету до примерно 30 дней по небольшим сайтам. Кроме того, для крупных сайтов особенно актуально несовпадение множеств продаваемых страниц и индексируемых страниц, мы избегаем покупки неиндексата.

Стараться не размещать ссылки на «плохих» сайтах. Не касаясь вопроса о «рабочести» ссылок с сайта, который постепенно попадает под фильтр АГС-17, на обычном выпадении сайтов из индекса мы сэкономим от 20% до 75% (в выборках) ссылочного бюджета. В массе своей это нецитируемые площадки, свежие домены, дешевые ссылки.

Можно было бы «перемножить» наиболее неэффективные случаи выпадения сайтов и очень медленной индексации и получить действительно впечатляющие цифры неэввективности, однако это было бы не очень честно. Но действительно: выпадение до 30% «новых» сайтов, плюс до 25% нецитируемых сайтов, плюс до 50% «дешевых» площадок…

Каждый сам решает, в какую категорию по эффективности себя следует отнести, оставим только ориентировочные цифры:

Контроль индексации избавляемся от неэффективных ~50% непроиндексированных ссылок

Отказ от АГС-сайтов: избавляемся от неэффективных 20-75%

Автор надеется, что данная работа поможет Вам принимать правильные решения при покупке ссылок и увеличении их эффективности.