PROMOSITE / Использование особенностей языка запросов поиска Яндекса для исследований / январь-февраль 2009 / Евгений Трофименко / статьи / журнал "Интернет-Маркетинг"

Евгений Трофименко
январь-февраль 2009
статьи / журнал "Интернет-Маркетинг"

ВВЕДЕНИЕ

Данная статья написана по материалам исследовательской работы по изучению языка поисковых запросов «Яндекса». Были исследованы особенности работы поиска по текстам ссылок, особенности трактовки «Яндексом» многозначных запросов и их расширения, а также элементы учета текстовой релевантности. Выводы сделаны, основываясь только на результатах выдачи, без создания экспериментальных страниц.

ПОИСК ПО ТЕКСТАМ ССЫЛОК И ПО ТЕКСТАМ СТРАНИЦ

Как известно, поиск производится по текстам ссылок и текстам страниц. Если в содержимом документа содержится достаточное количество слов запроса, документ отображается как найденный по текстам. При этом фрагмент документа включается в сниппет — описание результата выдачи. Однако поисковик может находить документ по словам, которые в нем не содержатся.

Если документ не содержит необходимых слов запроса или неизвестен роботу «Яндекса» (например, выпал из базы «Яндекса», запрещен в файле robots.txt или URL документа является новым для поискового робота), но слова запроса содержатся в текстах ссылок на этот документ — он может быть найден с надписью «найден по ссылке» (так называемый НПС-результат).

Некоторые операторы поиска «Яндекса» по-разному применяются к текстам ссылок и текстам страниц.

ИСКЛЮЧЕНИЕ НПС-РЕЗУЛЬТАТОВ ИЗ ВЫДАЧИ ПРИ ИСПОЛЬЗОВАНИИ ОПЕРАТОРОВ «~» (ТИЛЬДА) И «~~» (ДВОЙНАЯ ТИЛЬДА)

Операторы исключения «~» (тильда) и «~~» (двойная тильда) применяются для удаления из выдачи результатов поиска, которые содержат «ненужные» слова и выражения. Например, это может потребоваться при поиске некоммерческих сайтов, инструкций и другой информации о каком-либо товаре. Так, исключив слова «купить», «заказать», можно получить заведомо некоммерческие результаты.

Однако как должны работать операторы исключения в отношении текстов ссылок? Можно скачать веб-страницу и точно узнать, какие слова на ней присутствуют, а какие — нет. С текстами ссылок все обстоит сложнее: программа поисковой системы может знать о существующих текстах ссылок на некоторый документ, но никогда нельзя быть уверенным, что других ссылок на этот документ не существует. А неизвестные программе ссылки могут либо содержать, либо не содержать исключаемые слова.

Отсюда можно сделать вывод, что для поисковой системы возможны две методики поиска с исключением слов:

1. Исключать документы, содержащие слова в тексте, но «ничего не знать» о текстах ссылок.

2. Вообще не показывать найденные по ссылкам результаты, делая акцент на поиске по текстам.

Операторы «тильда» работают по второму варианту, т.е. при использовании операторов исключения «~» и «~~» можно избавиться от НПС-результатов в выдаче. Даже если мы пытаемся исключить из документа заведомо отсутствующее в нем бессмысленное сочетание букв, абракадабру, найденные по ссылке результаты исчезают из выдачи. Например:

Сайт /(1 1) производителя /(1 1) Canon /(1 1) Inc — на первом месте сайт www.canon.ru (НПС-результат), всего 19 результатов выдачи.

Сайт /(1 1) производителя /(1 1) Canon /(1 1) Inc ~~jcaenhcqawv — найдено 18 страниц, НПС-результат пропадает.

По-видимому, это происходит из-за того, что алгоритм поиска (и выдачи НПС-результатов) по тексту ссылок принципиально «не принимает во внимание» контент страницы. Алгоритм программы, выдавая НПС-результат, не ориентирован на содержание документа, хотя документ практически всегда проиндексирован, и «Яндекс» «знает», что исключенной абракадабры там нет. Но в реальности при исключении абракадабры он убирает НПС-результаты «на всякий случай». Это относится именно к тому случаю, когда в тексте документа нет фразы запроса.

С помощью этого способа можно оценивать долю НПС-результатов в выдаче (табл. 1).

Запрос	Найдено страниц по точному запросу, млн	Найдено страниц по запросу с добавлением ~~sfjhdssnv, млн	Доля НПС-страниц в выдаче по исходному запросу, %
авто	280	279	~0,35
авто москва	124	118	~4,8
купить авто москва	67	58	~13,4
купить подержанное авто москва	4	3	~25

По доле НПС-результатов можно примерно оценить конкурентность запроса, что имеет большое значение при планировании продвижения сайта. Мы можем выбрать запросы, оптимальные с точки зрения легкости продвижения, с низким уровнем конкуренции. Найденный по ссылке результат появляется только тогда, когда в тексте страницы не содержится ключевой фразы или достаточной ее части. Даже для самых нижкоконкурентных поисковых запросов это редкая ситуация, т.к. оптимизатор не может «забыть» использовать ключевые слова в тексте страницы.

Общая тенденция, которую каждый пользователь может проверить самостоятельно, такова: для длинных, низкоконкурентных поисковых запросов доля НПС-результатов в выдаче выше. Это нормальная ситуация, и ее можно использовать для оценки степени коммерциализированности низкочастотных запросов. Логично предаположить, что с НПС-результатами не работали оптимизаторы, следовательно, и конкуренция по этим запросам должна быть ниже. Конечно, могут встречаться и исключения.

Для детальных исследований точные данные по количеству найденных сайтов и страниц в выдаче можно получить с использованием «Яндекс.XML».

ВЫДЕЛЕНИЕ НПС-РЕЗУЛЬТАТОВ ПРИ ИСПОЛЬЗОВАНИИ ОПЕРАТОРА «–» (МИНУС)

Для изучения особенностей ранжирования по редким и частотным словам, а также для решения некоторых других задач у оптимизатора часто возникает необходимость найти НПС-результаты с нужными словами в ссылках. Как бы то ни было, а найти в собственных базах такое не всегда возможно.

Оператор исключения «–» (минус) является недокументированным [1]. Документированный оператор исключения «~~» (двойная тильда) работает в пределах документа, а «минус» раньше можно было использовать для исключения слов в пределах контекстных ограничений, как правило, в пределах предложения. Сейчас в описании языка запросов есть оператор «~» (одинарная тильда) , который заявлен как оператор исключения в пределах предложения.

В случае использования оператора «минус» реализуется другой способ исключения — исключение производится только по проиндексированному тексту документа, к текстам ссылок «–» не применяется, т.е. этот оператор как бы «не знает ничего» о текстах ссылок.

Что мы получим в ответ на запрос вида «слово –слово»? Сначала мы получим все результаты, которые найдены по ссылкам или по текстам, содержащим «слово». Все найденные по текстам результаты будут убраны из выдачи — останутся только НПС-результаты по запросу «слово». Исключение составят сайты из «Яндекс.Каталога», но их можно убрать добавлением –cat=(9000000). Описанный в документации оператор поиска по выбранной категории «Яндекс-Каталога» в данном случае исключил все результаты из корневой категории каталога.

Таким образом можно довольно просто найти НПС-результаты с интересующими нас словами в тексте ссылок для исследований и проанализировать особенности ранжирования найденных по ссылкам результатов. Примеры представлены в табл. 2.

Запрос	Число найденных страниц
сайт -сайт	780 тыс.
порно -порно	29 тыс.
интернет -интернет	470 тыс.
продвижение -продвижение	12 тыс.
реферат -реферат	76 тыс.
москва -москва -московский -cat=9000000	230 тыс
секс –секс	51 тыс.
ашманов -ашманов	137 страниц
трофименко -трофименко	114 страниц

ОСОБЕННОСТИ РАСШИРЕНИЯ ПОЛЬЗОВАТЕЛЬСКИХ ЗАПРОСОВ

Введенный пользователем запрос подвергается определенным изменениям перед отработкой его поисковой машиной (так называемый «колдунщик»), которые могут включать в себя и добавление новых слов. Например, запрос «что такое XYZ» изменялся таким образом, что в запрос добавлялись слова «это», «означает», «аббревиатура», «расшифровывается», которые также подсвечивались в выдаче. Однако если раньше это делалось в единичных случаях, то теперь поисковик автоматически находит подходящие переформулировки для большого количества запросов.

Летом 2008 г. «Яндекс» сообщил [4] об изменениях в алгоритме переформулировки запросов, которые предполагают сильные изменения, включающие автоматическое добавление новых слов в запрос. Одну и ту же поисковую потребность пользователь может выразить разными запросами. Например, запрос «гамбургские гостиницы» кажется эквивалентным по смыслу запросу «гостиницы Гамбурга». Теперь поиск «Яндекса» (версия «Магадан») учитывает еще и следующие варианты:

а) некоторые типы переходов из одной части речи в другую («гамбург» — «гамбургский»);

в) аббревиатуры (МГУ — Московский государственный университет).

Как именно происходит эта переформулировка запроса? Во-первых, некоторые слова могут быть заменены по смыслу (в случае замены транслитерации или аббревиатуры). Во-вторых, в некоторых случаях запрос может быть расширен другими частями речи (недвижимость в Москве — московская недвижимость).

Важно точно знать, как именно происходит переформулировка запросов, поскольку она затрагивает большую часть запросов коммерческого характера. Например, дополненный / измененный запрос может оказаться низкоконкурентным, а, значит, и более легким для продвижения. В этом случае, установив особенности подмешивания выдачи по одному запросу к результатам другого, мы найдем возможности оптимизации бюджета продвижения. Кроме того, при некоторых переформулировках запроса можно уточнить особенности использования различных слов в текстах сайта и в текстах ссылок на него.

Для того, чтобы исследовать особенности переформулировки, попробуем использовать операторы исключения. Например, из результатов поиска по запросу «мазда» исключаем все результаты, содержащие слово «мазда». Получаем все результаты с переформулировкой — с новыми словами и c новыми частями речи. Последовательно исключая различные переформулировки, можно найти все варианты.

Для поиска переформулировок мною была предпринята попытка использовать операторы исключения «–», «~~». Исключение переформулировок оператором двойная тильда «~~» уже не работает. Еще в сентябре 2008 г. особенность оператора исключения состояла в том, что он убирал из выдачи формы слова во всевозможных падежах и числах, но без переформулировок. В результате, задавая запрос «мазда ~~мазда» можно было получить результаты, содержащие «mazda»-переформулировку.

Аналогичным образом запрос «недвижимость в москве» расширялся словами «московcкая», «московскии» (sic!), «московск» вместо «москвы» (не все из этих слов подсвечивались в выдаче, что позволяет сделать вывод об использовании разных алгоритмов в основном поиске и в «подсветчике» выдачи). К примеру, «Ауди» переводилось как «audi», «audis», «аудь».

Однако на момент написания этой статьи оператор «~~» уже исключал все формы слова, включая переформулировки. В результате выдача по мазда ~~мазда оказалась пустой.

Исключение переформулировок оператором «–» (минус) Другой оператор исключения «–» (минус) исправно исключает выбранную форму слова, оставляя переформулировки («мазда –мазда» показывает результаты c «mazda»), но пользоваться этим оператором неудобно. Неудобство состоит в том, что он не применяется к текстам ссылок, и очень часто вместо тех текстовых результатов выдачи, которые содержат интересующие нас новые переформулировки, мы получаем выдачу, состоящую из НПС-результатов, видимо, достаточно релевантных.

Исключение точной формы (!, !!) оператором двойная тильда «~~».Чтобы решить задачу поиска всех переформулировок запросов, можно использовать оператор «!» (восклицательный знак) для обозначения точной формы слова, которая исключается оператором «~~». В этом случае нам нужно составить полный список всех возможных форм слова для исключения. Например, «мазда ~~!(мазда|мазду|мазде|мазд)» дает искомые результаты с «mazda». Кстати, операторы исключения нельзя применить к поиску по URL, поэтому в любом случае выдача может содержать результаты с переформулировкой в URL найденной страницы. Однако иногда этот оператор не позволяет посмотреть все дополнительные слова в расширениях запроса (исключает дополнительные слова), поэтому лучше для страховки проверять его с помощью оператора «–» (минус).

Кроме того, для поиска переформулировок можно использовать оператор «!!» (двойной восклицательный знак) [1], который соответствует не очень глубокой морфологизации слова. Например, запросу «!!мазда» будут соответствовать все формы слова во всех падежах и числах, но переформулировки включены не будут.

ОСОБЕННОСТИ ПЕРЕФОРМУЛИРОВКИ ПОИСКОВЫХ ЗАПРОСОВ

Изучая особенности переформулирования запросов, можно отметить, что «Яндекс» находит в основном односторонние переформулировки: русскоязычным «мазда, ауди» соответствуют англоязычные варианты, но обратные переформулировки таким способом находятся редко или не находятся вообще (табл. 3).

Таблица 3. Примеры обратных переформулировок

Исходный запрос	Новые слова в запросе
ауди	audi, audy
mazda	mazdae
ноутбуки в СПБ	Петербург
недвижимость москвы	Московская
квартиры в москве	Московская, москві
МГУ	Московский, mgu, МГОУ, mgou
гамбургский счет	Гамбург

Однако обратные переформулировки есть. По запросам «mazda», «audi» в выдаче подсвечиваются слова «мазда», «ауди», написанные кириллицей. Вероятно, это связано с выбором главного слова из набора «синонимов» и с особенностями работы операторов исключения, которые постоянно меняются.

В итоге самым надежным методом для исследования переформулировок было бы создание специальных страниц, содержащих, в том числе, и разные части речи, с изучением подсветки разных терминов при поиске интересующих запросов в пределах сайта.

ОСОБЕННОСТИ МЕХАНИЗМА ПЕРЕФОРМУЛИРОВКИ ЗАПРОСОВ — «КОЛДУНЩИКА»

«Колдунщик» — это механизм переформулировки запросов, известный с 2004 г. и описанный авторами алгоритма [3]. Суть его заключается в том, что перед исполнением запрос пользователя изменяется специальным образом, индивидуальным для каждого запроса. Если исключить редкие случаи, когда в запрос добавляются «новые» слова или усиливается влияние отдельных слов, то работу «колдунщика» можно свести к расстановке между словами «расстояний» — операторов контекстных ограничений — и отмене влияния «стоп-слов».

«Заколдованный» запрос можно увидеть в ссылке на сохраненную копию документа в выдаче «Яндекса» [8]. Просматривая сохраненную копию, нельзя не заметить интересную особенность: «Яндексом» выделялись только те слова, которые были найдены на ограниченных «колдунщиком» расстояниях друг от друга. Однако сейчас выделяются все слова в документе.

При показе сохраненной копии измененный запрос передается программой «подсветчику» в явном виде, например, запрос «новый год» становится запросом «(новый::532 &/(-1 3) год::502)//6», что соответствует поиску слов запроса на любом расстоянии в пределах от «год новый» до «новый [слово] [слово] год». Расстояния между словами важны для выбора последовательностей слов (так называемых пассажей) [3], которые находятся в документе не слишком далеко друг от друга и будут учтены при ранжировании. При этом «не слишком далеко» для каждой пары слов в запросе индивидуально, границы расстояния изменяются от «в пределах документа» до «строго по порядку».

Дальнейшая оценка релевантности документа запросу производилась мной с учетом выбранных пассажей и «весов» слов.

Стандартные «переколдовки» запросов

Отмечу, что почти все используемые в «колдунщике» операторы были описаны в источниках [1, 2] и представляют собой обычные операторы ограничения расстояния между словами. Хотя эти расстояния теоретически могут быть любыми, я использовал набор из семи стандартных наиболее частотных расстояний. Примерная относительная «популярность» этих операторов [6] по массиву запросов клиентских сайтов «Корпорации РБС» приведена в табл. 4.

Таблица 4. «Популярность» различных операторов по массиву запросов клиентских сайтов «Корпорации РБС»

Оператор	Относительная частотность, %	Границы поиска оператора
&	100	в пределах одного предложения
&/(-2 4)	9	в пределах -2 +4 соседних слов
&/(-1 3)	10	в пределах -1 +3 соседних слов
&/(1 1)	2	строго по порядку
&&/(-7 7)	15	в пределах 7 предложений
&&/(-3 3)	15	в пределах 3 предложений
&&	7	в пределах документа

В середине октября 2007 г. «Яндекс» отменил показ «переколдовки» в ссылке на сохраненную копию в результатах поиска [7], однако «переколдовка» все еще производилась, и отработка операторов не была отключена. Реальные расстояния между словами можно было подобрать, используя семь «любимых» «Яндексом» вариантов. С помощью перебора можно было найти тот вариант, для которого выдача по «заколдованному вручную» запросу совпадала с выдачей «Яндекса». Результаты такого экспериментального поиска могли принести определенную пользу оптимизаторам, у которых не было своего архива клиентских запросов, однако позднее «Яндекс» существенно изменил поисковые алгоритмы.

Новые аспекты «переколдовки»

Весной 2008 г. в релизе «Магадан» [5], разработчики сообщили: «Мы смягчили фильтрацию отбора документов для ранжирования, что привело к улучшению ранжирования по запросам, для которых релевантные документы содержат слова запроса далеко друг от друга... Наиболее заметных улучшений мы смогли достичь в обработке многословных запросов». И действительно, отработка запросов с подставленными «любимыми» операторами перестала выдавать совпадения с реальной выдачей. Реальная отработка запросов «Яндексом» изменилась. Но еще сильнее она изменилась осенью 2008 г. Для того чтобы выяснить как, я использовал все те же операторы исключения.

Для иллюстрации приведу пример. Я взял запрос «(+скачать +реферат)» и с помощью оператора «~~» исключил из результатов поиска все страницы, где два слова запроса находились на некотором расстоянии друг от друга (от одного слова до всего документа). Результаты приведены в табл. 5.

Таблица 5. Результаты исключения по запрос «(+скачать +реферат)»

Запрос	В пределах	Найдено страниц	Доля, %
(+скачать +реферат)	-	16065797	100,0
(+скачать +реферат) ~~(+скачать /(-1 1) +реферат)	1 слова	12004783	74,7
(+скачать +реферат) ~~(+скачать /(-2 2) +реферат)	2 слов	10743380	66,9
(+скачать +реферат) ~~(+скачать /(-3 3) +реферат)	3 слов	10588526	65,9
(+скачать +реферат) ~~(+скачать /(-10 10) +реферат)	10 слов	10077579	62,7
(+скачать +реферат) ~~(+скачать /(-20 20) +реферат)	20 слов	9951594	61,9
(+скачать +реферат) ~~(+скачать & +реферат)	одного предложения	9920305	61,7
(+скачать +реферат) ~~(+скачать &&/(-1 1) +реферат)	соседних предложений	8108090	50,5
(+скачать +реферат) ~~(+скачать &&/(-2 2) +реферат)	2 предложений	6032021	37,5
(+скачать +реферат) ~~(+скачать &&/(-3 3) +реферат)	3 предложений	5401261	33,6
(+скачать +реферат) ~~(+скачать &&/(-5 5) +реферат)	5 предложений	4273921	26,6
(+скачать +реферат) ~~(+скачать &&/(-10 10) +реферат)	10 предложений	3089645	19,2
(+скачать +реферат) ~~(+скачать &&/(-20 20) +реферат)	20 предложений	2326525	14,5
(+скачать +реферат) ~~(+скачать &&/(-30 30) +реферат)	30 предложений	1754794	10,9
(+скачать +реферат) ~~(+скачать &&/(-100 100) +реферат)	100 предложений	635005	4,0
(+скачать +реферат) ~~(+скачать &&/(-1000 1000) +реферат)	1000 предложений	9515	0,1
(+скачать +реферат) ~~(+скачать &&/(-10000 10000) +реферат)	10000 предложений	210	0,0
(+скачать +реферат) ~~(+скачать && +реферат)	документа	0	0,0

Примечание: Данные получены с использованием «Яндекс.XML»

Рисунок.Число найденных документов с ограниченным «расстоянием» между термами

Из рисунка следует, что при увеличении расстояния между словами, которые были удалены из выдачи, число найденных страниц уменьшается постепенно от 16 млн до нуля. Это означает, что запросу «+скачать +реферат» соответствуют документы с очень большим расстоянием между словами в том числе, и именно эти документы остаются в выдаче после исключения «близких» пар слов (исключения документов, их содержащих). Если бы запрос скрытно от внешнего мира «переколдовывался» стандартным образом, то установленные контекстные ограничения ограничивали бы расстояние «сверху», и не позволяли бы системе находить пары, в которых стоят слова далеко друг от друга.

Таким образом, при увеличении расстояния в приведенных запросах число найденных документов должно в определенный момент резко стать равным нулю. Именно это расстояние и должно соответствовать «новой переколдовке».

Однако по этому запросу поисковик находит даже документы, в которых слова «скачать» и «реферат» стоят на очень больших расстояниях друг от друга. Более того, если не использовать знак «+» в исходном запросе, например, «(скачать реферат) ~~(+скачать && +реферат)», то система выдаст 283204 документа, содержащих только одно из слов запроса.

Все это полностью согласуется с сообщением разработчиков об изменениях, позволяющих находить документы, «которые содержат слова запроса далеко друг от друга», и косвенно свидетельствует о том, что «переколдовка» с расстановкой операторов между словами уже не используется. Вместо этого актуален алгоритм, по которому система ищет слова в пределах всего документа, но в зависимости от расстояния между словами вносит разный вклад в конечную общую релевантность.

ВЫВОДЫ

Углубление знаний о наиболее популярном поисковике Рунета (в данный момент — «Яндексе») невозможно без постановки экспериментов. Но в отличие от других поисковиков, «Яндекс» позволяет проводить исследования и без создания специальных экспериментальных страниц. Приведенные примеры могут оказаться полезными для отбора объектов эксперимента (НПС-результатов), возможно, станут основой более детального исследования переформулировок отдельных клиентских запросов и уровня конкуренции по ним и в конечном итоге позволят отказаться от неактуальных представлений об алгоритме «Яндекса».

Использование особенностей языка запросов поиска Яндекса для исследований