"Королёв" - новый алгоритм Яндекса

07.09.2017

НАШИ УСЛУГИ:
ЧИТАЙТЕ ТАК ЖЕ:
СВЕЖЕЕ В ПОРТФОЛИО:

Любой сайт (ну хорошо - практически любой) создается с желанием увидеть его в первых строчках поиска Яндекса или Google по ключевым запросам. А так как всемирная паутина растет в просто таки геометрической прогрессии, то конкурентная борьба за "любовь" поисковых систем становится всё острее. Однако, специалисты поисковиков совсем не зря "едят свой хлеб с маслом", занимаясь улучшением качества подбора списка сайтов для пользователей, сделавших тот или иной запрос. За это самое качество отвечают машинные алгоритмы, которые совершенствуются, меняются и приходят на смену друг другу, становясь «умнее».
«Яндекс» представил новый алгоритм поиска «Королёв», основной особенностью которого является способность самообучаться, благодаря нейронным сетям. Рассказываем, что же это за «зверь» такой, как он вообще работает и что теперь будет с SEO.

Данный алгоритм использует нейронную сеть, посредством которой и осуществляется сопоставление содержания web-страниц с семантикой запросов. Интересно, что новый алгоритм способен самообучаться, используя для этого данные поисковой статистики, а также оценки пользователей лучшего российского поисковика.

Как всё начиналось

Появление первых поисковых систем произошло в середине последнего десятилетия ХХ века, когда объем Сети был ничтожным по сравнению с сегодняшним, поэтому не было никакой необходимости осуществлять сложное ранжирование, заключающееся в том, чтобы упорядочить страницы по степени их релевантности запросу. Поисковики просто составляли перечень страниц, на которых присутствовали запрашиваемые слова, при этом, чем больше их было на странице, тем более релевантной (подходящей запросу) она считалась.

Сеть быстро развивалась, и прежние критерии, на основании которых осуществлялся поиск и отбор подходящих страниц, уже не удовлетворяли требованиям времени. Поэтому стали учитываться поведенческие факторы, география запросов, наличие ссылок на ресурс и т.д. Число этих факторов стало настолько велико, что создать для каждого из них специальную инструкцию было попросту нереально. Поэтому поисковики решили избрать другое направление в совершенствовании поиска, заключающееся в формировании у машины способности к самостоятельному принятию решений на основе оценивания определенных признаков и их соответствующего комбинирования. Такой подход стал возможен в связи с изобретением специалистами Яндекса метода машинного обучения "Матрикснет", посредством которого производится выстраивание формулы ранжирования.

Тем не мнее, базовой единицей поиска все равно оставалось слово, и сложная формула ранжирования, используемая поисковиком, применялась только по отношению к тем страницам, которые попали в перечень «предварительно подходящих» в силу наличия на них запрашиваемых слов. Поскольку одна и та же семантика может быть выражена разными словами и их сочетаниями, то отсутствие на странице запрашиваемых слов отнюдь не означает её нерелевантность смыслу запроса. Научить машину "пониманию" этого еще недавно казалось совершенно невозможным.

Однако прошлый год был ознаменован серьезным прорывом в этом направлении, когда специалистами Яндекса был разработан алгоритм «Палех», базирующийся на использовании нейронной сети. Он показал высокую эффективность при распознавании изображений и звучащей речи. Работа «Палеха» основана на трансформации запросов и заголовков страниц в так называемые семантические векторы, представляющие собой группы чисел, которые можно сопоставить друг с другом, а на основании этого сопоставления выявить степень их сходства, и чем она больше, тем более релевантными являются заголовок и поисковый запрос. Логическим продолжением развития «Палеха» стал алгоритм «Королёв».

Принцип работы «Королёва»

В отличие от «Палеха», «Королёв» осуществляет сопоставление запросов не с заголовками страниц, а со всем их содержанием, что позволило вплотную приблизиться к полному пониманию смысла контента, который далеко не всегда очевиден из его названия.

Как и в «Палехе», преобразование контента в семантические векторы в «Королёве» производится посредством нейросети, но для него требуется гораздо больше вычислительных мощностей, чем для предшественника, поскольку объем анализируемого контента чаще всего на несколько порядков превышает объем заголовка. И выявить смысл такого текстового массива непросто даже человеку, а уж для машины, которой, к тому же, сделать это нужно за доли секунды, эта задача становится неразрешимой. Выход здесь в том, что высчитывание векторов страниц при помощи нового алгоритма происходит еще при их индексировании, после чего «Королёву» остаётся только сопоставить уже известные ему векторы с поступившим запросом.

Преимущества «Королёва»

Очевидно, что понимание смысла позволит максимально точно определять нужную пользователю информацию, и эффективно обрабатывать те запросы, семантика которых складывается из описания объекта, а не его наименования. Пользователи, задающие такие описательные характеристики, теперь могут надеяться, что поисковик поймет их и поможет найти то, что нужно. Например, пользователь может по запросу "автомобиль со львом" искать "Peugeot" или ожидать увидеть "Бурлаков на Волге" сделав запрос "картина где мужчины буксируют корабль".

Важное преимущество «Королёва» по сравнению с «Палехом» состоит в том, что в последнем семантический анализ проводился на одной из заключительных стадий, в то время как «Королёв» начинает подбирать соответствующие смыслу страницы уже на начальных этапах ранжирования. Такой подход позволяет включить в процесс анализа 200 000 документов, что на более чем на три порядка больше, чем мог проанализировать «Палех», имевший возможность обрабатывать за раз лишь 150 документов.

Важно и то, что «Королёв» не только осуществляет сопоставление содержание страницы с запросом, подходящим по смыслу, но и учитывает другие запросы, приводящие людей на неё, что позволяет устанавливать косвенные смысловые связи.

Способность к обучению

Важнейшее качество нейронной сети, на которой работает «Королёв», состоит в её способности обучаться. Для «учебного процесса» используется обезличенная поисковая статистика, сбор которой производится на основании данных о том, по каким именно запросам люди попадают на конкретную страницу, и как долго там находятся. Чем больше время нахождения на странице, тем более соответствующей запросу считается страница. И напротив, несоответствие запроса содержанию интернет-ресурса влечет за собой быстрый уход с ней.

Таким образом, современный поиск предполагает использование очень сложных алгоритмов, разрабатываемых специалистами, а обучаемых огромным количеством ищущих что-либо через Яндекс людей. Каждый их запрос является анонимным сигналом, помогающим машине с каждым разом лучше и лучше понимать их.

Как видите, всё не так просто, как хотелось бы. И если Вы желаете видеть свой сайт в ТОП'е поисковых систем по коммерчески актуальным запросам, доверить работу по продвижению сайта стоит професиионалам. Это не обязательно должна быть наша компнаия - данный рынок весьма конкурентен, здесь много подобных предложений. Мы лишь призываем Вас сделать выбор в пользу специалистов действительно разбирающихся в данной теме, так как помимо алгоритмов ранжирования сайтов в результатах выдачи, существуют так называемые фильтры. Наложение которых на сайт,  в том числе за попытки непрофессионального продвижения, влечет за собой пессимизацию (понижение позиций) сайта или даде полный "выпад" из индекса поисковой выдачи. О них мы расскажем в одной из следующих статей.

 

8 (8452)48-00-89