Яндекс запустил поисковый алгоритм на основе нейронных сетей

Логотип компании
02.11.2016
Яндекс запустил поисковый алгоритм на основе нейронных сетей
Яндекс запустил поисковый алгоритм на основе нейронных сетей
Благодаря «Палеху» поиск лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу.

Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много — около 100 млн в день.

При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. На помощь приходят дополнительные данные, например, обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет. 

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С ее помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. 

Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы. 

В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.

Похожие статьи