Яндекс запустил поисковый алгоритм на основе нейронных сетей
Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много — около 100 млн в день.
При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. На помощь приходят дополнительные данные, например, обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.
Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С ее помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы.
В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.