Персонализация поиска на примере «Яндекс.Шопинг»: как AI-система рекомендаций повысила матчинг почти до 100%
Поиск в Яндекс.Маркете
Изначально Яндекс.Маркет представлял собой поисковый сервис для товаров, где работали стандартные принципы матчинга. Но в 2018 года Маркет трансформировался в маркетплейс — и чтобы не нарушать антимонопольное законодательство, компания больше не могла показывать собственные товары в поиске.
Из-за этого e-commerce оказался слабо представлен в поиске, и Яндекс начал терять пользователей, которые уходили на более популярные платформы. Поэтому было принято решение запустить новый сервис — Товарную Вертикаль, куда бы вернулся «старый» поиск по товарам. А маркетплейс — развивать как отдельный продукт.
Основными вызовами для Яндекса были:
- Отсутствие ориентированной на поиск ретейл-вертикали. Товарные запросы пользователей Яндекса не обрабатывались для последующих персонализированных предложений. Соответственно, трафик уходил на сторонние сайты — в то время, как его можно было бы переправить на Товарную Вертикаль.
- Отсутствие централизованной аналитической системы. У e-commerce команды не было возможности отслеживать пользовательское поведение, качество рекомендаций и эффективность выдачи, так как сервис был новым. Приходилось использовать разрозненные данные без четких бизнес-метрик — из-за этого команда лишалась возможности data-driven подхода.
- Проблемы с производительностью. По мере масштабирования поисковая структура маркетплейса стала испытывать трудности. Объем предложений товаров вырос с 200 до 4 млрд, и текущие технологии перестали справляться с нагрузкой. Это приводило к задержке поиска, что приводило к недовольству пользователей.
Для решения этих задач было предложено решение создать Яндекс.Шопинг — ориентированную на поиск, легко масштабируемую вертикаль с ML-компонентами, улучшенными фильтрами и оптимизированным для высоких нагрузок бэкендом. Это позволило бы создать крупное e-commerce решение, способное конкурировать с зарубежными платформами — такими как Google.Shopping.
Внедрение поиско-ориентированной e-commerce вертикали
Антимонопольные ограничения запрещали Яндексу размещать предложения своей e-commerce платформы — Яндекс.Маркета — на первых позициях выдачи поисковой системы. Поэтому мы решили начать работу с создания нового продукта — поиско-ориентированной e-commerce вертикали Яндекс.Шопинг. Она была отделена от Маркета и полностью соответствовала требованиям законодательства.
Внутри вертикали необходимо было трансформировать поиск в персонализированный data-driven процесс, который учитывал бы намерения и поведение пользователей в реальном времени. Мы собрали архитектуру вертикали с нуля, применяя ML-компоненты для улучшения пользовательского опыта.
Для улучшения качества поиска мы обучали ML-модели, для распознавания намерения в пользовательских запросах. Для ранжирования и интеграции результатов в поисковую выдачу мы применили blending-модели. C помощью ML-моделей удалось разработать механику персонализированных рекомендаций, улучшенного поиска по категориям и ответов на вопросы пользователей. Из последних нововведений — внедрение ИИ-консультанта на базе модели Alice AI.
Работа внутри Яндекс.Шопинг была автоматизирована — мы создали пайплайны для обновления информации о товарах в реальном времени. ML-модели определяют категории товаров и классифицируют их, отслеживают изменения в цене и количество остатков.
В результате за счет понимания пользовательского намерения и персонализации нам удалось повысить CTR на 15-20%, а ingestion latency (задержка при приеме данных) уменьшилась до 60%. Благодаря этому компания повысила GMV на несколько миллионов рублей.
Внедрение аналитики для отслеживания сценариев пользовательского поведения
В e-commerce Яндекса отсутствовала единая аналитическая платформа, которая учитывала бы сценарии покупателей и рассчитывала необходимые метрики. Команда опиралась на фрагментированные данные и ручную аналитику — автоматически отслеживать бизнес-показатели было невозможно. Соответственно, точность и эффективность стратегических решений были под вопросом.
В существующей системе логирования форматы были не согласованы, алерты пропускались, а идентификаторы дублировались. Всё это делало аналитику ненадежной. Поэтому я разработал и внедрил новую систему логирования со стандартными схемами для сервисов приема, ранжирования и рекомендаций — это обеспечило консистентность данных и возможность их полноценного использования.
Также я ввел необходимые для аналитики метрики: свежесть оффера, CTR, NDCG, влияние на GMV, точность рекомендаций, потребительский излишек. В результате, технические нововведения позволили влиять на бизнес-цели — и наоборот. Стало возможным рассчитать не только общие показатели, но и увидеть тенденции по конкретным товарам — например, жизненный цикл предложения, востребованность в определенном регионе, динамику востребованности.
Для проведения экспериментов мы разработали платформу A/B тестирования. Она позволила проверять гипотезы как на уровне модели, так и на уровне UX. Эксперименты стали безопасными и контролируемыми. А для наблюдения за изменениями мы создали дашборды с real-time обновлениями, которые показывали эффективность ранжирования и рекомендаций, состояние системы и продуктовые метрики.
Нововведения позволили точнее анализировать данные и принимать стратегические решения, что повысило вовлеченность пользователей на 10-15%. А прозрачность технических процессов сократила циклы итерации и отладки на 40%.
Повышение стабильности и производительности инфраструктуры
E-commerce-направление Яндекса стремительно масштабировалось — рос трафик, увеличивалось количество товаров. Старая инфраструктура переставала справляться с нагрузкой, что приводило к нестабильности. Поэтому было решено оптимизировать бэкенд платформы для повышения эффективности и устойчивости.
Для начала я провел глубокое профилирование и диагностику инфраструктуры, выявив узкие места. После этого провел оптимизацию файлов индекса — удалил неиспользуемые метаданные и реализовал алгоритмы сжатия для крупных компонентов. Это позволило увеличить количество сохраненных офферов на 40% и ускорить работу поиска.
Чтобы не тратить ресурсы на масштабирование за счет оборудования, мы приняли решение сосредоточиться на низкоуровневой оптимизации и интеллектуальном сжатии данных, что сделало систему менее дорогой в эксплуатации и легко масштабируемой. В результате, средний показатель задержки поисковых запросов уменьшился на 25%.
Так мы позволили платформе беспрепятственно развиваться, обеспечив ее устойчивость — и, соответственно, лояльность пользователей.
Результаты
Мы создали крупный продуктовый поиск, выстроив с нуля отдельную инфраструктурную вертикаль. За счет нововведений удалось беспрепятственно масштабировать платформу — каталог вырос в 20 раз и продолжает расти.
С помощью выстроенной платформы аналитики, автоматизации и AI-агентов удалось уточнить показатели цены до 86% и повысить уровень матчинга до 99,2%. Благодаря новым LLM-функциям взаимодействие пользователей со страницами продуктов выросло на 18%.
Яндекс.Шопинг стал мостом между поиском и e-commerce, позволяя пользователям быстрее находить и приобретать желаемые товары. А ML-пайплайны помогают в реальном времени определять намерения и бэкграунд пользователя для наиболее точных предложений.
Опубликовано 19.01.2023
