Ассистент «Тинькофф» появился в ClubHouse
«Тинькофф» встроил своего ассистента Олега в голосовую соцсеть ClubHouse.
Это первый случай интеграции голосового помощника и технологий синтеза и распознавания речи в этой социальной сети.
Голосовой ассистент будет функционировать в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий, благодаря своим навыкам распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit).
Например, Олег сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграм-канал «Олег в Клабхаузе». Также может выступать в роли модератора комнат в ClubHouse, озвучивать вопросы спикеров, напоминать о тайминге и регламенте и т. д.
Первую трансляцию с текстовой расшифровкой Олег провел из комнаты «Тинькофф Инвестиций» 11 марта, в которой транслировался конференц-звонок топ-менеджеров группы «Тинькофф» во главе с Оливером Хьюзом с журналистами и инвесторами. Комната была посвящена обсуждению финансовых результатов и прибыли группы за 2020 год.
Павел Калайдин, директор по технологиям искусственного интеллекта «Тинькофф»: «Сейчас команда голосового ассистента Олега экспериментирует с разными пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям.
Мы уже протестировали возможность расшифровывать аудиозвонки в текст в режиме реального времени в собственный телеграм-канал и успешно ее опробовали на примере комнаты про финансовые результаты группы Тинькофф за 2020-й год.
Олег может также помочь создателям комнат и модераторам дискуссий, когда у слушателей нет возможности задать вопрос голосом — например, слишком шумно или не хочется перебивать спикера. Для таких случаев мы разрабатываем интерфейс для приема вопросов через чат с Олегом в Телеграме: аудитория присылает ему вопросы, которые он зачитает с идеальным произношением и по желанию сохранит приватность автора вопроса.
В продолжении распознавания коллективного голосового общения встает вопрос в суммаризации информации. Бывает нелегко воспринимать междометия, слова-паразиты, некоторую несвязность предложений, когда читаешь даже хорошо распознанную стенограмму. Поэтому мы исследуем возможности очищения текста и выявления сути сказанного, чтобы текстовая транскрипция была более читаемой и короткой.
Мы будем рады совместным экспериментам с сообществами в голосовой соцсети, чтобы ассистент стал помощником контент-мейкеров и слушателей».
Ассистент основан на технологиях Tinkoff VoiceKit — глубоких нейросетевых моделях для синтеза и распознавания речи, которые в течение последних лет разрабатывались в «Тинькофф» в рамках стратегии AI First и которые также использовались для создания Олега.
Технология Tinkoff VoiceKit может использоваться, например, для: создания собственных голосовых помощников; создания роботов для автоматизации работы колл-центра; быстрой записи аудиокниг, озвучки и редактирования видеороликов; построения системы речевой аналитики по транскрибированным текстам; создания приложений для людей с ограниченными возможностями; транскрибирования любых звуковых записей публичных выступлений; поисковой оптимизации и полнотекстовому поиску по аудио- и видеозаписям.