РынокБизнес

Ассистент «Тинькофф» появился в ClubHouse

Екатерина Александрова | 15.03.2021

Ассистент «Тинькофф» появился в ClubHouse

«Тинькофф» встроил своего ассистента Олега в голосовую соцсеть.

«Тинькофф» встроил своего ассистента Олега в голосовую соцсеть ClubHouse.

Это первый случай интеграции голосового помощника и технологий синтеза и распознавания речи в этой социальной сети.

Голосовой ассистент будет функционировать в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий, благодаря своим навыкам распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit).

Например, Олег сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграм-канал «Олег в Клабхаузе». Также может выступать в роли модератора комнат в ClubHouse, озвучивать вопросы спикеров, напоминать о тайминге и регламенте и т. д.

Первую трансляцию с текстовой расшифровкой Олег провел из комнаты «Тинькофф Инвестиций» 11 марта, в которой транслировался конференц-звонок топ-менеджеров группы «Тинькофф» во главе с Оливером Хьюзом с журналистами и инвесторами. Комната была посвящена обсуждению финансовых результатов и прибыли группы за 2020 год.

Павел Калайдин, директор по технологиям искусственного интеллекта «Тинькофф»: «Сейчас команда голосового ассистента Олега экспериментирует с разными пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям.

Мы уже протестировали возможность расшифровывать аудиозвонки в текст в режиме реального времени в собственный телеграм-канал и успешно ее опробовали на примере комнаты про финансовые результаты группы Тинькофф за 2020-й год.

Олег может также помочь создателям комнат и модераторам дискуссий, когда у слушателей нет возможности задать вопрос голосом — например, слишком шумно или не хочется перебивать спикера. Для таких случаев мы разрабатываем интерфейс для приема вопросов через чат с Олегом в Телеграме: аудитория присылает ему вопросы, которые он зачитает с идеальным произношением и по желанию сохранит приватность автора вопроса.

В продолжении распознавания коллективного голосового общения встает вопрос в суммаризации информации. Бывает нелегко воспринимать междометия, слова-паразиты, некоторую несвязность предложений, когда читаешь даже хорошо распознанную стенограмму. Поэтому мы исследуем возможности очищения текста и выявления сути сказанного, чтобы текстовая транскрипция была более читаемой и короткой.

Мы будем рады совместным экспериментам с сообществами в голосовой соцсети, чтобы ассистент стал помощником контент-мейкеров и слушателей».

Ассистент основан на технологиях Tinkoff VoiceKit — глубоких нейросетевых моделях для синтеза и распознавания речи, которые в течение последних лет разрабатывались в «Тинькофф» в рамках стратегии AI First и которые также использовались для создания Олега.

Технология Tinkoff VoiceKit может использоваться, например, для: создания собственных голосовых помощников; создания роботов для автоматизации работы колл-центра; быстрой записи аудиокниг, озвучки и редактирования видеороликов; построения системы речевой аналитики по транскрибированным текстам; создания приложений для людей с ограниченными возможностями; транскрибирования любых звуковых записей публичных выступлений; поисковой оптимизации и полнотекстовому поиску по аудио- и видеозаписям.

Распознавание Нейронные сети Банки Социальная сеть


Поделиться:

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Также по теме

Другие материалы рубрики

Мысли вслух

Все жалуются на нехватку времени. Особенно обидно, что его не хватает на самые важные вещи. Совещания, созвоны, подготовка внутренних отчетов, непонятно, насколько нужных, но которые начальство требует так, как будто это именно то, ради чего мы работаем.
Сейчас мы вступаем в следующую фазу выздоровления и восстановления, но гибридный мир никуда не денется
В России опрос показал: 48% составляют технооптимисты, а больше половины – технофобы и техноскептики.

Компании сообщают

Мероприятия

Юникон & гейм экспо минск / unicon & game expo minsk
Минск, пр. Победителей, 20/2 (футбольный манеж)
14.05.2021 — 16.05.2021
12:00
SAS Global Forum 2021
ОНЛАЙН
18.05.2021 — 20.05.2021