РынокБизнес

Ассистент «Тинькофф» появился в ClubHouse

Екатерина Александрова | 15.03.2021

Ассистент «Тинькофф» появился в ClubHouse

«Тинькофф» встроил своего ассистента Олега в голосовую соцсеть.

«Тинькофф» встроил своего ассистента Олега в голосовую соцсеть ClubHouse.

Это первый случай интеграции голосового помощника и технологий синтеза и распознавания речи в этой социальной сети.

Голосовой ассистент будет функционировать в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий, благодаря своим навыкам распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit).

Например, Олег сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграм-канал «Олег в Клабхаузе». Также может выступать в роли модератора комнат в ClubHouse, озвучивать вопросы спикеров, напоминать о тайминге и регламенте и т. д.

Первую трансляцию с текстовой расшифровкой Олег провел из комнаты «Тинькофф Инвестиций» 11 марта, в которой транслировался конференц-звонок топ-менеджеров группы «Тинькофф» во главе с Оливером Хьюзом с журналистами и инвесторами. Комната была посвящена обсуждению финансовых результатов и прибыли группы за 2020 год.

Павел Калайдин, директор по технологиям искусственного интеллекта «Тинькофф»: «Сейчас команда голосового ассистента Олега экспериментирует с разными пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям.

Мы уже протестировали возможность расшифровывать аудиозвонки в текст в режиме реального времени в собственный телеграм-канал и успешно ее опробовали на примере комнаты про финансовые результаты группы Тинькофф за 2020-й год.

Олег может также помочь создателям комнат и модераторам дискуссий, когда у слушателей нет возможности задать вопрос голосом — например, слишком шумно или не хочется перебивать спикера. Для таких случаев мы разрабатываем интерфейс для приема вопросов через чат с Олегом в Телеграме: аудитория присылает ему вопросы, которые он зачитает с идеальным произношением и по желанию сохранит приватность автора вопроса.

В продолжении распознавания коллективного голосового общения встает вопрос в суммаризации информации. Бывает нелегко воспринимать междометия, слова-паразиты, некоторую несвязность предложений, когда читаешь даже хорошо распознанную стенограмму. Поэтому мы исследуем возможности очищения текста и выявления сути сказанного, чтобы текстовая транскрипция была более читаемой и короткой.

Мы будем рады совместным экспериментам с сообществами в голосовой соцсети, чтобы ассистент стал помощником контент-мейкеров и слушателей».

Ассистент основан на технологиях Tinkoff VoiceKit — глубоких нейросетевых моделях для синтеза и распознавания речи, которые в течение последних лет разрабатывались в «Тинькофф» в рамках стратегии AI First и которые также использовались для создания Олега.

Технология Tinkoff VoiceKit может использоваться, например, для: создания собственных голосовых помощников; создания роботов для автоматизации работы колл-центра; быстрой записи аудиокниг, озвучки и редактирования видеороликов; построения системы речевой аналитики по транскрибированным текстам; создания приложений для людей с ограниченными возможностями; транскрибирования любых звуковых записей публичных выступлений; поисковой оптимизации и полнотекстовому поиску по аудио- и видеозаписям.

Распознавание Нейронные сети Банки Социальная сеть


Поделиться:

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Также по теме

Другие материалы рубрики

Мысли вслух

Мы много и часто говорим о том, что "ИТ меняют наш мир". Посмотрим, как это происходит в Китае с применением конкретных инструментов и затрагивает сотни миллионов человек.
Согласно прогнозам Gartner, к 2022 г. 75% организаций, использующих инфраструктуру как сервис (IaaS), будут реализовывать продуманную мультиоблачную стратегию, в то время как в 2017 г. доля таких компаний составляла 49%.
Все жалуются на нехватку времени. Особенно обидно, что его не хватает на самые важные вещи. Совещания, созвоны, подготовка внутренних отчетов, непонятно, насколько нужных, но которые начальство требует так, как будто это именно то, ради чего мы работаем.

Компании сообщают

Мероприятия

Митап про DataScience
ОНЛАЙН
29.07.2021
15:00
ТехноКлуб «Дефицит чипов: как выжить в новой реальности?»
Зеленоград, конгресс-центр ОЭЗ «Технополис Москва»
Бесплатно
04.08.2021
10:30
Международная конференция по информационной безопасности ZeroNights
Санкт-Петербург, Кожевенная линия, 40, «Севкабель Порт»
3 490 руб
25.08.2021
09:00–23:00
Конференция «Кадровый ЭДО: цифровизация на практике»
Москва, отель Метрополь, Театральный проезд, 2
25.08.2021
09:30–17:00