Новый сервис для распознавания видеоконтента

05.04.2023
«Газпром-Медиа Холдинг» объявляет о запуске сервиса автоматического распознавания и тегирования видеоконтента Video Tagging System. Он разработан телеканалом «Пятница!» и компанией «ГПМ Дата» — единым центром управления большими данными активов «Газпром-Медиа Холдинга».

Video Tagging System создан на основе технологий компьютерного зрения (Computer Vision) и нейронных сетей. Сервис помогает распознавать лица, речь*, надписи и количество персон в кадре, движения людей, выполнять детекцию животных и предметов; классифицировать кинематографические планы, считывать начало заставок и титров и определять преобладающую палитру сцены.

Все это позволяет ускорить поиск нужных кадров для производства промо-материалов и запуска контекстной видеорекламы. Продукт автоматизирует поиск подходящих сцен, модерацию, субтитрование и аналитику содержания видеоконтента. Система способна выполнять автоматическую разметку самых релевантных моментов для показа рекламных роликов (мидролов), а также размечать логические паузы в многосерийном контенте.

Первыми пользователями сервиса стали телеканалы «Пятница!» и «Суббота!», а также онлайн-кинотеатр PREMIER. В результате использования системы VTS время подбора видеоматериалов для создания промо-роликов сократилось более чем в 20 раз, а время субтитрования контента — в 4 раза. Применение VTS снижает трудозатраты при работе с контентом и дает возможность пользователям перераспределить ресурсы с рутинных операций на творческие задачи.

«Несколько лет назад коллеги из «ГПМ Дата» показали нам возможности работы нейросетей, и возникла идея применить эти чудеса для решения оперативных бизнес-задач «Пятницы!». Как минимум — автоматизировать и ускорить работу промо-продюсеров. В результате совместных усилий появился сервис VTS. Партнером для дистрибуции и хранения видео, а также демонстрации возможностей контекстной видеорекламы стала видеоплатформа UMA. Сейчас VTS осуществляет поиск по видеоархиву из 3000 часов контента. С помощью нового сервиса промо-продюсеры тратят на поиск видеофрагментов пару минут, а раньше на такую работу уходили недели», - комментирует Максим Русаков, руководитель интернет-проектов «Пятницы!».

В марте телеканал «Суббота!» первым протестировал технологию в контекстной видеорекламе. Реклама нового кондитерского шоу «Здравствуй, Сладкий» была интегрирована внутрь шоу «Кондитер» на «Пятнице!». Реклама автоматически появлялась в эфире после слов «сладкий» и «пробовать». Так во время просмотра зрители видели релевантное промо другого кондитерского проекта.

*распознавание речи выполняется с использованием технологий Tinkoff VoiceKit

Читайте также
Сергей Анциферов: «Импортозамещение – вопрос не патриотизма, а выживания»
Роботы, цифровые двойники и импортозамещение – три ключевые темы, которые сегодня определяют будущее промышленности. Машиностроение давно перестало быть просто работой станков и конвейеров, теперь это ещё и сложная ИТ-инфраструктура. Российские заводы, которые ранее принадлежали BOSH прошли через радикальные изменения: уход западных вендоров, построение новой цифровой среды, внедрение автоматизации. Каково это восстанавливать ИТ-системы с нуля? Когда роботы смогут заменить людей на заводах? И правда ли, что управлять современным производством можно без иностранных технологий? Об этом IT-World рассказал Сергей Анциферов, ИТ-директор заводов в Энгельсе: ООО «Энгельс Свечи зажигания», ООО «Энгельс Электроинструменты» и ООО «Термотехника Энгельс».

Похожие статьи