VK открывает для СМБ доступ к сервису для работы с Big Data
Сервис позволяет сократить до 60% стоимости вычислительных ресурсов при работе с большими данными за счет автоматического масштабирования Kubernetes в зависимости от текущей нагрузки.
Cloud Spark обеспечивает распределенную пакетную и потоковую обработку неструктурированных и слабоструктурированных данных из разных источников, таких как S3, ClickHouse, Kafka и других. Благодаря оптимизации и кэшированию в памяти, сервис выполняет аналитические запросы к данным практически любого объема. С помощью Cloud Spark можно оперативно и с минимальными затратами на инфраструктуру решать задачи Data Science и аналитики, в том числе проводить разведочный анализ данных (EDA), а также обучать модели машинного обучения на данных компании. Аналитики и специалисты по работе с данными получают быстрый доступ к необходимым данным из разных источников посредством SQL-запросов, а ML-разработчики могут использовать возможности встроенной библиотеки MLlib для работы с машинным обучением. Все пользователи также могут управлять сервисом из любого удобного окружения, в том числе с локального компьютера и из JupyterHub, за счет встроенной клиентской библиотеки.
Cloud Spark развернут на базе управляемого сервиса Kubernetes от VK Cloud, который позволяет автоматически масштабировать и сокращать вычислительные ресурсы в зависимости от текущей нагрузки. Таким образом, компания может гибко управлять и оптимизировать затраты на сервис, экономя до 60% стоимости инфраструктуры. Поддержку работоспособности и администрирование Cloud Spark обеспечивает платформа VK Cloud, что избавляет от необходимости тратить время и ресурсы собственных специалистов на рутинные задачи.