Большое обновление платформы Luxms BI v 9.3

HTML-документация

Одним из ключевых обновлений системы стала документация в формате HTML. Руководства, примеры, технические описания и другие документы о работе на платформе структурированы и находятся в одном месте, обеспечивая универсальный и удобный доступ к информации.

Реализован интегрированный поиск по всей базе знаний, позволяя пользователям мгновенно находить нужную информацию, тем самым облегчая ориентацию в функционале BI системы. Это снижает порог вхождения для новых пользователей, сокращает время на обучение, и упрощает работу на платформе.

Документация и обновления к ней распространяются и устанавливаются как стандартный пакет Linux – как и любой другой компонент платформы Luxms BI.

Расширенный функционал LPE

Календарные функции

Долгожданным обновлением версии 9.3 стали календарные функции в LPE. Стандартные функции иногда могут быть неудобными в практических расчетах, например, определение прошедшего квартала, поэтому в новом релизе внедрен набор календарных функций, созданных для эффективной работы с временными промежутками, делая расчеты более простыми и удобными.

Календарные функции делятся на три основных блока:

Первый блок функций – «Алгебра с датами». Это набор календарных функций на языке LPE, разработанный для эффективных вычислений временных промежутков. Пользователи могут выполнять сложные операции с датами и временными интервалами так же, как и с числами в математических выражениях. В новом релизе представлены функции, которые позволяют удобно манипулировать датами, вычислять смещения, определять начало и конец интервалов.

Например, функция dateShift вычисляет новую дату на основе исходной, с учетом смещения и типа смещения (день, неделя, месяц, квартал, год). Это обеспечивает гибкость при работе с календарём и позволяет пользователям легко адаптировать данные к своим потребностям анализа.

Второй блок – «Функции, возвращающие целые числа», предоставляет инструменты для эффективной группировки дат и сравнений. Здесь представлены функции, которые возвращают характеристики даты, выраженные в целых числах, такие как номер дня года, номер недели года, месяца, квартала, полугодия и год.

К примеру, функция doty возвращает день года в виде целого числа (Day Of The Year), что может быть полезным при анализе сезонных трендов или работы со сроками, связанными с конкретными днями в году. Аналогично, функции woty, moty, qoty, hoty предоставляют информацию о номере недели, месяца, квартала и полугодия соответственно. Для удобства запоминания мы называем этот блок функций «коти-моти-доти». В условиях практически полярной питерской ночи выбор пал именно на эти добрые и пушистые имена функций для улучшения настроения разработчиков и пользователей.

Третий блок – «Функции, возвращающие строку в формате ISO», представляет собой инструментарий для работы с датами в соответствии с ISO 8601. Стандарт обеспечивает унифицированный формат представления дат и времени, что облегчает обмен информацией и обеспечивает стандартизированный подход к работе с датами. Функции в этом блоке возвращают строковые представления дат в формате ISO. Например, isod(dt) возвращает день года по стандарту ISO 8601 в виде строки, а isow(dt) – неделю года в соответствии с тем же стандартом.

На данный момент функции предлагают высокую гранулярность, охватывая временные интервалы с точностью до дней. Следующий шаг – работа с часами, минутами и секундами для большей гибкости и точности при анализе данных в разрезе времени.

Оконные функции

В релизе 9.3 появились оконные функции, позволяющее делать вычисления с учётом данных в соседних строках (окнах). Оконные функции позволяют вычислять нарастающий итог, сравнивать данные за разные периоды, производить ранжирование строк и многое другое. Наша реализация повторяет функционал оконных функций из SQL и поддерживает блоки партицирования (группировки) и сортировки данных в окне. В следующих версиях будет добавлена поддержка указания границ окна.

Новые агрегационные функции

Появились новые агрегационные функции: uniq, quantile, total. Функция Total позволяет вычислять общие агрегаты по всем данным из куба. Это дает возможность легко посчитать доли относительно общей суммы или общего количества. В следующих версиях функционал функции total будет расширен путём добавления фильтров, что позволит вычислять итог с учётом условий. Функция uniq – короткая запись для подсчёта уникального количества строк, а функция quantile вычисляет квантиль.

Клонирование атласов и кубов

Появилась возможность клонирования атласов и кубов — важный инструмент для удобства разработки. Эта функция позволяет пользователям ускорить процесс изучения платформы, быстрее анализировать разработки других пользователей BI и создавать уникальные приложения на основе чужого опыта, заимствуя заинтересовавшие пользователя элементы в свою «песочницу». Также это дает возможность переиспользовать свои разработки в разных приложениях. Клонирование объектов реализовано с учетом сложных сценариев ролевой модели и соблюдением всех аспектов безопасности.

API-токены JWT

В новом релизе появились API-токены (JSON Web Token). Токены представляют собой ключи для безопасного и управляемого доступа к различным функциям Luxms BI через программный интерфейс API. Они дают возможность создавать уникальные ключи, которые используются для авторизации запросов к системе.

Администраторы могут самостоятельно создавать токены через интерфейс системы, а также управлять ими, проверять права доступа и отслеживать статус токенов. Каждый токен уникален и настраивается под конкретные потребности пользователя, это гарантирует безопасность данных.

Подробную информацию о создании и использовании API-токенов можно найти в обновленной HTML документации.

Клонирование дэшлетов и дэшбордов

В релиз 9.3 вошли промежуточные минорные обновления, повышающие удобство работы – появилась возможность клонирования дэшлетов и дэшбордов. Пользователь может скопировать дэшлет, если необходимо использовать схожие настройки на разных дэшбордах. Дэшлет сам находит подходящее место, даже если оно ограничено, подстраиваясь под доступное пространство.

Функционал распространяется и на копирование дэшбордов целиком. Так как копирование происходит в рамках одного атласа, используемые кубы автоматически подгружаются в скопированный дэшборд, сохраняя структуру и настройки исходного варианта.

Обновленный управляющий дэш

Управляющего дэш получил дальнейшее развитие и улучшения, где полностью переработан интерфейс и логика работы фильтров. Обновления включают в себя изменения в стилях, в том числе цвета темы и удаление лишних теней. Теперь управляющий дэш можно закреплять или откреплять при его размещении в правой панели. Важные изменения также затронули работу с календарем в управляющем дэше, предоставляя новые возможности выбора периодов.

Редактор тем – кастомизация без программирования

Еще одним крупным обновлением релиза 9.3 стал расширенный редактор тем, который позволяет кастомизировать интерфейс системы без навыков программирования. Можно менять цвет фона, надписей, данных и делать аналитические панели более наглядными и удобными.

Пользователи в интуитивно понятном интерфейсе создают свои темы, выбирая цвета для всех основных элементов системы с помощью палитры или пипетки выбора – никакого кода.

Моно-презентации

Изменения коснулись и блока «Презентации». Так, важным обновлением стала возможность переключаться в режим «Моно-презентаций», который позволяет создавать презентации, состоящие исключительно из слайдов одного атласа, и рассылать их только тем пользователям, у кого есть доступ к этому атласу, что повышает уровень безопасности персональных данных. В этом режиме исключён вывод персональных данных при совместной работе с презентациями. Кроме этого, был полностью переработан внешний вид раздела «Презентации», а также добавлена возможность задавать пароль на файл архива при отправке презентаций по почте.

Улучшения в рассылках и отчетах

При создании отчета на основе Таблицы с группировкой появилась возможность разъединять ячейки, что значительно повышает гибкость форматирования.

В рассылках отчетов добавлены новые возможностей для удобства пользователей – теперь можно легко находить нужные рассылки с помощью удобного поиска по различным параметрам, таким как название, объект рассылки, атлас и дэшборд. Также в рассылках добавлена возможность «отправки сейчас» и «приостановка рассылки» и опция установки пароля на файл архива при отправке отчета по электронной почте, обеспечивая дополнительный уровень безопасности.

Обновления в интерфейсе при создании куба

Был полностью переработан интерфейс, став более простым. Теперь по умолчанию SQL-код скрыт от пользователя, позволяя настраивать параметры в визуальном интерфейсе. Но при необходимости пользователи могут переключиться в режим SQL-кода для более детальной настройки.

Обновления ETL/ELT инструмента

В новой версии расширились возможности встроенного ETL/ELT инструмента Luxms Data Boring. Он предоставляет возможность многопользовательской работы, обеспечивая эффективное разделение данных и повышенный уровень безопасности.

Каждый пользователь теперь работает в своей изолированной виртуальной среде, где потоки, оперативная память и процессы абсолютно не пересекаются с другими пользователями. Отдельное хранилище данных, настройки и узлы создаются для каждого пользователя индивидуально, и это гарантирует высокий уровень безопасности и эффективное управление данными. Это особенно важно в ситуациях, когда необходима поддержка нескольких клиентов или проектов на одном сервере Data Boring. Многопользовательский доступ также позволяет администратору системы использовать аккаунты пользователей для управления их потоками, не переходя в их учетные записи.

В Data Boring в узле Data Transfer добавлена поддержка нескольких форматов данных, включая QVD, AVRO и PARQUET. Это расширение позволит работать с данными из QlikView/QlikSense и из проектов AI/ML и BigData.

Data Boring предоставляет каждому пользователю индивидуальный доступ к данным мониторинга. Система следит за всеми процессами подсистем и потоков, которые запущены в данный момент, и помогает оперативно выявлять и реагировать на потенциальные проблемы. Пользователь может просматривать статистику и получать отчеты о производительности и использовании ресурсов. Журнал, помимо истории изменений, отображает важную информацию – ошибки, предупреждения, обновления и другие аспекты работы системы. Пользователь в любой момент может вернуться к предыдущим состояниям системы, выбрав конкретный момент из журнала, что обеспечивает безопасность в случае системных сбоев, а также гибкость и контроль в управлении данными и процессами.

Добавлены улучшения в работе с многостраничными xlsx-файлами. Теперь есть возможность указывать листы в xlsx-файлах как по их имени, так и по порядковому номеру. Это упрощает выбор нужного листа для работы с данными. Добавлена возможность указания номера строки с заголовками и номера строки с данными, что обеспечивает более гибкий и точный анализ многостраничных xlsx-файлов.

Общие улучшения

В релиз 9.3 вошло несколько UI-UX улучшений. Например, теперь при написании запроса в текстовом редакторе SQL система выводит подсказки, а ключевые слова для удобства выделяются цветом. Изменен интерфейс сводной таблицы и добавился экран помощи при написании формул для фактов. Все для того, чтобы работать на платформе было проще и удобнее.

У пользователей появилась возможность загружать собственные визели в формате zip-архива. Кастомные визуализации отображаются на панели выбора виджета среди стандартных вариантов, и доступны для дальнейшей работы.

Расширился функционал внутреннего языка LPE. Так, в редактор дэшлетов добавлен конструктор LPE выражений для реакций по клику в элементах интерфейса, а также появилась возможность писать LPE-выражения для заголовков дэшлета.

Важной частью версии 9.3 стал фокус на повышение стабильности платформы. Наша команда постоянно работает над улучшением системы, чтобы предложить пользователям передовые инструменты и функциональность для успешного анализа данных и принятия стратегических решений.