Почему миры оборудования и программного обеспечения должны найти общий язык

Логотип компании
Почему миры оборудования и программного обеспечения должны найти общий язык
Данные — это реальная ценность, но их наличие само по себе не гарантирует возможности извлечения из них всей пользы. В этом контексте для предприятий встает главный вопрос: как реализовать потенциал данных, чтобы помочь заказчикам достичь их целей и при этом увеличить собственную выручку?

Данные — это реальная ценность, но их наличие само по себе не гарантирует возможности извлечения из них всей пользы. В этом контексте для предприятий встает главный вопрос: как реализовать потенциал данных, чтобы помочь заказчикам достичь их целей и при этом увеличить собственную выручку? Сегодня решением этой задачи все чаще становится использование продуктов с открытым кодом.

В ведущих компаниях оценивают и развивают открытые архитектуры — интегрированные наборы вычислительных и сетевых ресурсов и хранилищ данных. Из таких элементов можно компоновать решения различного рода. Такие масштабируемые аппаратные инфраструктуры используются, в частности, для реализации процессов непрерывной интеграции и разработки программного обеспечения. Будучи противоположностью проприетарным «черным ящикам», ПО с открытым кодом и оборудование с открытой конструкцией обеспечивают гораздо более высокие уровни прозрачности и контроля для тех, кто их применяет. Основной результат — демократизация технологической индустрии за счет устранения барьеров, мешающих взаимодействию.

Исследование TechScape, проведенное компанией IDC в 2018 году, показало, что большинство новых ключевых технологий частично или полностью выполнены на базе компонентов с открытым кодом, что позволяет с уверенностью судить о направлении дальнейшего развития индустрии ИТ.

Открытость исходного кода обеспечивает важные преимущества:

  1. Возможность его аудита и простоту доработки. Можно рецензировать опубликованный исходный код и вносить предложения о его улучшении.

  2. Сокращение затрат на разработку, поскольку компании делят их между собой.

  3. Открытая среда способствует повышению безопасности: когда код подвергается анализу со стороны большого числа специалистов, это позволяет обнаруживать больше ошибок.

На короткой ноге с миром ПО

Компания Seagate Technology, в которой я работаю с 2013 года, относится к «лагерю оборудования». Однако, руководствуясь теми же причинами, по которым активная инновация является характерной чертой мира открытого кода, Seagate занимается не только оборудованием: стремясь поддерживать тесные взаимоотношения с отраслью ПО, компания способствует инновациям и в этой области.

Вот уже несколько лет Seagate оказывает спонсорскую поддержку ряду консорциумов и фондов, в том числе The Linux Foundation и Центру исследований в области ПО с открытым кодом Калифорнийского университета в Санта-Крузе, а также ассоциациям, продвигающим оборудование на базе открытых спецификаций, в частности RISC-V и OpenTitan. Кроме того, Seagate оптимизирует свои накопители с расчетом на хранение данных в форме объектов.

Чем именно занимается в мире ПО компания, являющаяся специалистом в области оборудования? Все, что происходит в секторе ПО, отражается на оборудовании, и наоборот. Если программное обеспечение — «ян», то оборудование — «инь». Инновации в обеих областях должны происходить параллельно, чтобы выполнялись их встречные требования друг к другу. Обработку растущих потоков данных оборудование и ПО выполняют в тандеме. Опыт проектирования аппаратного обеспечения позволяет получать полезные сведения о том, каким образом должны обрабатываться данные. А уроки, усвоенные в мире программного обеспечения, нужно, в свою очередь, использовать при проектировании оборудования.

Проблемы, которые помогает решить открытый код, — те же, с которыми призваны справляться решения для хранения данных. Эти проблемы касаются роста применения мультиоблачных систем, управления потоками данных, доступа к данным, уровня задержки, возможностей отслеживания характеристик и безопасности.

Мультиоблачные среды

На многих предприятиях рассчитывают на то, что при переходе от публичного облака к мультиоблачным средам в гибридном облаке сохранятся все преимущества публичного. Этому способствует активное развитие проектов с открытым кодом, таких как Apache Hadoop и Ceph, которые позволяют организовывать горизонтально масштабируемые хранилища, обеспечивая возможность создания приватных облаков с хранилищами и вычислительными ресурсами.

Почему миры оборудования и программного обеспечения должны найти общий язык. Рис. 1

Какую роль в этом играет оборудование? Оборудование позволяет формировать горизонтально масштабируемые программные экосистемы, работающие на кластерах, оптимизированных для конкретных рабочих нагрузок. Если приложению требуется меньшая задержка, оптимальным вариантом будет флеш-массив на твердотельных накопителях. А в случаях, когда для частного облака нужно огромное хранилище, применяется аппаратная архитектура, основанная на настраиваемых независимых стандартных блоках.

Проблемы, связанные с управлением потоками данных

На фоне расширения применения периферийных вычислений, «Интернета вещей» и смежных технологий происходит взрывной рост данных во всевозможных средах, от периферии до ядра. В 2025 году общий объем данных в мире достигнет 175 зеттабайт. Где и как хранить и обрабатывать всю эту информацию? Программное обеспечение с открытым кодом предоставляет возможность использовать стандартные блоки, что позволяет архитекторам инфраструктуры разрабатывать решения, оптимизированные для конкретных приложений. В числе примеров — решения для поточной передачи данных (Kafka и др.), системы приема данных для анализа (Hive и т. п.) и СУБД для хранения информации (Redis и др.).

Как вышеизложенное влияет на мир оборудования? Какие именно стандартные блоки следует скомбинировать для приема нужных данных? Какая скорость загрузки необходима? Какие средства применять для анализа? От ответов на перечисленные вопросы зависит конфигурация компонентов, отвечающих за вычисления и хранение данных. Применение независимых компонуемых элементов вместо гиперконвергентной архитектуры, в которой ценные ресурсы могут оказаться перегруженными, дает возможность обеспечить органический рост облачной инфраструктуры.

Доступ к данным

Задачи, связанные с доступом, приобретают особую важность в условиях экспоненциального роста потребности в данных. По мере роста емкости и плотности записи накопителей должны расти и скорости считывания и записи, а вот увеличение стоимости необходимо ограничивать.

Почему миры оборудования и программного обеспечения должны найти общий язык. Рис. 2

Как в этом отношении может помочь оборудование? Исследователи развивают технологию NAND, обеспечивая уменьшение стоимости при сохранении оптимального значения задержки и высокой пропускной способности. Рост показателя операций ввода-вывода в секунду для жестких дисков обеспечивается за счет специализированных технологий, в частности применения двух независимых приводов. Благодаря улучшению характеристик накопителей, у архитекторов появляется больше возможностей построения систем, отвечающих требованиям различных приложений.

Возможность отслеживания характеристик

Еще один аспект интеграции ПО и оборудования заключается в обеспечении доступности информации о системе. В настоящее время наблюдается масштабная тенденция развития ПО, которое позволяет выполнять оркестрацию мультиоблачной инфраструктуры и управлять ею. Экосистемы оркестрации контейнеров, в особенности Kubernetes (решение, позволяющее задавать инфраструктуру в виде кода), интегрируют с высокоразвитыми инструментами с открытым кодом, в частности Prometheus. Благодаря этому обеспечиваются новые уровни автоматизации управления средами.

Возможность отслеживания характеристик оборудования. Возможность мониторинга различных характеристик накопителей, включая температуру, вибрацию и т. д., — необходимое условие получения ценных для организации сведений. Инновация в сфере оборудования способствует улучшению средств передачи телеметрии (регистрируемых рабочих характеристик). В частности, создаются простые в использовании инструменты на базе систем с искусственным интеллектом, которые позволяют уменьшить потребность в ручном устранении неисправностей и предотвратить нарушения нормальной работы. Современные устройства для предприятий автоматически ведут журналы на основе открытых стандартов, что позволяет получать гораздо более подробные сведения, чем раньше. В частности, жесткие диски ведут журнал (в формате Field Accessible Reliability Metrics), который содержит детальные сведения о работоспособности накопителя.

Безопасность

Во всем мире появляются законы, регулирующие работу с персональными данными, — например, европейский «Общий регламент по защите данных» и калифорнийский закон «О конфиденциальности потребителей». В связи с этим растет потребность в более жестком контроле происхождения данных и улучшении средств управления их хранением, передачей и вычислениями. Для этих целей все шире применяются решения с открытым кодом, поскольку сам факт открытости способствует укреплению доверия.

Как это проявляется в мире оборудования? Приведем в пример RISC-V — открытый набор инструкций для электроники, разработанный так, чтобы обеспечить уменьшение затрат, понижение расхода электроэнергии и высокую безопасность. Используя RISC-V, компании имеют возможность более быстро разрабатывать конструкции электронных устройств.

*   *   *

Подведем итог. Представители мира оборудования обязаны работать в тесном взаимодействии с участниками отрасли ПО при решении задач, касающихся безопасности, регистрации рабочих характеристик, доступа к данным, управления передачей данных и работы мультиоблачных сред.

Другими словами, если говорить о данных как о бизнесе, то оборудование и ПО участвуют в нем на равных паях.

Опубликовано 23.06.2020