Владимир Нелюб: альтернативы NVIDIA уже выгоднее в отдельных ИИ-задачах, но не полная замена

Более 20 ИИ-моделей на разных ускорителях показали, что полной замены NVIDIA сегодня нет, однако в ряде сценариев альтернативы уже конкурентоспособны — и по качеству, и по стоимости. В тестах ИИ-ассистентов для работы с документами и поиска по базам знаний стоимость инференса на альтернативных ускорителях в отдельных случаях оказалась в 2–2,5 раза ниже, чем на NVIDIA, при сопоставимом качестве ответов, а переход на такие платформы позволяет снизить совокупную стоимость владения инфраструктурой до 25%.
«Ориентация на оборудование одного производителя постепенно перестаёт быть оптимальным решением для ИИ-инфраструктуры. Для российских компаний важно не только обеспечить доступность вычислительных мощностей, но и разумно управлять затратами на них. Альтернативные ускорители уже могут быть выгоднее NVIDIA для отдельных задач, особенно при запуске моделей, работающих с документами и корпоративными базами знаний. Однако оценивать нужно не только стоимость оборудования и его производительность, но и все затраты на адаптацию программного обеспечения, энергопотребление и дальнейшую эксплуатацию», — отметил Владимир Нелюб, управляющий партнёр «Астра ИИ», директор по науке и ИИ «Группы Астра».
Речь идёт не о полной замене, а о смешанном парке: сверхбольшие модели обучаются и запускаются на NVIDIA, а вспомогательные сервисы и часть запросов переносятся на альтернативные ускорители — это позволяет наращивать мощности при дефиците. Отдельный риск — попасть в новую зависимость от ограниченного круга поставщиков; снизить его помогает распределение нагрузок между платформами разных производителей.
«Основная сложность перехода на альтернативные ускорители сегодня связана с программным обеспечением. Различия в драйверах, библиотеках и инструментах разработки могут потребовать серьёзной адаптации и свести на нет первоначальную экономию. Поэтому наиболее перспективным мы считаем использование оборудования разных производителей в единой инфраструктуре, где вычислительные задачи распределяются с учётом возможностей и стоимости каждого типа ускорителей. Для заказчика в конечном счёте важно не то, на каком оборудовании работает ИИ, а насколько эффективно, надёжно и с какими затратами он решает бизнес-задачи», — подчеркнул Нелюб.