Meta разрабатывает мощный суперкомпьютер на основе искусственного интеллекта

Логотип компании
25.01.2022
Meta разрабатывает мощный суперкомпьютер на основе искусственного интеллекта
Research SuperCluster может стать самым быстрым устройством в мире, способным выполнять вычисления со скоростью 5 эксафлопс.

«RSC призван помочь исследователям искусственного интеллекта Meta создавать новые, более совершенные модели искусственного интеллекта, которые смогут учиться на триллионах примеров, работать на сотнях разных языков, легко анализировать текст, изображения и видео, разрабатывать новые инструменты дополненной реальности», - сообщила пресс-служба компании.

Специалисты смогут обучать крупные модели в области компьютерного зрения, НЛП, распознавания речи.

RSC включает в себя 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, 6080 графических процессоров, причем каждый графический процессор A100 является более мощным, чем V100, используемый в предыдущей системе. Каждый DGX взаимодействует через двухуровневую сеть Clos NVIDIA Quantum 1600 Гбит/с InfiniBand. Уровень хранения RSC имеет 175 петабайт Flash, 46 петабайт кеш-памяти в системах Penguin Computing Altus и 10 петабайт FlashBlade.

RSC выполняет рабочие процессы компьютерного зрения в 20 раз быстрее, запускает библиотеку коллективной связи NVIDIA (NCCL) в 9 раз быстрее и обучает крупномасштабные модели NLP в 3 раза быстрее. Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели.

Когда RSC будет завершен (предположительно в середине этого года), сетевая структура InfiniBand будет подключать 16 000 графических процессоров в качестве конечных точек, что сделает ее одной из крупнейших подобных сетей, развернутых на сегодняшний день.

Похожие статьи