По нейросети научились определять, на каких процессорах ее обучали
12 ноября бывший исследователь OpenAI Уилл Депью опубликовал результаты довольно необычного расследования. Он обнаружил в шести китайских языковых моделях следы использования ускорителей Nvidia Blackwell, на поставки которых в Китай распространяются американские экспортные ограничения. Под подозрение попали DeepSeek, Moonshot AI, MiniMax и Ant Group. При этом всю информацию он извлек из самих нейросетей.
Современная языковая модель представляет собой сложную математическую конструкцию с миллиардами параметров, или весов. В процессе обучения их значения многократно меняются. Но прежде чем начать обучение, эти параметры нужно чем-то заполнить. Обычно для этого используют генераторы псевдослучайных чисел.
Почему псевдослучайных? Если запустить генератор с одним и тем же начальным числом, он каждый раз выдаст одну и ту же последовательность. Но графические процессоры выполняют множество операций одновременно, и от их архитектуры зависит, в каком порядке сгенерированные числа распределятся по параметрам модели. Именно здесь оборудование и оставляет свой след.
Например, при выполнении этой операции Nvidia H100 задействует 270 336 вычислительных потоков, B200 и B300 используют 303 104 потока, а GB200 и GB300 работают с 311 296 потоками. Числа генерируются по одним и тем же правилам, но распределяются по параметрам модели в разном порядке. Так еще до начала обучения в нейросети появляется характерный отпечаток оборудования.
Самое удивительное, что этот отпечаток сохраняется даже после нескольких месяцев обучения. Дело в том, что некоторые параметры модели практически не меняются. Например, те, которые отвечают за служебные символы, ни разу не встретившиеся в обучающих данных. Но даже среди параметров, значения которых многократно менялись, исследователь обнаружил следы первоначальных чисел.
Депью перебрал около 6 трлн комбинаций начальных чисел и конфигураций оборудования. Оказалось, что при создании DeepSeek-V3 и DeepSeek-V4-Flash разработчики задали генератору одно и то же начальное число (953049583), но использовали разные ускорители.
На Nvidia H100 исследователь в точности воспроизвел все 57 344 проверяемых значения весов DeepSeek-V3, а на Nvidia B300 получил полное совпадение 445 строк весов DeepSeek-V4-Flash. При смене поколения ускорителей совпадения исчезали. Тот же эффект давало изменение начального числа генератора всего на единицу.
Таким же способом Депью воспроизвел часть весов Kimi K3 на арендованном Nvidia GB200. Для проверки метода он также проанализировал 24 модели, разработчики которых раскрыли сведения об использованном оборудовании. Во всех 24 случаях результаты совпали.
По отпечаткам в весах удалось проследить и смену поколений ускорителей у китайских разработчиков. В DeepSeek-V3, выпущенной в декабре 2024 года, сохранились следы Nvidia Hopper, а в DeepSeek-V4-Flash и DeepSeek-V4-Pro, появившихся в апреле 2026 года, обнаружились уже отпечатки Blackwell. Судя по результатам исследования, Moonshot AI перешла на новое поколение ускорителей при создании Kimi K3, MiniMax при разработке M3, а Ant Group при переходе от Ling-3.0-flash к Ling-3.1-flash.
Впрочем, говорить о нарушении китайскими компаниями американских экспортных ограничений пока рано. Вычислительные мощности можно арендовать за пределами Китая. К тому же ничто не мешает сформировать начальные веса модели на одних ускорителях, а обучать ее на других. Наконец, при определенных настройках похожие отпечатки могут оставлять и ускорители AMD.
Уже на следующий день после публикации Депью исследователь Боцзе Ли представил результаты собственной проверки. Он самостоятельно реализовал методику, расширил ее и проанализировал веса 265 языковых моделей. Аппаратные отпечатки удалось обнаружить в 185 из них. В 65 случаях результаты двух исследователей совпали.
Боцзе Ли проверил и российские нейросети. В GigaChat 3.5 сохранился отпечаток Nvidia Hopper, характерный для ускорителей H100, H200 и H800. А вот в AliceAI от «Яндекса» следов графических процессоров не обнаружилось. Часть исходных весов модели удалось в точности воспроизвести на обычном центральном процессоре, задав генератору случайных чисел начальное значение 1234.
Это не значит, что «Яндекс» обучал нейросеть на CPU. Речь идет лишь о том, как были получены начальные значения весов. На каком оборудовании проходило само обучение, в данном случае выяснить не удалось.
Для России это особенно интересно на фоне поисков альтернативы Nvidia. Как рассказывал IT-World, российские компании уже испытывают ускорители AMD, Huawei, MetaX и других производителей. Но запустить готовую нейросеть на другом оборудовании гораздо проще, чем обучить на нем новую. При обучении нужно обеспечить совместимость программного обеспечения и слаженную работу сотен, а порой и тысяч ускорителей.
Поэтому наличие отпечатка Nvidia в российской модели еще ничего не говорит о том, на каком оборудовании она может работать сегодня.
Но Боцзе Ли удалось выяснить не только происхождение оборудования. Оказалось, что у 185 моделей с распознаваемыми отпечатками всего 125 вариантов исходных весов. В 16 нейросетях обнаружились следы моделей других разработчиков.
Так, RakutenAI-3.0 и Cogito-671B сохранили отпечаток DeepSeek-V3, в INTELLECT-3 обнаружились следы GLM-4.5-Air, а у Hermes-3 и Hermes-4 нашелся общий предок Llama-3.1-405B.
Это вполне обычная практика. Разработчики берут модель с открытыми весами и дообучают ее под свои задачи. Так поступают и российские компании. Например, Т-Технологии не скрывают, их T-pro-it-2.1 создана на основе китайской Qwen3-32B.
Обучать большую языковую модель с нуля дорого, да и далеко не всегда оправданно. Вопрос в другом. Если разработчик выдает дообученную модель за собственную разработку с нуля, теперь появляется возможность проверить его слова.
Над этой задачей работают уже несколько групп исследователей. В июле 2026 года авторы проекта modelDNA представили инструмент, который позволяет устанавливать родство нейросетей по небольшим фрагментам их весов. Для проверки модели с 7 млрд параметров достаточно скачать 100–300 Мбайт данных вместо 15 Гбайт. В некоторых случаях исследователям удалось даже выяснить, в каких пропорциях при создании модели смешивались веса нескольких других нейросетей.
Как выяснили авторы modelDNA, в карточках более 60% моделей на Hugging Face не указано, на основе какой нейросети они созданы. Возможно, разработчики просто не заполнили соответствующее поле, но проверить происхождение таких моделей по документации уже не получится.
Установить происхождение пока удается далеко не каждой нейросети. Одни методы требуют доступа к весам, другие позволяют лишь сравнивать модели между собой. Кроме того, разработчики могут стирать следы первоначальной инициализации. Но даже такие результаты исследований могут поставить перед поставщиками ИИ не очень удобные вопросы.
Опубликовано 15.11.2026
