Процессоры стали слишком быстрыми
NVIDIA пришлось почти втрое увеличить пропускную способность памяти нового Rubin. У Blackwell она составляла 8 ТБ/с, у Rubin уже достигает 22 ТБ/с. И дело тут совсем не в том, что инженерам захотелось поставить очередной рекорд. При генерации текста современный GPU уже способен выполнять математические операции быстрее, чем память успевает снабжать его нужными данными.
Для каждого нового токена языковой модели приходится снова обращаться к ее весам и KV-кэшу. NVIDIA считает, что стадия decode у больших моделей ограничена именно подсистемой памяти. Что-то, конечно, можно исправить программно, лучше использовать кэш, удачнее размещать данные и сокращать лишние обращения. Но от физики никуда не денешься. Если данные не успели, вычислительным блокам просто нечего считать. Поэтому Rubin получил до 288 ГБ HBM4, а пропускную способность памяти подняли до тех самых 22 ТБ/с, почти втрое выше, чем у Blackwell.
Decode — этап работы языковой модели, на котором она генерирует ответ токен за токеном. Для каждого следующего токена модели снова нужны ее веса и уже накопленный KV-кэш. Поэтому скорость здесь часто ограничивает не число вычислительных блоков, а пропускная способность памяти.
Еще недавно главным ограничением была скорость самих вычислений, поэтому процессоры раз за разом получали больше транзисторов и становились быстрее. Теперь транзисторов у того же Rubin сотни миллиардов, а инженерам приходится думать еще и о том, как загрузить всю эту вычислительную мощь.
Сами транзисторы при этом никуда не делись, и их плотность продолжает расти. В конце 2025 года TSMC запустила массовое производство N2, в 2026 году готовит N2P и A16, а следом должен появиться A14. Новые техпроцессы позволяют уместить еще больше транзисторов, повысить производительность и снизить энергопотребление. Меняется и сама конструкция транзисторов, развивается трехмерная интеграция. Так что рост плотности транзисторов не закончился. Но одного наращивания вычислительной мощности уже недостаточно, чтобы такими же темпами росла производительность всего компьютера.
Частоту больше не разогнать
В 1974 году Роберт Деннард и его коллеги из IBM описали закономерность, которую позже назовут Dennard scaling. При уменьшении транзисторов можно было снижать и напряжение. В результате на той же площади помещалось больше транзисторов и переключались они быстрее, а плотность потребляемой мощности при этом не должна была расти.
Уменьшение размера транзисторов давало сразу несколько бонусов. Их становилось больше, каждый потреблял меньше энергии, а процессор можно было заставить работать на более высокой частоте. Сам по себе «закон Мура» об этом даже не догадывался. Он лишь описывал рост числа транзисторов на кристалле. Но оказалось, что можно не только увеличивать их количество, но и заставлять каждый работать быстрее.
Так, первый Intel Pentium в 1993 году работал на частоте 60–66 МГц. К концу десятилетия Pentium III приблизился к 1 ГГц, а Pentium 4 через несколько лет перешагнул 3 ГГц. Если бы этот темп удалось сохранить, сегодня счет вполне мог бы идти на десятки гигагерц. Увы, не удалось.
Транзисторы продолжали уменьшаться, а вот напряжение перестало снижаться прежними темпами. Увеличивались токи утечки и тепловыделение. Поднимать частоту дальше становилось все сложнее. Процессор потреблял больше энергии, сильнее грелся, а выигрыш уже не оправдывал эту цену. И вот уже два десятилетия частоты обычных процессоров измеряются все теми же единицами гигагерц, оставаясь примерно в одном диапазоне.
В 1993 году Pentium работал на 60 МГц. Спустя тридцать с лишним лет частоты процессоров выросли примерно на два порядка, а число транзисторов — на пять. Продолжать ускорять компьютеры пришлось уже другими способами.
Но транзисторов становилось больше, и эту возможность тоже хотелось использовать. Раз разогнать одно ядро уже не получалось, то можно на кристалле попробовать уместить несколько ядер и заставить их работать параллельно. Но и тут есть ограничения. Бесконечно повышать производительность таким способом тоже не получится. Не все вычисления можно выполнять параллельно. Если какая-то их часть должна идти последовательно, хоть сотня свободных ядер рядом ей не поможет.
Но есть задачи, которые действительно можно разбить на огромное количество операций и выполнять их одновременно. Например, при рендеринге изображения похожие вычисления выполняются сразу над множеством пикселей и вершин. Несколько сложных универсальных ядер здесь не особенно нужны. Гораздо эффективнее разместить на кристалле множество более простых вычислительных блоков и загрузить их однотипной работой. По этому принципу и развивались GPU. А позже выяснилось, что нейросетям нужно примерно то же самое.
Значительная часть работы нейросетей сводится к огромному количеству операций над матрицами, которые можно выполнять параллельно. Поэтому GPU как нельзя лучше подошли для такой работы. Позже NVIDIA добавила в GPU еще и Tensor Cores, уже специально заточенные под матричные вычисления.
И это действительно сработало. Современный AI-ускоритель выполняет такое количество операций в секунду, для которого еще недавно потребовался бы огромный суперкомпьютер. Вот только всю эту вычислительную мощность нужно обеспечить работой, питанием и охлаждением. Данные должны вовремя попадать в вычислительные блоки, результаты передаваться дальше, а выделяемое тепло куда-то отводиться.
Почему классическое масштабирование замедлилось, IT-World подробно разбирал отдельно. Там мы рассказывали про FinFET, GAA, пределы кремния, новые материалы и другие способы продолжить уменьшение транзисторов. Теперь проблемы все чаще возникают уже вокруг самих вычислителей. IRDS
отмечает рост сопротивления все более тонких соединений, сложности с питанием и отводом тепла. Миллиарды транзисторов мало разместить на кристалле. Их нужно соединить, снабдить данными и охладить. Поэтому память все больше придвигают к процессору и ставят слоями, процессоры собирают из нескольких кристаллов, а сами кристаллы размещают друг над другом.
Одного кристалла уже недостаточно
Rubin с его 22 ТБ/с наглядно демонстрирует, насколько важным стало расстояние до памяти. HBM для этого и ставят рядом с GPU. Несколько кристаллов DRAM укладывают друг на друга, соединяют вертикальными контактами TSV, а вместо сравнительно узкого интерфейса обычной памяти получают тысячи линий передачи данных. Отсюда и огромная пропускная способность.
Но одной памяти проблема не ограничивается. Растет и сам процессор. Чем больше в нем вычислительных блоков, кэша и других элементов, тем больше требуется кремния. Увеличивать размер кристалла бесконечно тоже не получится. Процессоры изготавливают десятками и сотнями на кремниевой пластине, а дефекты при производстве неизбежны. Чем больше площадь отдельного кристалла, тем выше вероятность, что в его границы попадет хотя бы один дефект, способный вывести часть схемы из строя. В результате из одной пластины получается меньше годных процессоров, а каждый из них обходится дороже.
К тому же не всем частям процессора нужен самый передовой техпроцесс. Для вычислительных блоков уменьшение транзисторов дает заметный выигрыш в плотности, производительности и энергопотреблении. А контроллеры и интерфейсы ввода-вывода вполне можно выпускать по более зрелым нормам. Делать весь огромный процессор на самом дорогом техпроцессе просто расточительно.
Поэтому один большой кристалл все чаще заменяют несколькими чиплетами, отдельными кристаллами, из которых затем собирают процессор. Их проще производить, а разные части процессора можно выпускать на разных техпроцессах. AMD давно использует такой подход в CPU. В NVIDIA Blackwell два вычислительных кристалла объединены в один GPU и связаны интерфейсом с пропускной способностью 10 ТБ/с.
Но, решив одну проблему и разрезав процессор на части, инженеры получили новую. Теперь эти части нужно связать с высокой пропускной способностью и минимальными задержками, иначе значительная часть выигрыша потеряется при обмене данными. Обычной печатной платы для этого уже недостаточно. Кристаллы размещают на общей кремниевой подложке с гораздо более плотными соединениями. Так устроена 2.5D-интеграция, которую используют в том числе современные ускорители с HBM.
Один из вариантов этой технологии у TSMC называется CoWoS-S. Вычислительные кристаллы и несколько стеков HBM размещают на интерпозере, тонкой кремниевой пластине с очень плотной сетью проводников. Благодаря ей между процессором и памятью можно проложить тысячи коротких соединений. То, что раньше приходилось связывать через печатную плату, теперь находится непосредственно рядом внутри одного корпуса.
Но кристаллы можно размещать не только рядом, но и друг над другом. Вертикальная сборка позволяет еще сильнее сократить расстояния между ними и разместить гораздо больше соединений на той же площади. Правда, вместе с плотностью растут проблемы с питанием и охлаждением. Отводить тепло из многослойной конструкции заметно сложнее, чем с поверхности обычного кристалла.
TSMC уже объединяет оба подхода. Технология SoIC позволяет соединять кристаллы по вертикали, а CoWoS размещать получившиеся сборки рядом с HBM. В результате внутри одного корпуса могут оказаться несколько вычислительных кристаллов, память и другие компоненты, соединенные почти как части одного процессора.
До сих пор мы исходили из того, что слишком большой кристалл достаточно разделить на части, а затем обеспечить быстрый обмен данными между ними. Cerebras пошла ровно в противоположную сторону. Если разрезание кремния создает столько сложностей, почему бы вообще его не резать?
Ее процессор Wafer Scale Engine занимает почти всю кремниевую пластину площадью 46 225 мм². Последняя версия WSE-3 Turbo содержит 4 трлн транзисторов, 900 тысяч AI-ядер и 44 ГБ встроенной SRAM с пропускной способностью 43,2 ПБ/с.
Обычный процессор вырезают из кремниевой пластины. Cerebras превратила в процессор почти всю пластину целиком. Его площадь 46 225 мм². На одной такой пластине обычным способом разместились бы десятки крупных процессорных кристаллов.
При обычном производстве такой подход гарантировал бы огромный процент брака. На пластине такого размера крайне трудно избежать дефектов, поэтому рассчитывать, что все четыре триллиона транзисторов окажутся исправными, не приходится. Но Cerebras и не пытается. В WSE заранее предусмотрены резервные ядра и дополнительные линии связи. Дефектные участки просто отключаются, а данные направляются в обход них.
В итоге уже сейчас есть два противоположных подхода. Обычный большой процессор дробят на чиплеты, чтобы его было проще производить и масштабировать, а Cerebras оставляет пластину целиком и учится обходить дефекты. Но в обоих случаях инженеры стараются собрать как можно больше вычислений и памяти в одну тесно связанную систему и сократить затраты на обмен данными.
Крупнейшие современные модели при этом давно не помещаются в память одного ускорителя. Их приходится распределять между несколькими GPU, а для обучения и массового инференса объединять уже десятки, сотни и тысячи ускорителей. Данные снова нужно передавать, только теперь на гораздо большие расстояния. И здесь уже начинает мешать сама физика электрических соединений.
Электронам становится тесно
В обзоре Nature Electronics,
опубликованном в августе 2026 года, электрические соединения называют серьезным ограничением для дальнейшего масштабирования вычислительных систем. Один из способов обойти его инженерам уже известен. Передавать данные не электрическим сигналом, а светом.
Оптоволокно давно заменило медь на линиях в сотни и тысячи километров, а затем стало активно применяться и в дата-центрах. Но между сетевым чипом и оптическим трансивером сигнал по-прежнему проходит по медным дорожкам. С ростом скорости слишком дорогими по энергозатратам становятся уже эти несколько сантиметров.
Поэтому оптоволокно придвигают еще ближе к чипу. В co-packaged optics, или CPO, преобразователь электрического сигнала в свет размещают с ним в одной сборке. По медным дорожкам данным остается пройти совсем немного, дальше они уходят по волокну.
Co-packaged optics, CPO — способ разместить оптические компоненты непосредственно рядом с сетевым чипом в одной сборке. Электрическому сигналу приходится пройти лишь короткий участок, после чего данные передаются светом по оптоволокну.
NVIDIA уже использует CPO в Spectrum-X и Quantum-X Photonics. Для Spectrum-X Photonics компания заявляет примерно пятикратное снижение энергозатрат на передачу данных по сравнению с традиционной схемой с подключаемыми оптическими модулями.
Lightmatter подвигает свет еще ближе к вычислителям. Ее Passage уже не просто подводит оптоволокно к чипу, а использует фотонный интерпозер для связи чиплетов внутри одной сборки. У Passage M1000 пропускная способность достигает 114 Тбит/с.
IT-World уже подробно рассказывал, как устроены фотонные процессоры. Свет ведь можно использовать не только для передачи данных, но и для самих вычислений. Информацию кодируют в световом сигнале, а нужные математические операции выполняет сама оптическая схема за счет интерференции и других физических свойств света.
В марте 2026 года исследователи Nokia Bell Labs представили в Nature фотонную нейросеть, которую удалось разместить на одном чипе и, что важнее, обучать прямо на нем. Чип выполнял и линейные, и нелинейные операции, а обратное распространение ошибки с градиентным спуском тоже выполнялось на чипе. На двух задачах классификации такая система показала точность выше 90%, сопоставимую с цифровой реализацией.
Но до замены GPU еще далеко. Свет сначала нужно получить, данные перевести из электрического сигнала в оптический, а результат затем вернуть обратно. Для этого нужны лазеры, модуляторы, фотодетекторы и управляющая электроника. Все это занимает место и расходует энергию.
Именно об этом в июне 2026 года писали в Nature Photonics. Рекорды фотонных ускорителей стоит оценивать осторожно. Считать нужно всю систему вместе с памятью, преобразованием сигналов и управляющей электроникой. Быстрая и экономичная оптическая схема еще не делает таким весь компьютер.
Поэтому сначала фотоника, скорее всего, будет брать на себя передачу данных, постепенно подбираясь все ближе к процессорам. До полноценных вычислений светом еще далеко, но отдельные операции уже можно поручить самой физике оптической системы. И свет для этого вовсе не единственный вариант.
Память тоже может считать
В обычном компьютере память хранит данные, а процессор считает. Поэтому данные приходится постоянно гонять туда и обратно. Процессор забирает их из памяти, выполняет операцию, записывает результат и берет следующую порцию. Для нейросетей, где таких операций миллиарды, это превращается в огромный поток данных между памятью и вычислительными блоками.
А что, если их вообще никуда не таскать? Вычисления можно попробовать выполнять прямо там, где хранятся данные. Такой подход называют compute-in-memory, или CIM. Особенно хорошо эта идея работает с аналоговой памятью. В обычной цифровой ячейке важны два состояния, ноль и единица. А, например, ячейка PCM на материале с фазовым переходом может иметь разные уровни сопротивления. В них можно хранить веса нейросети и тут же использовать их для вычислений.
PCM, phase-change memory хранит данные с помощью состояния материала, способного переходить между более и менее проводящими фазами. Причем возможны не только два состояния. Разные уровни проводимости позволяют хранить аналоговые значения и использовать саму ячейку памяти в вычислениях.
Дальше подключается сама физика. На массив ячеек подают напряжение. Через каждую проходит ток, величина которого зависит от записанного значения, а затем эти токи складываются. Получается, что множество умножений и сложений происходят одновременно прямо внутри памяти. А это как раз те операции, которыми нейросети заняты большую часть времени.
Главный выигрыш в том, что данные почти не приходится перемещать. Веса модели не нужно постоянно гонять из памяти в вычислительные блоки и обратно. Вспомним хотя бы Rubin, с которого мы начали. Даже ему понадобились 22 ТБ/с пропускной способности памяти, чтобы вычислительные блоки не простаивали в ожидании данных.
В 2025 году IBM удалось запустить на аналоговой PCM-системе языковую модель ALBERT. Все 12 слоев и 7,1 млн уникальных весов разместили в 28,3 млн PCM-устройств, а по результатам семи тестов средняя точность аппаратной реализации оказалась всего на 1,8% ниже цифровой версии.
Но реальные ячейки немного отличаются друг от друга, шумят, зависят от температуры, а записанные значения со временем «уплывают». В том же эксперименте IBM за 30 дней проводимость PCM-ячеек изменилась примерно на 5%. Такие изменения можно компенсировать калибровкой, но полностью избавиться от них нельзя.
К тому же цифровые данные сначала нужно превратить в аналоговый сигнал, а результат затем вернуть обратно. Для этого нужны ЦАП и АЦП, которые тоже занимают место и расходуют энергию. Как и с фотоникой, выигрыш самого вычислителя еще не означает выигрыша всей системы.
Для нейросетей небольшая погрешность не всегда критична. Если ею можно пожертвовать ради того, чтобы гораздо меньше гонять данные и тратить энергию, такой обмен вполне может оказаться выгодным.
Менять приходится уже не только устройство процессора, но и сам подход к вычислениям. Транзисторы никуда не исчезают, просто теперь вовсе не обязательно все вычисления завязывать только на них. Ни фотоника, ни аналоговая память пока не заменят CPU или GPU целиком. Но каждая из этих технологий может взять на себя те операции, которые умеет выполнять лучше и дешевле.
Наследника не будет
Похоже, единого наследника GPU вообще не будет. Да и зачем искать еще один процессор, который должен уметь все? Вычисления можно распределить между разными типами чипов, оставив каждому то, что у него получается лучше.
Vera Rubin NVL72 у NVIDIA уже устроена именно так. Компания называет ее rack-scale system и фактически считает компьютером целую стойку. Внутри 72 GPU Rubin, 36 CPU Vera, сетевые адаптеры ConnectX-9 SuperNIC, процессоры BlueField-4 DPU и коммутаторы NVLink. Вычисления, управление, обмен данными и инфраструктурные задачи здесь распределены между разными специализированными чипами.
Но собрать в одной стойке десятки разных процессоров мало. Нужно еще решить, какую работу кому отдать, где держать данные и когда их перемещать. Этим уже занимается программный слой. Без него выигрыш от специализированного железа легко потерять на обмене данными и простоях.
В этом смысле CUDA для NVIDIA не менее важна, чем сами GPU. Она позволила разработчику программировать GPU, не управляя вручную каждым вычислительным блоком внутри ускорителя. Теперь похожую задачу придется решать уже на уровне всей системы. Программный слой должен распределять работу между CPU, GPU и специализированными ускорителями так, чтобы разработчику не приходилось вручную управлять каждым из них.
CPU не исчез с появлением GPU, а GPU вряд ли исчезнет из-за фотонных или аналоговых ускорителей. Просто задачи, которые раньше выполнял один тип процессоров, будут распределяться между разными вычислителями. Так что после GPU нас, скорее всего, ждет компьютер, в котором больше не будет главного процессора.
Опубликовано 30.08.2026
