Как предсказывать результат работы LLM

В целом на текущий момент можно сказать, что LLM — это все же не черный ящик, а система, чья внутренняя логика частично доступна, но еще не сведена к понятным нам принципам. Уже сегодня возможно локально объяснить отдельные ответы LLM-системы и в известной мере реконструировать внутренние ее механизмы. Однако пока нельзя полностью предсказать поведение модели и гарантированно объяснить ее любой конкретный ответ. Это предмет проводимых в настоящее время исследований в части машинного обучения. Вот на таких моментах и хотелось бы остановиться подробнее.

Почему сложно сделать принимаемые LLM-системой решения прозрачными? Есть трудности как чисто технические, так и методические. Во-первых, распределенность модели — содержащиеся в ней знания не хранятся в одном месте: они буквально «размазаны» по миллионам параметров; во-вторых, один узел (нейрон) модели может одновременно кодировать несколько пересекающихся признаков. Это свойство называется суперпозицией, и оно сильно затрудняет понимание модели, потому что при активации данного нейрона нельзя однозначно расшифровать причину активации, с другой стороны — суперпозиция позволяет модели быть компактной и обладает другими полезными свойствами. Считается, что полностью «распутать» суперпозицию в общем случае нельзя. Это глубокое ограничение LLM, связанное с их внутренним устройством. Очень похоже, что суперпозиция свойственна и биологическим нейронам. Наконец, в-третьих, модель не «запрограммирована», а сформировалась через оптимизацию, то есть была обучена без явных правил.

Для достижения интерпретируемости исследователю известны веса связей между нейронами, активации нейронов и структура модели. Причем сама интерпретация таких весов крайне сложна, поскольку отдельный вес — это просто число. Его смысл возникает только в контексте всей сети, один и тот же вес может участвовать в десятках разных вычислений — другими словами, семантика распределена, а не локализована. Есть еще множество иных важных факторов, отмечу только, что у LLM миллиарды параметров, тысячи направлений в каждом слое и экспоненциальное число взаимодействий, что создает практическую неразрешимость полного анализа модели. Поэтому с наивной мечтой об интерпретируемости (когда мы откроем модель и увидим там понятный код, правила и явные символы) придется расстаться, но сейчас основные направления исследований в части понимания моделей движутся в другую сторону — от «понимания всего» к контролю и картированию.

Уже достигнута локальная механистическая интерпретация, которая позволяет прослеживать цепочки вычислений в отдельных случаях.

Другой метод называется «Карта признаков» — когда исследователь может утверждать «в этом подпространстве кодируется признак X», то есть локализуется не отдельный нейрон, а их совокупность.

Очень значимым направлением является «интервенционная интерпретируемость», которая заключается в реализации методологии «если я изменю это — изменится ли поведение модели»? Работа на этом уровне позволяет редактировать знания, в том числе подавлять в модели нежелательные паттерны.

Развиваются также методы борьбы с суперпозицией. Это отдельная большая тема, но в итоге она сводится к тому, что специальными средствами слой модели (слой в LLM — это один шаг преобразования представления текста) раскладывается на разреженные признаки.

Все перечисленные методы относятся к практической интерпретируемости, которая в принципе достижима и уже активно развивается.