Умножая знания, умножаем скорбь?

Эта проблема была зафиксирована сразу несколькими исследовательскими группами из ведущих мировых университетов ( группа Стендфордского университета и Университета Райса, группа Кембриджского и Оксфордского университетов, а также группа из Университета Харбина), которые проанализировали работу нескольких больших языковых моделей (LLM) — Chat GPT 2-3-4, Gemimi и Midjourney, и выявили, что когда системы искусственного интеллекта обучаются на синтетическом, машинном материале, а не на текстах и изображениях из реальных источников, то качество и разнообразие контента, сгенерированного этими моделями, резко снижается по мере увеличения числа циклов обучения. У сгенерированных изображений начинали появляться артефакты (шрамы, напоминающие сетку), лица все больше походили друг на друга, а имитация рукописных цифр становилась все более неразборчивой.

Даже если модели обучались на реальном материале, но без добавления новых данных, качество генерации все равно снижалось, просто медленнее. Аналогичные результаты были получены и при генерации текстов, причем качество текста не просто ухудшалось, а ИИ «придумывал» убедительные на вид, но вымышленные или недостоверные факты и ссылался на несуществующие источники для их подтверждения. Самый известный прецедент — генерация Chat GPT несуществующих судебных решений с правдоподобными ссылками на несуществующие юридические базы при запросе судебных прецедентов или информация о том, что Томас Эдисон изобрел телефон и телеграф.

Даже в моей практике обучения по курсу нейросетей или реализации проектов, уже сейчас в рамках лабораторных работ (то есть по определению решения не самых сложных задач), очень четко видно, насколько качество обработки зависит от того, сгененирован датасет искусственно или это реальный датасет. Причем более «старые» датасеты (созданные примерно до 2014 года) отрабатывают намного лучше, чем новые.

Кратко остановлюсь на причинах галлюцинаций, а также успокою тех, кто боится, что ИИ обретет разум и начнет нас побеждать.

Во-первых, это сама природа нейросетей и машинного обучения, в которой лежит статистика и алгоритмы обработки статистической информации, ее частотности, вероятностный анализ и вариация. То есть алгоритмы заточены не на поиск правильного ответа, а на поиск наиболее статистически вероятного. Еще точнее — в алгоритмах заложено, что наиболее частый ответ и есть наиболее верный. По сути, LLM-модель угадывает наиболее вероятную (частую) последовательность слов, ассоциированных с предыдущим словом или их последовательностью. Соответственно, если задается вопрос, для ответа на который требуется доступ к базам с ограниченной информацией (например, специфическим медицинским журналам, закрытым судебным базам данных или информации, защищенной авторскими правами), то частотность и встречаемость этой информации достаточно низка и алгоритмы оценивают ее значимость как низкую.

Во-вторых, связанное с первым — низкое качество данных, на которых учится ИИ. Для обучения нам требуются петабайты информации, которую надо откуда-то добыть. Раз базы с ограниченной информацией закрыты, то, скажем, есть огромный источник данных в виде форумов, публикаций блогов, тредов в разных социальных сетях. Открытая информация бесплатная, и ее очень много. Нейросети дуреют от этой «прикормки»… Именно так. Дуреют. Любая растиражированная недостоверная информация либо (что еще чаще встречается) любая часто повторяющаяся комбинация языковых последовательностей становится отличным способом сгенерировать недостоверную, но очень «гладко» читаемую информацию. Дополнительная проблема состоит в том, что информация получается на определенную дату и скармливается нейросети. То есть нейросеть может обучаться только на информации на определенную дату загрузки. И если после этой даты информация была опровергнута и обновлена, то в памяти нейросети более старая информация все равно считается более значимой и валидной. Ничего не поделаешь, если кто-то когда-то пошутил и эта шутка хорошо разлетелась — высока вероятность того, что нейросеть эту шутку растиражирует как истинное утверждение. Вспомним знаменитую «шутку» одной из GPT-моделей про то, что лучший способ удержать сыр на пицце — приклеить его клеем. О ней так много говорили, как о признаке того, что ИИ научился самостоятельно шутить, а оказалось, что это просто старая-старая шутка (еще из начала 2000-х) из треда на Reddit, которая была заплюсована и залайкана, за счет чего и получила высокую оценку валидности. И это нас приводит к третьему пункту.

В-третьих, человеческий фактор. LLM же не просто так расставляет веса, определяет значимость тех или иных параметров. Даже если они вычисляются (например, с помощью алгоритма Softmax, применяемого практически по всех языковых и генеративных моделях), то все равно в нем задается определенная приоритизация, и задается она человеком (так называемая проблема бутылочного горлышка, Softmax). И вот при задании приоритетов человек не может учесть все вариации и комбинации данных, что и приводит нас к «казусу пиццы с клеем», описанному выше — просто приоритеты задавались информации, имеющей более старую дату и высокий индекс соотношения положительных и отрицательных оценок.

То есть фактически искусственный интеллект органичен до сих пор интеллектом натуральным, причем ограничение идет по НИЖНЕЙ границе интеллекта человека. Хорошая новость — искусственный интеллект не может нас убить за счет своего интеллектуального преимущества. Плохая новость — он может нас убить за счет использования наших интеллектуальных недостатков и лени.

Дело не в самом ИИ, а в том, что он стал массово доступен, а также в том, что результаты его генерации снова вбрасываются в Интернет — другими словами, происходит та самая аутофагия, только с еще усиливающейся обратной связью. Школьники, студенты и просто ленивые люди пишут с помощью ИИ тексты, которые базируются на недостоверных источниках, получают комбинацию еще более недостоверных данных, которая публикуется и становится базой для еще более недостоверных текстов. Как тут не вспомнить теорию «мертвого Интернета», приверженцы которой считают, что уже давно все тексты, опубликованные в Мировой сети, сформированы моделями. Это, конечно, не так, но количество текстов, изображений, видео, сгенерированных различными моделями и размещаемых в Сети, возрастает по экспоненте начиная с 2023 года и, по разным оценкам, уже сейчас до 30% публикаций на популярных площадках (а именно они поставляют основной «корм» для обучения языковых моделей) состоит из сгенерированных текстов. А если туда добавить дипломы, диссертации и даже отдельные научные исследования, написанные с помощью нейросетей, — то есть те материалы, которые по умолчанию имеют высокие параметры значимости и которые по правилам многих университетов в обязательном порядке загружаются в Сеть? Так что мода на «интеллектуальных помощников» при медицинских, финансовых и прочих значимых системах набирает обороты, и мы получаем вполне реальный риск того, что рано или поздно какая-то ошибка или неверная (но часто встречающаяся) последовательность слов «выскочит» как рекомендация в значимом вопросе, значительно вырастает и будет расти по мере распространения и доступности различных ИИ для населения. И эта проблема окажется уже намного серьезнее многократно высмеянной проблемы пальцев на руках у сгенерированных изображений или вопроса, кто изобрел телефон.

И все же паниковать еще (пока) рановато. Проблема известна, и определенные шаги уже предприняты: Google совместно с Open AI работают в правовом поле над тем, чтобы обойти защиту авторских прав и получить доступ к более валидным источникам информации, а в техническом — над тем, чтобы внедрять специальные метки (вотермарки), чтобы алгоритмы сразу отличали сгенерированный текст от созданного человеком и снижали параметры его валидности. С технической точки зрения также идет работа над улучшением качества релевантности информации, наиболее частой и перспективной в данном случае выступает технология RAG (retrieval-augmented generation) — генерация, дополненная релевантной для пользователя информацией. В данном случае модель базируется не на показателях частотности, а на параметрах релевантности информации, основанной на принципе важности смысла текста, а не точности совпадения слов и использующей векторы контекстов, а не параметры важности, добавляя в LLM также внешние данные. В частности, технологии RAG уже внедрены в поисковые системы новых поколений, например в Perplexity.ai, а также в образовательные платформы. Не стоит ожидать, что RAG окажется волшебной таблеткой, которая поможет «вылечить» галлюцинации LLM, поскольку она все еще несет в себе высокий риск влияния человеческого фактора, но результаты ее внедрения, особенно на верифицированных данных, показывают сильное снижение случаев MAD. И борьба с галлюцинациями в первую очередь лежит в области человеческого интеллекта — отказа от простых бесплатных и очевидных способов обучения и перехода к более вдумчивому выбору данных и их разметки. А пока количество неверифицированного контента для обучения растет значительно быстрее, чем появляются технологии, позволяющие ограничить его влияние, и, умножая знания, мы умножаем скорбь.