Эхо-камеры: как ИИ раскалывает общество, и можно ли с этим бороться

Как выявило исследование Social Networks Analysis Center, 68% пользователей социальных сетей сталкиваются с контентом, подтверждающим их взгляды. А по данным Statista, показ персонализированного контента и ленты новостей, сформированных на основе пользовательских предпочтений, увеличивает частоту и продолжительность сессий на медиаплатформах на 35%. Но сегодня ИИ знает о наших предпочтениях чересчур много, и это приводит к неприятным и даже угрожающим эффектам. В цифровой среде гораздо легче найти сторонников общих убеждений и отсеять противников, а алгоритмы ИИ не только найдут нужную информацию, но и подкрепят ее непроверенными фактами, ложными утверждениями и фейковыми видео. Но, отдавая предпочтение информации, близкой по духу, идеологии или уровню знаний, социум сам себя загоняет в страшную ловушку «эхо-камер». И, кажется, что исхода не будет.

Виктор Достов, глава АЭД, консультант ООН и World Bank

БСЭ определяет эхо-камеру как коммуникативную ситуацию, в которой пользователи Сети предпочитают получать информацию исключительно из идеологически близких источников и распространять ее в узких кругах единомышленников. Если в реальной жизни всем нам приходится мириться с разнообразием мнений, то в интернете мы легко фильтруем окружение, а участники взаимно укрепляют убеждения друг друга, создавая замкнутый цикл одобрения. Обычная человеческая склонность — общаться с теми, кто разделяет наши взгляды, — в цифровой среде гипертрофируется.

Закон об алгоритмах: два года спустя

С октября 2023 года в России действует закон, обязывающий онлайн-сервисы раскрывать работу рекомендательных технологий. Цель — сделать их более прозрачными и снизить риски манипулятивного воздействия на пользователя.

Результаты показывают: соцсети анализируют поведение, включая лайки, подписки, историю запросов и геолокацию. Маркетплейсы идут еще дальше — в расчет берется даже глубина цветности экрана. Эти данные используются не только для сортировки товаров или видео, но и для подстройки новостной ленты, поисковой выдачи, музыкальных рекомендаций. Искусственный интеллект учится в режиме реального времени и всё точнее «угадывает», что может понравиться пользователю. Но за удобством и точностью кроется технологический и социальный парадокс. ИИ-алгоритмы имеют серьезный побочный эффект — они ограничивают кругозор. Чем больше нейросеть знает о предпочтениях пользователя, тем уже становится спектр контента, который она предлагает. Так появляются «эхо-камеры» и «информационные пузыри».

Пользователя окружает ограниченный набор информации. Это может происходить из-за личных предпочтений, круга общения или рекомендаций, основанных на искусственном интеллекте. Если он читает статьи исключительно о моде или искусстве, но не интересуется политикой, то алгоритмы будут подкидывать ему материалы о том, как, например, Сальвадор Дали сотрудничал с Эльзой Скиапарелли, а подборка новостей в ленте будет игнорировать финансовые, политические и технологические новости, все больше сужая круг рекомендованного контента.

Александр Никифоров, директор Edtech-компании «Лань»

Эффект эхо-камеры порождает ситуацию, когда человек оказывается в очень узком, однобоком инфопространстве, где чужая точка зрения либо недоступна, либо игнорируются, и есть только одно якобы «единственно правильное» мнение. Мнение, которое на самом деле сформировано ИИ, и усиливается целым «роем» сгенерированных мнений. Это очень сильно снижает критическое мышление, умение мыслить самостоятельно, обращаясь к разным первоисточникам, а ведь это — неотъемлемые качества образованного человека.

Еще в далеком 2001 году американский ученый и политический активист Касс Роберт Санстейн (Cass R. Sunstein) в своей работе «Демократия и Интернет» предупреждал, что Интернет может негативно влиять на совещательную демократию из-за фильтрации информации, сужающей кругозор пользователей и усиливающей групповую поляризацию. В качестве примера он приводит дебаты Буша и Гора во время выборов в США в 2000 году, а также импичмент Клинтона. Именно он первым ввел термин «эхо-камеры» применительно к медиа.

Дезинформация, алгоритмы и вирусные фейки

Системы рекомендаций и модерация контента не только снижают разнообразие информации, но и способствуют усилению когнитивных искажений и поляризации общества. В социальной сети X* (ранее Twitter) (*официально запрещена в РФ) или на YouTube вы легко можете попасть в замкнутый круг контента, подтверждающего только вашу позицию, от выбора ОС до политических убеждений. В итоге пользователь всё реже сталкивается с альтернативными точками зрения.

Проведенное в 2023 году исследование Science Advances (2023) показало, что алгоритм YouTube продвигал теории заговора, включая идею «плоской Земли», пользователям, проявлявшим интерес к псевдонауке. Еще раньше, в 2019 году, к таким же выводам пришли А. Лэндрам, А. Ольшанский и О. Ричардс, авторы научной статьи «Дифференциальная восприимчивость к вводящим в заблуждение аргументам о плоской Земле на YouTube». В ходе эксперимента, в котором участвовали только постоянные пользователи YouTube, ученые обнаружили, что восприимчивость людей к аргументам в пользу плоской Земли, которые продвигал YouTube, повышали низкий уровень научного интеллекта и склонность к конспирологии.

Виктор Достов, Ассоциация «Электронные деньги»

Чем опасны эхо-камеры? Несколько ключевых последствий - поляризация мнений, радикализация взглядов, эрозия критического мышления, иллюзия консенсуса, тревожность, агрессия, апатия и социальная изоляция.

ИИ способен значимо усиливать эффект эхо-камер. Боты-пропагандисты с массивами ИИ-генерированных персонажей создают иллюзию «мнения большинства», распространяя фейки или искусственно раскручивая повестку. Убедительность ИИ уже сейчас превосходит человеческую. ИИ-контент сильнее влияет на эмоции, чем тексты живых авторов. С развитием ИИ риски растут: алгоритмы уже научились эксплуатировать наши когнитивные слабости. 

Во время пандемии COVID-19 стало очевидно, что ИИ-алгоритмы могут усиливать распространение ложных данных. Эмоционально заряженные, противоречивые или сенсационные материалы получают приоритет, поскольку вызывают больше откликов — лайков, репостов, просмотров.

В июле 2024 года NewsGuard обнародовал итоги своего исследования, в котором анализировал TikTok-аккаунты, использующие сгенерированное ИИ озвучивание для массового распространения политической дезинформации. 41 TikTok-аккаунт опубликовал 9 784 таких видео. За 458 дней они набрали более 380 млн просмотров. Большинство видео содержали ложные или вводящие в заблуждение утверждения, включая теории заговора и пропаганду. Но рекомендательные алгоритмы платформы активно продвигали эти видео, несмотря на их сомнительный характер.

Этика против бизнес-логики

Где проходит грань между полезной персонализацией и вредной изоляцией? Можно ли бороться с распространением дезинформации? И как отличить фейк, созданный искусственным интеллектом, от реальности? Эти вопросы все чаще звучат в информационном пространстве.

Алгоритмическое подавление дезинформации всё чаще зависит не столько от технологий, сколько от этических и управленческих решений тех, кто контролирует цифровые пространства. Алгоритмы не понимают, что такое «истина» — они оптимизируют вовлечённость.

Илон Маск, к примеру, после покупки Twitter изменил систему верификации, позволив практически любому желающему приобрести заветную голубую галочку за деньги, в надежде, что это повысит ответственность пользователей за публикуемую информацию.

Читайте также

Новые инвесторы старой закалки: кто скупает российские ИТ-активы

Последняя крупнейшая сделка в ИТ - реструктуризация «Яндекса» - высветила набирающий силу тренд. Самые успешные и стратегически интересные ИТ-ресурсы переходят в руки предпринимателей, составивших начальные капиталы в сегментах промышленности и традиционного банкинга еще во времена перестройки. Какими будут новые правила игры – пока только догадываемся.

«В настоящее время существует большая опасность того, что социальные сети расколются на крайне правые и крайне левые эхо-камеры, которые будут порождать ещё больше ненависти и разделять наше общество», — писал Маск в 2022 году.

Однако на практике это решение вызвало неоднозначные последствия: система верификации перестала быть маркером достоверности, а фейковые аккаунты получили больше возможностей для распространения дезинформации.

Маск продолжает экспериментировать с алгоритмами рекомендаций в соцсети X* (*официально запрещена в РФ), постоянно анонсируя внедрение новых изменений. В дополнение к изменениям в системе продвижения контента, он интегрирует в платформу собственный искусственный интеллект Grok, который анализирует поведение пользователей, чтобы предлагать релевантные темы, новости и посты в режиме реального времени. Однако исследования показали, что Grok склонен поддерживать эмоционально заряженные и популярные темы, что усиливает эффект вовлечённости. А тот факт, что Grok использует данные из X* (*официально запрещена в РФ) в качестве основного источника для обучения, по мнению экспертов, может еще больше усиливать эффект эхо-камер.

Meta* (*признана экстремистской и официально запрещена в РФ) тоже проводит эксперименты с выдачей контента пользователям. С 2020 года компания сотрудничает с независимыми фактчекерами, такими как Reuters, AFP, PolitiFact. В результате страницы и аккаунты, регулярно распространяющие фейки, получают ограничение охвата.

Исследование VS эксплуатация

Поиск ИТ-решений для противодействия дезинформации невозможен без понимания принципов машинного обучения. В 2019 году DeepMind, дочерняя компания Google по искусственному интеллекту, провела моделирование пяти различных алгоритмов рекомендаций, которые в разной степени отдавали приоритет точному прогнозированию того, что именно интересует пользователя, по сравнению со случайным продвижением нового контента. Они обнаружили, что алгоритмы, которые в большей степени отдавали приоритет точности, приводили к гораздо более быстрому вырождению системы. Другими словами, лучший способ борьбы с «пузырями фильтров» или «эхо-камерами» — сделать алгоритмы более исследовательскими, показывающими пользователю то, что с меньшей вероятностью вызовет его интерес. Также может помочь расширение общего набора информации, на основе которой составляются рекомендации.

Дмитрий Визгалов, эксперт в области ИБ предприятий и защиты информации

Сегодня уже существуют инструменты, которые помогают расширить информационный кругозор пользователя. К примеру, опции настройки новостных лент, специальные функции для показа альтернативных мнений или алгоритмы, подмешивающие «разнородный» контент. Но на практике большинству пользователей либо не нужны эти модификации, либо у них нет мотивации выходить за пределы привычного «информационного пузыря». Эффективность таких инструментов пока невысока.

Исследователи уже давно осознали противоречие между точным прогнозированием и эффективным исследованием в рекомендательных системах.

Несмотря на то, что некоторые пользователи готовы мириться с более низким уровнем точности, чтобы получать разнообразные рекомендации, у создателей по-прежнему отсутствует стимул разрабатывать алгоритмы таким образом. Почему так происходит?

Во-первых, большинство платформ заточены под метрики: время, проведенное пользователем на сайте или в приложении, клики и просмотры, лайки, комменты и репосты. А исследовательский контент выводит пользователя из его привычек, он непредсказуем, рискован. Меньше точности – больше промахов. Для бизнеса это финансово невыгодно: каждая потерянная минута внимания оборачивается потерей денег.

Во-вторых, диверсификация контента сложна технически, она требует новых архитектур моделей. Это увеличивает затраты на обучение, тестирование и т.д.

В-третьих, нет особых требований государства или внешнего давления со стороны инвесторов, строгие нормы «алгоритмического регулирования» отсутствуют.

Окно в реальный пользовательский мир

В мае этого года исследователи Яндекс открыли доступ к одному из крупнейших рекомендательных датасетов — Yambda. Он содержит 4,79 млрд обезличенных пользовательских действий, собранных за 10 месяцев использования сервиса Яндекс Музыка. Эксперты считают это действительно важным событием для всей индустрии рекомендательных систем, и важным шагом в сторону большей открытости и подотчётности ИИ-систем. Ранее доступ к таким масштабным данным имели только крупные платформы — Яндекс, VK, Spotify, Netflix. Теперь же академические исследователи, независимые разработчики и студенты смогут обучать модели на настоящих, масштабных данных. Это поможет создавать новые алгоритмы, улучшать старые и тестировать идеи, которые иначе были бы невозможны, бороться с замкнутыми алгоритмическими циклами. Для других компаний это мощный стимул раскрыть метрики, делиться данными для открытой науки, тестировать «менее предвзятые» алгоритмы.

Персонализация — зло?

Несмотря на очевидные недостатки рекомендательных алгоритмов, они действительно спасают пользователей от информационной перегрузки. Без персонализации люди тонули бы в море нерелевантных данных. ИИ помогает находить то, что действительно важно. Исследование MIT Sloan Management Review (2021) показало, что персонализированные алгоритмы снижают когнитивную нагрузку, экономя, в среднем, до 13 минут на потребление контента в день благодаря отбору релевантной информации.

Существующие исследования подтверждают, что персонализированные новостные рекомендации могут эффективно повышать вовлечённость пользователей и способствовать более глубокому интересу к важным темам.

Читайте также

Как использовать ИИ для оценки резервов в розничном кредитовании?

Оценка резервов — ключевая задача в управлении банковскими рисками, от которой напрямую зависит финансовая устойчивость и надежность кредитной организации. IT-World рассказывает, как с помощью моделей на основе ИИ можно точно прогнозировать кредитные потери, рассчитывая вероятность дефолта, объем долга и долю невозвратов с учетом поведения клиентов и макроэкономических факторов.

Если алгоритмы показывают контент по интересам, люди чаще читают новости и глубже погружаются в темы. В 2023 году Meta* (*признана экстремистской и официально запрещена в РФ) провела исследование, в рамках которого пользователям Facebook* и Instagram* (принадлежат компании Meta, признана экстремистской и официально запрещена в РФ) предоставлялась возможность использовать хронологическую ленту вместо алгоритмической. Аналитики намеревались оценить влияние такого изменения на распространение дезинформации и политическую поляризацию. Результаты показали, что, хотя пользователи стали видеть больше политического и недостоверного контента, это не привело к значительным изменениям в их политических взглядах или уровне поляризации.

Никита Назаров, технический директор HFLabs

Как противодействовать эффекту эхо-камеры? Указывать источник информации. ИИ может ссылаться на конкретные источники, валидировать содержимое веб-страницы, предлагать другие ресурсы с похожими утверждениями. Оценивать достоверность. Модель может указывать, насколько представленное мнение соответствует научному или экспертному консенсусу. Предлагать альтернативные точки зрения, принудительно или по выбору. Использовать детекторы фейков, фильтровать дипфейки и поддельные аудио, чтобы они не использовались при составлении ответа. Но перспективы подхода ограничены: в будущем синтетический контент может стать неотличимым от реального.

Кроме того, есть сферы, где польза персонализации весьма заметна. Например, в образовании: адаптивные обучающие платформы (например, Duolingo, Khan Academy) с помощью ИИ подстраивают сложность материала под уровень ученика, что делает обучение эффективнее. Duolingo использует ИИ-модель Birdbrain, которая отслеживает ошибки и поведение пользователя, чтобы адаптировать упражнения и повысить эффективность обучения.

В сфере медицины персонализированные медицинские рекомендации спасают жизни: алгоритмы анализируют историю болезней и предлагают индивидуальные методы профилактики.

В поисках баланса

Исследования алгоритмов рекомендательных систем не должны ограничиваться симуляциями или офлайн-анализом данных. Человеческое поведение отличается высокой степенью сложности и контекстной чувствительности. С одной стороны, существует эмпирическая база, подтверждающая ценность разнообразия в рекомендациях. С другой — чрезмерное отклонение от ожидаемого или релевантного контента может восприниматься пользователями как потеря доверия к системе, что, в конечном итоге, ведёт к снижению их вовлеченности и отказу от использования платформы.

Александр Никифоров, «Лань»

Минимизировать эффект эхо-камеры можно, обучая пользователей, как отличать фейки, почему важно пользоваться альтернативными источниками информации. Вероятно, эффективным будет комбинирование разных подходов: развитие технических решений и обучающих программ по критическому потреблению контента. Но даже лучшие инструменты не сработают, если пользователь сам хочет оставаться в эхо-камере.

Такие решения, как предоставление пользователям большего контроля над их лентами или изменение алгоритмов платформы для намеренного включения контента с различными точками зрения, дадут пользователям возможность изучать более широкий спектр тем и точек зрения.

Виктор Достов, Ассоциация «Электронные деньги»

Можно ли снизить влияние эхо-камер? Теоретически – да, если сознательно искать альтернативные точки зрения; подвергать сомнению даже «удобные» утверждения; вести диалог с оппонентами; периодический отдыхать от соцсетей. На практике все сложнее. Все эти методы требуют усилий, а современный человек удобство часто предпочитает истине. Единственное эффективное сегодня решение — маркировка ИИ-контента. Но её внедрение идет пока очень медленно.

Будущее рекомендательных систем может пойти по двум сценариям: либо они станут более замкнутыми и манипулятивными, либо, напротив, начнут развиваться в сторону большей открытости, разнообразия и подотчётности. Чтобы реализовать второй путь, необходима совместная работа исследователей, разработчиков, платформ, пользователей и регуляторов. Публикация крупных датасетов, этичные экспериментальные алгоритмы и осознанное отношение к архитектуре ИИ — шаги в верном направлении. Рекомендательные системы могут быть не только удобным интерфейсом для потребления, но и инструментом расширения кругозора — если их проектировать с учётом этого. Вопрос не в том, стоит ли их использовать, а в том, какими мы хотим их видеть.