УправлениеБезопасность

Искусственный интеллект: возможности и угрозы

Антон Фишман | 01.06.2021

Искусственный интеллект: возможности и угрозы

Чем более серьезная система защиты требуется организации, тем выше актуальность применения технологий ИИ для этой организации.

Определение понятия

Первое определение термина «машинное обучение», а это одно из ключевых направлений в применении искусственного интеллекта (ИИ), дал Артур Сэмюэл в 1959 году. Его по праву называют пионером в области машинного обучения, которое он описал, как способность компьютера учиться без участия человека. На самом деле все, конечно, сложнее. Особенно теперь, по прошествии десятилетий, за которые ИИ сделал гигантский скачок в развитии. Индустрия высоких технологий предлагает сегодня широкий набор систем, построенных с использованием технологий ИИ. Хотя единого четкого определения ИИ нет, сейчас эти системы глобально подразделяются на два типа: первый – системы, принимающие решения; второй – системы поддержки принятия решений. Разумеется, к классу ИИ следует отнести и системы, обрабатывающие большие данные, анализ которых позволяет выявлять определенные закономерности или аномалии.

Однако ИИ – это, прежде всего, технологии. Именно технологии, применяемые для разработки систем и продуктов. К таким технологиям относится и машинное обучение, и компьютерное зрение, а также когнитивистика, NLP (Natural Language Processing), глубокое обучение и другие. Кроме того, в класс ИИ входит очень много подтехнологий. ИИ можно представить как большое дерево, у которого есть крупные ветви (ключевые технологии), и на каждой из них с годами выросло множество других ветвей. Например, в машинное обучение входит анализ дерева решений, кластеризация, нейросети, байесовы сети и прочее. И все эти технологии по-своему применяются во множестве областей, продукты разного назначения задействуют технологии ИИ, чтобы работать более эффективно.

Мы, как разработчик систем класса SIEM, используем технологии ИИ, чтобы улучшить свои продукты – повысить качество выявления новых угроз, обеспечить нормализацию событий, организовать подключение новых источников. Точно так же в другие продукты, например системы поведенческого анализа User and Entity Behavioral Analytics (UBA/EBA), системы защиты конечных точек от сложных угроз Endpoint Detection and Response (EDR) и другие средства защиты информации (СЗИ), встраиваются технологии ИИ. Это позволяет повысить эффективность данных продуктов и систем.

ИИ в ИБ

В сфере информационной безопасности применение ИИ начиналось с достаточно простых вещей (в начале 2000-х) – с построения систем, облегчающих работу специалистов определенного профиля, в частности вирусных аналитиков. К этому моменту число образцов вредоносных файлов стало настолько велико, что ручным или простым автоматизированным анализом уже было не обойтись. Это были системы, выявляющие паттерны (похожести) во вредоносном коде и позволяющие проводить хотя бы минимальную атрибуцию. То есть они предоставляли определенную информацию реверс-специалистам и вирусным аналитикам, которая позволяла то или иное вредоносное ПО отнести к определенной группе или классу. По сути, это была работа с кластеризацией и большими данными.

Сейчас сфера применения ИИ в ИБ значительно шире. Есть глобальные компании, анализирующие в Сети колоссальный объем информации, которая может указать на новые угрозы или, например, предсказать атаки нулевого дня. У этих компаний есть системы, которые собирают массивы данных, анализируют их с помощью технологии класса ИИ, выявляют закономерности, проводят кластеризацию данных и прогнозируют угрозы. Без этих технологий обрабатывать подобный объем информации практически невозможно. Здесь, конечно, очень широко используются и нейронные сети, и кластеризация. ИИ также активно применяется в отслеживании угроз (Threat Intelligence), где с его помощью на основе информации, собранной из открытых и закрытых источников, прогнозируются угрозы ИБ. Таким образом, масштаб задач и объем применения ИИ в сфере информационной безопасности очень вырос за последние два десятка лет. Искусственный интеллект – это уже не какая-то магия, а эффективный помощник в защите от киберугроз.

Нельзя сказать, что в каких-то отраслях искусственный интеллект нужен, а в каких-то нет. Повсюду, где необходима безопасность (а она требуется везде), использование ИИ дает преимущества при решении соответствующих задач. Начнем с того, что в защите финансовой отрасли ИИ распространен очень широко и доказал свою эффективность. Например, для борьбы с мошенничеством, где необходим анализ транзакций и действий пользователей, выявление нелегитимных операций и аномальных действий. Однако в принципе системы безопасности используются во всех отраслях, и такие системы намного более эффективны, если они задействуют технологии ИИ.

Зависит ли это от размеров бизнеса? Пожалуй, нет. Ведь выявление аномалий актуально и для крупного, и для среднего, и для малого бизнеса. Я бы сказал так: защищать нужно всех, даже если вас не атакуют сейчас, не надо ждать, когда это произойдет, минимальный уровень защиты выстроить необходимо. В современном мире злоумышленники атакуют уже не только крупные цели (в том числе финансовые институты), но и небольшие компании, а также отдельных пользователей. Поэтому актуальность современных систем защиты и систем, использующих технологии ИИ, только растет. В принципе зависимость такая: чем более серьезная система защиты требуется организации, тем выше актуальность применения технологий ИИ для этой организации. Естественно, чем выше уровень цифровизации компании, чем больше у нее цифровых активов, тем больше информации она генерирует и тем сложнее ее защитить без тщательной обработки. Тут на помощь и приходит ИИ. Если же мы говорим о глобальной защите, то есть о выявлении угроз для целых отраслей или всего мира, то здесь без ИИ вообще не обойтись.

ИИ и КИИ

С КИИ все достаточно сложно. Для объектов критической инфраструктуры важна безопасность в любом случае. Этого требует Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации», это определяют и другие нормативные акты. Причем регламентирующие документы не накладывают требований по использованию ИИ для подобных целей. Нужно обеспечить надлежащий уровень защиты, и всё. Кроме того, объекты КИИ не всегда используют автоматизацию и применяют SCADA либо другие системы АСУ ТП, обеспечивающие централизованный контроль и управление. Многие компании до сих пор живут «на рубильниках», то есть используют децентрализованные средства управления технологическими процессами. В таких организациях применить современные технологии просто не к чему. Но в принципе для объектов КИИ системы защиты с искусственным интеллектом актуальны, они могут принести большую пользу в процессах анализа взаимодействий между узлами, для выявления новых устройств в сетях, оценки валидности результатов регламентных операций и так далее.

ИИ в ИБ применим не везде

Здесь важно отметить, почему вообще ИИ пришел в индустрию безопасности позже, чем в другие отрасли, – допустим, в маркетинг или метеорологию. Главная причина: в маркетинге или метеорологии никто не пытается послать искусственные данные, чтобы обмануть систему ИИ. Там строились модели, базирующиеся на доказанных законах природы или социологии. В этой безопасной среде ИИ легко прокладывал себе путь.

В кибербезопасности все иначе. Здесь требуются несколько другие модели и несколько иная защита, поскольку злоумышленники, зная о том, что интересующие их компании применяют системы защиты, выявляющие угрозы с использованием технологий ИИ и машинного обучения, будут специально пытаться обойти эти системы, скармливая им неверные данные, либо как-то еще. То есть в ИБ изначально было ясно, что злоумышленники будут воздействовать на систему ИИ. Из-за этого использование технологий ИИ в безопасности первоначально было затруднено.

Целесообразность же повсеместного распространения технологий ИИ в ИБ действительно не является аксиомой. В одном случае это может дать позитивный эффект, а в другом – нет. Тут нужно учесть огромное разнообразие технологий ИИ. Вот есть самообучающиеся системы, а есть системы, которые обучаются заранее. И есть системы, которые дообучаются. Самообучающиеся системы, постоянно получая новые данные, изменяют свои алгоритмы и совершенствуют свои модели. Их применение в корпоративных структурах информационной безопасности вряд ли принесет пользу, потому что злоумышленники могут подсунуть им искаженные данные, чей анализ приведет ИИ к ошибочным выводам и решениям. Однако самообучающийся искусственный интеллект отлично зарекомендовал себя в системах безопасности глобального уровня, которые обмануть гораздо сложнее, ведь они оперируют гигантскими объемами разнородных данных, а их невозможно подтасовать в значительной мере.

Главный же фактор, сдерживающий применение технологий ИИ в сфере безопасности, – это постоянная гонка вооружений между защитой и атакой, своего рода кошки-мышки. В современном цифровом мире самые новые данные об угрозах, способах защиты от них и вариантах обхода систем безопасности распространяются очень быстро. Как только разрабатывается новая технология защиты, она очень скоро становится доступной и злоумышленникам. И они могут эти же самые алгоритмы, модели, технологии ИИ, предназначенные для защиты, использовать для атаки.

Преступный ИИ

ИИ дает огромные преимущества как на «светлой», так и на «темной» стороне, поэтому злоумышленники все более эффективно применяют его в своих целях, активно овладевают этими технологиями. Самый ранний и простой пример применения хакерами технологий машинного обучения – обход «капчи», которая нужна для защиты от скриптов и ботов. Технологии машинного обучения как раз предоставляют возможность как генерации картинок, так и их распознавания. Еще один, уже более новый пример эксплуатации ИИ киберпреступниками – генерация звука и видео для имперсонификации легальных пользователей (технология deepfake). Вообще технологии подделки голоса существуют не первый день, как и банковские системы с авторизацией клиентов по голосу. Машинное обучение дает преступникам новые возможности, поэтому такая авторизация уже не может считаться абсолютно надежной. Видео, казалось бы, подделать гораздо сложнее – человек двигает губами, меняется мимика, и вроде бы можно сразу определить. настоящее это видео или оно создано хакерами. Увы, нет. Появляется все больше технологий, позволяющих в реальном времени генерировать поддельные голос и видео. Например, два года назад пострадала одна немецкая компания с офисом в Лондоне. Мошенники использовали прием имперсонификации – в контору по видеосвязи позвонил якобы генеральный директор и попросил перевести деньги на указанный счет. Огромные деньги были отправлены злоумышленникам, которые использовали технологии машинного обучения для обмана сотрудников пострадавшей компании. Это сейчас один из актуальных сценариев атаки с применением ИИ. Таким образом, техники применения ИИ злоумышленниками в своих интересах уже стали неотъемлемой частью современного ландшафта угроз.

ИИ на практике

Нужно понимать, что современное машинное обучение – это не один или два, и даже не пять алгоритмов. А целые наборы очень сложных последовательностей. В частности, нейросети содержат множество последовательных алгоритмов машинного обучения. И задача особых специалистов, которых называют data scientist, – изначально задать такую последовательность, такой набор алгоритмов с учетом параметров, чтобы они давали как можно меньше ошибок. Например, нейросеть, которую использует наша компания для определения зловредных доменов, дает менее 5% ошибок. Это хороший результат – выявляется большинство реальных угроз, связанных с использованием алгоритмов генерации доменных имен (Domain Generation Algorithms, DGA). Однако применение любых технологий машинного обучения для нейросети имеет как плюсы, так и минусы. Глобальный плюс в том, что она работает без каких-то затрат на дописывание алгоритмов вручную и позволяет выявлять то, что без использования этих технологий пришлось бы очень долго обрабатывать и потребовало бы очень много ресурсов. Минус в том, что в случае ошибки, в отличие от стандартных алгоритмических систем, очень сложно понять, откуда появилась ошибка, и ее исправить. Поиск причины, по которой нейросеть где-то отреагировала правильно, а в другом случае ложно, весьма затруднителен. Сложно найти ту конкретную точку в алгоритме, что привела к неправильной интерпретации, поскольку это сеть, которая обучается самостоятельно и сама принимает решения. Это как раз одна из особенностей эксплуатации систем защиты, основанных на машинном обучении. То есть технологиям ИИ еще есть куда расти в плане эффективности.

Эволюция «древа» технологий ИИ

Есть много компаний, развивающих технологии искусственного интеллекта. Одни работают, прежде всего, над уменьшением требуемых ресурсов для функционирования систем ИИ, что важно, особенно применительно к глобальным системам информационной безопасности. Другие сфокусированы на совершенствовании методов выявления ошибок и диагностики систем ИИ, повышении устойчивости самообучающихся систем к внешним воздействиям. Многие работают над улучшением существующих алгоритмов – увеличением количества выявляемых угроз и сокращением числа ложных срабатываний. Но ведутся и разработки новых алгоритмов для более быстрого и эффективного решения сложных комплексных задач информационной безопасности. В дальнейшем возможности покрытия системами ИИ своих профильных задач будут расти, а количество ошибок, обусловленных несовершенством алгоритмов, станет снижаться. Также возможна какая-то стандартизация технологий и систем, нацеленных на применение в сфере ИБ. Однако сейчас трудно точно предсказать, как пойдет этот процесс. Зато можно утверждать, что прогресс будет и на «черной» стороне – злоумышленники будут совершенствовать приемы и практики использования ИИ в своих целях, например, для поиска уязвимостей в криптоалгоритмах, выбора оптимальных способов проникновения и сокрытия вредоносного кода.

Новые возможности для ИБ

На глобальном уровне будут развиваться системы, готовящие компании и целые отрасли к новым угрозам. Многочисленные группы реагирования на компьютерные инциденты (Computer Emergency Response Teams, CERTs) будут анализировать массивы данных и предупреждать пользователей о новых угрозах. Это первое глобальное направление развития ИИ. Возможно, появятся глобальные стандартные модели и подходы, предназначенные для борьбы с мошенничеством. Скорее всего, технологии ИИ также будут использоваться для борьбы с социальной инженерией. Анализ голоса, данных, блокировка нелегитимной активности на глобальном уровне при совершении финансовых операций – это тоже, возможно, найдет применение.

Недалеко и то время, когда технологии ИИ, объединяющие все системы безопасности организации, будут без участия человека проводить всеобъемлющий анализ событий и принимать решения о блокировке потенциальных угроз. То есть через какое-то время присутствие человека, скажем, в SOC (центрах обеспечения безопасности) сведется к минимуму – большинство функций возьмет на себя компьютер.

Если говорить о конкретных продуктах, то на данный момент технологии машинного обучения используются не во всех средствах защиты информации. Думаю, помимо унификации и стандартизации систем ИИ, будет происходить расширение их экосистемы – технологии ИИ и машинного обучения начнут интегрироваться в те средства защиты информации, где их раньше не было. К примеру, DLP-системы уже применяют ИИ. Антивирусы раньше не использовали, а пришедшие им на смену EDR и EPP (Endpoint Protection Platform) – используют. Эти решения без технологий машинного обучения уже в принципе не могут существовать. И SIEM-систему сейчас тоже сложно представить без машинного обучения. Ее задача – агрегировать информацию из различных средств защиты и выявлять аномалии. Здесь тоже без ИИ не обойтись. Ну, или это будет очень странная SIEM-система, для которой придется вручную писать новые алгоритмы и правила корреляции каждый день – в связи с появлением новых угроз.

Но, повторю, есть большое количество классов решений, которые пока не эксплуатируют технологии машинного обучения. В частности, стандартные IDS-системы, в стандартных сетевых экранах ИИ пока нет, хотя в межсетевых экранах нового поколения (Next-Generation Firewall, NGFW) они уже используются. А в СКУД (системы контроля физического доступа) технологии ИИ пока не проникли. При этом эффективное взаимодействие этих систем с другими средствами защиты в целях безопасности возможно и полезно. Представьте, SIEM фиксирует, что работа с локальным компьютером в организации началась, когда работник еще не вошел в здание, поэтому доступ к компьютеру своевременно блокируется. Такая защитная реакция возможна лишь при наличии взаимосвязи и корреляции данных разных систем – СКУД и системы авторизации. А выявление таких угроз проще выстроить с помощью UEBA-алгоритмов, построенных на моделях, использующих машинное обучение. Так вот, все дальше и все больше технологии машинного обучения и искусственного интеллекта будут проникать в продукты и системы, которые исторически их не используют.

Применение технологий ИИ – лишь одно из направлений развития SIEM

Вообще, ИИ ведет не к унификации, а к увеличению функционала различных систем безопасности. То есть функционал вокруг отдельных классов решений благодаря ИИ все время растет. То же самое происходит с SIEM. В SOC-центрах, как внутренних в организациях, так и аутсорсинговых, которые предоставляют услуги защиты для внешних компаний, сейчас используется большое число разных систем, стоящих отдельно от SIEM. Это, например, системы управления уязвимостями или системы управления антивирусными продуктами. И сейчас мы все больше приходим к тому, что много систем – это хорошо, но лучше, когда действуют они в составе одного сквозного решения, для которого не требуется специально устраивать глубокую интеграцию самостоятельных компонентов. Такое сквозное решение можно построить на базе SIEM, аккумулируя в нем множество функций, делегированных системам, стоящим в SOC рядом, но отдельно от SIEM.

Функционал SIEM уже сейчас довольно широк и предусматривает выполнение задач по управлению активами, функции Incident Response Platform и UEBA. По сути, уже сейчас SIEM –это ядро SOC, вокруг которого формируется своя экосистема. И она будет расширяться за счет вовлечения других отдельных средств контроля, мониторинга и защиты. Второе перспективное направление развития SIEM – уход в облака. SIEM станут из облаков защищать облака, уметь работать с облаками, частными, публичными или гибридными. Третье – SIEM будут покрывать не только задачи ИБ, но и задачи ИТ. Они все больше будут помогать сотрудникам ИТ-служб в предоставлении сервисов пользователям, осуществлении технической поддержки, в мониторинге рабочих мест, контроле работоспособности и так далее. Потому что информация, которую агрегируют системы SIEM, может быть использована для выполнения большого количества задач департамента ИТ. И конечно, будет расширяться применение в SIEM различных технологий ИИ.

SIEM идут в сторону анализа данных с помощью ИИ не только для выявления аномалий, чреватых инцидентами ИБ, но и выявления каких-то иных закономерностей. В частности, задачи антифрода – это не прямые задачи SIEM, но при этом архитектурно система SIEM создана для обработки больших данных, поэтому никто не мешает построить на их основе модуль борьбы с мошенничеством. Таким образом, будущее SIEM связано с расширением функционала за счет роста экосистемы модулей ИБ и выполнения некоторых функций ИТ-служб.

Искусственный интеллект AI Киберугрозы Нейронные сети Информационная безопасность

Журнал: Журнал IT-Manager [№ 05/2021], Подписка на журналы

Об авторах

Антон Фишман

Антон Фишман

Технический директор RuSIEM


Поделиться:

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Также по теме

Другие материалы рубрики

Мысли вслух

Десять лет назад мы говорили о будущем цифры и управления с Пеккой Вильякайненом - технологическим предпринимателем и опытным инноватором. То будущее, о котором мы говорили тогда, наступило. День за днем, со скоростью времени.
Согласно прогнозам Gartner, к 2022 г. 75% организаций, использующих инфраструктуру как сервис (IaaS), будут реализовывать продуманную мультиоблачную стратегию, в то время как в 2017 г. доля таких компаний составляла 49%.
Все жалуются на нехватку времени. Особенно обидно, что его не хватает на самые важные вещи. Совещания, созвоны, подготовка внутренних отчетов, непонятно, насколько нужных, но которые начальство требует так, как будто это именно то, ради чего мы работаем.

Компании сообщают

Мероприятия

Международная конференция по информационной безопасности ZeroNights
Санкт-Петербург, Кожевенная линия, 40, «Севкабель Порт»
3 490 руб
25.08.2021
09:00–23:00
Конференция «Кадровый ЭДО: цифровизация на практике»
Москва, отель Метрополь, Театральный проезд, 2
25.08.2021
09:30–17:00
Форум «Цифровое предприятие»
Москва, отель Метрополь, Театральный проезд, 2
26.08.2021 — 27.08.2021
09:30–17:00