Человеческий фактор в ИИ-трансформации: развиваем AI-грамотность

Чтобы ИИ приносил измеримую пользу, управленцу важно научиться превращать бизнес-цель в задачи, понятные параметрам модели. Для этого нужно:

• сформулировать конкретную цель для модели, то есть что именно предсказать или классифицировать. Например, компания хочет сократить списания товара. Размытая цель «уменьшить списания» не подходит. Корректная формулировка будет выглядеть так: «предсказать спрос на каждый SKU на неделю вперед»;

• определить признаки, на основании которых модель примет решение — речь про выбор конкретных факторов, которые влияют на результат: сезонность, цена, акции конкурентов, характеристики товара, история покупок; 

• понять допустимую точность и оценить возможные риски, связанные с ошибками модели. Если ее задача — прогноз продаж, то отклонение в 5 единиц для недорогих товаров обычно не вызывает серьезных последствий — магазин просто закажет чуть больше или меньше. Но для категории «дорогая электроника» такая же ошибка может привести к заморозке денег на складе или, наоборот, к дефициту. Поэтому менеджеру важно заранее определить, какая погрешность приемлема для конкретного товара или задачи и что произойдет, если ошибка будет серьезнее.

• видеть ситуации, в которых ИИ не даст результата без адаптации процессов. Примеры:

— компания только вывела новый продукт, значит у нее еще нет истории продаж и прогнозы будут шумными;
— менеджеры меняют цены вручную каждый день, и модель не успевает адаптироваться;
— отдел логистики не фиксирует реальные сроки доставки, как следствие — отсутствие качественных данных и ИИ не может оптимизировать маршруты.

Все описанные принципы — это переход от интуитивных решений к четко сформулированной задаче с измеримыми параметрами.

3. Проектирование метрик и критериев успеха

Когда компания внедряет ИИ, важно не только запустить модель, но и понять, приносит ли она пользу. Для этого нужны метрики — простыми словами, показатели, по которым можно судить, насколько хорошо модель справляется со своей задачей. Без них менеджеру сложно задать цель вроде «повысить точность прогноза на 10%» или понять, почему результаты системы ухудшились.

Метрики — это общий язык, на котором бизнес и ML-команда договариваются о целях и результатах. Менеджеру не обязательно самому их считать, но важно понимать, что стоит за цифрой: высокая точность может казаться хорошим результатом, но если при этом модель не замечает часть важных случаев, бизнес все равно теряет деньги или клиентов.

Чтобы корректно интерпретировать ее работу, важно понимать, какие метрики подходят для разных типов задач и что они отражают. Поэтому при работе с моделями используют следующие метрики:

• Классификация. Модели распределяют объекты по категориям — например, определяют, уйдет клиент или оплатит счет вовремя. Главное — чтобы она не пропустила тех, кто действительно собирался уйти или не произвести оплату. Эта метрика включает три основных показателя качества:

— точность — показывает, насколько редко модель ошибается; 

— полнота — отражает, насколько хорошо она находит именно те случаи, которые важны бизнесу; 

— F1-score (среднее между полнотой и точностью) — это общий индикатор, который помогает понять, есть ли отклонения: если модель перестраховывается и пропускает нужные случаи, показатель сразу падает. На этот показатель удобно ориентироваться как на общий индикатор качества.

• Прогнозирование числовых значений. Здесь используют два основных показателя:

— средняя абсолютная ошибка (MAE) — насколько в среднем прогноз отличается от факта; 

— среднеквадратичная ошибка (RMSE) — тоже измеряет ошибку, но сильнее реагирует на крупные отклонения (если модель иногда существенно промахивается, этот показатель растет быстрее).

На практике это выглядит так: если модель прогнозирует продажи товара и «ошибается» на 10 единиц почти всегда — это предсказуемая ситуация. Но если время от времени промахивается сразу на 40–50 единиц, менеджер узнает об этом именно по росту показателя, чувствительного к крупным скачкам. Такой анализ помогает не только понять средний уровень ошибки, но и вовремя заметить критичные искажения, которые могут повлиять на запасы или доход.

• Рекомендательные системы. Главный ориентир — это поведение клиентов, а не «точность» модели. Какие показатели оценивать:

— долю пользователей, которые взаимодействуют с рекомендациями; 

— изменение числа покупок после рекомендаций; 

— разницу в результатах между группой, получившей рекомендации, и контрольной группой.

Ключевой вопрос здесь: увеличивают ли рекомендации продажи или вовлеченность по сравнению с тем, как было до этого? Если после внедрения блока рекомендаций покупатели стали оформлять покупки на 5% чаще, а контрольная группа осталась на прежнем уровне, тогда модель работает корректно.

• Поиск аномалий: акцент на эти показатели: — доля правильно найденных инцидентов; — доля сигналов, которые оказались ошибочными.

Основная задача — найти баланс между точными сигналами и количеством ложных. Если их слишком много, команды тратят время впустую; если мало — повышается вероятность пропустить серьезные инциденты.

4. Управление рисками и этикой

ИИ-проекты часто связаны с юридическими и репутационными рисками, поэтому менеджеру следует опираться на несколько базовых принципов безопасности:

• понимать, на основании каких данных модель делает выводы. Это не про технические детали — достаточно видеть общую логику и возможные точки искажения;
  
• следить за корректным использованием данных. Персональная информация должна обрабатываться грамотно, а процессы — соответствовать политике компании и требованиям закона;
  
• разделять зоны ответственности между человеком и ИИ. Модель дает рекомендации, но управленческие решения и последствия остаются на стороне людей.

5. Управление изменениями

Внедрение ИИ — это не только про технологии, но и про перестройку процессов. Руководитель среднего звена становится проводником этих изменений и ему понадобятся новые компетенции:

• демонстрировать готовность осваивать новые ИИ-навыки и обучать сотрудников на собственном примере;
• адаптировать процессы под совместную работу человека и алгоритма;
• выстраивать обратную связь между бизнесом и ML-командой: менеджеры передают данные о том, как модель работает в процессах, а аналитики объясняют, какие доработки нужны и почему.

Такой набор знаний позволит менеджеру уверенно ориентироваться в диалоге с аналитиками, корректно ставить задачи и избегать завышенных ожиданий.

Организационные решения: как развивать управленцев с ИИ-навыками

1. Внутренние обучающие программы

Чтобы менеджеры могли эффективнее взаимодействовать с ML-моделями, компании развивают собственные образовательные инициативы. Эффект дают форматы, которые опираются на реальные цели бизнеса: практические воркшопы по постановке задач и оценке результатов, мини-курсы внутренних экспертов с разбором ситуаций, а также отдельные обучающие треки для продакт-менеджеров, маркетологов и операционных руководителей. Такой подход делает развитие компетенций системным, а не разовым мероприятием.

Например, у Mastercard есть внутренние программы обучения, направленные на подготовку руководителей к работе с ML-моделями. Менеджеры проходят практические сессии, учатся формулировать задачи и анализировать результаты. Это снижает количество неточных запросов к аналитическим командам и повышает качество прогнозных инструментов.

2. Ротации и участие в AI-проектах

Получить практический опыт взаимодействия с ML-моделями помогает временное включение руководителей в AI-инициативы. Формат ротаций позволяет менеджерам на несколько месяцев присоединиться к проектным командам в роли кураторов бизнеса, наблюдать полный цикл работы моделей и лучше понимать ограничения и логику ML-систем.

Эта практика развивается в международных компаниях. Microsoft совместно с Accenture в 2023 году реализовывала проект Microsoft AI Skills Initiative, где основное внимание уделялось развитию управленческих компетенций в работе с ИИ. Менеджеры среднего звена периодически участвовали в AI-проектах, работая рядом с аналитиками и инженерами.

3. Совместная работа менеджеров и data-команд

Чтобы управленцы быстрее осваивали работу с ИИ, компании используют практики тесного взаимодействия с аналитиками и data-командами. Есть разные форматы: от совместного ведения проектов до наставничества. Цель в том, чтобы создать пространство, где менеджер понимает, как работает ML-процесс.

Можно закреплять пары на несколько недель или месяцев. Такой режим позволит увидеть логику работы моделей «изнутри»: как собираются данные, какие решения принимаются на промежуточных этапах, какие ограничения возникают и от чего зависит качество результата.

Эту практику развивают в Google: образовательные треки Google Cloud включают совместные сессии менеджеров и технических специалистов, где управленцы наблюдают за ходом проектов, пробуют разбирать результаты моделей и учатся формулировать задачи.

4. Проверка управленческих ИИ-навыков

Чтобы обучение работало, руководителям важно не только пройти курс, но и попробовать себя в практических ситуациях: сформулировать ML-задачу, выбрать метрику, оценить ограничения модели. Легкая внутренняя сертификация или короткие практические задания помогают закрепить навыки и понять, где нужна доработка.

Как пример — Deutsche Telekom, где внедрили персонализированные AI-треки с регулярными мини-проверками прогресса. Руководители отмечали, как меняется умение ставить задачи и оценивать результаты моделей, а через пару месяцев компания зафиксировала рост самостоятельности менеджеров и снижение нагрузки на аналитиков: запросов, требующих уточнений, стало меньше.

5. Формирование AI-регламентов и стандартов

Чтобы инициативы в области ИИ не останавливались на уровне менеджеров среднего звена, можно установить единые правила работы с моделями. Регламенты помогут менеджерам понять, как выбирать задачи, какие требования предъявлять к качеству, кто отвечает за проверку результатов и какие риски учитывать.

Для основы есть уже готовые подходы: принципы ответственного ИИ OECD, требования EU AI Act или корпоративные AI-frameworks Google, Microsoft и IBM.

Как измерять успех обучения и отдачу для бизнеса

Эффективность видна прежде всего по тому, как меняется работа менеджеров: они начинают точнее формулировать ML-задачи, увереннее взаимодействовать с аналитиками и чаще инициировать AI-проекты. Это первые признаки того, что навыки начали работать в ежедневной практике.

Далее оценивают влияние на бизнес: повышается ли успешность пилотов, сокращается ли нагрузка на data-команды и улучшаются ли процессы от прогнозов до операционных решений.

Отслеживать динамику можно через короткие опросы, ретроспективы и простые дашборды.

Почему развитие AI-грамотности меняет управленческую систему

Повышение AI-грамотности менеджеров — это не только обучение новым инструментам. Когда управленцы понимают принципы работы моделей, умеют формулировать задачи и корректно оценивать результаты, меняется сама структура взаимодействия между бизнесом и технологиями.

Компании получают согласованные процессы, возникает меньше ошибок на стыке ролей и появляются предсказуемые результаты внедрения ИИ. В итоге это влияет не на отдельных сотрудников, а на управленческую модель в целом, делая ее гибкой, технологичной и устойчивой к быстрым изменениям.