Непрерывный контроль качества корпоративного ИИ в ТЕХНОНИКОЛЬ

В ТЕХНОНИКОЛЬ нейросети помогают усиливать команды, ускорять процессы и работать с массивами данных. Чем глубже ИИ проникает в операционную деятельность, тем строже требования к надежности: цена фактологической ошибки измеряется не только репутационными потерями, но и прямыми финансовыми убытками, а порой и рисками для безопасности объектов.

О том, как выстроить контроль качества корпоративного ИИ, а также превратить модель в инструмент аудита собственных знаний, рассказал Андрей Цымбалюк, руководитель проекта «Экзоинтеллект» в контакт-центрах ТЕХНОНИКОЛЬ.

В данном проекте ИИ работает на стыке сложных технических знаний и прямых коммуникаций с клиентами, где права на ошибку нет. Полностью доверить консультирование клиентов роботу пока невозможно. Поэтому мы придумали формат суфлера: ИИ не взаимодействует с клиентом напрямую, а лишь генерирует черновик ответа для оператора, оставляя за человеком контроль качества и финальное решение. Проект получил признание отраслевого сообщества, войдя в финал премии CX World Awards.

Пилот стартовал в 2023 году: мы ограничили контекст модели внутренними документами и установили жесткое условие – если в источниках нет релевантного ответа, система должна отказаться от генерации, а не придумывать данные. Для формирования репрезентативной базы знаний мы обратились к речевой аналитике, чтобы выявить реальные паттерны обращений. Анализ показал, что 37% запросов в каналах поддержки – сложные технические консультации: подбор узлов, уточнение характеристик, нюансы применения материалов. Это потребовало масштабирования массива данных, мы оцифровали и структурировали продуктовые каталоги, руководства по проектированию и монтажу, превратив их в единый контекст для нейросети (база проекта включает более 480 ГБ технической документации, каталогов и инструкций по монтажу и проектированию).

Перед масштабированием проекта в 2024 году мы провели предстартовую валидацию, попросив инженеров вручную проверить ответы нейросети на самые каверзные запросы. Результаты показали: 92% ответов абсолютно точны, 6% – фактологически корректны, но недостаточно полны, и лишь в 2% случаев ответ отсутствовал в базе знаний. Так мы выделили два самостоятельных критерия качества ИИ: достоверность сведений и полнота консультации.

Как мы находим ошибки в эксплуатации

Изначально работа с качеством опиралась на обучение операторов и разбор сложных случаев с инженерами. Но по мере эксплуатации система поиска проблем стала многоканальной:

1. Оценки клиентов. Низкая оценка после диалога – повод проверить консультацию. Сама оценка не объясняет причину, но служит триггером для разбора.

2. Сигналы от операторов. Сотрудники сообщают, по каким темам нейросеть не предлагает подсказок. Это помогает находить пробелы в базе знаний на опережение, еще до жалоб клиентов.

3. ИИ-аудитор. Чтобы охватить весь поток, мы используем вторую нейросеть для проверки всех диалогов. Она ищет отклонения от принятого подхода к технической консультации или продаже.

4. Экспертная выборка. Профильные инженеры выборочно проверяют ответы по своим продуктовым направлениям. Автоматической проверки недостаточно: два ответа могут содержать верные сведения, но только один даст клиенту исчерпывающую информацию.

О чем говорит разбор неудачного ответа

После обнаружения проблемы важно понять, на какие сведения опиралась модель. Чаще всего мы сталкиваемся с банальными противоречиями в самих документах: один регламент устарел, другой заполнялся другим сотрудником в другое время. Разбор консультации позволяет найти и исправить исходные данные.

Но бывает и проблема неверного считывания контекста. Вот кейс: клиент спросил, в каких конструкциях теплоизоляционный материал используется для утепления. Нейросеть перечислила фундаменты, но добавила к ним «садоводство». Выяснилось, что в базу попали две статьи, где инженеры делились личным опытом клиентов, необычным образом применивших наши материалы. Модель использовала эти частные примеры как основание для официальной технической рекомендации. При этом наличие подтверждения в корпоративном источнике еще не делает рекомендацию правильной. Рассказ об опыте клиента не равнозначен инструкции производителя. Поэтому теперь при проверке и донастройке мы учитываем, в каком контексте приведены сведения и позволяют ли они ответить на конкретный технический вопрос.

Бизнес-результат и проверка после изменений

Оценка эффективности в нашем проекте показала следующие результаты: среднее время обработки технической консультации сократилось на 57%, производительность операторов выросла в 4 раза, нагрузка на инженеров третьей линии поддержки снизилась в 2,5 раза. Ранее эти специалисты, носители уникальной инженерной экспертизы, были вынуждены отвлекаться на рутинные и многократно повторяющиеся запросы. Теперь их основное внимание сосредоточено на масштабных задачах: от предотвращения остановок производства до сопровождения стратегических B2B-продаж с чеком от полумиллиарда рублей. Благодаря внедрению системы высвободившиеся ресурсы экспертов были перераспределены на работу с приоритетными B2B-проектами и участие в разработке новых материалов.

Важно помнить, что любые изменения, будь то добавление нового регламента в базу знаний, корректировка промптов или обновление самой языковой модели, несут риск «отката» качества. Поэтому повторная валидация стала обязательным этапом перед любым релизом: мы используем набор эталонных вопросов и ответов, который позволяет выявить ухудшение качества после изменений. Дополнительно генерируем не менее 50 вопросов, ответы на которые проверяет эксперт по тематике базы знаний. Если качество ответов оказывается недостаточным, дорабатываем базу и повторяем проверку до тех пор, пока эксперт не подтвердит результат.

Сейчас мы четко понимаем, когда модель выдает неполные или некорректные ответы, это не просто сбой алгоритма, а прямой сигнал о структурных пробелах в корпоративных регламентах и базах знаний. Поэтому, выстраивая архитектуру контроля качества ИИ, бизнес фактически проводит глубокую оптимизацию собственных интеллектуальных активов. Второй важный вывод – автоматизация не снижает значимость человека: именно сотрудники становятся финальными арбитрами качества. Именно этот симбиоз дает те самые скорость и надежность, которые так важны бизнесу.