Как повысить качество ответов ИИ в корпоративной базе знаний?

В центре выступления — практический кейс внедрения AI-ассистента SML Companion (https://softmedialab.com/sml-companion), который компания разрабатывала для управления корпоративной базой знаний. Максим подробно рассказал, почему готовые решения не удовлетворяли требованиям, какие задачи команда ставила перед собой и какие препятствия пришлось преодолеть.

Одним из актуальных блоков стал рассказ о проблемах при внедрении LLM. На старте проекта по внедрению ИИ в корпоративную базу знаний команда СофтМедиаЛаб столкнулась с низким качеством ответов и противоречивыми результатами поиска. «Мы увидели, что система может отвечать “у меня нет документов” (а они на самом деле имеются) или выдавать некорректные данные. Например, в информации про отпуск сотрудника показывалось число 27 вместо 21. Это казалось редкостью, но именно такие моменты критически подрывают доверие пользователей», - поделился Максим.

В SML подошли к проблеме системно. Решение состояло из двух шагов:

• Автоматизация тестирования качества ответов на основе заранее составленного списка пользовательских вопросов и критериев оценки;
• Пересмотр подхода к самим документам: прежде чем добавить их в базу, команда стала описывать вопросы, на которые документ должен отвечать, и проверять его “как код через тесты”.

«Мы фактически внедрили в документооборот принцип, знакомый каждому разработчику: сначала тест, потом код. Только в нашем случае — сначала вопросы и критерии, потом документ. Это позволило не просто улучшить работу системы, а выстроить устойчивый процесс управления качеством ответов ИИ», — подчеркнул Максим Горшков.

Сегодня SML Companion используется внутри компании и стал платформой для новых проектов на базе LLM — системы проверки договоров, помощника продавцам, поддержки сотрудников при онбординге и создания рекомендательных систем с голосовым интерфейсом. Опыт показал: грамотная архитектура и контроль качества позволяют интегрировать ИИ и получать надежный инструмент для бизнеса.