Метрики эффективности корпоративной базы знаний

Люди могут по-прежнему задавать повторные вопросы, ошибаться и тратить время на поиск информации. Елизавета Смоленкова, эксперт по базам знаний в digital- и ИТ-агентствах, и основатель студии «Опись», разбирает, какие показатели выбирать, как их сочетать и с чем сравнивать.

Что именно считать эффектом базы знаний

Если у вас уже есть база знаний или вы планируете ее создать, определите желаемый результат.

Например, одна компания нанимает по 10 человек в месяц. Новички задают одни и те же вопросы, а наставники каждый раз рассказывают, где получить доступы и как выполнить первую задачу. Базу знаний здесь могут создать, чтобы новички быстрее осваивались, а наставники тратили меньше времени на объяснения.

В другой команде почти нет новичков. Но опытные сотрудники регулярно обращаются к тимлиду: уточняют порядок работы, просят найти пример или проверить решение. Здесь от базы ждут, что команда сможет решать типовые задачи по регламентам и реже дергать руководителя.

В первом случае эффект нужно искать в скорости адаптации новичков и нагрузке на наставников, во втором — в самостоятельности команды и нагрузке на тимлида. Поэтому универсального KPI для базы знаний нет.

Почему статистика не доказывает пользу

Внутренние метрики показывают только, что происходит внутри самой базы знаний:

1. Количество документов — объем базы. По нему можно отследить, сколько процессов покрыто регламентами и сколько материалов подготовила команда. Но 100 регламентов ничего не говорят о пользе. Среди них могут быть устаревшие инструкции, дубли или документы по редким процессам, а на частые вопросы сотрудников ответов все еще нет.

2. Просмотры показывают, какие материалы сотрудники открывают и как часто к ним возвращаются. Помог ли документ решить задачу? Они не расскажут, как бы вы не трактовали. Ведь один сотрудник мог открыл чек-лист, проверить работу и продолжить работать. А другой перечитал инструкцию несколько раз и все равно пошел к руководителю

3. Дочитывания обозначают, до какой части документа дошел сотрудник. Трактовать метрику нужно осторожно. Пользователь может найти ответ в первом абзаце и закрыть страницу — инструкция сработала, хотя до конца ее не дочитали. И наоборот: человек может прочитать все от корки до корки, но так и не найти нужную информацию.  

4. Поисковые запросы. Они есть в некоторых системах и показывают, какие темы и формулировки используют сотрудники при поиске.  Но сам запрос не говорит, получил ли человек ответ. Дополнительно можно смотреть:

— По каким запросам система не выдает результатов
— Какие запросы сотрудники переформулируют несколько раз подряд
— Переходят ли они из выдачи в документ
— Приходится ли после открытия документа возвращаться к поиску

Как понять, что нужно измерять

Перед выбором метрик ответьте на три вопроса:

Какую проблема вы хотите решить базой знаний? Например, поддержка не справляется с обращениями, потому что сотрудникам негде искать ответы, тимлиды каждый день отвечают на одни и те же вопросы и др.

Что будет, если существующую базу знаний завтра удалить? Какая работа остановится, что отнимет больше времени, к кому сотрудники пойдут за ответами?

Кому мы хотим помочь? Сеньору, что вечно все объясняет младшим коллегам? Новичку, которому сложно разобраться в работе? Бизнесу, который теряет деньги из-за ошибок?

После этого станет понятнее, какие изменения нужно отслеживать и с чем их сравнивать.

Читайте также

Максим Березин: «Импортозамещение виртуализации стало необходимостью для снижения рисков»

Как меняется роль виртуализации в стратегиях компаний, какие решения на уровне виртуальной среды помогают сократить затраты на ИТ, как реализуется защита ИТ-периметра и какие инструменты помогают ускорить миграцию, IT-World рассказывает Максим БЕРЕЗИН, директор по развитию бизнеса Orion soft.

Почему одного показателя недостаточно

Один показатель легко трактовать неверно. Допустим, после запуска или переработки базы знаний сотрудники стали реже задавать вопросы в рабочем чате. Возможно, они стали находить ответы сами. А может, вопросы ушли в личные сообщения или сотрудники просто стали реже уточнять и чаще ошибаться.

Лучше добавлять еще проверочные метрики. Опирайтесь на результат, который измеряете. Если смотрите на скорость, дополнительно проверяйте качество. Если качество — не выросло ли время работы. Если самостоятельность сотрудников — проверяйте, не увеличилось ли количество ошибок.

Будет достаточно одной основной и 1-2 дополнительных метрик. Иначе анализ сам превратится в отдельный процесс: данные придется постоянно собирать, разбирать и сводить.

Привязывать сами метрики нужно к задаче или процессу, который поддерживает база знаний. Например, регламент по решению конфликтных ситуаций с клиентами, правила оформления чатов и сборник скриптов относятся к одной теме — коммуникации с клиентами. Значит, оценивать логичнее весь процесс, а не регламенты отдельно.

Исключение — регламенты, которые отвечают за отдельное действие с понятным результатом. Например, для инструкции по заполнению отчета можно отдельно считать количество ошибок в отчетах до и после ее внедрения.

Какие показатели использовать в разных сценариях

Я работаю с базами знаний по своему авторскому методу «Живых регламентов». Один из его ключевых принципов — разделять задачу и рабочий сценарий:

— Задача — что компания хочет изменить.

— Сценарий — конкретная ситуация, в которой сотрудник использует регламент для работы.

Если ваша задача — ускорить онбординг, то одним из сценариев будет первая задача, которую новичок выполняет без помощи наставника. Под такой сценарий уже можно подобрать метрики: что измерять, как считать и чем проверять результат.

Разберем несколько типовых сценариев.

Сценарий 1

Сначала зафиксируйте, в какой момент новичок адаптируется: после первой самостоятельной задачи, выхода на обычную нагрузку и так далее. 

Дополнительно можно считать долю новичков, прошедших адаптацию в срок — полезная метрика для массового найма. Она поможет также проверить, как работает ваш процесс адаптации. А проверять можете качеством первых задач и нагрузкой наставника.

Читайте также

OLED-мониторы для руководителя: модели, доступные в России

Лучшие мониторы для руководителя IT-World нашел в игровом сегменте. Разбираемся, какие OLED-модели лучше подходят для таблиц и дашбордов, видеоконференций и одновременной работы с несколькими компьютерами.

При массовом найме дополнительно можно считать долю новичков, прошедших адаптацию в установленный срок.  Она поможет проверить, как работает ваш процесс адаптации. А проверять можете качеством первых задач и нагрузкой наставника.

Пример. В одном digital-агентстве мы перерабатывали материалы для онбординга и выбрали скорость как ключевую метрику. Агентству было важно быстро подключать новичков к реальным задачам: пока сотрудник проходит обучение, опытные коллеги тратят время на объяснения вместо своей работы. До изменений на это уходило около 3 дней, после переработки базы знаний и материалов — 1 день.

Сценарий 2

Здесь важен результат самой работы: помог ли регламент выполнить задачу правильно.

Ошибки лучше считать относительно объема работы. 5 ошибок за месяц сами по себе ничего не говорят: команда могла выполнить 20 задач или 200. Поэтому удобнее считать, например, ошибки на 100 задач или долю работ, которые пришлось переделывать.

В моей практике был случай, когда сотрудники регулярно повторяли одни и те же ошибки в типовых процессах. Мы переработали инструкции: уточнили порядок действий, добавили недостающие шаги и собрали материалы в одном разделе базы знаний. После внедрения количество таких ошибок сократилось примерно в 3 раза.

Сценарий 3

Если сотрудники регулярно отвлекают тимлида, сеньора или другого эксперта одними и теми же вопросами, можно измерять объем их помощи, время на нее и стоимость для компании.

Пример. В одном из проектов повторные вопросы всплывали в чатах больше 20 раз в неделю. Если на один вопрос вместе с переключением между задачами уходило около 30 минут двух специалистов — это примерно 40 часов рабочего времени в месяц. При стоимости человека-часа 2500 ₽ — около 100 000 ₽. После переработки базы знаний количество повторных вопросов сократилось примерно в три раза.

Как замерять эффект до и после внедрения

До запуска или переработки базы знаний зафиксируйте исходные показатели. Иначе потом будет не с чем сравнивать результат.

Учитывайте четыре вещи:

• Берите достаточно длинный период. Если вопросов или ошибок мало, недели может не хватить.

• Не делайте выводы сразу после запуска. Сотрудникам нужно время, чтобы привыкнуть к новой структуре и регламентам. Первый замер лучше считать промежуточным, а затем повторить его через несколько недель или месяцев.

• Сравнивайте одинаковые условия. Если до внедрения вы считали вопросы за месяц, после считайте так же. Не меняйте одновременно период, способ подсчета и определение самой метрики.

•  Учитывайте внешние изменения. Рост команды, сезонный пик, запуск нового продукта или смена процессов могут повлиять на показатели сильнее самой базы знаний.

Для показателей, которые меняются часто, можно сделать три среза: до изменений, через 2–4 недели и через 2–3 месяца. Если данных получается мало, интервал лучше увеличить.