soul·dev блог
AI-assessment soft skills: методика оценки, шкалы и защита от субъективности
Soft skills сложно оценивать тестом, потому что ценность проявляется в поведении. AI-assessment помогает, но только если есть понятная методика, шкалы и калибровка.
Почему тесты не подходят
Тест может проверить знание правильного ответа, но не показывает, как сотрудник ведет себя в диалоге. Он может знать, что нужно проявить эмпатию, и при этом перебивать клиента, уходить в оправдания или обещать то, чего компания не может выполнить.
AI-assessment soft skills должен оценивать действия: какие вопросы заданы, как обработано сопротивление, соблюдены ли границы, был ли сформулирован следующий шаг и не потеряно ли доверие собеседника.
Компетенции и индикаторы
Начинать нужно не с модели, а с компетенций. Например: структурирование разговора, активное слушание, эмпатия, аргументация, управление конфликтом, принятие ответственности, соблюдение регламента. Для каждой компетенции нужны наблюдаемые индикаторы.
Индикатор должен отвечать на вопрос, что именно видно в репликах сотрудника. 'Хорошо общается' - плохой индикатор. 'Переформулирует проблему клиента перед предложением решения' - хороший индикатор. AI может проверять второе гораздо надежнее, чем первое.
Шкала оценки
Практичная шкала обычно имеет 3-5 уровней. Например: критический риск, ниже стандарта, соответствует стандарту, выше стандарта. Для каждого уровня нужны примеры поведения. Без примеров оценка будет казаться магической и вызывать сопротивление сотрудников.
Важно разделять отсутствие действия и плохое действие. Сотрудник может не задать уточняющий вопрос, а может задать вопрос так, что усилил конфликт. Для развития навыка это разные ошибки, и рекомендации должны быть разными.
Калибровка с экспертами
Перед масштабированием нужно провести калибровку: взять набор ответов, дать их экспертам, сравнить с оценкой AI и уточнить рубрику. Цель не в том, чтобы AI всегда копировал эксперта, а в том, чтобы правила оценки были понятны и повторяемы.
Калибровка особенно важна в ролях с высоким риском: медицина, финансы, юридические ограничения, комплаенс, безопасность. Там AI-assessment должен не только награждать хороший тон, но и фиксировать недопустимые обещания.
Как использовать результаты
AI-assessment не должен становиться черным ящиком для наказания. Его сильная роль - диагностика и развитие. Руководитель видит, какие навыки требуют повторной тренировки, методолог видит слабые места курса, сотрудник понимает, что улучшить в следующей попытке.
Если результаты влияют на допуск или аттестацию, нужно заранее описать правила: сколько попыток доступно, кто видит разбор, как оспаривается оценка и какие критерии считаются критическими.