Твой курс готов. На него ушло много времени и сил. На твой взгляд, инструмент получился качественным, красивым, интересным, да что уж там, — отличным.
Но давай честно: все это пока субъективно 😢. Да, курс может нравиться тебе, коллегам и даже ученикам. Но это еще не гарантия, что обучение действительно сработало.
Что изменилось в поведении сотрудников?
Улучшились ли бизнес-показатели?
Применяют ли люди полученные знания?
Пора выходить на новый уровень — делать обучение не просто интересным, а еще измеряемым, осмысленным и полезным для бизнеса
В этом поможет классическая и до сих пор актуальная модель оценки эффективности обучения Киркпатрика. У нее 4 уровня — и каждый отвечает на важный вопрос.
Дональд Киркпатрик — профессор Университета Висконсина в США и президент Американского общества обучения и развития.
Известен созданием весьма влиятельной «четырехуровневой» модели оценки учебных курсов
Уровень 1
Реакция
Понравилось ли обучение?
Обучение
Уровень 2
Что ученик запомнил и понял?
Поведение
Уровень 3
Ученик применяет знания в работе?
Уровень 4
Результат
Повлияло ли обучение на бизнес-показатели?
Модель Киркпатрика
Уровень 1. Реакция
Мы, как пользователи разных продуктов и услуг, часто оцениваем их с помощью лайков, звездочек, быстрых оценок «понравилось — не понравилось».
Реакция пользователей — это поверхностный уровень, но важный сигнал. В обучении тоже важно ловить такие сигналы. Реакция не показывает, чему человек научился, но помогает измерить, насколько участникам понравилось обучение, считают ли они его полезным, и выявить «зоны раздражения»: сложный язык, перегруженность, технические ошибки, скучный формат.
Самый простой способ — дать опрос сразу после обучения, пока впечатления свежие. Чаще всего для измерения реакции пользователей используют показатели NPS, CSAT, CSI
Показывает, насколько ученик готов рекомендовать обучение коллегам. Это уже не просто «понравилось», а доверие к качеству.
Добавь вопрос в опросник:
Насколько вероятно, что вы порекомендуете этот курс коллегам?
0 — точно не порекомендую
10 — обязательно порекомендую
0
1
2
3
4
5
6
7
8
9
10
Как рассчитать
Разделите участников на 3 группы:
0–6
7–8
9–10
Критики
Нейтральные
Промоутеры
Недовольны
Курс в целом «окей»
Довольны и будут советовать другим
NPS
=
% промоутеров
–
% критиков
Интерпретация результатов
40% и выше
Высокий NPS — значит ученики видят ценность обучения
Показывает, что именно понравилось или не понравилось — структура, подача, визуал, примеры, задания.
CSAT обычно измеряют с помощью закрытых вопросов по шкале от 1 до 5. После каждого вопроса или в конце опросника можно добавить открытый вопрос, чтобы понять причину низкой оценки.
Насколько удобно было проходить курс (время, устройство, навигация)?
😡
🙁
😐
🙂
😍
Насколько полезным для вашей работы был этот курс?
😡
🙁
😐
🙂
😍
Помогите курс сделать полезнее, опишите причину низкой оценки
Насколько вам понравилось содержание курса?
😡
🙁
😐
🙂
😍
Как рассчитать
Для каждого вопроса показатель рассчитываем отдельно:
CSAT
=
Количество ответов «4» и «5»
Общее количество ответов
×
100
Интерпретация результатов
85−100%
Все отлично
70−84%
Есть что доработать
ниже 70%
Сигнал тревоги, нужно разобраться
Показывает общее впечатление от курса по ключевым параметрам. Каждый параметр пользователь оценивает по двум шкалам от 1 до 10:
насколько он доволен этим параметром
насколько этот параметр важен для него
Зачем две шкалы? Пользователь может высоко оценить параметр, который по факту не имеет для него большого значения. Или наоборот — что-то важно, но в курсе было слабо раскрыто.
Понятность материала
Оценка
1
2
3
4
5
6
7
8
9
10
Важность для вас
1
2
3
4
5
6
7
8
9
10
Визуальное оформление
Оценка
1
2
3
4
5
6
7
8
9
10
Важность для вас
1
2
3
4
5
6
7
8
9
10
Как рассчитать
CSI для каждого параметра:
CSI
=
Важность
×
Оценка
Макс. оценка
×
Макс. важность
×
100
Например, если по параметру «понятность материала»: оценка — 5, а важность — 10, то (5 × 10) ÷ (10 × 10) × 100 = 50%
Итоговый CSI (усреднить полученные значения по всем параметрам):
CSI
общий
=
Сумма всех CSI по параметрам
Количество параметров
Например, CSI = (56 + 50 + 70 + 48 + 90) ÷ 5 = 62,8%
Интерпретация результатов
80−100%
Участники высоко оценивают обучение
60−79%
Нормальный результат, но есть области для улучшений
ниже 60%
Курс не оправдал ожиданий или есть какие-то существенные проблемы
Рекомендуем не перегружать пользователей. Сделай опрос небольшим, но информативным. Включай только то, что планируешь измерить, а не «все подряд на всякий случай»
Мы используем такой универсальный мини-опрос и выкладываем его в Магнум рядом с курсом. Можешь адаптировать его под свои задачи.
Уровень 2. Обучение
Теперь погружаемся глубже и измеряем, что участник запомнил и может воспроизвести или объяснить после курса.
Как измерить
Тесты
Практические задания и кейсы внутри курса
Все задания должны быть связаны с целями обучения. Если цель — научить продавца отрабатывать жалобы, то и задания должны быть про это.
Проверяй понимание, а не запоминание. Факты легко загуглить — и быстро забыть. А если человек понял суть, он сможет сориентироваться в разных ситуациях. Поэтому включай в задания реальные рабочие кейсы, частые вопросы и ошибки.
Структура задания
Формулировка
В магазине начался пожар в электрощитовой с напряжением до 10 000 В. Что используете для тушения?
Хелпер
Короткая подсказка по механике
Короткая подсказка по механике
Выберите верный ответ
Варианты ответа
Углекислотный огнетушитель
Порошковый огнетушитель
Противопожарное полотно
Пожарный кран
Обратная связь
Но в тестах, как правило, не даем
Но в тестах, как правило, не даем
Верный ответ
Конечно, для тушения электрооборудования с напряжением до 10 000 В используйте углекислотный огнетушитель
Хорошее задание не рождается само по себе — его нужно разрабатывать по правилам.
Формулировка
Не спрашивай того, чего не было в курсе
В формулировке задания есть вопросительное предложение
Позитивная формулировка — без частицы «НЕ»
Нет сокращений и незнакомых терминов
Хелпер
Коротко поясни механику задания:
Выбери верный ответ
,
Выбери все верные варианты
,
Расположи шаги в правильном порядке
,
Перемести элементы в нужные поля
Варианты
Все варианты ответа соотносятся с вопросом
Варианты не пересекаются: не должно быть частичных совпадений по смыслу или цифровым диапазонам
Сколько дней длится вводное обучение для нового сотрудника?
Выбери верный ответ
1–3
3–5
5–7
Все повторы убирай в формулировку. Если варианты ответа повторяют одну и ту же часть, ее лучше вынести в сам вопрос
Нет очевидно верных и неверных ответов (дистракторов): все схожи по формулировке и длине, нет скобок и уточнений
Хороший дистрактор: логичен на первый взгляд, отражает типичные ошибки или заблуждения, не выглядит смешным или явно неверным
Нет вариантов «Все ответы верны» или «Все ответы неверны»
Оптимальное соотношение верных ответов и дистракторов: 1 к 3, 2 к 2–3 или 3 к 3.
Больше 6 вариантов не рекомендуем. Это перегруз
Больше 6 вариантов не рекомендуем. Это перегруз
Как не надо
Обратная связь
В заданиях курса поясни и правильный, и неправильный выбор
В тестах обратную связь не даем, только фиксируем результат
Методология едина для заданий с разными механиками:
Выбор одного ответа
Выбор нескольких ответов
Ранжирование — распределение ответов в нужном порядке
Сопоставление — соединение пар или соответствий
Свободный ответ: краткий или развернутый
Drag&Drop — перетаскивание элементов на нужные места
Уровень 3. Поведение
На этом уровне смотрим, изменилось ли поведение сотрудника после обучения: начал ли он применять новое, по-другому работать, улучшил ли процессы?
Как измерить
Наблюдение, если у вас есть ресурсы
Опрос сотрудника и его руководителя через 3–6 месяцев после обучения
Опросник для сотрудника
Вы прошли обучение: «___». Нам важно понять, как оно повлияло на вашу работу. Ответьте, пожалуйста, на несколько коротких вопросов.
1. Применяете ли вы полученные новые знания и умения в работе?
Да
Пока нет
2. Что мешает применять полученные знания?
Можете выбрать несколько вариантов
Нет времени
Не хватает практики
Руководитель не поддерживает
Нет нужных условий/инструментов
Забываю
Применяю без сложностей
3. Хотите что-то добавить?
Необязательное поле
Опросник для руководителя
Ваш сотрудник некоторое время назад прошел обучение: «___». Нам важно понять, как это повлияло на работу. Ответьте, пожалуйста, на несколько вопросов.
1. Применяет ли ваш сотрудник полученные знания и умения в работе?
Да
Пока нет
2. Насколько обучение оказалось полезным для работы сотрудника?
Оцените по шкале от 1 до 5. Где 1 — бесполезное, 5 — очень полезное
1
2
3
4
5
3. Хотите что-то добавить?
Необязательное поле
Уровень 4. Результаты
Этот уровень дает бизнесу ответ: «А зачем мы вообще запускали обучение?». Смотрим, как изменились ключевые бизнес-показатели до и после обучения: продажи, эффективность, производительность, удовлетворенность клиентов, снижение ошибок и другие.
Просто так взять и «прикрутить» бизнес-результаты к обучению — не получится. На метрики влияет много факторов: сезонность, параллельные инициативы, изменения в процессах. Чтобы не гадать — используй инструмент «Каскад эффективности».
Что будем считать
Какие данные нужны
Как будем считать
Таблицу лучше заполнить вместе с заказчиком еще до запуска курса.
Курс для снижения ошибок в документах
Запрос на обучение: финансовый директор хочет, чтобы сотрудники правильно заполняли договоры. Сейчас их часто возвращают на доработку — иногда несколько раз.
Что будем считать
Какие данные нужны
Как будем считать
Количество возвращенных договоров
Сколько всего договоров оформлено, и сколько из них вернули на доработку
Сравниваем число возвратов до и после обучения по каждому сотруднику
Частые ошибки в договорах
Причины возвратов, типы ошибок
Собираем типовые ошибки. Сравниваем, какие из них стали встречаться реже после обучения
Среднее время, за которое документ проходит весь путь
Сколько времени в среднем уходит на оформление одного договора
Берем среднее время, которое проходит договор от инициации до подписания. Сравниваем его до и после обучения и смотрим, стало ли быстрее
Курс по публичным выступлениям
Запрос на обучение: подготовить топ-менеджеров к уверенным публичным выступлениям и общению с журналистами. Сейчас они теряются на сцене, из-за чего страдает имидж компании.
Что будем считать
Какие данные нужны
Как будем считать
Удовлетворенность аудитории после выступлений
Результаты опросов после выступлений
Собираем данные по предыдущим выступлениям за год: кто выступал, темы, какие цели достигли, были ли упоминания в СМИ, оценки аудитории
Конверсия, если выступление продающее (продажа, привлечение клиентов)
Данные конверсий: сколько людей перешли по ссылке, оставили заявку, обратились в компанию
Отслеживаем изменения после обучения и сравниваем с данными по предыдущим выступлениям
Упоминания в СМИ и соцсетях
Частота упоминаний компании или спикеров после выступлений
Сравниваем, как изменились поведение, уверенность, четкость и структура речи у каждого спикера после обучения
Реальность vs идеал
Начни с того, что доступно
Не всегда есть ресурсы, чтобы охватить все 4 уровня оценки — и это нормально.
Сфокусируйся на пользе
Не нужно собирать данные просто «чтобы было». Оцени только то, что сможешь проанализировать и использовать.
Реакция
Обратная связь сразу после курса — обязательный минимум. Она помогает понять, полезен ли курс ученику
Тесты
Мы не добавляем тесты просто так — только если от них есть реальная польза. Если результат ни на что не влияет, тест превращается в формальность и вызывает лишний стресс. А вот когда за тестом стоит конкретное управленческое решение — он работает на пользу и обучающимся, и бизнесу.
Примеры полезного тестирования:
сотрудник не прошел тест по безопасности — его нельзя допускать к работе
служба поддержки переходит на новый уровень — тест помогает понять, кто готов, а кому еще нужно время на адаптацию
Поведение
Можно измерить точечно. Иногда достаточно спросить руководителя: «Что изменилось в работе сотрудника после обучения?»
Результаты
Даже простая сверка показателей до и после обучения дает понять, был ли смысл в обучении. Мы не ищем «прибыль от курса», но если никаких сдвигов в бизнес-метриках нет — это сигнал.
