Оценка эффективности обучения
Как связывать программы обучения с бизнес-результатами, выбирать метрики, считать ROI и не делать оценку ради отчётности. Собрано из обучения с экспертом по методологии ROI Джека Филлипса (ROI Institute) и адаптировано под практику Ростелекома.
Как пользоваться этим материалом
Это не учебник для чтения от корки до корки, а рабочий справочник. Заходите с той стороны, где сейчас ваша задача.
Проектирую новую программу
Начните с логики: зачем оценивать → V-модель → шаги 1–3. Метрики закладываются на этапе проектирования, а не после запуска.
Выбираю метрики
Определите уровень оценки, затем подберите показатели в каталоге метрик и методы в инструментах сбора.
Считаю эффект и ROI
Изолируйте эффект обучения → переведите в деньги, соберите затраты и посчитайте ROI. Там же — калькулятор.
Отчитываюсь заказчику
Смотрите отчётность: кому, что и зачем показывать, плюс разбор образцового отчёта. Аргументы — в кейсах.
Если вы работаете с конкретной программой прямо сейчас — пройдите калькулятор глубины оценки. Он подскажет, до какого уровня эту программу вообще стоит оценивать, и сэкономит вам недели лишней работы.
Зачем оценивать эффективность обучения
Обучение не является жизненно необходимым для бизнеса. Поэтому команда обучения должна уметь показывать, как её работа влияет на бизнес — иначе это за неё сделают другие, и не в её пользу.
Оценка нужна, чтобы улучшать, а не оправдываться
Главная установка методологии: мы не доказываем эффективность — мы улучшаем продукты обучения. Данные оценки показывают, где именно программа теряет эффект: тренер отлично работает на вовлечение, но не даёт знаний; знания есть, но люди не применяют их в работе; поведение изменилось, но не то, которое двигает бизнес-метрику. Без замеров эти разрывы не видны.
Отсюда принцип «чёрного ящика» (термин из авиации): собрать максимум данных по всему процессу, чтобы понять, что произошло, и сделать программу лучше. Даже отрицательный ROI — это не приговор, а материал для анализа: почему затраты превысили выгоды и что менять.
Речь всегда идёт об эффективности конкретной программы или продукта обучения, а не «обучения в целом». У каждой программы своя логика оценки, свои метрики и своя глубина.
Уровни оценки работают как домино
Реакция → знания → применение → бизнес-эффект. Если участникам не зашло (плохая реакция), знаний не будет. Если знаний нет — не будет нового поведения. Если поведение не изменилось — бизнес-эффекта ждать неоткуда. Поэтому мерить только последнее звено бессмысленно: когда эффекта нет, вы не поймёте, где цепочка порвалась.
При этом ограничиваться первым звеном — реакцией — тоже нельзя. «Понравилось» не означает «применяют», а «намерен применять» — ещё не действие. Интенцию и действие нужно измерять отдельно.
Крупная телеком-компания Ближнего Востока делала летние тренинги для семей сотрудников: детям — «про учёбу», жёнам — макияж и интерьерный дизайн. Эффективность никто не оценивал. После реорганизации новый топ-менеджер посмотрел портфель программ — и уволил всю команду обучения.
Новая команда пересобрала ту же программу со связкой с бизнесом: дети учились кодить мобильные приложения и кибербезопасности, жёны — защите детей в интернете и предпринимательству. Та же аудитория, но теперь программа работала на цели и ценность компании. Логика: компания → её цели → её ценность → программа → её эффективность.
На что обучение влияет — а на что нет
Обучение — не таблетка от всего. К команде обучения часто приходят с запросом, за которым стоит не дефицит навыков, а другая проблема: кривой процесс, устаревшая технология, непонятная стратегия, неподходящие люди на ролях. «Там есть кого развернуть» — это не задача обучения.
Кол-центр заказал программу «про принятие позитивных изменений»: обучили топов, мидлов, рядовых сотрудников. Люди жаловались прямо на обучении — они были не согласны с новой стратегией, а участие шло под угрозой увольнения. Программа обучения здесь не могла помочь: нужна была не она, а прозрачная коммуникация изменений от руководства.
Проверка проста: спросите, какое поведение должно измениться и мешает ли ему именно нехватка знаний и навыков. Если поведение упирается в мотивацию, процессы или ресурсы — решение не образовательное. Это второй шаг 12-шагового процесса.
Кому какие уровни важны
| Роль | Что её волнует | Уровни |
|---|---|---|
| Участник | Полезно ли лично мне, научился ли, применяю ли | 1–4 |
| Заказчик обучения, руководитель | Изменилось ли поведение команды и её показатели | 3–4 |
| Топ-менеджмент | Бизнес-эффект и возврат инвестиций | 4–5 |
Готовя защиту программы или отчёт, сначала определите, кто ваша аудитория, и говорите на языке её уровня. Топу не нужен NPS тренинга, руководителю отдела — формула ROI. Подробнее — в разделе «Отчётность».
6 уровней оценки: от реакции до ROI
Успех программы — многомерное понятие: каждый видит его по-своему. Методология Филлипса раскладывает его на шесть уровней — от входных данных (уровень 0) до возврата инвестиций (уровень 5). Чем выше уровень, тем ближе к деньгам и тем дороже сбор данных.
Нажмите на уровень, чтобы раскрыть подробности: что измеряем, какими методами, когда и по каким метрикам.
Сравниваем денежную выгоду программы с её полными затратами. Требует всех предыдущих уровней: эффект надо зафиксировать (4), изолировать от других факторов и перевести в деньги.
Что помогает ответить
Стоило ли вкладываться? Сколько возвращает каждый вложенный рубль? За какой срок программа окупается?
Данные и методы
Формулы ROI, BCR, срок окупаемости — см. раздел про деньги. Только денежные значения выгод и полные (fully loaded) затраты.
Примеры метрик
ROI, %BCRСрок окупаемости, месВыполнение бюджета на обучение
Целевая доля программ, оцениваемых на этом уровне: 5–10%.
Изменения бизнес-показателей, связанных с программой: продажи, качество, время, затраты, текучесть, удовлетворённость клиентов. Сюда входят и результаты, которые не переводятся в деньги, — они остаются нематериальными выгодами.
Что помогает ответить
Что изменилось для компании? Какие метрики сдвинулись и насколько? Какая часть сдвига — заслуга обучения (см. изоляцию эффекта)?
Данные и методы
Отчёты о производительности и данные систем (CRM, биллинг, HRIS), мониторинг метрик, опросники с самооценкой влияния, планы действий. Замер обычно через 3–5 месяцев после программы.
Примеры метрик
Выручка и маржаТекучесть кадровNPS/CSAT клиентовВремя устранения аварийДоля ошибок — полный список в каталоге.
Целевая доля программ: 10–20%. Метрику и её значения даёт бизнес-заказчик, а не команда обучения.
Изменение поведения на рабочем месте: не «знаю и умею», а «делаю привычно». Это самый недооценённый уровень — именно здесь эффект чаще всего теряется, и именно здесь видно, почему.
Что помогает ответить
Что люди стали делать иначе? Как часто применяют новые навыки? Что мешает (барьеры) и что помогает (помощники применения)?
Данные и методы
Опросники через 1–3 месяца после обучения, наблюдение и полевое сопровождение, чек-листы «до/после», фокус-группы, оценка руководителей, планы действий, performance-контракты. Важно: моделирование рабочей ситуации — это ещё уровень 2, настоящая работа начинается здесь.
Примеры метрик
% применяющих навыкиЧастота примененияСоответствие чек-листуTime to ProficiencyБарьеры применения
Целевая доля программ: ~30%. На программу — не больше 7–10 задач применения.
Изменения в знаниях, навыках и установках. Объективный контроль: тест, диагностика, демонстрация навыка. Уровень обязателен не для каждого продукта — где-то достаточно самооценки (CEO вы тестировать не будете).
Когда уровень точно нужен
Обязательное обучение, требования законодательства и безопасности, сертификация на новую роль или повышение. В остальных случаях — по необходимости, иначе уровень вырождается в формальность.
Данные и методы
Тесты (в т.ч. критериально-ориентированные), тестирование производительности, симуляции и деловые игры, кейсы, ассессмент-центр, самооценка — см. инструменты.
Примеры метрик
Pass RateПрирост знаний (дельта до/после)Оценка симуляцииУверенность в навыке
Целевая доля программ: 40–60%.
Эмоция плюс интенция: понравилось ли, релевантно ли работе и — главное — собирается ли человек применять. Намерение ещё не действие: через 1–3 месяца проверяем на уровне 3, что из планов сбылось.
Что точно измерять
- Метрики дизайна программы: релевантность (relevance), важность (importance), ценность новой информации — если человек ничего нового не узнал, поведение не изменится;
- Метрики реализации: эффективность тренера/коуча, платформа, сервис, площадка;
- Метрики применимости: намерение использовать (intent to use), NPS.
Данные и методы
Анкета после курса или мероприятия, пульс-опросы. В очных группах спрашивайте мнение наедине: вопрос в зал «как вам?» сбивает оценки. Уровень 1 в асинхронных курсах — ещё и про удобство восприятия контента.
Примеры метрик
NPS программыCSAT/CSIПрактическая применимостьОценка тренераДоходимость (COR)
Целевая доля программ: 90–100%.
Масштаб и стоимость программы: сколько слушателей, часов, потоков, во что обходится. Это ещё не эффективность — это гигиена: без входных данных не посчитать ничего выше.
Примеры метрик
Число участниковЧасы обученияСтоимость программы и на участникаДлительность разработки
Целевая доля программ: 100%.
Не все программы оцениваются на всех уровнях. Уровень 0 — у 100% программ, уровень 1 — у 90–100%, уровень 2 — у 40–60%, уровень 3 — у ~30%, уровень 4 — у 10–20%, уровень 5 — у 5–10%. Тащить каждую программу к ROI — дорого и бессмысленно. Как выбрать глубину — в разделе «Какие программы оценивать глубоко».
Человек хочет похудеть на 10 кг за 3 месяца. Реакция — нравится ходить в зал. Знания — выучил упражнения и принципы питания. Применение — регулярно тренируется и ест по режиму. Влияние — вес и объёмы снижаются (материальные метрики), самочувствие лучше (нематериальные), экономия на фастфуде. ROI — затраты на зал и еду скорее всего перевесят экономию: ROI отрицательный, но нематериальная ценность огромна. Вывод: ROI — не единственный критерий успеха.
Останавливаться на уровне 1 и рапортовать «NPS 90 — программа эффективна». Высокая реакция — необходимое, но не достаточное условие. Она ничего не говорит ни о поведении, ни о бизнес-эффекте.
V-модель: согласованность программы с бизнесом
V-модель (Business Alignment) связывает три вещи: потребности, ради которых запускается программа, цели программы и последующее измерение. Спускаемся по левой ветви от потребностей бизнеса к формату обучения, поднимаемся по правой — измеряя результат на каждом уровне.
Наведите курсор на строку — подсветится пара «потребность → цель → измерение» одного уровня.
целевой % возврата
Impact Objectives
Application Objectives
Learning Objectives
Reaction Objectives
Как читать модель
Левая ветвь — до запуска. Начинаем с «зачем»: что программа даст компании (окупаемость), какие метрики должны сдвинуться (бизнес), какое поведение сейчас мешает этим метрикам (эффективность), каких навыков не хватает для нужного поведения (обучение), в каком формате людям удобно учиться (предпочтения). Ответы на эти пять вопросов — это и есть дизайн программы.
Правая ветвь — после запуска. Каждой потребности соответствует свой уровень измерения. Если на левой ветви пропущен уровень (например, никто не сформулировал бизнес-потребность) — на правой ветви будет нечего измерять: цели и оценка окажутся несогласованными.
Payoff: незапланированные отсутствия стоят компании $10 000 в месяц. Бизнес: прогулы 9% при бенчмарке 5%. Эффективность: руководители не обсуждают с сотрудником незапланированное отсутствие. Обучение: у руководителей нет коучинговых навыков для такого разговора. Предпочтения: навыки должны быть практичными и необходимыми в работе.
Цели зеркально: снизить прогулы до 5% за 6 месяцев; проводить беседу в 95% случаев отсутствия; освоить 5-шаговый процесс разговора; рейтинг программы ≥4/5. Оценка: мониторинг отсутствий 6 месяцев; пост-опросник через 3 месяца; практика на обучении; анкета реакции в конце.
Высокая смертность в ДТП. Почему? Люди ездят слишком быстро, правила мягкие. Почему так себя ведут? Не знают правил, не понимают, зачем ремень. Только дойдя до дефицита знаний и поведения, можно строить обучение — от поведения, а не от абстрактной «темы безопасности».
- Начинать с уровня 2 («нужен курс по X») без вопросов «какая метрика?» и «какое поведение?». Тогда связь с бизнесом приходится придумывать задним числом.
- Путать уровни потребностей: «потребность бизнеса» — это метрика с числом, а не пожелание «повысить культуру».
- Забывать про три источника потребностей: бизнеса, процесса/подразделения и самого студента (знания, навыки, формат).
12 шагов оценки эффективности программы
Методология ROI — это 12 логичных и системных шагов в четырёх фазах: планирование оценки → сбор данных → анализ данных → оптимизация результатов. Шаги 1–3 делаются до запуска программы: если вспомнить об оценке после — половина данных уже потеряна.
1 Начните с «почему»: свяжите программу с бизнесом
Что делаем: находим бизнес-проблему или возможность, под которую запускается программа (текучка растёт, контракты закрываются долго), и определяем индикаторы успеха — конкретные метрики, которые попадут на уровень 4.
Результат шага: одна-две бизнес-метрики с текущим и целевым значением, подтверждённые заказчиком.
Типичная ошибка: формулировать цель как тему («обучить переговорам»), а не как метрику («сократить цикл сделки с 6 до 5 месяцев»).
2 Проверьте, что обучение — правильное решение
Что делаем: ищем причину проблемы. Что нужно изменить, чтобы метрика сдвинулась? Поможет ли обучение — или нужен новый процесс, технология, коммуникация изменений?
Результат шага: подтверждение, что дефицит именно в знаниях и навыках, либо честный отказ от программы.
Типичная ошибка: лечить обучением проблемы мотивации, процессов или найма — «к нам приходят за таблеткой».
3 Планируйте результаты
Что делаем: ставим цели на всех нужных уровнях (реакция, обучение, применение, влияние, при необходимости ROI), составляем план сбора данных и план анализа ROI, распределяем ответственность.
Результат шага: заполненный план сбора данных (см. ниже) + коммитмент заказчика предоставлять цифры.
Типичная ошибка: не показать план сбора данных бизнес-заказчику заранее — потом окажется, что метрики никто не считает.
4 Сделайте программу значимой: вход, реакция, обучение
Что делаем: проектируем программу под актуальное и применимое содержание, собираем данные уровней 0–2: входные показатели, реакцию и намерения, знания и навыки.
Результат шага: данные «участникам релевантно, они научились и намерены применять».
Типичная ошибка: мерить только «понравилось/не понравилось» и не спрашивать про намерение применять.
5 Закрепите эффект: применение и влияние
Что делаем: через 1–3 месяца собираем данные уровня 3 (что применяют, что мешает, что помогает), через 3–5 месяцев — уровня 4 (сдвиг бизнес-метрик). Работаем с барьерами и помощниками применения.
Результат шага: % применимости, список барьеров/помощников, динамика бизнес-метрик.
Типичная ошибка: мерить применение сразу после обучения — новое поведение ещё не успело появиться.
6 Изолируйте эффект программы
Что делаем: определяем, какая часть улучшения — заслуга обучения, а какая — других факторов: контрольная группа, анализ тренда, прогнозирование, оценки участников и руководителей. Подробно — в разделе об изоляции.
Результат шага: доля эффекта, отнесённая к программе, с уровнем уверенности.
Типичная ошибка: приписать обучению весь рост метрики, забыв про сезонность, мотивацию и параллельные изменения.
7 Переведите данные в деньги
Что делаем: конвертируем изолированный эффект в денежное выражение одним из 10 методов (стандартные значения, исторические данные, базы, оценки) — см. раздел про деньги.
Результат шага: годовая денежная выгода программы.
Типичная ошибка: брать выручку вместо маржи. Для ROI нужна прибыль от единицы, а не её цена.
8 Соберите полные затраты
Что делаем: считаем fully loaded затраты: разработка, проведение, материалы, площадки, командировки, оценка, накладные — и обязательно ФОТ участников за время обучения и время команды методологов.
Результат шага: полная стоимость программы.
Типичная ошибка: посчитать только прямые расходы на провайдера — затраты занижены, ROI завышен и не выдержит проверки.
9 Рассчитайте ROI
Что делаем: считаем BCR, ROI и срок окупаемости. В расчёт берём только выгоды первого года (для краткосрочных программ — стандарт методологии).
Результат шага: ROI %, BCR, payback — c понятным консервативным обоснованием.
Типичная ошибка: «продать» заказчику ROI 1000% без консервативных поправок — доверие к цифре важнее её размера.
10 Зафиксируйте нематериальные выгоды
Что делаем: всё, что не удалось достоверно перевести в деньги при разумных затратах, фиксируем как нематериальные выгоды: вовлечённость, стресс, репутация, командная работа.
Результат шага: список intangibles с оценкой степени влияния (по опросу участников).
Типичная ошибка: выбросить нематериальное из отчёта. Иногда intangibles важнее денег — покажите их.
11 Расскажите историю: сообщите результаты
Что делаем: доносим результаты до целевых аудиторий — каждой своё и на её языке: топам — одобрение бюджета, руководителям участников — подтверждение ценности, команде — выводы для улучшения. См. «Отчётность».
Результат шага: отчёт с данными шести измерений: уровни 1–5 + нематериальные выгоды.
Типичная ошибка: один и тот же отчёт для всех аудиторий.
12 Оптимизируйте: используйте «чёрный ящик»
Что делаем: разбираем данные, находим, где программа теряет эффект, вносим изменения: контент, формат, работа с руководителями, закрепление. Результаты и улучшения — аргумент за сохранение и рост финансирования.
Результат шага: список изменений в программе + решение о её судьбе (масштабировать / переработать / закрыть).
Типичная ошибка: собрать данные и положить в стол. Оценка без изменений — фиктивная оценка.
Бланк планирования оценки: 14 вопросов
Заполняется на шаге 3, в идеале — для программы, которая только разрабатывается. Ключевые вопросы 8–10 различаются так: 8 — про корень проблемы («какой выхлоп нужен?»), 9 — про поведение («что сотрудники должны делать иначе?»), 10 — про конкретные метрики с направлением («увеличить / уменьшить / удержать показатель на уровне...»).
Развернуть все 14 вопросов
- Ваше имя.
- Название программы/проекта.
- Целевая аудитория.
- Содержание программы (50–75 слов).
- Сколько времени нужно участникам, чтобы освоить новые навыки (дни/месяцы)? Учитывайте весь путь: основную часть, follow-up и период внедрения.
- Какой будет реакция сотрудников на участие? Почему?
- Какими методами будем обучать/сопровождать?
- Какая основная проблема-драйвер проекта (сокращение затрат, времени, рост производительности или качества, новый процесс)?
- Как внедрение должно повлиять на работу сотрудников? Что они должны делать по-другому, лучше?
- Каким должно быть влияние на бизнес? Какие бизнес-метрики будут затронуты?
- Какие другие факторы (кроме программы) будут влиять на эти метрики в период оценки?
- Каковы ожидания руководства от программы?
- Какие предварительные действия нужны от сотрудников до старта?
- Какая запланирована последующая поддержка внедрения?
План сбора данных
Рабочий документ шага 3: по строке на каждый уровень. Покажите его заказчику до запуска и получите коммитмент, что данные будут считать и отдавать.
| Уровень | Цели программы | Показатели | Метод / инструмент | Источник данных | Когда | Ответственный |
|---|---|---|---|---|---|---|
| 1 Реакция | Программа воспринята как важная и применимая | ≥4 из 5; NPS | Анкета | Участники | Конец программы | Методолог |
| 2 Обучение | Освоены целевые навыки | ≥70% в тесте; +15% к «до» | Тест, наблюдение | Участники, тренер | Конец программы | Методолог |
| 3 Применение | Навыки используются в работе | ≥50% применяют; ≥4 из 5 | Опросник, фокус-группа, интервью | Участники, руководители | Через 1–3 мес | Команда оценки |
| 4 Влияние | Целевые метрики улучшены | Метрики из шага 1 | Мониторинг показателей | Системы (CRM, HRIS, дашборды) | Через 3–6 мес | Бизнес-заказчик |
| 5 ROI | Целевой ROI (например, 15%) | ROI, BCR, payback | Расчёт | Данные уровней 4 + затраты | По итогам периода | Команда оценки |
Performance contracting: «контракт о результатах» с заказчиком
Способ «зацементировать» связку обучения с метриками: заранее оформить с заказчиком договорённость о результатах и встроить в неё систему замера. По сути это план оценки, превращённый в рабочий договор между О-У и бизнесом.
- Цель в терминах performance: «сократить среднее время обработки заявки с 8 до 7 минут за 3 месяца»;
- Метрики и источники: CRM, отчёты производительности, HRIS, NPS/eNPS, тесты, 360, чек-листы;
- Базовая линия (baseline): замер до запуска;
- Точки замера: T0 (до) → T1 (сразу после) → T2 (через 3 мес) → T3 (через 6 мес);
- Порог успеха: какая дельта считается «программа сработала»;
- Действия при недостижении: что дорабатываем — контент, работу с руководителями, формат практики.
Польза: сбор данных становится обязательной частью программы, а не «по желанию методолога», и появляется прозрачная основа для улучшений.
Сложносоставную программу оценивайте как единое решение — влияние всей программы целиком. По каждому модулю можно собирать опрос о применении: за 5 модулей станет видно, какие два дают эффект, а какие работают только на вовлечение. Если потоки идут волнами, уровни 1–2 мерьте у всех когорт по ходу, уровни 3–4 — через 1–3 месяца после каждой когорты; общие цифры по программе появятся позже, и это нормально.
Старайтесь не усложнять процесс оценки. Лучше простая схема, которую вы реально доведёте до конца, чем идеальная, которая умрёт на втором опроснике.
Какие программы оценивать глубоко
Оценка уровней 4–5 стоит времени и денег, поэтому её делают выборочно. Решение принимается по девяти критериям: программы с высоким суммарным рейтингом тащим в метрики влияния и ROI, остальным хватает уровней 1–3.
9 критериев выбора программ для уровней 4–5
| Критерий | 1 балл | 5 баллов |
|---|---|---|
| 1. Жизненный цикл программы | Разовая (one-shot) | Постоянная, долгоживущая |
| 2. Связь с операционными целями | Не связана | Тесно связана |
| 3. Связь со стратегическими целями | Не связана | Тесно связана |
| 4. Затраты на программу | Дешёвая | Очень дорогая |
| 5. Размер целевой аудитории | Очень маленькая | Очень большая |
| 6. Видимость программы | Незаметная | Флагманская, «на витрине» |
| 7. Инвестиции времени | Небольшие | Большие (доставка, координация, сопровождение) |
| 8. Интерес руководства к оценке | Низкий | Высокий |
| 9. Качество процессов сбора данных | Данных почти нет | Данные собираются системно |
Уровни целей тоже различаются: операционная цель — горизонт год; стратегическая — несколько лет; и отдельно существует «управленческий интерес» — личная инициатива топ-руководителя (гендиректор прочёл книгу и захотел раскатать практику на всех). Последний случай — повод для честного разговора о целях, а не автоматический пропуск к ROI.
Калькулятор: до какого уровня оценивать программу
Оцените программу по каждому критерию от 1 до 5. Порог из методологии: рейтинг выше 70% от максимума — программу точно нужно оценивать на уровнях 4–5.
Калькулятор — навигационная подсказка, а не приговор. Обязательное обучение всегда получает уровень 2 независимо от рейтинга; решение по уровню 5 согласуйте с заказчиком.
Быстрые правила по типам программ
| Тип программы | Разумная глубина | Комментарий |
|---|---|---|
| Асинхронные курсы, контент | Уровни 1–2 | Уровень 2 — скорее для обязательного обучения |
| Обязательное обучение, сертификация, безопасность | Уровень 2 обязательно | Требование законодательства или допуск к роли |
| Программы с изменением поведения (продажи, сервис, руководители) | Уровни 3–4 | Главные данные — применение и сдвиг метрик |
| Крупные инвестиции, флагманы (дорогой курс по ИИ, школы руководителей) | До уровня 5 | Дорого, заметно, интересно руководству — считаем ROI |
| НКО-подобные, имиджевые, welfare-программы | Уровни 1–4, ROI-цель 0% | Задача — ценность и «выход в ноль», а не заработок |
Сведите портфель в табличку «Программа × Стоимость × ROI» и считайте общий ROI бюджета обучения. Приоритизируйте: где ценник больше, там ROI важнее считать.
Метрики: жёсткие и мягкие
Все данные оценки делятся на жёсткие (hard) и мягкие (soft). Жёсткие — объективны, уже считаются в системах компании и легко переводятся в деньги. Мягкие — субъективны и труднее монетизируются, но без них картина эффективности неполная.
Hard Жёсткие метрики
- Легко измерить и оцифровать
- Относительно легко перевести в деньги
- Объективны, берутся из систем (биллинг, CRM, HRIS, финансы)
- Очень убедительны для руководства
4 категории: объём работы (Output) · время (Time) · затраты (Costs) · качество (Quality)
Soft Мягкие метрики
- Сложнее измерить и квантифицировать
- Труднее перевести в денежный эквивалент
- Часто субъективны, собираются опросами и наблюдением
- Ориентированы на поведение и отношение
Категории: трудовая дисциплина · климат и удовлетворённость · инициатива и инновации · клиентский сервис · развитие сотрудников · имидж
Мягкая метрика — не значит «не считается». CSAT, eNPS и вовлечённость измеряются числами. «Мягкость» — про сложность достоверной конвертации в деньги: если перевести нельзя с разумными усилиями, метрика уходит в нематериальные выгоды, но остаётся в отчёте.
В программах О-У влияние на бизнес чаще выражено мягкими данными (вовлечённость, лояльность, намерение уволиться, поданные идеи). Это нормально: фиксируйте их системно и конвертируйте в деньги только то, что конвертируется достоверно. Для программ про ИИ и автоматизацию есть удобная жёсткая метрика — сокращение уровня ошибок в процессе до его автоматизации.
Категории hard/soft, адаптированные под телеком
Hard Объём работы (Output)
Новые подключённые абоненты · активированные SIM-карты и линии · обработанные звонки · решённые заявки в поддержку · завершённые установки и подключения · обработанные заказы · подписанные договоры · трафик данных (ГБ/ТБ) · собранная выручка · допродажи и кросс-продажи · использованная ёмкость сети · выезды технических специалистов
Hard Затраты (Costs)
Стоимость привлечения абонента (CPA) · затраты на обслуживание сети · стоимость обработки обращения · затраты на биллинг · оборудование и инфраструктура · накладные расходы · стоимость оттока абонентов · операционные затраты на линию/абонента · затраты на обучение персонала · экономия от автоматизации · отклонение от бюджета
Hard Время (Time)
Среднее время обработки звонка (AHT) · простой сети · время решения заявки · время установки/подключения · время активации услуги · время реакции на аварии · длительность биллингового цикла · время выхода нового сотрудника на эффективность · сверхурочные часы · время устранения неисправности
Hard Качество (Quality)
Доля обрывов вызовов · уровень сбоев сети · ошибки биллинга · соответствие SLA · решение с первого обращения (FCR) · повторные работы по установке · доля дефектного оборудования · ошибки, повлёкшие жалобы · нарушения нормативных требований и штрафы
Soft Трудовая дисциплина · климат · инициатива
Дисциплина: абсентеизм · опоздания · нарушения правил безопасности · сбои в коммуникации. Климат: жалобы сотрудников · удовлетворённость работой · вовлечённость · лояльность к организации · намерение уволиться · уровень стресса. Инициатива и инновации: поданные идеи и предложения · внедрённые улучшения процессов · запущенные продукты · патенты · партнёрства
Soft Клиентский сервис · развитие сотрудников · имидж
Сервис: жалобы клиентов · CSAT · NPS · удержание и отток клиентов · эскалации. Развитие: продвижения · завершённые программы обучения · оценки эффективности · готовность к продвижению · запросы на перевод. Имидж: узнаваемость бренда · репутация · социальная ответственность · внешние награды
Каталог метрик Ростелекома
Внутренний справочник показателей эффективности обучения: ~130 метрик, разложенных по уровням 0–5. Фильтруйте по уровню и ищите по названию. Узкоспециализированные блоки (B2B-финансы, метрики техблока БТИ) свёрнуты, чтобы не мешать основному списку.
Уровень 0 Входные данные
Уровень 1 Реакция и запланированные действия
Уровень 2 Обучение (усвоение материала)
Уровень 3 Применение и поведение
Уровень 4 Влияние на бизнес
B2B / B2O Финансы и воронка продаж
B2C Продажи и розница
БТИ Техблок и инфраструктура
Уровень 5 ROI
Выбирая метрику уровня 4, проверьте три вещи: (1) её уже считает бизнес — вам не придётся строить учёт с нуля; (2) заказчик подтвердил её ценность и согласился давать данные; (3) вы понимаете, через какое поведение обучение на неё влияет. Если хотя бы один пункт не сходится — метрика не рабочая.
Инструменты сбора данных
Тесты — далеко не единственный инструмент. Ниже — интерактивная матрица: какие методы работают на каких уровнях, а дальше — как собрать сильную анкету уровня 1, чем мерить уровень 2 и как устроены опросники применения и планы действий.
Матрица «метод × уровень»
Нажмите на уровень, чтобы подсветить подходящие методы. Клик по строке метода покажет его уровни.
| Метод | 1 · Реакция | 2 · Обучение | 3 · Применение | 4 · Влияние |
|---|---|---|---|---|
| Опросы (surveys) | ||||
| Анкеты/вопросники (questionnaires) | ||||
| Наблюдение (в т.ч. полевое сопровождение) | ||||
| Интервью | ||||
| Фокус-группы | ||||
| Тесты и проверки знаний | ||||
| Демонстрации навыка | ||||
| Симуляции и деловые игры | ||||
| Планы действий (action plans) | ||||
| Performance contracting | ||||
| Follow-up сессии после программы | ||||
| Отчёты о производительности (performance records) |
Моделирование рабочей ситуации — это уровень 2, а не 3: это ещё не настоящая работа. Уровень 3 начинается там, где поведение наблюдается в реальных рабочих условиях.
Уровень 1: что спрашивать в анкете
Ядро анкеты реакции — шесть измерений: релевантность, важность, ценность новой информации, эффективность тренера, намерение применять, NPS. Дополнительно: материалы, формат и длительность, сервис. Зачем это всё: данные уровня 1 используются десятью способами — от оценки тренера до корректировки целевой аудитории будущих потоков («этим слишком сложно — поднимем уровень», «это не для руководителей»).
- Сделайте оценку постоянной, а не разовой; квантифицируйте рейтинги.
- Дайте достаточно времени на обратную связь и разберите анкету в конце сессии.
- Используйте данные конструктивно — участники должны видеть, что их ответы что-то меняют.
- В очных группах собирайте мнение индивидуально: публичный «вопрос в зал» сбивает оценки.
Уровень 2: чем измерять обучение
Формальные методики
Объективное тестирование · критериально-ориентированный тест · тестирование производительности (решить задачу с новым навыком за 15 минут)
Симуляционные
Симуляция задачи · деловые игры · разбор кейсов · ролевые игры · ассессмент-центр
Менее структурированные
Упражнения и активности · самооценка · оценка команды · оценка коуча
Критериально-ориентированный тест (criterion-referenced test): коротко
Результат сравнивается не с другими людьми, а с заранее заданным критерием: «правильно ответить на 80% заданий», «набрать минимум 6,5 по каждому пулу компетенций» (как в IELTS). Отвечает на вопрос «может / не может делать задачу», поэтому идеален для допусков, сертификаций и обязательного обучения. Не подходит, если нужен рейтинг или конкурсный отбор. Норм-ориентированный тест (norm-referenced) — наоборот: сравнивает людей между собой.
Уровни 3–4: опросник применения
Сильная конструкция опросника через 1–3 месяца после программы — четыре блока:
- Задачи применения. Список конкретных действий (формулировки — из образовательных результатов программы, не больше 7–10), шкала «не делал → делаю полностью» + «неприменимо». На выходе — % применимости.
- Барьеры. Не применял — почему? Чек-лист: руководитель не поддерживает, культура, нет времени, нет возможности, системы и процессы не позволяют, не увидел смысла, не смог сломать привычку.
- Помощники (enablers). Применял — что помогло? Поддержка руководителя, возможности применить, важность для роли, простота.
- Самооценка влияния. «Я продуктивнее», «качество работы выросло», «сократил затраты», «вероятнее останусь в компании» — а при ответах «согласен / полностью согласен» уточняющие вопросы: на сколько % выросла продуктивность, какая доля этого — заслуга программы, насколько вы уверены в оценке, сколько часов в неделю экономите.
Честная цифра = влияние × уверенность. Если участник оценил вклад программы в 30% и уверен в этом на 80%, в расчёт идёт 24%. Это делает оценку консервативной: лучше занизить, чем защищать завышенную цифру.
На уровне 4 спрашивайте про бизнес-метрики, выбранные при проектировании: изменились ли, насколько, насколько вы уверены, что рекомендуете улучшить. Барьеры и помощники здесь — самая практичная часть данных: они прямо говорят, что чинить в программе и её окружении.
Планы действий (action plans)
Инструмент для программ, где у участников разные метрики (лидерские, кросс-функциональные): каждый сам выбирает показатель для улучшения и ведёт план. Работает в три этапа: до программы — сообщить о требовании и попросить выбрать показатели; во время — научить процессу, дать время на план, утвердить у тренера, обозначить денежное выражение улучшения; после — собрать данные об улучшении, попросить изолировать вклад программы и указать уверенность, суммировать и посчитать ROI.
Цель: сократить жалобы пассажиров с 21 до 15 в месяц. Единица измерения — 1 жалоба, стоимость €600 (данные сервис-департамента). Фактическое изменение — 8 жалоб в месяц. Вклад программы — 30%, уверенность — 80%. Денежная выгода: 600 × 8 × 30% × 80% = €1 152 в месяц ≈ €13 824 в год.
Если эффект — сэкономленные часы, обязательно спросите, какая доля высвобожденного времени реально уходит на полезную работу, и умножьте на неё. Сравните самооценку сотрудника с оценкой руководителя и возьмите меньшую. Для монетизации нужна полная стоимость часа (ставка + бенефиты).
Как поднять response rate анкет
Администрирование
- 1–2 напоминания; письмо-анонс за подписью топ-руководителя
- Раздача через локального руководителя, который поддерживает сбор
- Анонимность или конфиденциальность; сторонний сбор и анализ
- Несколько каналов ответа; заполнение в рабочее время
- Небольшой стимул за быстрый ответ
Коммуникация
- Объясните, зачем анкета и что произойдёт с данными
- Разберите анкету в конце программы; назовите время заполнения и дедлайн
- Пообещайте (и пришлите!) резюме результатов
- Скажите, кто увидит результаты
- «Вы — часть тщательно отобранной выборки»
Калькулятор размера выборки
Сколько ответов нужно собрать, чтобы результаты опроса были репрезентативными для вашей аудитории.
Формула Кокрана с поправкой на конечную популяцию, доля признака 50% (наихудший случай). При меньшем количестве ответов результаты используйте как индикативные, а не репрезентативные.
Изоляция эффекта обучения
Бизнес-метрика редко меняется только из-за обучения: одновременно действуют внешние факторы, изменения процессов и систем, внимание руководства, мотивационные схемы. Изоляция отвечает на главный вопрос скептика: «А какая часть улучшения — действительно ваша заслуга?»
Четыре основных метода
1 · Контрольная группа
Сравниваем обученную группу с сопоставимой необученной, работающей в тех же условиях. Разница между группами — эффект программы. Группы подбираются похожими по 4–5 важнейшим критериям (не по всем!): из сотен возможных факторов достаточно 10–15 по принципу Парето.
Пример: коучинг менеджеров магазинов — пилот в трёх магазинах против трёх похожих (размер, расположение, трафик, прошлые показатели). Так же подбирают группы в медицинских исследованиях: похожих людей, а не одинаковых.
Плюсы: самый точный и убедительный метод. Минусы: требует ресурсов и возможности «не учить» часть людей какое-то время.
2 · Анализ линии тренда
Строим прогноз метрики из исторических данных «как было бы без обучения» и сравниваем с фактом после программы. Дельта прогноза и факта — вклад обучения.
Пример: больница Муската работала с метрикой DFR (частота инцидентов с потерей трудоспособности): прогноз по тренду — 46,5, факт после программы — 33. Разница отнесена к обучению. Аналогично считали программу по закону о домашнем насилии: прогноз 125 случаев, факт 54 — улучшение на 71 случай.
Плюсы: дёшево, не нужна контрольная группа. Минусы: не работает, если тренд неровный или исторических данных нет; причинность доказывается слабее.
3 · Прогнозирование с учётом факторов
Строим модель ожидаемых результатов с учётом внешних переменных (сезонность, рынок, рост опыта) и сравниваем факт с модельным прогнозом.
Пример: модель предсказывала, что эффективность операторов кол-центра и так вырастет на 2% за год за счёт опыта. Фактический рост после обучения — 8%. Чистый вклад обучения ≈ 6%.
Плюсы: учитывает внешние факторы. Минусы: нужны данные и аналитика.
4 · Оценка вклада участниками и руководителями (estimation)
Участники (или их руководители, или эксперты) распределяют 100% влияния на метрику между факторами и указывают уверенность в своей оценке. Среднее по многим респондентам даёт устойчивую и, как правило, консервативную цифру — метрику вы точно не завысите.
Пример (National Bank): прирост — 175 новых карточных счетов в месяц. Участники распределили влияние: программа коучинга продаж — 32% (уверенность 83%), система мотивации — 41%, подкрепление руководителей — 14%, маркетинг — 11%. Вклад программы: 175 × 0,32 × 0,83 ≈ 46 счетов в месяц.
Правила: сначала попросите вспомнить все факторы, повлиявшие на метрику, и только потом — оценить долю обучения; источник субъективной оценки должен быть доверенным и экспертным; всегда умножайте на уверенность.
В расширенном списке методологии есть ещё пять методов: экспертная оценка и предыдущие исследования, расчёт влияния других факторов, отзывы клиентов, оценка менеджментом, оценка руководством. Все они — вариации той же логики: найти достоверный источник, который отделит вклад программы от остального.
Можно ли обучить одну группу, а другую — позже? Берите контрольную группу. Нельзя, но есть ровная история метрики? Тренд. Нет ни того, ни другого? Оценка вклада участниками с поправкой на уверенность — минимально допустимый вариант, который всё равно на порядок честнее, чем приписать программе весь рост.
«КПЭ поставили одновременно с обучением — эффект точно будет». Будет, но чей? Если не разделить вклад КПЭ и вклад обучения, любой скептик обнулит ваш отчёт одним вопросом.
Деньги: конвертация, затраты и ROI
ROI — вершина пирамиды: чтобы его посчитать, нужно перевести изолированный эффект в деньги, собрать полные затраты и применить формулу. Здесь же — когда ROI считать не нужно и что считать нормой.
10 методов перевода данных в деньги
1 · Стандартные значения
- Результат → вклад в прибыль/экономию (маржа от продажи, стоимость подключения)
- Стоимость качества (цена одной ошибки, брака, жалобы)
- Время сотрудника → ставка + бенефиты
2 · Анализ записей и отчётов
- Исторические затраты: «во сколько обходится одна жалоба» = все затраты на споры ÷ число жалоб
- Внутренние и внешние эксперты
3 · Базы данных
- Внешние базы и исследования
- Связка с другими показателями (вовлечённость → текучесть → деньги)
4 · Оценочные суждения
- Оценки участников
- Оценки руководителей
- Оценки заказчика/экспертов
5 шагов расчёта стоимости улучшения
- Определите единицу измерения (одна продажа, одна жалоба, один час).
- Определите стоимость (V) одной единицы — для продаж это маржа, не выручка.
- Рассчитайте изменение показателя (ΔP) — после изоляции эффекта.
- Приведите изменение к годовому значению (AΔP): месячная дельта × 12.
- Посчитайте годовую стоимость улучшения: AΔP × V.
Конвертировать или оставить нематериальным?
Четыре вопроса-фильтра. «Нет» на любом — показатель уходит в нематериальные выгоды, и это нормальный исход, а не поражение:
1. Есть стандартное значение стоимости? → нет → Есть метод его получить?
2. Есть метод получить значение? → нет → в нематериальные
3. Можем получить его с минимальными ресурсами? → нет → в нематериальные
4. Сможем за 2 минуты убедить руководителя, что значение достоверно? → да → конвертируем и добавляем в выгоды; нет → в нематериальные
Полные затраты (fully loaded costs)
| Статья | Тип | Комментарий |
|---|---|---|
| Оценка потребностей, разработка и дизайн программы | Пропорциональная | Распределяется на все потоки/программы, над которыми работала команда |
| Закупка контента/лицензий | Пропорциональная | — |
| Проведение: тренер/коуч, координация, материалы, площадки, командировки, питание | Прямая | Относится на конкретную программу |
| Зарплаты и бенефиты участников за время обучения | Прямая | Самая недооцениваемая статья: людей «выдёргивают» из работы |
| Время методологов и команды продукта | Пропорциональная | Доля рабочего времени × зарплата (Анна тратит 20% времени на программу — в затраты идёт 20% её ФОТ) |
| Оценка эффективности | Прямая | Опросы, аналитика, исследование ROI |
| Накладные расходы | Пропорциональная | Админподдержка, офис, связь |
Формулы
Пример сквозного кейса Retail Merchandise: выгоды $71 760, затраты $32 984 → BCR = 2,18; ROI = 118%; окупаемость ≈ 5,5 мес. Стандарт методологии: для краткосрочных программ в расчёт идут только выгоды первого года.
Калькулятор ROI программы обучения
Считает по консервативной логике методологии: эффект × вклад программы × уверенность респондентов, годовое приведение, полные затраты.
Что считать нормой ROI
| Ориентир | Значение | Комментарий |
|---|---|---|
| Материальные инвестиции (для сравнения) | 15% | Уже очень хорошо |
| Обучение: хороший результат | 15–30% | Консервативная, защитимая норма |
| Программы продаж | 25% | Привычный бенчмарк как высокая рамка |
| Обучение: отличный результат | ~100% | Выше 115% — «космос», перепроверьте консервативность |
| НКО-подобные и welfare-программы | 0% | Цель — выйти в ноль, ценность нематериальная |
| Ожидания заказчика | 10–30% | Часто норма — то, что заказчик считает нормой: позитивный ROI его уже радует |
Целевой ROI выбирают одним из четырёх способов: по аналогичным проектам; жёсткой рамкой 25%; по ожиданиям заказчика; 0% для программ без задачи заработать. Публичные цифры «ROI обучения 100–350%» — это лучшие пилотные кейсы без строгой изоляции, а не средняя норма: защищайте перед руководством консервативный диапазон 15–30%.
Когда ROI не нужен
- Программа не прошла порог по критериям выбора — хватит уровней 1–3 (см. калькулятор).
- Эффект принципиально нематериальный — вовлечённость, бренд работодателя: честный отчёт по уровням 3–4 + intangibles сильнее, чем натянутый ROI.
- Эффект сильно отложен (B2B-продажи с циклом сделки 1–2 года): берите ранние индикаторы — принятые КП, воронка в CRM, — стройте прогнозный ROI по нескольким сценариям и честно помечайте его как прогноз.
- Комплаенс и безопасность — считайте через предотвращённые потери и штрафы: избежанные убытки тоже выгода (так полицейская программа за $70 тыс. предотвратила ~$2 млн потерь).
Мерить продажи сразу после обучения. Результат изменения поведения доходит до бизнес-метрик через 3–5 месяцев (циклы сделки — дольше). Сразу после программы разницы не будет — и это не значит, что её не будет вообще.
Нематериальные выгоды
Нематериальные выгоды (intangibles) — это результаты уровня 4, которые вы решили не переводить в деньги: конвертация либо невозможна, либо слишком дорога, либо не будет достоверной. Это не отдельный уровень оценки и не «мусорная корзина» — это полноправная часть отчёта.
Типичные intangibles: вовлечённость и удовлетворённость сотрудников, снижение стресса, командная работа, коммуникация, лояльность и приверженность, репутация и бренд работодателя, клиентский опыт, готовность к продвижению, качество решений. Большинство успешных программ дают такие эффекты — фиксируйте их системно: обычно степень влияния оценивают сами участники по шкале в опроснике («в какой мере программа повлияла на…»).
Иногда нематериальные результаты важнее денежных — и отрицательный ROI при сильных intangibles может быть приемлем. Обратное тоже верно: intangibles не оправдание отсутствию расчётов там, где деньги посчитать можно.
Если заказчик формулирует результаты только в нематериальных терминах («улучшить культуру»), позадавайте наводящие вопросы: в чём это проявится? какие показатели сдвинутся? Часто за «культурой» обнаруживается вполне измеримая текучесть или количество кросс-командных конфликтов. Не нашлось измеримого — честно фиксируйте как intangible.
Отчётность: рассказать историю данных
Последний шаг — донести результаты. У каждой аудитории своя причина слушать вас и свой язык. Один отчёт для всех не работает.
| Аудитория | Зачем ей отчёт | Обязательность |
|---|---|---|
| Высшее руководство | Одобрение программы и бюджета | Всегда |
| Руководители участников | Подтверждение ценности, коммитмент на поддержку применения | Всегда |
| Текущие участники | Закрепление изменений («ваши ответы привели вот к чему») | Всегда |
| Команда обучения и развития | Выводы для улучшения программ | Всегда |
| Весь менеджмент | Поддержка и доверие к О-У | По ситуации |
| Потенциальные участники | Желание попасть в программу | По ситуации |
| Все сотрудники | Интерес к обучению | По ситуации |
| Стейкхолдеры/акционеры | Надёжное одобрение | По ситуации |
Структура impact-отчёта
- Основная информация: цели исследования, предпосылки.
- Методология: уровни оценки, сбор данных, изоляция, конвертация, затраты, допущения — это строит доверие к цифрам.
- Результаты в шести измерениях: уровни 1, 2, 3, 4, 5 + нематериальные выгоды.
- Барьеры и возможности: что мешает и что помогает применению.
- Выводы и рекомендации.
Лидерская программа, 24 участника. Отчёт по всем уровням: L1 — реакция 4,91/5, все измерения выше цели 90%; L2 — тест до/после: 30% → 64% (+34 п.п.); L3 — через 3 месяца применение 4,10/5 (82%), response rate 75%, главный барьер — рабочая нагрузка, главный помощник — ролевая модель лидеров; L4 — выгоды только от тех, кто дал достоверную оценку с вкладом и уверенностью (остальные учтены нулём); L5 — ROI 42%, BCR 1,42, окупаемость 8,5 мес; intangibles — 8 показателей на лепестковой диаграмме.
Почему отчёту верят: программа досталась бесплатно, но в затраты заложили гипотетическую рыночную цену; каждая выгода срезана на вклад и уверенность; явно написано «ROI занижен, а не завышен». Консервативность — главная валюта доверия.
Уоррен Баффет передал фонду Гейтсов $77 млрд и через 10 лет спросил, что стало с деньгами. Ответ — отчёт с эффектами «до 5 уровня»: на каждый вложенный доллар — $44 отдачи. Хороший отчёт о ценности — сам по себе инструмент привлечения финансирования.
Кейсы: как это считают в реальности
Семь кейсов из практики методологии — каждый отвечает на вопрос «как здесь оценивали эффективность и что из этого полезно нам».
- Контекст
- 3 коучинговые сессии для продавцов-консультантов, 48 участников из 3 магазинов, внешний провайдер.
- Что измеряли
- L1 — анкета (полезность 4,5); L2 — демонстрация навыков; L3 — опросник через 3 мес (78% используют навыки); L4 — недельные продажи против 3 контрольных магазинов, похожих по размеру, трафику и прошлым показателям.
- Расчёт
- Прирост продаж $1 626/нед на сотрудника × маржа 2% × 46 участников × 48 недель = $71 760 в год. Затраты полные, включая зарплаты участников: $32 984. BCR 2,18.
- Контекст
- Программа изменения мышления для тактической команды: жалобы граждан, тяжбы и недоверие стоили городу ~$2 млн в год.
- Что измеряли
- Жалобы граждан. Изоляция — линия тренда: 2,7 жалобы/мес до программы, ~0 после; ~32 предотвращённые жалобы в год, срезано до 30 с учётом 90% уверенности.
- Расчёт
- Выгоды $2,1 млн (предотвращённые потери) при затратах $36 055 — включая время участников и оценку.
- Контекст
- Программа управления стрессом для 138 сотрудников подразделений с высокими показателями стресса.
- Что измеряли
- Медицинские расходы, прогулы, текучесть — против контрольных групп, с подтверждением трендом. StressMap для уровня 2.
- Расчёт
- Выгоды за год: медрасходы $198,7 тыс + прогулы $67,7 тыс + текучесть $157,6 тыс = $423 957; затраты $100 848; BCR 4,2. Продуктивность и удовлетворённость намеренно не монетизировали — оставили нематериальными.
- Контекст
- Структурированная программа Coaching for Business Impact для руководителей международной сети отелей.
- Что измеряли
- Каждый руководитель через план действий выбирал свои метрики (выручка, эффективность, удержание). Изоляция и конвертация — оценки участников × уверенность.
- Расчёт
- Выгоды $1 861 158 против затрат $579 800; BCR 3,21.
- Контекст
- Программа Safe Operations Practice; целевая метрика здравоохранения — DFR, частота инцидентов с потерей трудоспособности.
- Что измеряли
- Тренд DFR до программы спроецировали вперёд: прогноз 46,5. Факт после программы — 33.
- Расчёт
- Дельта прогноза и факта (−13,5 пункта) — вклад обучения в изменение метрики.
- Контекст
- Программа коучинга продаж; метрика — новые карточные счета: +175 в месяц после программы.
- Что измеряли
- Участники распределили 100% влияния между факторами: программа 32% (уверенность 83%), система мотивации 41%, поддержка руководителей 14%, маркетинг 11%.
- Расчёт
- Вклад программы: 175 × 0,32 × 0,83 ≈ 46 счетов в месяц — далее в деньги через маржу счёта.
- Контекст
- Программа подготовки внутренних тренеров для передачи знаний (Knowledge Transfer Program).
- Что измеряли
- Полный план по уровням: реакция ≥4/5; знания — тест и демонстрации; применение — ≥50% участников проводят обучение (опрос через 3–6 мес); влияние — экономия затрат на разработку и проведение обучения (−10%), удовлетворённость внутренних клиентов.
- Расчёт
- Выгода — экономия на внешнем обучении; затраты — разработка, проведение и время участников. Целевой ROI скромный: 20%.
Типичные ошибки
Проектирование
- Думать об оценке после запуска программы, а не на этапе дизайна
- Цель-тема («обучить X») вместо цели-метрики
- Лечить обучением проблемы процессов, мотивации и коммуникации
- Не показать план сбора данных заказчику и не получить коммитмент на цифры
Измерение
- Останавливаться на уровне 1 («NPS высокий — программа работает»)
- Мерить применение и бизнес-эффект сразу после обучения
- Путать интенцию с действием, а симуляцию (уровень 2) с работой (уровень 3)
- Больше 7–10 задач применения на программу
Расчёты
- Приписывать программе весь рост метрики без изоляции
- Брать выручку вместо маржи
- Занижать затраты: забывать ФОТ участников, время методологов, оценку
- Не умножать оценки на уверенность респондентов
- Тянуть каждую программу к ROI — уровень 5 нужен 5–10% портфеля
Отчётность и культура
- Один отчёт для всех аудиторий
- Продавать рекордный ROI без консервативных поправок
- Прятать отрицательные результаты вместо анализа причин
- Собирать данные и ничего не менять — оценка ради отчётности
- Выбрасывать нематериальные выгоды из отчёта
Чек-лист команды: 12 шагов
Отмечайте выполненное — прогресс сохраняется в вашем браузере.
Глоссарий
- ROI (Return on Investment)
- Возврат на инвестиции: (выгоды − затраты) ÷ затраты × 100%. Финальная метрика успеха программы — уровень 5.
- BCR (Benefit-Cost Ratio)
- Соотношение выгод и затрат. BCR 2,18 = каждый вложенный рубль возвращает 2,18 ₽. Чаще используется в гос. программах.
- Срок окупаемости (Payback Period)
- За сколько месяцев выгоды покрывают затраты: затраты ÷ годовые выгоды × 12.
- Уровни оценки (Levels of Evaluation)
- Шесть уровней методологии Филлипса: 0 — вход, 1 — реакция, 2 — обучение, 3 — применение, 4 — влияние на бизнес, 5 — ROI.
- V-модель (Business Alignment)
- Модель согласованности: пять уровней потребностей ↓ цели программы → пять уровней измерения ↑.
- Жёсткие метрики (hard data)
- Объективные показатели из систем компании: объём, время, затраты, качество. Легко переводятся в деньги.
- Мягкие метрики (soft data)
- Субъективные и поведенческие показатели: климат, инициатива, сервис, имидж. Труднее монетизируются.
- Изоляция эффекта (isolation)
- Отделение вклада программы от других факторов: контрольная группа, тренд, прогнозирование, оценки с уверенностью.
- Конвертация данных (data conversion)
- Перевод изолированного эффекта в деньги одним из 10 методов четырёх категорий.
- Полные затраты (fully loaded costs)
- Все прямые и косвенные расходы программы, включая ФОТ участников за время обучения.
- Нематериальные выгоды (intangibles)
- Эффекты уровня 4, не переведённые в деньги: вовлечённость, стресс, репутация, командная работа.
- Задачи применения (application objectives)
- Конкретные действия, которые участник должен делать в работе после программы. Максимум 7–10 на программу.
- Барьеры и помощники (barriers & enablers)
- Факторы, мешающие и помогающие применению навыков. Самая практичная часть данных уровня 3.
- Влияние × уверенность (adjusted estimate)
- Консервативная поправка: оценка вклада программы умножается на уверенность респондента в ней.
- Доходимость (COR, completion rate)
- Доля завершивших курс/модуль. Базовый показатель онлайн-обучения.
- Критериально-ориентированный тест
- Тест против заданного стандарта («может/не может»), а не против других людей. Для сертификаций и допусков.
- План действий (action plan)
- Личный план участника: метрика, целевое значение, шаги, анализ изменения и денежной стоимости.
- Performance contracting
- «Контракт о результатах» между О-У и заказчиком: метрики, baseline, точки замера, порог успеха, действия при недостижении.
- План сбора данных (data collection plan)
- Таблица шага 3: по каждому уровню — цели, показатели, методы, источники, сроки, ответственные.
- Baseline (базовая линия)
- Значение метрики до программы. Без baseline нечего сравнивать.
- Leading / lagging метрики
- Опережающие (воронка, активность) и запаздывающие (выручка, текучесть) показатели. Опережающие позволяют не ждать год до первых выводов.
- Принцип чёрного ящика
- Собрать максимум данных по всему процессу, чтобы понять, где программа теряет эффект, и улучшить её.
Собрано на основе обучения по методологии ROI Institute (Джек и Патти Филлипс), внутренних материалов и каталога метрик Онлайн-университета Ростелекома. Версия 1.0.