Знакомимся с ADDIE – Часть 5 – Оценивание

Мы проделали долгий путь. Началась наша дорога с анализа целевой аудитории, формулировки задач обучения и проведения технического анализа. Затем мы выбирали формат курса и разрабатывали стратегии обучения. После чего мы перешли к созданию прототипа и непосредственно к самой разработке курса. Предыдущая статья рассказала о подготовке инструкторов, учеников и места проведения обучения. И вот наш путь подходит к концу, мы добрались до финального этапа модели ADDIE – Оценивание (Evaluation).

ADDIE - Evaluation

Давайте посмотрим из чего состоит этот этап.

Формирующее оценивание (Formative evaluation)

Этот тип оценивания протекает на протяжении всего периода, пока ученики проходят курс и призваны проверять качество материалов и их восприятие учениками. Формирующее оценивание делится на три вида:

  1. Индивидуальное оценивание (One-to-One Evaluation)
  2. Оценивание небольших групп (Small Group Evaluation)
  3. Испытания в полевых условиях (Field Trial)
  1. Индивидуальное оценивание

Допустим вы проводите курс по управлению рентгенаппаратом для студентов-медиков и ставите видеоролик по базовым правилам использования аппарата. Во время индивидуального оценивания вам необходимо проверить эффективность видео, с учетом возраста целевой аудитории и их навыками. Необходимо задать ряд вопросов связанных с эффективностью видео-пособия и проверить следующие стороны:

  • Ясность – Была ли понятна основная идея и посыл показанного видео?
  • Полезность – Помогло ли он достигнуть поставленных целей и задач?
  • Релевантность – Насколько практически применимо видео относительно момента его демонстрации в учебной программе и проходимого параллельно контекста.

Составляя вопросы для оценивания качества важно делать их максимально ясными, последовательными и целенаправленными.

  1. Оценивание небольших групп

В данном случае необходимо отследить насколько хорошо работают созданные в курсе активности в групповых условиях. Лучше всего выбирать участников – представителей различных основных подгрупп учеников, из которых состоит целевая аудитория вашего курса.

При оценивании небольших групп принято задавать следующие вопросы:

  1. Было ли обучение интересным?
  2. Понимаете ли вы, чему должны научиться?
  3. Были ли материалы напрямую связанны с целями курса?
  4. Достаточно ли было практических упражнений?
  5. Действительно ли тесты проверяли знания связанные с целями курса?
  6. Получили ли вы достаточно фидбека?
  1. Испытания в полевых условиях

После проведения оценивания групп стоит провести проверку и оценивание учеников в условиях максимально приближенным к тем, в которых занимаются ученики. Так сказать, провести испытания в полевых условиях и оценить насколько эффективны результаты обучения в текущей среде и при аналогичных условиях.  

 

Итоговое оценивание (Summative evaluation)

Основной целью итогового оценивания является доказательство ценности проведенного обучения по его завершению. Тут нам на помощь приходит модель оценивания Дональда Киркпатрика, которая давно стала стандартом оценивания результатов в сфере обучения и стала классической.

Итоговое оценивание должно помочь нам ответить на следующие вопросы:

— Стоит ли продолжать обучающую программу?

— Как можно усовершенствовать программу обучения?  

— Как можно повысить эффективность обучения?

— Как быть уверенным, что обучение соответствует стратегии?

— Как продемонстрировать ценность обучения?

 

Дональд Киркпатрик разделил свою модель оценивания на четыре уровня:

Уровень 1: Реакция (Reaction)

Уровень 2: Обучение (Learning)

Уровень 3: Поведение (Behavior)

Уровень 4: Результаты (Results)

 

Давайте рассмотрим подробнее каждый из этих уровней.

Уровень 1: Реакция (Reaction)

Первым, что мы проверяем по окончанию обучения – это реакцию учеников на курс и на инструктора, если таковой прилагался к курсу. Обычно этот выглядит в виде одного листа с рядом вопросов со своей шкалой, где нужно оценить от 1 до 5 насколько ученик согласен с тем или иным утверждением относительно завершенного курса. Эти листы реагирования также принято называть “Smile sheet”.

Уровень 2: Обучение (Learning)

На данном уровне оцениваются знания и навыки приобретенные во время обучения. Оценивание обучения может происходить как сразу по окончанию обучения, так и спустя какое-то время. Для проведения оценивания обучения используются тесты и опросы, цель которых измерить в цифрах прогресс в полученных знаниях. Также для проверки приобретенных знаний можно предложить ученикам провести обучение других сотрудников. Например, проведение презентаций с коллегами из других подразделений или помощь в адаптации и обучении новых сотрудников. Кроме того, что это поможет лучше закрепить полученные знания, это еще и поможет сократить процесс передачи знаний внутри компании.

Уровень 3: Поведение (Behavior)

По мнению создателя модели, этот уровень оценивания является наиболее сложнореализуемым. На этом уровне происходит оценка того, как изменилось поведение учеников в результаты прохождения обучения. Насколько применяются приобретенные знания и навыки на рабочем месте. В большинстве случаев, это является отражением того, насколько релевантными были знания полученные во время обучения и достаточно ли обучающий курс мотивировал сотрудника к новому поведению. Лучшими инструментами для оценивания этого уровня является обзор поведения сотрудников на рабочем месте и тестирование фокус-групп.

Уровень 4: Результаты (Results)

На этом уровне оцениваются финансовые результаты проведенного в компании обучения. Насколько проведенное обучение оправдало затраты на обучение. Выросли ли показатели прибыли компании (объем и качество продаж, экономия на затратах, общая прибыль и т.д.). Также могут оцениваться такие показатели как увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж и снижение текучести кадров.

Поэтому очень важно определить заранее какие именно показатели должно повысить или понизить запланированное обучение и провести измерение этих показателей до проведения обучения и после него.

Оценить результаты на этом этапе очень сложно и дорого. Наиболее достоверные результаты можно получить следующими способами:

  • использовать контрольную группу (не проходившую обучение)
  • проводить оценку через некоторое время после окончания курса, чтобы результаты стали заметны
  • проводить оценку до и после программы
  • провести оценку несколько раз в ходе прохождения обучающего курса

Стоит ли результат таких усилий?

Модель Киркапатрика затратна по времени и в некоторых этапах по деньгам, но помогает сделать выводы о том, стоит ли продолжать курс / программу обучения, насколько результаты оправдывают вложенные в процесс обучения средства и помогают сделать правильные итоговые выводы. Кроме того, эта модель помогает оценить качество работы отдела обучения в достижении целей и задач организации. Некоторые компании пренебрегают этапом глубокого оценивания на третьем и четвертом уровнях, ограничиваясь отзывами на базовом уровне (уровне реакции). Но игнорируя полноценное итоговое оценивание, мы обманываем самих себя, так как не видим насколько эффективным и полезным было проведенное обучение. Итоговое оценивание помогает сделать правильные выводы, даже если эффективность проведенного курса была низка. Оно помогает исправить прошлые ошибки и скорректировать программу обучения в правильном направлении для последующих групп сотрудников.

Оценивание, как последний этап методологии ADDIE

Несмотря на то, что оценивание является последним этапом ADDIE методологии, он должен рассматриваться не как окончание большого процесса, а как отправная точка нового цикла ADDIE. Качественно проведенное оценивание дает возможность пересмотреть и улучшить программу обучения. Педагогический дизайн (Instructional Design) это повторяющийся процесс и его оценивание должно проводиться постоянно. Кроме того, не забывайте, что хорошим правилом является постоянная проверка качества и оценивание результатов работы на каждом из этапов ADDIE, а не только на этапе оценивания.
Продуктивного вам созидания и приятных результатов!





Comments are closed.