За последние два десятилетия развитие информационных и коммуникационных технологий очень сильно изменило условия жизни и деятельности людей, рутинные операции все больше автоматизируются с использованием цифровых технологий, исчезают многие прежние специальности и появляются новые, требующие иной подготовки специалистов. Мир меняется, меняется человек, меняются задачи образования и требования сферы труда. Однако, несмотря на то, что технологии сделали глубокие преобразования в производственной сфере, большинство образовательных систем функционируют так же, как и в двадцатом веке. Сегодня речь идет о формировании навыков и компетенций XXI в., необходимых работникам инновационной экономики и информационного общества, которым информационное пространство позволяет найти практически любые сведения. Акценты смещаются в сторону обучения умениям критически мыслить, способностям взаимодействия и коммуникации, творческому подходу к делу. Поэтому новое поколение людей необходимо обучать не тому, чему учили раньше, не запоминать большие объемы учебных сведений, а умениям мыслить, самостоятельно находить информацию, критически ее оценивать и использовать нужное в своей деятельности. Как отмечает Патрик Гриффин, профессор Мельбурнского университета, пока у нас всё ещё есть учителя географии, истории, физики, химии, но нет учителей критического мышления, учителей взаимодействия или учителей любознательности [1]. Вся методология обучения и контроля должна быть направлена на проявление обучающимися творческой изобретательности и умений находить нестандартные решения задач и проблем.
Что касается отечественной образовательной практики, то на сегодня сложился некий гибрид: широко используется компетентностная риторика, но практически везде применяется предметно-когнитивный подход и традиционная система оценивания достижений студентов. Вместе с тем с каждым годом у работодателей возрастает спрос на доказательства достоверности и надежности оценки компетенций выпускников. И в первую очередь, обеспечивая освоение содержания того или иного предмета в рамках обучающих технологий, важно создавать условия деятельности для формирования компетенций, развития навыков XXI в. и личностных качеств обучающихся, что становится все более важным для глобальной экономики и быстро меняющегося мира. В этой связи в оценочной системе назрели кардинальные изменения, что в первую очередь требует изменений и в подготовке преподавателей вузов к конструированию новых материалов и технологий оценки. В обеспечении качества образования реформа оценки стала ключевым фактором: все лучшие мировые образовательные практики опираются на независимые высокопрофессиональные оценочные системы и процессы. Но конструирование надежных оценочных средств вызывает большие сложности у большинства преподавателей. Целью исследования является обоснование нового подхода к подготовке материалов надежного оценивания компетенций как меры готовности человека к включению в профессиональную деятельность. Задача надежного оценивания результатов обучения очень важна для обеспечения гарантии качества обучения в условиях высокой конкуренции в сфере образования.
Проблемы надежности оценки
Существенную роль для эффективной организации образовательного процесса играет обратная связь, обеспечиваемая достоверностью оценок, что в свою очередь требует надежного оценочного инструментария. Компетентностный подход к построению и реализации основных профессиональных образовательных программ поставил перед преподавателями целый ряд вопросов, на которые еще предстоит найти ответы. Какой комплекс знаний, навыков или других атрибутов следует формировать и как, на каких этапах обучения их оценивать? Какие оценочные средства использовать для выявления латентных (когнитивных) и глубоко латентных (компетентностных) результатов обучения? Какие задачи или ситуации, действия или выступления могут вызывать такое поведение испытуемых, чтобы результат обучения стал явным и аутентично оцениваемым? Как аргументированно доказать, что результаты оценивания достижений обучающихся действительно отражают уровень планируемых к освоению компетенций и навыков XXI в.? Получение ответов на эти вопросы – сложная задача, а ее решение может обеспечить разработчикам оценочных средств выбор контролируемых рубрик и необходимых для этого ситуаций для организации деятельности испытуемых при выполнении заданий, обоснование критериев и шкал оценивания, подтверждающих действительный уровень подготовленности обучающихся.
Важно отметить, что валидные и надежные результаты оценки мотивируют студентов к активизации учебной деятельности, помогают развивать необходимые навыки и способствуют в целом повышению эффективности образовательной системы [2]. Но таким образом результат оценки работает только в том случае, если она дает действительное представление о состоянии оцениваемых объектов. При этом отметим, что традиционные методы, как правило, не дают аутентичной оценки знаний обучающихся, а тем более их навыков, отношений в коллективной деятельности и результатов команды, способностей самостоятельно находить и преобразовывать нужную информацию для решения нестандартных проблем.
Метод доказательной аргументации оценки
В зарубежной практике разработки и применения методов оценивания образовательных достижений в последнее время широкое применение находят паттерн-дизайны оценочных средств (шаблоны многократного использования), построенные на основе модели оцениваемого конструкта для создания условий проявления трудно измеримых латентных характеристик обучающихся и доказательной аргументации оценок. Такой подход к проектированию и обеспечению оценивания учебных достижений и компетенций обучающихся основан на методе аргументации и доказательного дизайна оценки Evidence-Centered Design (ECD), предложенного Р. Мислеви (R. Mislevy, 2003) [3, 4]. В нем предусматривается проектирование действий, связанных со знаниями, навыками, ценностями, чувствами и убеждениями испытуемых. Этот метод опирается на конструкцию задания (конструкт) С. Мессика (S. Messick, 1994) [5] и идеи С. Тулмина (S. Toulmin, 1958) о структуре аргументов в виде универсального паттерна (проверенного шаблона) оценочного средства [6], показывающего, что данные становятся свидетельством достижений студентов только тогда, когда их значение для выводов однозначно установлено. Согласно С. Мессику именно конструкт обусловливает подбор релевантных заданий и структуры аргументов оценки. Конструкт исследуемых характеристик (модель оценочных рубрик студента) описывает цели оценки, набор наблюдаемых латентных переменных, виды деятельности, причинно-следственные связи между ситуацией, знанием и деятельностью студента [7, 8] (рис. 1).
Рис. 1. Шаблон многомерного конструкта знаний и компетенций
Валидные ситуации и сценарии планируемых действий испытуемого задают ключевые принципы отбора задач, акценты для отбора наиболее важного контролируемого содержания, спецификации оценочного средства, шкалы и системы подсчёта баллов. Все это показывает, как представить ответы на задания и совместить наблюдения, доказательства, опровержения, аргументацию и свидетельства с баллами результирующей оценки, что и как должно быть выявлено при наблюдении за деятельностью студента в ситуации оценки.
Для этого алгоритм проектирования оценки обеспечивается на основе сопряжения модели обучающегося (знаний, умений и компетенций) и модели значимого задания с набором доказательств и аргументаций наблюдаемых результатов деятельности испытуемого при выполнении задания. По такой модели можно планировать подцели для организации последовательности видов деятельности студентов так, чтобы они могли помочь проявить оцениваемые характеристики. На базе конструкта проектируется комплексное компетентностно-ориентированное задание, ставящее перед студентом ряд задач, решаемых индивидуально или в малых группах при владении несколькими простыми или сложными компетенциями, представленными в конструкте их профилями и уровнями. Такой подход может успешно применяться как при оценке знаний обучающихся, так и при оценке компетенций, обеспечивая повышение надежности результатов, связь между процессами разработки системы оценки и обеспечением условий деятельности, чтобы обучающиеся могли показать, что и как они могут делать, используя полученные или найденные знания.
Для конструирования и сборки в помощь разработчикам средства оценки в ECD используется концептуальная рамка оценивания (КРО) (рис. 2).
Рис. 2. Модель сборки оценочного средства (КРО)
КРО – это основа проектирования оценки, которая описывает, как осуществляется интеллектуальный переход от баллов к выводам об уровне знаний и сформированности компетенций [9]. Чтобы дать надежное представление об оценке, КРО описывает, как различные компоненты модели ECD соотносятся друг с другом и в какой последовательности идет создание оценочного средства.
Структура паттерн-дизайна
Таким образом, основные элементы паттерн-дизайна: модель студента, модель свидетельства, модель задания и модель сборки или КРО, которая обеспечивает сопряжение модели студента, модели свидетельств и модели задания, а также возможности перехода от баллов к выводам об уровне сформированности компетенций.
Модель студента задается конструктом оценки. Модель свидетельств – это оценочный компонент задания, пороговые баллы по выполнению задач, общий балл по всему заданию, продукты деятельности, сбор свидетельств и аргументов по результатам выполнения задания и/или оценке продукта деятельности, правила оценки процессов или продуктов деятельности, отображение результатов на уровневой шкале. В этой модели планируются доказательства, опровержения и утверждения об уровне достижений студентов при выполнении комплексных заданий, позволяющих отражать, что знает и что может сделать студент после освоения дисциплин/модулей/практик. В доказательной структуре оценочного средства можно использовать различные формы: стандартизированные тесты, компетентностно-ориентированные задания, моделирование, оценки портфеля и др. Три вида данных обосновывают претензию в аргументе оценки: аспекты действий испытуемого в ситуации оценки, которые могут включать в себя продукты и процессы; аспекты задачи, как качество самого оценочного средства, и, наконец, дополнительная информация об истории испытуемого или о связи оценочного средства с ситуацией. При аргументации оценки необходимо тщательно рассмотреть альтернативные объяснения данных, например, когда студент предоставляет неверные данные на проблему не из-за недостатка знаний, например, математики, а из-за ограниченности понимания языка задания или других причин, затрудняющих понимание и выполнение задания. Более сложный и взаимосвязанный сбор доказательств и их интеграция необходимы для уточнения оценки.
Статистическая модель доказательств и свидетельств содержит правила, с помощью которых доказательства, собранные в ходе оценки, обрабатываются и используются для утверждения об уровне сформированности компетенций обучающихся. Это связано с тщательной идентификацией и сбором наблюдаемых доказательств, которые могут быть количественными или качественными, сильными или слабыми и относиться к одному или к нескольким заданиям. При этом следует учитывать, что одни и те же данные могут быть хорошим доказательством для одного вывода, но плохим доказательством другого (D. Schum, 1994) [10].
Завершающим компонентом ECD является модель презентации, которая описывает представления о качестве деятельности и/или продукта в разных частях оценочного процесса и каковы ожидаемые результаты и последствия оценки. На практике все модели ECD для данной оценки конструируются совместно и интегративно уточняются их взаимосвязи с другими компонентами. Возможен выбор проверенных шаблонов при их наличии или построение нового паттерн-дизайна по целям и задачам оценки.
Алгоритм доказательной конструкции ECD обеспечивает достоверность и надежность, высокую точность и обоснованность оценки, задает принципы выделения оцениваемых характеристик в модели студента. Проектные решения заданий и элементы задач определяют оценочные критерии по видам деятельности в модели задания, а также аргументацию качества их выполнения и свидетельства для обоснования оценки в модели доказательств, форматы выходных данных в модели презентации результатов. Такой подход может применяться при разработке любой оценки, где априорное определение конструкций и связанные с ними переменные имеют смысл. Именно в этих контекстах самым сложным является значение, сложность и взаимосвязь решений, которые необходимо принять в отношении оценки. Одна из ключевых идей дизайна оценки, основанной на фактических данных ECD, заключается в том, что функциями задач можно целенаправленно манипулировать для изменения психометрических свойств оценочного средства [11].
Первым шагом в разработке является определение цели оценки, которая часто начинается с некоторой неопределенности в начале процесса проектирования оценочного средства и становится все более уточненной по мере работы над проектом. Далее выделяют основные процессы в цикле проектирования объектов концептуальной рамки оценки:
- выбор реальной или учебной ситуации для организации деятельности студента обусловливает структуру конструкта задания и проявления компетенций (задачи, решение которых позволит получить основные наблюдения за деятельностью испытуемого);
- построение конструкта – что и для чего оцениваем (выбор наблюдаемых переменных, выделение необходимых атрибутов оценки и обеспечение условий для деятельности и проявления компетенции или кластера компетенций);
- разработка паттерн-дизайна оценочного средства, подбор заданий (наполнение основных элементов оценочного средства содержанием, разработка статистической модели, критериев и шкалы оценивания);
- правила организации и проведения оценочной процедуры (указания по выполнению заданий, шаблоны для внесения ответов, расчет времени выполнения заданий и др.);
- система подсчета очков за правильность выполнения каждого задания согласно прописанным критериям оценивания для получения итогового балла;
- презентация результатов деятельности студента для аргументации оценки освоенного знания и уровня компетенций;
- отображение результата на уровневой шкале и принятие решения об освоении содержания и сформированности компетенции или кластера компетенций.
Все этапы разработки оценочного средства от операционализации конструктов и концептуальной рамки оценивания до самих заданий и условий их выполнения должны давать свидетельства того, что измеряется действительно то, что планировалось, а оценка отображает то, чем владеет студент. Особенность использования ECD заключается в том, что из выполнения комплексного задания извлекаются элементы оценки работы студента, затем эти извлечения оцениваются и накапливаются, отображаются на уровневой шкале, чтобы сделать окончательные оценочные суждения об освоении компетенций.
Заключение
Подход к проектированию надежной оценки компетенций и навыков XXI в. на основе моделей ECD только начинает разрабатываться и применяться в отечественной образовательной практике. Такое проектирование является трудоемким процессом, если паттерн предполагается применять для разработки оценочных средств многократно, его дизайн должен, с одной стороны, соответствовать решаемой задаче, а с другой, быть настолько общим, чтобы его можно было использовать и для других однотипных задач. Паттерны упрощают повторное использование удачных проектных решений и дают разработчику оценочных средств возможность быстрее найти «правильный» путь. Использование принципов ECD уменьшает число ошибок разработчиков и обеспечивает лучшие квалиметрические свойства педагогического измерителя за счет того, что включает обоснование многих проектных решений до того, как будет создан и апробирован первый вариант оценочного средства. ECD может использоваться для разработки оценок всех видов и особенно подходит для оценок сложных компетенций с применением динамически интерактивных сред, лежащих за пределами аналитических возможностей простых оценок.
Аутентичная оценка знаний и компетенций студентов и выпускников имеет решающее значение в подготовке специалистов. В настоящее время реформа оценочной системы сама по себе представляет собой очень серьезную проблему, требующую систематических усилий, ресурсов и опыта не только педагогов, но и работодателей, академических кругов, административных работников в сфере образования.