Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 1,279

Введение

Оценивание знаний является одной из ключевых категорий дидактики и педагогики, отражающей как контроль знаний, так и развитие потенциала образовательного процесса. Значимость уточнения понятийного аппарата в контексте оценивания знаний студентов возрастает в условиях цифровизации и многопоточности. Несмотря на актуальность анализируемого педагогического процесса, в научной литературе он трактуется неоднозначно, в зависимости от доминирующей педагогической парадигмы и целей обучения. Варианты формулировок понятий термина «оценивание знаний» согласно ключевым аспектам и целям оценивания можно систематизировать следующим образом:

1. Процесс выявления и сравнения результатов учебной деятельности с требованиями программы. Ключевым направлением является соответствие стандартам и нормативная функция, цель – контроль и итоговая проверка результатов [1].

2. Систематическая деятельность по сбору, анализу и интерпретации информации о достижениях обучающихся с целью управления учебным процессом, при этом цель заключается в диагностике и управлении процессом обучения, а ключевым акцентом выступает управление образовательным процессом с систематическим анализом [2].

3. Формирование оценочной самостоятельности на основе критериального оценивания. Акцентом выступает самостоятельность обучающихся, цель, в свою очередь, состоит в развитии учебной автономии [3].

4. Процесс наблюдения, регистрации и интерпретации учебной деятельности для корректировки преподавания и повышения качества обучения. Цель заключается в повышении качества и адаптации обучения, ключевым акцентом выступает формирующая функция и обратная связь [4].

5. Оценивание как механизм развития познавательной активности школьников. Ключевыми моментами являются мотивация и развитие познавательной активности, а цель заключается в стимулировании познавательной деятельности [5].

6. Оценочная деятельность как основа формирования оценочной компетенции у студентов и преподавателей. В основе определения термина – компетентностный подход, цель заключается в формировании педагогической и учебной культуры [6].

Систематизация представленных подходов к развитию и уточнению термина «оценивание знаний» позволяет зафиксировать тенденцию смещения исследовательского акцента от контроля усвоения содержания к комплексной диагностике с формированием обратной связи с поддержкой учебного процесса, адаптацией и вовлечением в учебный процесс обучающихся. Анализ эволюции акцентов в определении термина «оценивание знаний», представленных в научных исследованиях, подтверждает высокую актуальность и значимость данного направления в современном педагогическом знании.

Таким образом, цель исследования заключается в обосновании сущностных характеристик термина «многоформатное цифровое оценивание» как интегративного понятия педагогической диагностики, отражающего синтез цифровых и традиционных методов оценивания в условиях цифровой образовательной среды.

Материалы и методы исследования

Работа выполнена на базе кафедры прикладной математики РТУ МИРЭА в течение 2023–2024 учебного года, в период внедрения цифровых инструментов оценки результатов обучения в условиях многопоточной организации образовательного процесса, включающего несколько академических потоков общей численностью более 1000 студентов.

Теоретико-методологические основания исследования. Исследование носит концептуально-теоретический характер и направлено на разработку и обоснование понятия «многоформатное цифровое оценивание» в контексте цифровизации образования и эволюции средств педагогической диагностики. Для вариативности анализа и выделения ключевых принципов рассматриваемого направления в исследовании, многоформатное цифровое оценивание с учетом многопоточности технических вузов необходимо конкретизировать и систематизировать особенности и ключевые характеристики указанного направления в учебных заведениях.

Научная новизна состоит в определении системообразующих признаков и критериев многоформатности оценивания с уточнением методологической основы понятия.

Представленные концептуальные положения могут быть использованы при разработке цифровых систем оценивания в вузах и формировании нормативно-методической базы цифрового оценивания.

Содержание и форма оценивания являются неотъемлемой частью педагогического взаимодействия. Под форматом оценивания понимается устойчивая совокупность способов проведения, представления и фиксации результатов оценивания знаний студентов, реализуемая в конкретных организационно-дидактических условиях.

Формат оценивания определяет форму представления заданий (тест, проект и т.д.), механизм оценки (экспертный, автоматический), форму оценки (зачет, экзамен, дифференцированный зачет), тип обратной связи (количественная, качественная, цифровая аналитика), степень участия студента.

Под одноформатным оцениванием понимаем модель оценочной деятельности, при которой оценка знаний, компетенций студента осуществляется преимущественно одним типом заданий и одним способом проверки. Такая модель характеризуется минимальной гибкостью и низкой чувствительностью к контексту. К ограничениям также можно отнести отсутствие отражения полноты образовательных достижений студентов.

В противовес данному термину многоформатное оценивание включает разные формы заданий (тесты, кейсы, проекты, практические задания) с сочетанием автоматизированных и экспертных процедур проверки с участием обучающегося в самооценке с ориентацией на компетентностный подход. Такой формат позволяет не только фиксировать образовательные достижения, но и управлять учебным процессом.

Развитие цифровых сред послужило формированию нового направления многоформатного цифрового оценивания, являющегося комплексной системой оценивания, реализуемой в цифровой образовательной среде и включающей:

− различные цифровые форматы оценивания;

− аналитику цифрового следа;

− интеграцию персонифицированного подхода и обратной связи;

− автоматизированную и экспертную процедуры оценивания.

Переход к многоформатному цифровому оцениванию обусловлен необходимостью учета индивидуальных когнитивных особенностей студентов, возможностями цифровых технологий с интеграцией аналитики и адаптивности.

Таким образом, многоформатное цифровое оценивание выступает не только средством диагностики, но и механизмом управления образовательной деятельностью в условиях многопоточности и цифровизации.

Формы проведения оценивания классифицируются по различным признакам: времени проведения (входное, текущее, итоговое), субъекту оценки (внешнее, самооценка, взаимооценка), форме организации (индивидуальное, групповое, очное, дистанционное) и типам заданий (тестовое, практико-ориентированное, рефлексивное) [7, 8].

Использование многоформатного цифрового оценивания открывает возможности для реализации многоуровневого подхода к оцениванию, при котором результаты анализируются с разных уровней детализации и комплексности.

В свою очередь, под многоуровневым оцениванием понимаем изменение когнитивного уровня (базовый, продуктивный, творческий) в процессе изучения по каждому учебному элементу, то есть динамическое изменение, а не итоговая фиксация на этапе итоговой аттестации одного уровня с отсутствием возможности выбора, корректировки и самостоятельного изменения траектории. Проанализируем основные признаки феномена «многоформатное цифровое оценивание» (табл. 1).

Дополнением интенсионала вводимого термина помимо описанных выше признаков является декомпозиция термина в виде следующих связей:

1. «Многоформатное» – обеспечивает вариативность типов, форм, видов оценивания.

2. «Цифровое» – условия реализации (среда реализации).

3. «Оценивание» – что реализуется? (основной процесс, педагогическая функция).

К экстенсионалу вводимого термина, то есть тому, что определяет объем понятия, относится совокупность критериев:

1. По типу образовательных организаций.

2. По дисциплинам. Техническая направленность с учетом базовой и вариативной части.

3. Образовательных уровней.

Анализ результатов при многоформатном цифровом оценивании осуществляется с учетом раскрытия компетенций (знаниевый (знать), операциональный (уметь), деятельностно-практический (владеть)), что достигается за счет применения различных типов заданий и цифровых инструментов, фиксирующих активность при обратной связи на всех уровнях и элементах учебного процесса [9].

Формами реализации когнитивного компонента при многоформатном цифровом оценивании (знать) являются тесты на знание теоретических основ и диагностические модули.

В инструментальном компоненте (уметь) реализуется решение задач, программные симуляторы, алгоритмические задачи с построением сценариев или редактированием (заполнением пропусков) с автоматической проверкой как логики решения, так и способов.

В деятельностном компоненте (владеть) к формам реализации многоформатного цифрового оценивания относятся проектные задания, автоматизированный семантический анализ при ответах в свободной форме, работа в специализированных средах исходя из специфики и направленности дисциплин.

Учитывая изложенное, многоформатность в оценивании обеспечивает полное покрытие, то есть полноту охвата всех аспектов учебной деятельности, необходимых для подтверждения сформированности компетенций.

В свою очередь, в уровневых заданиях допускается мультимодальность, являющаяся методологической основой цифрового оценивания. Особенность указанного направления заключается не только в разнообразии форм, но и в применении мультимодальных каналов как представления, так и получения информации. К таковым относятся:

− текстовые (отчеты, ответы в свободной форме);

Таблица 1

Анализ признаков феномена «многоформатное цифровое оценивание»

Источник: составлено автором на основе полученных данных в ходе исследования.

− визуальные (схемы, презентации);

− аналитическое представление (формулы, расчеты, описание этапов работы алгоритма).

Мультимодальность позволяет обеспечить доказательность оценки через накопление цифрового следа в различных форматах (аудио, текст, действия в онлайн-платформах управления обучением (Learning Management System (LMS)).

Таким образом, систематизируя признаки с учетом полноты, независимости и непротиворечивости, описания особенностей, определение термина можно сформулировать следующим образом:

Многоформатное цифровое оценивание – это системно организованный процесс сбора, обработки и интерпретации результатов образовательного процесса с учетом разнообразия типов оценивания (диагностическое, формирующее, текущее, итоговое), уровней (входной, промежуточный, итоговый) и форм представления данных (тестовые задания, задания с открытыми ответами, ответы в свободной форме). Особенностью такого цифрового оценивания является интеграция мультимодальных данных, реализация обратной связи и индивидуальной образовательной траектории.

Ключевыми характеристиками, однозначно интерпретирующими введенный термин, являются:

− гибкость форм оценивания;

− цифровая аналитика;

− непрерывная обратная связь;

− персонализированный образовательный маршрут.

Реализация оценивания (без и с многоформатным цифровым оцениванием) по направлениям:

1. Компетенции: фрагментарное / комплексное покрытие.

2. Гибкость: фиксированное, стандартизированное / динамическое.

3. Обратная связь: стандартизированная / персонализированная.

4. Масштабируемость: линейная / параллельная.

В дидактических исследованиях по оцениванию знаний необходимо учитывать как качественную, так и количественную оценку. К математическим методам относятся как абсолютные значения, так и неметрические методы оценивания (теория множеств, математическая логика). Ключевым является экспертное оценивание, что находит отражение в обратной связи при аналитическом анализе смыслового содержания в ответах студентов. Группой экспертов выступают ППС, методисты и руководство структурных подразделений, основной функцией итогового значения при оценивании является отношение полученных результатов к эталонным, но экспертная оценка оказывает влияние на вес и корректировку как самих формулировок при обратной связи, так и оценок. Целесообразность такой двойной проверки результатов оценивания заключается в возможности формирования корректной и эталонной базы знаний для адаптивных вопросов и ответов по многопотоковым курсам, что в интеллектуальном анализе является значимым фактором при формировании входного набора данных, которое впоследствии относится к размеченной выборке для оценивания знаний студентов.

Комплексная оценка формируется путем семантического анализа и соединения значений по каждому элементу учебного процесса. Стоит учитывать качественную и количественную оценку с ориентиром на их статичность или динамику. Система знаний формируется из многообразия семантической информации, и автоматизированная проверка и анализ такой информации в условиях многопоточности имеют ключевое значение. Персонализированно-аналитическое сопровождение образовательных результатов с применением технологий искусственного интеллекта позволит решить проблему измерительных показателей учебного процесса, являющуюся до сегодняшнего дня в вопросах оценивания педагогических результатов действительно сложно формализуемой задачей.

В ответ на вызовы цифровой трансформации образовательной среды в последние годы формируется концепт многоформатного цифрового оценивания. Под этим понимаем систему оценивания знаний в условиях цифровизации и многопоточности, с использованием различных цифровых инструментов и форматов как проверки знаний, так и в целом взаимодействия участников образовательного процесса. Стоит учитывать, что в условиях многопоточности анализ цифрового следа с математическими методами формализации используется как инструмент исследования.

В цифровой среде системный подход проявляется в интеграции различных форматов оценивания (тестовое, проектное, ответы в свободной форме) в единую платформу, где обеспечивается полнота и непротиворечивость данных об образовательных результатах.

Компетентностный подход акцентирует внимание на диагностике умений, навыков, необходимых для выполнения профессиональной деятельности. Доказательством служит использование критериально-уровневых шкал, которое рассматривается на всех этапах и уровнях декомпозиции онтологической модели оценивания, что позволяет переводить результаты разных форматов оценивания в единую систему оценки компетенций.

Таким образом, многоформатное цифровое оценивание обеспечит объективное подтверждение достижения образовательных результатов.

Результаты исследования и их обсуждение

Деятельностный подход утверждает, что результат обучения может быть объективно оценен только через анализ деятельности студента – то есть того, как он применяет знания, умения в практических и профессионально ориентированных задачах. В многоформатном цифровом оценивании это означает, что акцент смещается от репродуктивного контроля на оценивание действий в учебной и профессиональной деятельности. Доказательством является использование цифровых инструментов трассировки действий, что позволит получить объективные данные о процессе деятельности и выявлять уровень сформированности компетенций.

Для реализации деятельностного принципа в учебном процессе студентов вузов необходимо учитывать смещение акцента в организации процесса обучения при организации субъектно-ролевого взаимодействия в учебном процессе.

Распределение ролей между участниками образовательного процесса отражает методологические основания педагогической концепции. Рассмотрим основные направления в существующих концептуальных подходах к организации учебного процесса и ролевой направленности участников.

В технологии линейного программного обучения (Б.Ф. Скинер) образовательный процесс выстроен по принципу «малых шагов», то есть результат по каждому элементу учебного процесса и немедленное подкрепление (коррекция, успех), отсутствие тревожности, перегрузки, понимание пути, реализуется стабильное продвижение по элементам курса. Переход от традиционной педагогической системы Коменского, а именно один учитель – много учеников, к режиму самообучения. Таким образом, технология отличается от концепции условных рефлексов Павлова, то есть не реактивное поведение, а инструментальное (на будущее). Осуществляется дробление материала на порции, переход к следующему уровню только после изучения предыдущего. Стоит отметить, что в данном направлении отличие заключается между учениками только по времени изучения, своевременное подтверждение результатов (правильных ответов), при ошибочных – помощь, разъяснения. К основным характеристикам можно отнести индивидуализацию темпа обучения, дифференцированное закрепление знаний. К недостаткам стоит отнести отсутствие сложности, уровневого распределения заданий и ориентацию на поведение, а не на познавательную деятельность. Остаются вопросы, как осуществляется выбор «шагов». Разница между учениками заключается только во временном диапазоне прохождения элементов учебного процесса.

Концепция развивающего обучения Л.В. Занкова направлена на развитие обучающихся, в основу которого заложены следующие принципы:

− обучение на высоком уровне сложности;

− достаточно высокий темп в изучении модулей учебных курсов;

− главенствующая роль теоретических основ;

− осознание обучающимися процесса учения;

− систематическая и целенаправленная работа в контексте развития обучающихся, не исключая отстающих (слабых).

В анализируемой системе учебное занятие рассматривается в виде гибкой структуры, содержит такие формы, как дискуссия, дидактические игры, наличие самостоятельной работы и коллективный поиск на основе наблюдений, сравнений, выявления закономерностей, самостоятельного формулирования выводов. Рассматриваемая концепция нацелена на развитие творчества, в основе которой лежит теория формирования учебной деятельности и ее субъекта в процессе усвоения теоретических знаний посредством выполнения анализа, планирования и рефлексии. К основным компонентам анализируемой концепции можно отнести:

1. Цель обучения – научить обучающихся самостоятельно формулировать задачи, определять методы решения и анализировать получаемые результаты.

2. Знания не предоставляются в формализованном, итоговом виде. Учебный процесс организован по принципу самостоятельной постановки задачи, поиска способов решений и критической оценки результатов.

3. К основным формам деятельности относятся дискуссия и эксперимент.

Резюмируя анализ концепции, выделим основные составляющие:

Роль обучающегося: активный субъект познания.

Роль преподавателя: организатор, направляет обучающихся.

Особенности концепции: познавательная инициатива, самостоятельность обучающегося.

Актуальность: акцент на формировании учебной самостоятельности, формирование исследовательского маршрута.

Основатели педагогики сотрудничества И.П. Волков, Ш.А. Амонашвили и В.Ф. Шаталов формализовали следующие положения:

1. Отношение к обучению как к творческому взаимодействию учителя и ученика. Учитель взаимодействует не по принуждению к учебе, а создает условия для учения и развития.

2. Обучение без принуждения. Ученики получают свободу выбора с учетом усложнения сложности заданий.

3. Идея трудной цели. Перед учеником ставится наисложнейшая цель с внушением уверенности в ее достижении.

4. Самоанализ. Индивидуальное и коллективное подведение итогов деятельности обучающихся.

5. Свободный выбор и личностный подход. Учитель применяет в учебном процессе время без ограничений для лучшего усвоения материала. Ученики ощущают внимание учителя с личностным восприятием себя в учебном процессе.

Резюмируя анализ педагогики сотрудничества, выделим основные составляющие:

Роль обучающегося: равноправный участник образовательного процесса.

Роль преподавателя: партнер, помощник.

Таблица 2

Сравнительный анализ педагогических подходов

Источник: составлено автором на основе полученных данных в ходе исследования.

Ключевые особенности: взаимообогащающее взаимодействие, личностно-ориентированный подход, признание субъектности и индивидуального опыта ученика.

Следующая концепция: коннективизм (теория обучения в цифровую эпоху), сформулированная Д. Сименсом и С. Даунсом. Основополагающим направлением является рассмотрение процесса обучения как сетевого взаимодействия. Теория выстроена на концепциях самоорганизации и сложности [10, 11].

Обучение не является исключительно внутренней деятельностью ученика, а может происходить вне его, например, базы данных. При этом знание не является свойственным одному субъекту, находится вовне, определяется взаимодействием в цифровом формате. Обучение реализуется по инициации «узла», таковым могут выступать люди, ресурсы [12, 13].

К ключевым аспектам можно отнести:

1. Обучение реализуется с возможностью подключения к значимым информационным потокам, умением подключаться к различным источникам и осуществлять поиск необходимой информации.

2. Коннективизм является тезисом о том, что знания распределены по сети связей, и обучение состоит в способности создавать эти сети и перемещаться по ним.

3. Теория сетевого обучения, заключающаяся в важности сетей знаний, социальному обучению и совместной работе в учебных сетях. Необходимость развития у обучающихся навыков поиска, агрегирования и фильтрации знаний для управления огромным объемом информации доступной в онлайн-среде.

В свою очередь, коннективизм способствует автономии обучающихся и самонаправленному обучению, так как они сами выбирают учебные траектории и преследуют свои цели в рамках распределенных сетей [14, 15].

Концептуально к заключениям по анализу данного подхода можно отнести:

− роль обучающегося заключается в навигации информационных потоков, он создатель сети знаний;

− роль преподавателя рассматривается как роль куратора, сопровождающего на этапах учебного процесса;

− ключевые особенности в обучении при реализации распределенной цифровой среды, через взаимодействие с различными источниками.

Таким образом, реализуется усиление субъектной роли обучающихся при управлении собственными знаниями. Обобщим результаты анализа в табличном виде (табл. 2).

Таким образом, МЦО включает следующие взаимосвязанные блоки:

1. Диагностико-содержательный обеспечивает проектирование заданий разных типов (тестовые, аналитические, продуктивные, ситуационные). Инструментами реализации являются система дистанционного обучения, архитектуры интеллектуальной обработки информации (естественного языка).

2. Инструментально-технологический блок включает цифровые сервисы автоматизированной проверки, интеллектуального анализа и аннотирования ответов, модуль адаптивной обратной связи с применением социальных сетей и ботов для взаимодействия участников образовательного процесса.

3. Аналитико-управленческий отвечает за агрегирование потоков данных, формирование цифровых профилей участников учебного процесса, элементы доказательной педагогики (корреляционный, регрессионный анализ, цифровые характеристики цифровой образовательной среды, результаты педагогических экспериментов).

Заключение

Проанализированные подходы показывают актуальность и значимость рассматриваемого исследования. Проблемы самостоятельного поиска решений обучающихся и способности к саморефлексии затрагивают много исследователей, что является отличительной особенностью данного исследования – это рассмотрение персонализированного подхода в условиях как многопоточности, что уже относится к противоречию и на первый взгляд кажется сложноформализуемым процессом или исключающим условием для реализации, так и цифровизации, которая на сегодняшний день является основной средой любого образовательного учреждения, и исключение ее или фрагментарное применение как инструмента заблаговременно накладывает ряд ограничений для реализации образовательного процесса. Не стоит исключать и субъектно-ролевое изменение акцентов в условиях многопоточности в контексте самостоятельного выбора индивидуальной траектории обучения, и изменение ролевой функции педагога в контексте сетевой личности, что оказывает положительное влияние и изменение в целом относительно значимости, роли и статуса учителя со стороны обучающихся.

Реализация заявленных аспектов в основе содержит алгоритмы адаптации в непрерывном режиме и анализе цифрового следа. Тестирование, в свою очередь, является инструментом принятия решений. Переход к персонализации в исследовании предлагается осуществлять через формирование индивидуального маршрута с возможностью самооценки, что усиливает рефлексивную составляющую.

Таким образом, цифровая образовательная среда выступает не просто инструментом, а полноценным элементом образовательного пространства. В условиях многопоточности ввиду отсутствия возможности преподавателем уделять каждому обучающемуся внимание, разрабатываемая в исследовании субъектная модель предоставит студенту роль активного участника, а не объекта контроля.