Введение
Образовательная среда (ОС), бесспорно, является сложной и многофункциональной системой, в которой решается широкий спектр многофункциональных задач. Их успешная реализация требует постоянного обновления образовательных программ, внедрения инновационных методов и создания комфортной среды, способствующей гармоничному развитию обучающихся и в целом взаимодействия всех участников ОС.
В статье остановимся на анализе и предложениях при реализации процесса обучения на примере потоковых дисциплин. Структура учебного процесса рассмотрена на примере университетской дисциплины «Большие данные», читается кафедрой прикладной математики (ПМ) для профилей бакалавриата. Количественно данная дисциплина охватывает: 80 групп, 31 профиль, обучающихся более 1600, что не может не оказывать влияния на организацию учебного процесса со стороны всех участников.
Таблица 1
Соответствие текущего положения и ожидаемых результатов
|
Реализация на текущий момент |
Ожидаемые результаты от применения технологии ООЗ |
|
Проверка остаточных знаний выполняется на практических занятиях |
Реализация возможности проверки остаточных знаний по всем видам учебной деятельности в процессе изучения дисциплины |
|
Оценка результатов остаточных знаний выполняется на этапе промежуточной аттестации |
Проведение непрерывной оценки результатов остаточных знаний в процессе изучения дисциплины на каждом занятии (лекции, практическом занятии, лабораторной работе) |
|
Оценка знаний осуществляется при проведении итоговой формы контроля, в связи с этим отсутствует возможность своевременной корректировки структуры курса с целью повышения качества обучения в процессе изучения дисциплины, а не после ее завершения |
Применение непрерывной системы оценки остаточных знаний позволит своевременно корректировать структуру в режиме обратной связи |
|
Традиционно технические возможности формирования тестовых заданий выполняются в форме выбора варианта (ов) ответа |
Расширение функционала тестовых заданий с возможностью формирования ответов в свободной форме, задания на установление соответствия, короткие ответы с автоматической проверкой, исключая ручную обработку в случаях с поточными дисциплинами |
Источник: составлено автором.
Учебный процесс включает: проведение лекционных занятий, практических занятий, оценку остаточных знаний дисциплины на этапе промежуточной аттестации (зачет/экзамен), анализ результатов промежуточной аттестации после завершения изучения дисциплины [1; 2]. В свою очередь, цель и задачи участников учебного процесса можно формализовать следующим образом:
1. Студент заинтересован в получении знаний, умений, навыков изучаемой дисциплины с пониманием практической значимости и роли дисциплины в контексте профиля.
2. Преподаватель ориентирован на понимание степени освоения студентом (группой) изучаемых разделов дисциплины, получение своевременной обратной связи для реализации корректировки структуры (наполнения) разделов дисциплины.
3. Руководство заинтересовано в повышении показателя «условия для получения качественного образования» в рейтинге оценки вузов [3].
Для анализа реализации оценки остаточных (ООЗ) знаний на текущий момент и желаемой организации данного процесса на примере потоковых дисциплин представим основные этапы в табличном виде (табл. 1).
Из рассмотренных противоречий анализируемого процесса ООЗ сформулировали проблему, заключающуюся в отсутствии возможности проведения оценки остаточных знаний и реализации обратной связи для своевременного внесения изменений в структуре дисциплин в процессе изучения, а не после завершения процесса обучения.
Целью исследования является описание этапов реализации технологии непрерывной оценки остаточных знаний (ТНООЗ) с входящими в нее компонентами по классификации потоковых дисциплин, формирования банка тестовых заданий (БТЗ) и анализа результатов для повышения качества учебного процесса.
Материалы и методы исследования
Отсутствие автоматизации в действительности является проблемой в потоковых дисциплинах, являющихся институтскими или университетскими, так как на этапе итоговой формы контроля преподаватель ведущий, например, три потока, в каждом из которых по шесть групп, в зачетную неделю проводит итоговые мероприятия в восемнадцати группах. Вопрос с организацией учебного процесса потоковых дисциплин связан не только с выполнением профессорско-преподавательским составом (ППС) повторяющихся однотипных задач для каждого потока, но и с автоматизацией и реализацией единых требований в процессе изучения дисциплины.
Реализация ТНООЗ с применением искусственного интеллекта (ИИ) в образовательном процессе позволит осуществлять оценку учебного процесса на срезе как дисциплин, так и профилей и в целом осуществлять своевременную обратную связь. Предложенные решения на примере учебных дисциплин РТУ МИРЭА продемонстрировали потенциал интеграции ИИ в академическую среду [4].
В рассматриваемой технологии предлагается анализировать собранные данные с помощью ИИ для выявления тенденций, определения пробелов в знаниях и предложения персонализированных рекомендаций по повышению качества обучения [5; 6, с. 210].
Вопросы структурируются таким образом, чтобы быть непосредственно связанными с ключевыми пунктами плана лекции, обеспечивая точность оценки. Формат может варьироваться, включая выбор ответа, в форме краткого ответа, установления соответствия либо любой другой формат оценки, предлагаемый преподавателем, адаптируется для наилучшего соответствия содержанию и учебным целям каждого занятия.
После завершения тестирования результаты собираются и анализируются с помощью алгоритмов ИИ. Процесс анализа включает несколько этапов:
− Сбор Данных: система агрегирует ответы всех студентов, фиксируя их ответы и затраченное время.
− Обработка Данных: ответы обрабатываются для классификации и определяются типовые ошибки.
− Анализ Производительности: ИИ оценивает индивидуальную и общеклассовую производительность для определения уровней понимания материала лекции.
Алгоритм реализации обратной связи является ключевым компонентом в разрабатываемой ТНООЗ и предоставляет расширение возможностей (функционала) для ППС при выполнении задачи по корректировки материалов и заданий учебной дисциплины. Для удобства сведем описанный процесс к схеме, представленной на рис. 1.
Обратная связь генерируется на основе выявленных системных ошибок, идентифицированных при анализе ИИ, и предназначена для направления студента к ресурсам и материалам курса, которые предоставляют дополнительную информацию в области, вызывающей затруднения, а также поможет преподавателю понять, каким темам следует уделять больше внимания на лекции.
Для студентов, нуждающихся в дополнительной помощи, устанавливается прямой канал связи через социальные сети или образовательные платформы. Прямой канал обратной связи не только помогает преподавателям понять проблемы студентов, но и позволяет своевременно скорректировать методы и материалы курса.
Описание модели, метрик оценки и архитектура выбранной GPT2 подробно описывались автором в работе [7]. В данной работе остановимся на этапах применения ТНООЗ в процессе изучения потоковых дисциплин.
Рис. 1. Схема работы алгоритма обратной связи [7]
Таблица 2
Этапы ТНООЗ
|
Наименование этапа |
Описание |
|
Определение типа учебной дисциплины (УД) |
При помощи модели классификации потоковых дисциплин определяем подкласс потоковой УД |
|
Распределение по ППС видов деятельности при изучении УД |
Актуализация/разработка плана лекций, практических заданий на примере потоковой дисциплины «Большие данные» численный состав: Лекции – 7 ППС, закрепление ответственного лектора (ОЛ); Практические занятия – 12 ППС; Итоговая форма контроля (зачет) – 8 ППС |
|
Формирование ЕБТЗ |
С применением ИИ в ТНООЗ с возможностями по тестовым заданиям: − короткий ответ; − вопросы в свободной форме; − задания на соответствие; − выбор варианта(ов) ответа |
|
Реализация обратной связи в процессе изучения дисциплины |
Применение ТНООЗ с помощью алгоритма обратной связи (рис. 1) |
|
Анализ результатов на каждом этапе учебного процесса |
Осуществляется на этапах промежуточной и текущей форм контроля, а также на каждом занятии (лекции, практики) (ТНООЗ, ИИ) |
|
Актуализация учебных материалов дисциплины |
Актуализация РПД (ФОСов) (типы: знать, уметь, владеть, виды тестовых заданий: открытые, закрытые), учебно-методических материалов: заданий для диагностической работы |
Источник: составлено автором.
К входной информации (параметрам) ТНООЗ относится: информация из учебных планов о дисциплинах, данные по группам и потокам обучающихся, требования к потоковым дисциплинам.
Выходными (итоговыми) результатами являются: база данных с результатами промежуточной (текущей, итоговой) аттестации, оценка анализа результатов ООЗ, статистика затрачиваемого времени на проведение итоговых, контрольных мероприятий учебного процесса рассматриваемых дисциплин.
К промежуточным этапам ТНООЗ относятся: формирование тестовых заданий: вопросы на соответствие, в свободной форме, ввод ответов в короткой форме [8].
На основе сформированных вопросов формируется единый банк тестовых заданий (ЕБТЗ) для обеспечения потоковых дисциплин ФОСами и материалами для диагностической работы. Этапы ТНООЗ приведены в табл. 2.
Рассмотрим основные элементы и связи процесса взаимосвязи программного обеспечения и сервисов, позволяющих реализовать ТНООЗ. Схема взаимодействия компонентов представлена на примере РТУ МИРЭА (рис. 2).
Остановимся на пояснении сокращений в приведенной схеме. СДО – система дистанционного обучения, являющаяся основной платформой в РТУ МИРЭА по взаимодействию обучающихся и ППС с размещением на ней всех учебно-методических материалов. Стоит отметить, что представленные на схеме взаимодействия компонентов сервисы и программное обеспечение (ПО) приведены на примере РТУ МИРЭА, но реализуемы и на примере других вузов в зависимости от технических характеристик и ПО. Схема, описывающая рекомендации (инструкции) по организации учебного процесса и проведения оценки остаточных знаний потоковых УД по уровням (этапам) в реализации ТНООЗ с рассмотренной классификацией потоковых дисциплин (0–1 уровни), приведена на рис. 3.
Как было описано выше, применение ТНООЗ рассматривается на примере потоковых дисциплин. Связано это с тем, что организация единого подхода в указанном типе имеет ключевое значение. При переходе между уровнями в представленной структуре ТНООЗ определяются ключевые показатели, выполнение которых обязательно и невозможен переход на следующий этап (уровень) в случае, если не выполнен показатель предыдущего уровня [9].
0 уровень: классификация учебной дисциплины (модель классификации);
1 уровень: формирование состава ППС;
3 уровень: актуализация учебно-методических материалов (РПД, ФОСы, материалы ООЗ);
4 уровень: формирование ЕБТЗ, оценка и анализ результатов ТНООЗ, корректировка (актуализация) учебных материалов.
Рис. 2. Схема взаимодействия компонентов на примере сервисов РТУ МИРЭА [7]
Материалы и методы, применяемые в ТНООЗ:
− для реализации обратной связи использовали СДО и ВИКа;
− на этапе промежуточной (текущей) аттестации ТИИ модель «случайного леса» и GPT2;
− для формирования методических материалов учебной дисциплины на примере РТУ МИРЭА программное обеспечение и сервисы вуза, в частности РПД и СДО, представлены в табл. 2 и схеме взаимодействия компонентов на рис. 3.
Результаты исследования и их обсуждение
На рис. 4 показаны результаты промежуточной аттестации с применением ТНООЗ.
К результатам применения ТНООЗ на примере потоковой дисциплины «Большие данные» РТУ МИРЭА относятся:
− возможность проверки остаточных знаний по всем видам учебной деятельности в процессе изучения дисциплины: «Большие данные»: 8 лекций (8 тестов по материалам лекций, 1 итоговый тест);
− своевременная корректировка структуры в режиме обратной связи на этапе изучения дисциплины: «Большие данные»: 8 лекций (лекции 2, 5 подробное пояснение вопросов 1, 4, закрепление на практических занятиях, отправка материалов лекций и заданий для повторного изучения);
− оптимизация времени на этапе промежуточной (текущей) аттестации с применением модели «случайного леса» и GPT2: модели показали хорошие результаты, исторические данные позволяют обучить модели под специфику дисциплин, результаты моделей успешно использованы для последующего анализа и внесения изменений (рис. 5).
Рис. 3. Структурная схема ТНООЗ Источник: составлено автором
Рис. 4. Результаты с применением ТНООЗ при проведении итоговой формы контроля Источник: составлено автором
Рис. 5. Результаты с применением ТНООЗ при проведении итоговой формы контроля. Источник: составлено автором
Заключение
Реализация ТНООЗ в образовательном процессе позволяет осуществлять своевременную обратную связь и проводить анализ результатов изучения потоковых дисциплин на всех этапах промежуточного и итогового контроля. Решением заявленной в статье проблемы, заключающейся в отсутствии возможности проведения оценки остаточных знаний и реализации обратной связи для своевременного внесения изменений в структуре дисциплин в процессе изучения, а не после завершения процесса обучения, является реализация ТНООЗ. Результаты ТНООЗ показаны на примере потоковой дисциплины «Большие данные» кафедры ПМ РТУ МИРЭА.