Введение
Проблема академического отсева студентов является одной из наиболее острых и трудноразрешимых в системе высшего образования как в Российской Федерации, так и в мире. По данным Министерства науки и высшего образования РФ, ежегодно отчисляются по различным причинам, в первую очередь из-за неуспеваемости, от 15 до 25 % студентов первых двух курсов [1]. В масштабах страны это приводит не только к значительным экономическим потерям для вузов и государства из-за неэффективного расходования бюджетных мест, но и к серьезным социальным последствиям – снижению доли молодежи с высшим образованием, разочарованию в профессиональном выборе и психологическим проблемам у самих студентов [2]. Для технических вузов, готовящих инженерные кадры для стратегических отраслей экономики, приобретает особое значение вопрос удержания талантливых студентов и своевременной помощи отстающим [3, 4].
Современный этап цифровой трансформации образования привел к кардинальному изменению ландшафта образовательного процесса. Повсеместное внедрение систем управления обучением (LMS), в частности платформы Moodle, которая является доминирующей в российских вузах, создало уникальную ситуацию накопления так называемого «цифрового следа» обучающихся [5]. Каждое действие студента в электронной среде, будь то вход в систему, просмотр лекционного материала, попытка выполнения теста, участие в форуме или своевременность сдачи работ, фиксируется в логах и образует массив больших данных (Big Data) [6]. Этот массив содержит скрытые паттерны поведения, которые могут служить индикаторами будущих академических проблем. Однако, как справедливо отмечают исследователи в области анализа образовательных данных, наличие данных само по себе не решает проблему, поэтому необходим инструментарий для их глубокого анализа и интерпретации [7, 8].
В последнее десятилетие активно развивается направление предиктивной аналитики в образовании. В рамках концепции педагогического сопровождения предиктивная аналитика выступает инструментом раннего обнаружения кризисных ситуаций, позволяя перейти от реактивной к проактивной поддержке [9]. Зарубежные исследователи предложили различные модели машинного обучения для прогнозирования успеваемости на основе данных LMS [10, 11]. В российской науке также имеются значительные наработки в этой области, которые показывают высокий потенциал использования нейросетевых алгоритмов для классификации студентов по степени риска отчисления [12, 13]. Однако большинство исследований либо носят общетеоретический характер, либо используют авторские алгоритмы, недоступные для массового применения в вузовской практике. При этом платформа Moodle предлагает как встроенные инструменты предиктивной аналитики на базе машинного обучения (Moodle Analytics), так и возможность интеграции со сторонними специализированными сервисами, такими как IntelliBoard AI. Встроенный модуль Moodle Analytics на базе машинного обучения “Students at risk of dropping out” («Студенты, находящиеся под угрозой отчисления») позволяет настраивать приоритеты анализа, в частности выбирать между «когнитивной глубиной» (анализ усвоения знаний) и «социальной широтой» (анализ коммуникаций) [14]. С другой стороны, плагин IntelliBoard AI позиционируется разработчиками как более совершенный инструмент, использующий нейросетевые алгоритмы и учитывающий десятки поведенческих параметров. Однако их сравнительная эффективность на одной выборке и в рамках одной предметной области ранее не исследовалась.
Цель исследования – сравнительный анализ эффективности применения встроенного модуля Moodle Analytics и специализированного плагина IntelliBoard AI для выявления студентов группы риска при изучении дисциплины в электронной образовательной среде вуза.
Материалы и методы исследования
Исследование выполнялось на базе ФГБОУ ВО «Казанский государственный энергетический университет». В качестве экспериментальной площадки выбран электронный учебный курс «Проектирование источников вторичного электропитания», развернутый в системе управления обучением Moodle (версия 4.1) [15]. Данный курс изучается студентами 3-го курса по направлению подготовки 11.03.04 Электроника и наноэлектроника. Авторы исследования являются преподавателями на этом курсе, что позволило обеспечить полный контроль над структурой курса, настройками инструментов аналитики и сбором данных. Структура курса включает следующие компоненты:
– теоретический материал (17 лекций);
– лабораторные работы (8 работ с оцениванием преподавателем);
– тестовые задания в конце каждого раздела (5 тестов с автоматической проверкой);
Все элементы курса фиксируются в журнале оценок Moodle, а каждое действие студента (вход, просмотр страниц, попытки прохождения тестов, загрузка файлов) сохраняется в логах системы [15].
В исследовании использованы данные двух академических когорт. Когорта А состоит из трех учебных групп общей численностью 77 студентов в период обучения 2023/2024 учебный год. Когорта Б состоит из двух учебных групп общей численностью 68 студентов, обучающихся в 2024–2025 учебном году. Общий объем выборки составил 145 чел. Все студенты обучались очно на бюджетной основе. Выборка является репрезентативной для технических направлений подготовки и позволяет получить статистически значимые результаты при сравнительном анализе.
Для идентификации студентов группы риска использовались два инструмента, интегрированных с LMS Moodle. Модуль предиктивной аналитики Moodle Analytics с моделью “Students at risk of dropping out” использует машинное обучение, встроенное в ядро Moodle. Модель обучается на исторических данных о завершении курсов и активности студентов (использованы данные 2021–2023 гг.). Для данного эксперимента в настройках модели были выбраны индикаторы с 5-м уровнем «когнитивной глубины» (уровень глубины варьируется от 0 до 5): Assignment cognitive, Lesson cognitive, Quiz cognitive, Workshop cognitive. Это означает, что алгоритм в первую очередь анализировал взаимодействие студента с учебным контентом (результаты тестов, своевременность сдачи и оценки заданий).
Второй инструмент, IntelliBoard AI, представляет собой коммерческий плагин (версия 2024.1), интегрируемый с Moodle через API. Платформа собирает данные из логов Moodle и обрабатывает их с использованием нейросетевых алгоритмов (многослойный перцептрон) для расчета персонального индекса риска (Risk Score), нормированного от 0 до 1. В отличие от стандартного модуля Moodle Analytics, IntelliBoard AI анализирует более 20 параметров, включая:
– академические показатели (текущие оценки, выполнение заданий);
– поведенческие паттерны (время суток активности, регулярность входов, время, проведенное на страницах курса);
– навигационные особенности (последовательность переходов, глубина просмотра);
– социальную активность (участие в форумах).
Для данного исследования все настройки модуля использовались по умолчанию, а пороговое значение индекса риска было установлено на уровне 0,6 (рекомендация разработчика). Студенты с индексом выше порога классифицировались как «группа риска».
Для оценки динамики прогнозов были выбраны три временных среза внутри семестра (длительность семестра – 16 недель):
– 4-я неделя соответствует времени проведения рубежного контроля после завершения первого раздела дисциплины;
– 8-я неделя – середина семестра, второй рубежный контроль;
– 14-я неделя – завершающий этап перед экзаменационной сессией.
На каждом срезе фиксировались списки студентов, идентифицированных модулем Moodle Analytics и плагином IntelliBoard AI как «группа риска».
Фактическим исходом для каждого студента считалось успешное или неуспешное завершение курса. К категории «неуспешных» отнесены студенты, которые получили неудовлетворительную итоговую оценку (менее 55 баллов по 100-балльной шкале) или были отчислены из вуза до окончания семестра по академической неуспеваемости. Для сравнения качества прогнозов использовались стандартные метрики, вычисленные на основе матрицы ошибок: точность, полнота, время упреждения.
Результаты исследования и их обсуждение
Из 145 студентов, приступивших к изучению курса «Проектирование источников вторичного электропитания», успешно завершили обучение (сдали экзамен) 119 чел., что составляет 82,1 % от общей выборки. «Неуспешными» признаны 26 студентов (17,9 %), из них 18 чел. (12,4 %) получили неудовлетворительные результаты по итогам экзамена и были направлены на пересдачу, а 8 чел. (5,5 %) были отчислены из университета до окончания семестра в связи с академическими задолженностями по нескольким дисциплинам, включая исследуемый курс. Распределение неуспевающих по когортам было равномерным: 14 чел. в 2023–2024 учебном году (18,2 % от когорты А) и 12 чел. в 2024–2025 учебном году (17,6 % от когорты Б), что свидетельствует о стабильности условий обучения и сопоставимости выборок.
В таблице представлены результаты анализа работы модуля Moodle Analytics и плагина IntelliBoard AI на каждом срезе.
Точность на срезе (Precision) показывает долю студентов, верно идентифицированных как «неуспешные», среди всех, кого инструмент отнес к группе риска:
где TP (true positive) – число студентов, у которых риск подтвердился, FP – число студентов, ошибочно отнесенных к риску.
Полнота (Recall) показывает долю верно идентифицированных студентов группы риска от общего числа реально «неуспешных»:
где FN (false negative) – число студентов, которые реально попали в неуспешные, но не были выявлены инструментом.
Сопоставление результатов инструментов предиктивной аналитики
|
Инструмент |
Выявлено студентов группы риска (TP+ FP) |
Из них подтвердили риск (TP) |
Ложная тревога (FP) |
Не выявлено риска (FN) |
Точность на срезе (Precision) |
Накопленная полнота (Recall) |
|
4-я неделя (1-й рубеж) |
||||||
|
Moodle Analytics |
3 |
2 |
1 |
24 |
66,7 % |
7,7 % |
|
IntelliBoard AI |
14 |
9 |
5 |
17 |
64,3 % |
34,6 % |
|
8-я неделя (2-й рубеж) |
||||||
|
Moodle Analytics |
17 |
13 |
4 |
13 |
76,5 % |
50,0 % |
|
IntelliBoard AI |
23 |
18 |
5 |
8 |
78,3 % |
69,2 % |
|
14-я неделя (3-й рубеж) |
||||||
|
Moodle Analytics |
27 |
23 |
4 |
3 |
85,2 % |
88,5 % |
|
IntelliBoard AI |
29 |
25 |
4 |
1 |
86,2 % |
96,2 % |
Примечание: составлена авторами на основе полученных данных в ходе исследования
На срезе первого рубежного контроля (4-я неделя) заметно сильное различие в результатах исследуемых инструментов. IntelliBoard AI отнес к группе риска 14 студентов, из которых 9 впоследствии подтвердили риск (полнота составила 34,6 %), тогда как Moodle Analytics были распознаны лишь 3 студента (полнота 7,7 %). Такое большое различие в полноте можно объяснить настройкой встроенного модуля на приоритет когнитивной глубины, который требует накопления результатов учебной деятельности – оценок за тесты, фактов сдачи работ и их оценивания. К 4-й неделе таких данных в курсе было недостаточно – первый раздел содержал лишь одно тестовое задание и две лабораторные работы. IntelliBoard AI, напротив, анализирует поведенческие паттерны (регулярность входов, время просмотра материалов, навигацию) и способен выявлять «скрытое неблагополучие» задолго до появления академических задолженностей. Этот результат согласуется с исследованиями [9, 11], показывающими, что прокрастинация и снижение учебной активности являются предикторами будущей неуспеваемости уже на 2–3 неделе семестра.
Ко второму рубежному контролю разрыв в полноте сокращается, но остается существенным. Moodle Analytics накопил данные по 13 студентам, подтвердившим риск (полнота 50,0 %), IntelliBoard AI – по 18 студентам (полнота 69,2 %). Интересно, что точность обоих инструментов становится практически одинаковой (76,5 и 78,3 %). Это означает, что к середине семестра оба подхода одинаково надежны в том смысле, что если они кого-то отметили, то этот студент с высокой вероятностью действительно находится в зоне риска. Однако IntelliBoard AI продолжает «видеть» больше студентов, подверженных риску, в основном за счет тех, у кого нет формальных задолженностей, но уже есть устойчивые поведенческие проблемы.
Перед экзаменационной сессией полнота Moodle Analytics достигает 88,5 %, а у IntelliBoard AI – 96,2 %. Точность обоих инструментов становится очень высокой (85,2 и 86,2 %). Практически все студенты, которые к этому времени не справляются с курсом, уже идентифицированы. Инструменты «сходятся» в оценках, и оставшиеся 1–3 не выявленных студента представляют собой либо редкие случаи внезапного кризиса (например, болезнь на экзамене), либо артефакты модели.
На всех срезах количество ложных срабатываний (FP) у обоих инструментов невелико, но все же имеется. Причина этих сигналов состояла в том, что 4 студента имели индивидуальный график и семестровые задания выполняли с существенной задержкой. Дополнительное ложное срабатывание у IntelliBoard AI может быть связано с нестандартным поведением на курсе, например хаотичными переходами между разделами, короткими, но частыми входами на курс или, наоборот, длительным отсутствием активности. Количество не выявленных вовремя студентов группы риска (FN) у обоих инструментов также невелико. К 14-й неделе Moodle Analytics «пропустил» трех, а IntelliBoard AI – только одного студента. Анализ этих случаев показал, что двое студентов перестали заниматься ближе к концу семестра по причине болезни и не приступили к своевременной сдаче экзаменов, а один ушел в академический отпуск прямо перед сессией.
Главным недостатком встроенного модуля Moodle Analytics является позднее срабатывание, так как основная часть студентов группы риска выявляется после середины семестра. Однако этот недостаток можно частично компенсировать организационно-педагогическими мерами. В анализируемом курсе первый рубежный контроль включал небольшое количество контрольно-измерительных средств, что недостаточно для формирования статистически значимой оценки когнитивной деятельности студентов. В качестве рекомендации можно использовать вместо pdf-лекций элемент Moodle «Лекция», в который включены тестовые задания. Такой подход существенно увеличит количество контрольно-измерительных материалов и позволит алгоритму Moodle Analytics уже к 4–5-й неделе иметь большой массив данных по каждому студенту. Формирование прогноза начнется раньше, что приблизит показатели Moodle Analytics к уровню IntelliBoard AI на ранних этапах.
Традиционные методы, такие как анализ оценок за экзамены, констатируют уже свершившийся факт неуспеваемости, когда время для профилактики упущено. Предложенные инструменты позволяют выявлять риск задолго до формальной задолженности – начиная с середины семестра. Это дает возможность организовать педагогическую поддержку до того, как студент накопит критическую массу долгов. В середине семестра, когда список риска уже частично сформирован, критически важно подключение кураторов групп. В настоящее время информация из модуля аналитики используется преимущественно преподавателем, который может не иметь возможности для индивидуальной работы с каждым «рискованным» студентом. Поэтому важно разработать регламент автоматической рассылки отчетов из инструментов аналитики кураторам учебных групп. Задача куратора – провести краткую беседу с каждым студентом, попавшим в список, выяснить причины снижения успеваемости и при необходимости связаться с родителями. Для студентов из группы «риска» такое вмешательство может вовремя исправить ситуацию с неуспеваемостью.
Заключение
Проведенное исследование показало, что оба инструмента предиктивной аналитики, встроенный модуль Moodle Analytics с приоритетом когнитивной глубины и плагин IntelliBoard AI, эффективны для выявления студентов группы риска. Moodle Analytics, уступая в оперативности, к середине семестра демонстрирует сопоставимую точность и, будучи бесплатным и уже интегрированным в LMS, остается важнейшим инструментом для вузов с ограниченными ресурсами. Доработка методики применения Moodle Analytics с учетом предложенных рекомендаций позволит раньше начать педагогическую поддержку неуспевающих студентов и существенно повысить эффективность профилактики отсева без значительных финансовых затрат. Полученные результаты являются базовыми для разработки методики, которая в дальнейшем будет распространена на весь университет, включая 1-й и 2-й курсы, поскольку предиктивная аналитика должна внедряться именно с начала обучения. Для этого потребуется интеграция модуля аналитики со всеми электронными курсами университета, которая станет следующим этапом исследования.
Конфликт интересов
Финансирование
Библиографическая ссылка
Потапов А. А., Синицин А. М. ПЕДАГОГИЧЕСКАЯ ЭФФЕКТИВНОСТЬ ПРИМЕНЕНИЯ ПРЕДИКТИВНОЙ АНАЛИТИКИ ДЛЯ ВЫЯВЛЕНИЯ СТУДЕНТОВ ГРУППЫ РИСКА В ЭЛЕКТРОННОЙ ОБРАЗОВАТЕЛЬНОЙ СРЕДЕ УНИВЕРСИТЕТА // Современные наукоемкие технологии. 2026. № 4. С. 253-258;URL: https://top-technologies.ru/ru/article/view?id=40757 (дата обращения: 10.05.2026).
DOI: https://doi.org/10.17513/snt.40757