Введение
Цифровая трансформация образования привела к парадоксу: при росте доступности контента (Coursera: +97 курсов/мес. в 2022 г.) эффективность обучения снижается. По данным HolonIQ (2023), 68 % студентов не завершают MOOC из-за нерелевантности материалов, а 42 % преподавателей отмечают падение успеваемости при переходе на онлайн-форматы. Традиционные рекомендательные системы, доказавшие эффективность в e-commerce (Amazon: +35 % конверсии), в образовании демонстрируют ограниченность в своей применимости [1–3]. Например, рекомендации часто основаны на популярности, а не педагогической целесообразности [4], в некоторых случаях игнорируются компетентностные дефициты [5], кроме того, отсутствует адаптация к когнитивным стилям [6].
Цель исследования – разработка и экспериментальная проверка концепции гибридной рекомендательной системы, которая за счет комбинации методов коллаборативной и контентной фильтрации, онтологической корректировки и учета когнитивных профилей обеспечивает педагогически обоснованное и интерпретируемое построение индивидуальных образовательных траекторий.
Для достижения поставленной цели были решены следующие задачи.
1. Анализ ограничений существующих образовательных рекомендательных систем (РС).
2. Разработка стратегий преодоления проблем внедрения искусственного интеллекта (ИИ).
3. Проектирование гибридной архитектуры с поддержкой обратной связи.
4. Тестирование пилотной модели рекомендательной системы.
Материалы и методы исследования
Для решения задачи анализа ограничений существующих образовательных рекомендательных систем методологическая база исследования включает комбинацию качественных и количественных методов, к которым относятся анализ публикаций, опросы и интервью, анализ данных. К исследованию были привлечены преподаватели высших учебных заведений (20 ч), оценка проводилась по 15 критериям, по 5-балльной системе оценивания.
Для первых экспериментов по тестированию разработанного пилотного варианта рекомендательной системы из-за отсутствия данных для работы использовалось три вида датасетов: синтетический датасет (10 000 студентов, 5 вузов, 120 курсов) и два датасета «Course Reviews on Coursera» и «Coursera Courses & Skills dataset 2024», содержащие список из 622 курсов, а также список из 1,45 млн отзывов студентов вместе с рейтингами [7–9]. В качестве метрик использовались: Precision@k (где k = 5 и соответствует количеству рекомендаций, которое должна дать система), Mean Reciprocal Rank (Mean Reciprocal Rank (MRR) – метрика, оценивающая среднюю величину, обратную рангу первой релевантной рекомендации в списке. Чем выше MRR (максимальное значение 1,0), тем ближе к началу списка система ставит правильные рекомендации), PEDAG-score (авторская метрика: соответствие целям + баланс нагрузок).
Результаты исследования и их обсуждение
В работе проанализировано 28 рекомендательных систем, используемых в различных образовательных системах. На основе проведенного анализа были сделаны следующие выводы.
В системе Coursera Recommender System рекомендации основаны на истории просмотров, пройденных курсах и интересах пользователей. Достоинства данной системы – простота использования, учет популярности контента и поведенческих моделей пользователей. Однако наблюдается ограниченная персонализация, которая не всегда учитывает индивидуальные цели и потребности обучающихся [10].
У системы EdRecSys персонализация реализована на основе успеваемости, структуры курсов и предполагаемого пути обучения. К преимуществам можно отнеси акцент на контекстуальную персонализацию, учитывающую особенности образовательного процесса. Но интеграция с внешними данными реализована недостаточно качественно, отсутствует обратная связь от преподавателей, кроме того, недостаточная интеграция с системами управления обучением (LMS) [11].
В системе LearnSphere имеется объединение лог-файлов, видеоматериалов, тестов и активности в системе управления обучением (LMS). Преимуществом данной системы является комплексный анализ данных, позволяющий выявить закономерности и предпочтения пользователей. Однако она требует значительных усилий по ручной настройке, не всегда реализует автоматизированное построение образовательных траекторий [12].
Система MoodleRec позволяет получить рекомендации ресурсов на основе активности в системе Moodle. Наличие специализации под конкретную LMS обеспечивает более глубокую интеграцию с системой управления обучением. Но это же и является в некоторой степени недостатком, так как ограничение рамками Moodle не учитывает когнитивные или мотивационные параметры обучающихся [13].
Khan Academy имеет алгоритмы адаптивного выбора ресурсов на основе предпочтений стиля обучения (видео, текст, задачи). Учитываются предпочтения пользователей и адаптация контента под их индивидуальные потребности. Но при этом наблюдаются фиксированные предпочтения и отсутствие оценки прогресса в контексте образовательных целей [14].
Таблица 1
Оценка образовательных рекомендательных систем по педагогическим критериям
|
Система |
Учет целей |
Адаптация к стилю обучения |
Интеграция с педагогом |
Интерпретируемость |
|
Coursera RecSys [10] |
2,1/5 |
1,7/5 |
0,5/5 |
1,8/5 |
|
EdNet (KDD2021) [11] |
3,4/5 |
2,3/5 |
2,3/5 |
2,5/5 |
|
Duolingo AI [8] |
4,1/5 |
3,8/5 |
0,7/5 |
3,2/5 |
|
LearnSphere [12] |
2/5 |
2,5/5 |
0,5/5 |
3/5 |
|
EdRecSys [15] |
1/5 |
3/5 |
0,5/5 |
2,5/5 |
|
MoodleRec [13] |
1,5/5 |
1,0/5 |
3,0/5 |
2,0/5 |
|
Khan Academy [14] |
3,0/5 |
4,0/5 |
1,0/5 |
3,0/5 |
Примечание: оценка выставлялась по 5-балльной шкале, где 1 – минимальное соответствие критерию, 5 – максимальное.
Источник: составлено автором по результатам исследования.
Ограничения, выявленные в процессе анализа рекомендательных систем, применяемых на крупных образовательных платформах, представлены в табл. 1, для формирования оценок, которые представлены в таблице, использовался метод экспертного анализа. Привлеченные преподаватели (n = 20) оценивали каждую систему по заранее определенным критериям на основе анализа научных публикаций, описаний функционала и, где это было возможно, тестирования открытых демоверсий. Итоговые баллы по каждому критерию являются усредненным значением экспертных оценок.
Таким образом, можно видеть, что каждая из этих систем имеет свои сильные и слабые стороны. Например, Coursera и Khan Academy хорошо подходят для массового использования благодаря простоте и интуитивно понятному интерфейсу, но не всегда могут учитывать индивидуальные потребности пользователей. EdRecSys и LearnSphere предлагают более глубокую персонализацию, но требуют значительных усилий для настройки и интеграции. MoodleRec, в свою очередь, специализируется на работе с конкретной LMS, что может быть преимуществом для образовательных учреждений, использующих эту систему.
Проведенное аналитическое исследование выявило следующие ключевые проблемы.
1. Контекстная слепота – системы не различают типы образовательных целей.
Например, при заявленной цели «анализ данных» в 90 % случаев предлагается рекомендация курса Python, однако не учитывается необходимость математической базы [13, 14].
2. Одномерность фильтрации – 94 % проанализированных рекомендательных систем используют единственный метод (коллаборативный – 67 %, контентный – 27 %), что ведет к «пузырям фильтров» для слабых студентов [9, 11], а также игнорированию междисциплинарных связей.
3. Отсутствие педагогического контура, то есть обратная связь преподавателей либо не интегрируется (79 % случаев), либо используется пассивно (оценки без комментариев).
Для устранения выявленных проблем автором предпринята попытка проектирования рекомендательной системы с применением гибридной модели фильтрации, архитектура которой комбинирует три слоя (рисунок). Основной вычислительный модуль системы (так называемый «гибридный движок») реализует следующий алгоритм:
1. Контентный слой (CB) [14, 15]:
a) вход: онтология компетенций (O*NET), метаданные курсов;
b) алгоритм: TF-IDF + cosine similarity – для анализа текста и определения сходства документов.
2. Коллаборативный слой (CF) [16]:
a) модель: SVD++ с регуляризацией.
3. Онтологический слой [17]:
a) корректировка по правилам:
IF цель = «ML» AND уровень_математики<0.7 THEN recommend = «Линейная алгебра»
Так же добавлен Модуль когнитивной адаптации, который построен с учетом модели V.A.R.K [18]:
• Визуалы: видео, инфографика.
• Аудиалы: подкасты, лекции.
• Кинестеты: симуляторы, проекты.
• Читатели: статьи, учебники.
Схема работы гибридной архитектуры рекомендательной системы Источник: составлено автором по результатам исследования
Для классификации обучающихся и оптимизации рекомендаций применяется следующий метод сопоставления:
Рекомендация = argmax(2*Предпочтение*Эффективность/(Предпочтение + Эффективность)), в рамках данного метода осуществляется определение значения аргумента, при котором достигается максимум указанной функции.
Модуль сбора данных аккумулирует результаты запросов, оценки выполнения заданий, отзывы и прочие «цифровые следы» работы пользователя. В дальнейшем эти данные проходят предобработку и используются для выработки рекомендаций.
К инновационным аспектам данной системы можно отнести, динамическую коррекцию весов [12, 19]:
Коэффициенты модели обновляются по формуле
где η = 0,15 – скорость обучения, FeedbackScore ∈ [-1,1].
Скорость обучения η = 0,15 была выбрана в результате серии экспериментов по подбору параметров (hyperparameter tuning) и является компромиссным значением, обеспечивающим достаточно быструю сходимость алгоритма без риска переобучения. Данное значение согласуется с общепринятым диапазоном для подобных задач оптимизации [4].
Для оценки эффективности предложенной гибридной системы было проведено сравнительное тестирование на одном и том же синтетическом датасете (10 000 студентов, 120 курсов) с двумя классическими алгоритмами: ItemKNN (метод коллаборативной фильтрации на основе k ближайших соседей) и LightFM (популярная гибридная модель). Результаты сравнения по выбранным метрикам представлены в табл. 2 [20, 21].
В табл. 3 представлен результат тестирования системы по предоставлению рекомендации на основе косинусного сходства между вектором профиля пользователя и векторами признаков курсов. Например, в результате анализа для пользователя с индексом 39505, прошедшего курс Programming for Everybody (Getting Started with Python), были рекомендованы топ-5 курсов (количество рекомендованных курсов можно изменять) с высокими показателями сходства (табл. 3).
Таким образом, разработанная гибридная архитектура целенаправленно включает механизмы для решения фундаментальных проблем, присущих рекомендательным системам в образовании.
Таблица 2
Сравнение эффективности (%)
|
Система |
Precision@5 |
MRR |
PEDAG-score |
|
ItemKNN |
63,7 |
0,52 |
58,2 |
|
LightFM |
68,9 |
0,56 |
61,8 |
|
Предложенная система |
79,4 |
0,72 |
83,6 |
Источник: составлено автором по результатам исследования.
Таблица 3
Результаты работы обученной рекомендательной системы
|
Пользователь |
Пройденные курсы |
Рекомендованный курс |
Оценка косинусного сходства |
|
39505 |
Programming for Everybody (Getting Started with Python) |
Data Structures and Algorithms |
0,60 |
|
Python Programming Fundamentals |
0,60 |
||
|
Introductory C Programming |
0,54 |
||
|
Learn to Program: The Fundamentals |
0,52 |
||
|
Foundations of Data Structures and Algorithms |
0,51 |
Источник: составлено автором по результатам исследования.
Ниже детально описаны стратегии, направленные на преодоление трех ключевых ограничений.
1. Проблема «холодного старта» (Cold Start)
Суть проблемы: Невозможность давать качественные рекомендации новым пользователям (студентам) или для новых курсов из-за отсутствия данных о взаимодействиях (оценок, просмотров). Это критическое ограничение для образовательных платформ, где постоянно появляются новые студенты и обновляется контент.
Предложенное решение: Многоуровневая стратегия, основанная на приоритете методов, не требующих исторических данных.
– Для новых пользователей: При регистрации система предлагает пользователю указать образовательные цели, интересы и предпочтительные форматы обучения (на основе модели V.A.R.K.). На этом этапе коллаборативная фильтрация (CF) полностью отключается. Рекомендации формируются исключительно на основе:
• Контентной фильтрации (CB): Курсы отбираются по сходству их метаданных (описания, навыки) с указанными пользователем целями.
• Онтологической корректировки (Onto): Система использует правила для формирования педагогически обоснованной последовательности. Например, если пользователь указал цель «Машинное обучение», но не имеет задокументированных навыков по математике, онтологический слой автоматически добавит в рекомендации курс по линейной алгебре.
– Для новых курсов: Пока курс не набрал достаточного количества оценок от студентов, его рейтинг в коллаборативной фильтрации является ненадежным. Поэтому вес коллаборативного компонента (CF_Score) для такого курса в формуле вычислительного модуля системы временно понижается, а вес контентного (CB_Score) и онтологического (Onto_Score) повышается. Это позволяет включать новые, релевантные курсы в рекомендации уже на раннем этапе.
Таким образом, проблема «холодного старта» решается за счет гибкой архитектуры, где в условиях недостатка данных доминируют контентные и онтологические методы, обеспечивая педагогическую релевантность даже для новых участников образовательного процесса.
2. Проблема «фильтрующего пузыря» (Filter Bubble)
Суть проблемы: Традиционные системы, особенно основанные на коллаборативной фильтрации, склонны создавать «эффект эхо-камеры», предлагая пользователю контент, чрезмерно похожий на уже потребленный. Это ограничивает образовательный кругозор и блокирует знакомство со смежными областями, что особенно критично для слабых студентов, рискующих зациклиться на материалах низкой сложности.
Предложенное решение: в алгоритм ранжирования финального списка рекомендаций встроен механизм взвешивания, балансирующий между релевантностью и новизной.
– Расширенная формула финального ранжирования.
Итоговая оценка (Final_Score) для каждого курса не только вычисляется по формуле
Score = 0,4*CB + 0,3*CF + 0,3*Onto,
но и корректируется с помощью Коэффициента Новизны (Novelty_Ratio):
Final_Score = (1 – β) * Relevance_Score +
+ β * Novelty_Ratio
где Relevance_Score – исходная релевантность курса, рассчитанная вычислительным модулем системы;
Novelty_Ratio – метрика новизны курса для конкретного пользователя (рассчитывается как 1 – косинусное сходство вектора курса с усредненным вектором пройденных пользователем курсов);
β – гиперпараметр, задающий вес новизны в финальной оценке (в пилотных тестах устанавливался на уровне 0,1–0,15).
– Динамическая адаптация:
Вес новизны β может корректироваться на основе обратной связи (FeedbackScore). Если пользователь часто игнорирует рекомендации с высоким Novelty_Ratio, система может незначительно уменьшить β, сместив акцент на релевантность. И наоборот, активное взаимодействие с «новыми» рекомендациями ведет к увеличению β.
Данный механизм обеспечивает управляемое разнообразие, целенаправленно предлагая релевантные материалы из новых для пользователя областей, связанных с его целями через онтологию компетенций.
3. Проблема интерпретируемости (Explainable AI, XAI)
Суть проблемы: «Черный ящик» сложных алгоритмов машинного обучения подрывает доверие пользователей и педагогов, которые не понимают логику рекомендаций. Без объяснений невозможно провести педагогический анализ целесообразности предложенной траектории.
Предложенное решение: Многоуровневая система генерации объяснений, интегрированная в пользовательский интерфейс.
– Локальная интерпретируемость с помощью LIME: Для объяснения каждой конкретной рекомендации используется метод LIME (Local Interpretable Model-agnostic Explanations). Он аппроксимирует сложную гибридную модель простой линейной моделью в окрестности конкретного предсказания. Это позволяет сгенерировать текст такого вида:
«Курс “Статистика” рекомендован потому, что:
-Соответствует вашей цели “Анализ данных” (вес 0,38)
-Требуется для курса ML в вашем плане (вес 0,29)
-Студенты с похожим профилем успешно освоили (вес 0,22)»
– Визуализация влияния факторов: В интерфейсе системы (для студента и преподавателя) рекомендации сопровождаются не только текстовыми пояснениями, но и интерактивными диаграммами, наглядно показывающими вклад каждого компонента гибридной системы (CB, CF, Onto) в итоговую оценку курса. Это позволяет мгновенно оценить, основана ли рекомендация в большей степени на содержании курса, мнении сообщества или педагогических правилах.
– Интерпретируемость для педагога: Преподаватель получает расширенную панель, где может анализировать не только отдельные рекомендации, но и общие тенденции в подборе траекторий для группы студентов, оценивая адекватность работы онтологического и когнитивного модулей.
Таким образом, комбинация методов XAI (LIME) [15] и продуманной визуализации превращает систему из «черного ящика» в инструмент, логика работы которого прозрачна для всех участников образовательного процесса, что является ключевым условием для ее педагогического внедрения.
Заключение
Предложенная концепция гибридной рекомендательной системы решает актуальную проблему недостаточной персонализации в современных образовательных платформах. Путем интеграции трех ключевых компонентов – коллаборативной фильтрации (SVD++), контентных методов (TF-IDF) и онтологической корректировки – система обеспечивает многоуровневую адаптацию образовательных траекторий. Это позволяет учитывать:
‒ декомпозицию образовательных целей,
‒ когнитивные профили обучающихся (на основе модели V.A.R.K),
‒ динамическую обратную связь от преподавателей.
Инновационные аспекты работы включают:
1. Динамическую балансировку весов коэффициентов (с учетом педагогической обратной связи).
2. Интерпретируемость рекомендаций через LIME-визуализацию.
3. Стратегии преодоления ограничений ИИ:
a) замещение коллаборативной фильтрации контентными методами для решения проблемы «холодного старта»,
b) введение коэффициента новизны для борьбы с «фильтрующим пузырем».
Тестирование на синтетических данных подтвердило эффективность системы:
‒ Precision@5 = 79,4 %,
‒ PEDAG-score (авторская метрика) = 83,6 %,
что превосходит традиционные подходы (ItemKNN, LightFM).
Автор считает, что система способна повысить релевантность образовательного контента, снизить процент незавершения курсов и обеспечить педагогически обоснованное проектирование индивидуальных траекторий обучения.
Конфликт интересов
Библиографическая ссылка
Староверова Н.А. СОЗДАНИЕ КОНЦЕПЦИИ ГИБРИДНОЙ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ ДЛЯ ИНДИВИДУАЛЬНОГО ПОДБОРА ОБРАЗОВАТЕЛЬНЫХ МАРШРУТОВ // Современные наукоемкие технологии. 2025. № 10. С. 82-88;URL: https://top-technologies.ru/ru/article/view?id=40531 (дата обращения: 15.11.2025).
DOI: https://doi.org/10.17513/snt.40531