Введение
С развитием информационных технологий все большее внимание уделяется автоматизации образовательных процессов в вузах и развитию онлайн-курсов. В качестве одного из наиболее актуальных для этого инструментов в настоящее время выступают различные приложения на базе искусственного интеллекта, которые внедряются в образование в целях персонификации образования [1–3]. Естественно, применение данных приложений имеет как свои преимущества, так и риски, которые широко обсуждаются в научном сообществе [4–6]. Однако нужно принять тот факт, что развитие информационных технологий и цифровизация образования не стоят на месте, и, для того чтобы идти в ногу со временем, требуется адаптировать данные приложения под нужды преподавателей и обучающихся. В частности, одной из основных проблем онлайн-курсов можно назвать отсутствие персонализированной обратной связи, так как обучающиеся часто не понимают, где именно они ошиблись при прохождении контроля знаний, и не получают четких рекомендаций по дальнейшему изучению материала, что может снижать их мотивацию к обучению и ухудшать эффективность обучения в целом. Поэтому разработка инструментов, устраняющих данную проблему посредством использования технологий искусственного интеллекта, поможет сделать онлайн-образование более эффективным и удобным, а также закроет пробелы, связанные с недостаточной обратной связью, и повысит удовлетворенность пользователей, что обуславливает актуальность проводимого авторами исследования.
Научная новизна работы заключается в том, что авторы предлагают новый подход к анализу результатов тестирования обучающихся – внедрение генеративной текстовой модели в модуль контроля знаний обучающихся для проведения данного анализа, что позволит получить более глубокий и детальный анализ по сравнению с традиционными методами. Использование данной модели в модуле контроля знаний предоставит обучающимся возможность не только выявить общий уровень их знаний посредством тестирования, но и определить конкретные темы и материалы, которые требуют дополнительного изучения за счет формирования индивидуальных рекомендаций. Именно применение технологий генеративного искусственного интеллекта позволит адаптировать рекомендации под индивидуальные потребности и уровень знаний каждого обучающегося, что, в свою очередь, способствует более эффективному повторению материала, повышению мотивации к обучению, а также улучшению качества обратной связи по сравнению с традиционными методами.
Цель исследования – повышение эффективности образовательного процесса за счет внедрения в модуль контроля знаний обучающихся онлайн-курсов технологий генеративного искусственного интеллекта для формирования персонализированных рекомендаций обучающимся на основе результатов их тестирования.
Материалы и методы исследования
Внедрение технологий генеративного искусственного интеллекта для формирования персонализированных рекомендаций по результатам прохождения тестирования выполнялось в разработанный авторами модуль контроля знаний, описанный в [7].
Авторами был проведен анализ научных публикаций, посвященных исследованию генеративных моделей искусственного интеллекта [8–10], а также был проведен ряд экспериментов по оценке функциональности приложений данных моделей и анализа их потенциала для внедрения в образовательный процесс. Особое внимание было уделено сравнительному анализу трех нейросетевых онлайн-сервисов: ChatGPT, YandexGPT и GigaChat. Выбор данных генеративных моделей обусловлен универсальностью их архитектур, популярностью в сфере ИТ, доступностью (предоставление API), наличием собственных инновационных разработок и предложением разнообразного функционала пользователям. В результате проведенного авторами анализа для выдачи индивидуальных рекомендаций в модуле контроля знаний среди перечисленных сервисов была выбрана российская генеративная текстовая модель от Яндекса YandexGPT [11–13], которая способна анализировать уже пройденные тесты и подсказывать, какие темы и материалы необходимо повторить обучающимся для более успешного прохождения испытаний. Среди факторов, повлиявших на данный выбор, следует отметить то, что данный сервис оптимизирован для русскоязычных пользователей, соответствует требованиям конфиденциальности и безопасности данных, а также предоставляет возможность большего количества запросов по генерации текста в час.
Для обеспечения высокой производительности, гибкости разработки и удобства поддержки в качестве целевой платформы рассматривается реализация, выполненная с использованием следующего технологического стека:
− язык программирования Java и фреймворк Spring для реализации бэкенда;
− фреймворк Flutter и язык программирования Dart – для клиентской части приложения;
− СУБД MongoDB для хранения информации о вопросах, тестах и их прохождениях и PostgreSQL для хранения информации о пользователях.
Рис. 1. Диаграмма классов для микросервиса yandex-service Источник: составлено авторами
При реализации модуля контроля знаний, входящего в состав программно-информационной системы создания онлайн-курсов, была выбрана микросервисная архитектура – архитектурный подход к разработке, который предполагает разбиение приложения на маленькие и независимые компоненты, каждый из которых выполняет определенную функцию [14]. Эти компоненты могут взаимодействовать друг с другом через API, что позволяет разрабатывать приложения более гибко и масштабируемо [15]. Таким образом, для интеграции ранее разработанного модуля контроля знаний с Yandex GPT API для выдачи персонализированных рекомендаций по результатам прохождения тестирования был реализован отдельный микросервис yandex-service, диаграмма классов которого представлена на рис. 1. Данная диаграмма демонстрирует основные классы, реализованные авторами для обеспечения успешного подключения к YandexGPT API и настройки обработки запросов к данной генеративной текстовой модели.
Рассмотрим основные классы данного микросервиса, показанные на рис. 1:
1. DataResponse. Данный класс применяется для передачи универсальных ответов и позволяет инкапсулировать объект результата.
2. YandexNeuralController. Данный контроллер реализует получение входящих запросов, выполняет их обработку и позволяет в дальнейшем получать AI-ответы по сгенерированным запросам (PromptRequest). Также данный контроллер используется для обеспечения взаимодействия клиентской части разработанного приложения с генеративной текстовой моделью YandexGPT и осуществляет управление маршрутизацией запросов.
3. YandexService. Данный класс является ключевым классом для организации взаимодействия с YandexGPT API. Он позволяет обеспечить вызов методов API, а также выполнить обработку данных и реализовать взаимодействие с другими модулями системы, обеспечивая централизованное управление сервисом.
4. YandexProperties. Данный класс отвечает за конфигурацию сервиса, позволяя указать параметры подключения и настройки для осуществления интеграции с YandexGPT API.
5. YandexFeignClient. Данный интерфейс напрямую взаимодействует с классом YandexService, представляя функциональность удаленной службы. Использование интерфейса упрощает создание и использование API в архитектуре микросервисов, а также обеспечивает улучшенную обработку ошибок, включая поддержку пользовательской обработки ошибок и повторных попыток.
6. TokenService. Данный класс используется для управления токенами, включая их создание, прохождение процедуры валидации и предоставление доступа к защищенным методам YandexGPT API.
7. TokenUpdater. Автоматически обновляет токены при их истечении или по требованию. Интегрируется с хранилищем токенов и сервисом авторизации для обеспечения бесперебойного доступа.
Результаты исследования и их обсуждение
Теперь коротко рассмотрим демонстрацию разработанного функционала после интеграции модуля контроля знаний с генеративной текстовой моделью YandexGPT. По завершению теста обучающемуся отображается отчет о результатах тестирования с указанием корректности полученных ответов (рис. 2). Как показано на рис. 2, вопросы, на которые обучающийся дал неверный ответ, подсвечиваются красным цветом и содержат дополнительную кнопку в виде знака вопроса. При нажатии на данную кнопку у обучающегося появляется возможность запросить индивидуальную рекомендацию для выбранного вопроса (рис. 3). Также обучающемуся предоставляется возможность просмотреть общие рекомендации, сформированные сразу по всему пройденному тесту в целом, при нажатии на кнопку «Что у меня неправильно?» в нижней части отчета (рис. 4). При получении общих рекомендаций по тесту YandexGPT предоставляет краткую сводку по каждому вопросу, на который обучающийся ответил неверно.
Для проверки точности генерируемых YandexGPT индивидуальных рекомендаций по результатам тестирования были оценены результаты ее работы для двух курсов по изучению языков высокого уровня (JavaScript, Python). Всего были проанализированы результаты тестирования 23 студентов по 15 темам данных курсов. Было выявлено, что YandexGPT корректно генерирует рекомендации по теоретическим вопросам данной тематики в 94 % случаях. При генерации рекомендаций к вопросам практического характера на написание кода уровень достоверности YandexGPT немного снизился и зависел от конкретного языка программирования, на котором требовалось предложить решение задачи. Так, доля успешных решений, сгенерированных на языке Python, составила около 85 %, на языке JavaScript – около 77 %.
Рис. 2. Пример отображения отчета о результатах тестирования Источник: составлено авторами
Исходя из вышесказанного, авторы считают, что полученные результаты количественно подтверждают успешность применения предложенного подхода к анализу результатов тестирования, а генеративная текстовая модель YandexGPT может быть успешно использована для анализа результатов тестирования обучающихся в модуле контроля знаний и повышения эффективности образовательного процесса в целом за счет формирования персонализированных рекомендаций.
Для подтверждения положительного влияния внедрения технологий генеративного искусственного интеллекта в модуль контроля знаний на эффективность образовательного процесса авторами были проведены следующие дополнительные исследования. Во-первых, среди студентов, проходивших тестирования по темам курсов с внедренной системой обратной связи, генерирующей персонализированные рекомендации, был проведен опрос, чтобы оценить, насколько им понравился опыт взаимодействия с генеративной текстовой моделью в модуле контроля знаний. По результатам опроса было выявлено, что 74 % респондентов считают, что полученные персонализированные рекомендации помогли им сократить время на поиск ошибок и пробелов в знаниях и тем самым способствовали более быстрому усвоению материала в проблемных областях.
Рис. 3. Пример генерации рекомендаций для одного вопроса, на который обучающийся ответил неверно Источник: составлено авторами
Рис. 4. Пример генерации рекомендаций по всем вопросам, на которые обучающийся ответил неверно Источник: составлено авторами
Также следует отметить, что 39 % опрошенных считают, что их результаты прохождения тестов по темам курсов постепенно улучшались за счет получения рекомендаций, что повлияло в целом на их успеваемость по данным курсам. Во-вторых, было организовано прохождение тех же тестов другой группой студентов, состоящей из 20 чел., без возможности получения индивидуальных рекомендаций с помощью генеративной текстовой модели. В результате сравнения результатов освоения курсов двумя группами обучающихся было выявлено, что средний процент прохождения тестов первой группы превысил аналогичный показатель второй группы на 12 %. Таким образом, полученные результаты демонстрируют успешность повышения эффективности образовательного процесса за счет внедрения в модуль контроля знаний обучающихся технологий генеративного искусственного интеллекта.
Фрагменты кода, используемого для подготовки запросов через YandexService и настройку контроллера YandexNeuralController, приведены на рисунке 5.
….
@RestController
@RequiredArgsConstructor
@RequestMapping(«/api/v1/course/yandex/neural»)
public class YandexNeuralController {
private final YandexService yandexService;
@GetMapping(“/completion”)
public DataResponse getCompletion(@RequestParam String prompt) {
return new DataResponse(yandexService.requestCompletion(prompt));
}
}
….
@Service
@RequiredArgsConstructor
public class YandexService {
private final YandexProperties yandexProperties;
private final YandexFeignClient yandexFeignClient;
private final TokenService tokenService;
public String requestCompletion(String prompt) {
PromptRequest promptRequest = buildRequest(prompt);
return yandexFeignClient.
getCompletion(“Bearer “ + tokenService.getCurrentToken(),
yandexProperties.getFolderId(),
promptRequest
).getResult().getAlternatives().stream().findFirst()
.map(e->e.getMessage().getText()).orElse(null);
}
private PromptRequest buildRequest(String text) {
return PromptRequest.builder()
.modelUri(“gpt://b1gebvniis9kf6dhlm57/yandexgpt/rc”)
.completionOptions(
PromptRequest.CompletionOptions.builder()
.maxTokens(500)
.temperature(0.3)
.build())
.messages(Arrays.asList(
PromptRequest.Message.builder()
.role(“user”)
.text(text)
.build()
))
.build();
}
}
….
Рис. 5. Фрагменты кода, используемого для подготовки запросов через YandexService и настройку контроллера YandexNeuralController Источник: составлено авторами
Заключение
Основным результатом работы является внедрение технологий генеративного искусственного интеллекта (на примере использования генеративной текстовой модели YandexGPT) в разработанный модуль контроля знаний обучающихся онлайн-курсов для персонификации анализов результатов пройденного тестирования и получения индивидуальных рекомендаций на основе выполненного анализа. В результате внедрения данного модуля обучающиеся получают возможность не только оценить уровень своих знаний при прохождении тестирования, но и получить персонализированную обратную связь, так как Yandex GPT выдает им индивидуальные сгенерированные рекомендации, содержащие список тем и материалов, которые необходимо проработать обучающемуся для более успешного прохождения испытаний. В случае, когда обучающийся не смог написать код, отвечающий требованиям, YandexGPT даже способна предложить собственное решение простых типов задач.
Обобщая вышесказанное, можно сделать вывод о том, что внедрение генеративных текстовых моделей может быть использовано для модернизации образовательных процессов в целом, а разработанный авторами модуль с использованием YandexGPT может применяться как инструмент персонификации обучения в частности. Авторы планируют дальнейшее развитие данного модуля с использованием других технологий искусственного интеллекта для анализа данных результатов тестирования и создания адаптивных учебных программ онлайн-обучения на основе выполненного анализа.