Введение
Развитие больших языковых моделей (LLM) привело к появлению общедоступных генеративных интеллектуальных сервисов (ИИ-сервисов), использование которых спровоцировало кризис в академической среде: от школы до высших учебных заведений [1–3]. В первую очередь это коснулось дисциплин, связанных с созданием текстов и программированием, что привело к конфликту между традиционной системой оценивания и новыми технологиями [4, c. 71–99; 5].
Традиционная система оценки в образовании связана с проверкой качества выполнения конечного продукта и предполагает, что работа выполнена обучающимся самостоятельно, что является основным условием для развития когнитивных навыков высшего порядка [6, c. 62–80; 7, с. 113–173]. Генеративный искусственный интеллект (ИИ) позволяет сгенерировать внешне качественный продукт, пропуская этапы необходимые для дальнейшего обучения, и создает риск формирования «иллюзии компетентности» у обучающихся [2; 3]. Таким образом, проблема заключается не только в сохранении академической добросовестности [8, c. 13–82], но и в обеспечении реального усвоения знаний [6, с. 131–150].
Первой реакцией образовательных учреждений был полный запрет на использование ИИ-сервисов и поиск инструментов, которые бы позволили определять сгенерированный контент [2; 8, с. 126–191]. Такая стратегия оказалась малоэффективной по следующим причинам:
− современные инструменты детекции демонстрируют высокий процент ложноположительных срабатываний. Например, работа содержит: текст с низкой перплексией, канонические/общепринятые решения [3];
− игнорирование возрастающей тенденции к использованию ИИ-сервисов в профессиональной среде, во многих областях генеративный искусственный интеллект используется для автоматизации рутинных операций, что создает разрыв между навыками обучающихся и ожиданиями в профессиональной среде [9; 10, c. 32–56];
− происходит смещение образовательного процесса в сторону контроля, что может приводить к уменьшению времени на учебный процесс в условиях естественных ограничений [4, c. 121–145; 11].
Цель исследования – разработка и обоснование модели оценки образовательных результатов, с помощью которой можно эффективно интегрировать генеративный искусственный интеллект в учебный процесс и сместить фокус оценивания с контроля результата на анализ деятельности обучающегося. Для достижения поставленной цели необходимо решить следующие задачи: провести анализ рисков и ограничений стратегий запрета ИИ в учебном процессе; выявить способы организации учебной деятельности при использовании генеративного ИИ; разработать модель оценивания, ориентированную на процесс деятельности, а не на продукт.
Материалы и методы исследования
В рамках работы предложена модель оценивания знаний, умений и навыков обучающихся в условиях внедрения в образовательный процесс генеративного ИИ. Для ее построения использовались методы анализа, синтеза и сравнительного обобщения современных подходов к оцениванию в образовательных учреждениях. Основой модели являются принципы аутентичного оценивания, академической прозрачности, Scaffolding и педагогики сомнения, адаптированные под использование ИИ-сервисов в образовании.
Результаты исследования и их обсуждение
Актуальность разработки новой модели оценивания определяется ключевыми стратегическими задачами образовательного процесса: сохранение преемственности и передача фундаментальных научных знаний; адаптация процесса подготовки профессиональных кадров в соответствии с требованиями изменчивой внешней среды [10, c. 93–97; 12, с. 19–75; 13].
Для достижения поставленной цели необходимо использовать комплексный подход, который обеспечит достижение учебных целей на кратко- и среднесрочных горизонтах планирования, а также осуществить сбор релевантных данных для принятия решений в долгосрочной перспективе. Применение комплексного подхода позволит перенести акцент с оценки статического продукта деятельности на анализ процесса деятельности обучающегося [6, с. 151–179; 7, c. 27–60; 14, с. 98–113].
Метод аутентичного оценивания
Аутентичное оценивание заключается в анализе деятельности обучающегося через имитацию типичного рабочего процесса в отрасли [7, с. 102–196]. Рассмотрим применение метода аутентичного оценивания на стандартном задании для программистов.
Пример 1: «написать функцию, которая осуществляет проверку, является ли введенная строка палиндромом, при решении задачи необходимо учитывать регистр и пробелы между словами. Палиндро́м – число, буквосочетание, слово или текст, одинаково читающиеся в обоих направлениях. Тестовые примеры: «Дом мод» – палиндром, «Около Миши молоко» – не палиндром. Язык реализации – 1С»:
– традиционное оценивание – задача на определение палиндрома является канонической, решения которой доступны на разных языках программирования в открытых источниках, поэтому генеративный ИИ-сервис успешно сформирует «идеальный» код для ее решения на любом языке, что делает стандартные проверки неэффективными (рис. 1). Таким образом, существует высокая вероятность проверить и оценить эффективность ИИ-инструмента, а не сформированность компетенций у студента [3].
Рис. 1. Пример листинга для решения задачи «Палиндром», сгенерированного ИИ по запросу студента Примечание: составлен авторами по результатам данного исследования
Таблица 1
Пример требований и оценка рефакторинга кода
|
Аспект задания |
Содержание |
|
Ключевые требования ТЗ |
Запрет регулярных выражений, добавить возможность для настройки фильтрации, оптимизация алгоритма: запретить полное переворачивание строки |
|
Ожидаемый результат |
Логически переработанный студентом код (рис. 2), понимание исходного алгоритма, умение модифицировать код по требованиям |
|
Проверяемые компетенции |
Анализ и рефакторинг кода, знание стандартных функций 1С, понимание алгоритмов и их эффективности, работа с требованиями |
|
Шкала оценки (max балл 10) |
0–6 баллов – выполнен только результат, без анализа; 5–7 баллов – есть понимание процесса, упущены важные нюансы; 8–10 баллов – демонстрируется полное понимание процесса получения решения |
Примечание: составлена авторами на основе полученных данных в ходе исследования.
Рис. 2. Пример модификации исходного кода студентом самостоятельно для решения задачи «Палиндром» Примечание: составлен авторами по результатам данного исследования
– аутентичное задание – для проверки сформированности компетенций защита работы предполагается двухэтапная процедура защиты работы, которая моделирует реальный процесс разработки программного обеспечения:
• первый этап – студент предоставляет программный код, источник происхождения которого на данном этапе не важен (самостоятельная работа, заимствование, генерация ИИ) (рис. 1). Код проверяется на соответствие заданию и работоспособность на контрольных наборах входных данных;
• второй этап – моделируется ситуация «код-отзыв». За ограниченное время необходимо модифицировать код в соответствии с требованиями (табл. 1). Ожидаемый вариант кода представлен на рис. 2.
Основными недостатками метода аутентичного оценивания являются большие временные затраты преподавателя (проведение собеседования, подготовка индивидуальных заданий) и необходимость работы в малых учебных группах (не более 10 чел. на 1 преподавателя). Однако указанные недостатки оправдываются ключевыми преимуществами метода: создание аутентичной ситуации из реальной практики разработки, возможность проверить качество сформированных компетенций, оценить уровень самостоятельности работы, возможность применения в различных учебных дисциплинах вне зависимости от возраста обучающегося [7, с. 238–267].
Модель академической прозрачности
Использование метода академической прозрачности делает использование ИИ легальным и прозрачным, формируя культуру ответственного и критического использования интеллектуальных инструментов (ИИ-инструментов) [8, с. 191–302]. Сущность метода заключается в том, что оценивается процесс создания готового продукта, способность студента взаимодействовать с ИИ, критически оценивая полученные результаты, умение дорабатывать сгенерированный продукт (ИИ-продукт), аргументация принятых решений [3; 5; 14, c. 201–263].
Таблица 2
Пример структуры отчета
|
№ |
Раздел отчета |
Содержание и требования |
Пример (для задания «Палиндром на 1С») |
|
1 |
Журнал взаимодействия |
Полная хронология всех запросов к ИИ-ассистенту и полученных ответов |
Запрос 1: «Напиши функцию на 1С для проверки строки на палиндром» Ответ ИИ: [рис. 1] Запрос 2: «Эта функция не работает с запятыми и пробелами. Как ее улучшить?» Ответ ИИ: [Предложил использовать Регулярное Выражение] |
|
2 |
Исходная генерация |
Чистый код, первоначально сгенерированный ИИ |
Рисунок 1 |
|
3 |
Критический анализ |
Подробное описание проверки и тестирования ИИ-решения. Указать: методы тестирования, обнаруженные проблемы, логику анализа |
Тест 1:’’, ‘a’, ‘a, a’, ‘А роза упала на лапу Азора’. Выявлено: 1. Использование regex вызывает ошибку в моей конфигурации. 2. Знаки препинания и пробелы ломают проверку. 3. Алгоритм неэффективен для длинных строк |
|
4 |
Финализация решения |
Представление рабочей версии кода после всех доработок. К каждому значимому изменению необходимо дать краткое пояснение |
Рисунок 2. Пояснения: «Заменил РегулярноеВыражение на цикл и Стр Заменить для совместимости». «Добавил параметр ИгнорироватьРегистр для гибкости». «Оптимизировал алгоритм, чтобы он завершался при первом несовпадении» |
|
5 |
Самооценка вклада |
Аргументированная оценка личного вклада и вклада ИИ в процентах |
Мой вклад (75 %): анализ требований, формулировка запросов, тестирование, поиск ошибок, рефакторинг кода, оптимизация алгоритма, написание отчета. Вклад ИИ (25 %): предоставление базового шаблона кода и идей для общего подхода |
Примечание: составлена авторами на основе полученных данных в ходе исследования
Таблица 3
Пример применения метода Scaffolding
|
Этап |
Название этапа |
Задание студенту |
Ожидаемый результат |
|
1 |
Анализ требований |
Сформулировать вопросы к задаче |
Документ с описанием алгоритма (текст/блок-схема) и набор тестовых примеров |
|
2 |
Реализация логики решения |
Разработать алгоритм решения задачи |
Исходный код функции (Функция ПроверитьПалиндромПросто(Строка)) |
|
3 |
Рефакторинг и оптимизация |
Используйте ИИ для поиска альтернативных решений, провести анализ ИИ-вариантов |
Обновленный код функции (Функция ПроверитьПалиндромОптимально(Строка)) и пояснение о внесенных изменениях |
|
4 |
Тестирование и документация |
Провести итоговое тестирование и оформить документацию |
Итоговый код функции и краткий отчет о результатах тестирования и качестве решения |
Примечание: составлена авторами на основе полученных данных в ходе исследования.
Для использования метода академической прозрачности изменим задание из примера 1 следующим образом: «Разрешается использование ИИ-инструментов для исследования, генерации прототипа и оптимизации кода. В отчет необходимо включить развернутое описание процесса разработки (табл. 2)».
Ключевыми недостатками метода академической прозрачности являются уязвимость к фальсификации, высокие временные затраты, сложность формализации критерием оценки, что не исключает недобросовестность полностью. Следует отметить, что метод позволяет сформировать: навыки эффективной работы с современными ИИ-инструментами, умение сформулировать запрос, навыки критического анализа полученных результатов, тестирования и применения результатов в конкретном контексте.
«Разделение на этапы» (Scaffolding) и контрольные точки
Метод предполагает разбивку сложной задачи на последовательные, логически связанные этапы (этапность), каждый из которых является промежуточной контрольной точкой. Подход, вдохновленный идеями Л. С. Выготского о «зоне ближайшего развития» [14, c. 113–261], исключает возможность сдачи работы сгенерированной ИИ за один запрос и формирует навык системного решения задач [15, c. 64–163; 16, c. 75–84].
В табл. 3 приведено применение метода Scaffolding на примере задачи о палиндромах.
Метод Scaffolding позволяет сформировать метакогнитивные навыки, реализует принцип развивающего обучения вне зависимости от возраста студента, развивает навыки работы с ИИ-инструментами, доступность в реализации для различных дисциплин. Однако метод обладает следующими недостатками: высокая трудоемкость, сложность реализации в больших группах, зависимость от качества промптов, технические и ресурсные ограничения.
Педагогика сомнения (Pedagogy of Doubt)
Педагогика сомнения используется для получения студентами навыков критического анализа и сомнения в результатах, полученных с помощью ИИ-генерации [2; 5]. Например, формулировка задания может быть следующей: «рассмотрите код из рис. 1, выявите потенциальные узкие места, аргументируйте свой выбор и внесите обоснованные исправления, необходимые для оптимизации кода». В результате выполнения задания студент может предложить вариант решения (рис. 2) и аргументированно объяснить внесенные изменения.
Таким образом, генеративный ИИ можно рассматривать в качестве нового инструмента, с помощью которого можно повысить эффективность и качество процесса обучения, делая его более гибким и устойчивым.
Интеграция ИИ-инструментов в образовательный процесс позволит: преподавателю уделять больше времени индивидуальной работе, которая направлена на развитие критического мышления и понимания, при этом студент остается активным субъектом обучения, он учится управлять сложными инструментами (ИИ); сформировать практико-ориентированные компетенции, такие как прагматичность взаимодействия с ИИ, критическая верификация, синтез информации, ответственное использование сложных ИИ-инструментов; создать среду академической прозрачности и повысить практическую ценность обучения.
Предложенный эволюционный подход формирует основу для проверки следующих гипотез:
− гипотеза 1 – качество понимания: влияет ли регламентированное использование ИИ на результаты обучения по сравнению с контрольными группами, где ИИ либо запрещен, либо используется бесконтрольно;
− гипотеза 2 – эффективность и надежность: снижается ли процент нерабочих или нефункциональных решений, сдаваемых на проверку;
− гипотеза 3 – академическая добросовестность: снижается ли число грубых нарушений (прямой плагиат, покупка работ и т.д.).
Интеграции ИИ в образовательный процесс требует решения проблем, таких как увеличение аудиторной/внеаудиторной нагрузки на преподавателя, необходимость адаптации оценочных средств, неравенство доступа к современным ИИ-инструментам.
Заключение
Анализ показал, что традиционные подходы к оцениванию знаний и навыков студентов в условиях широкого распространения генеративного ИИ теряют свою объективность, так как нацелены на оценку конечного результата, а не процесса его достижения. Предложенные в статье методы – аутентичное оценивание через «живое кодирование», модель академической прозрачности, Scaffolding и педагогика сомнения – представляют собой целостную систему, направленную на развитие когнитивных и метакогнитивных навыков (критическое мышление, интеграция знаний, рефлексия, ответственность), которые становятся наиболее востребованными и конкурентоспособными в период интеллектуальной автоматизации. При этом следует отметить, что внедрение указанного подхода потребует значительных временных затрат со стороны преподавателя (подготовка заданий, многоэтапная проверка заданий, индивидуальные собеседования).