Введение

В современных условиях цифровизации всех сфер жизни происходят значительные изменения, включая и систему образования. Осуществляется масштабный переход от использования ставших уже традиционными информационно-коммуникационных технологий к технологиям генеративного искусственного интеллекта. Генеративный искусственный интеллект (ГИИ) представляет собой направление искусственного интеллекта (ИИ), ориентированное на создание нового цифрового контента различных модальностей: текстовой, графической, аудиовизуальной, программно-кодовой. Основу ГИИ составляют генеративные модели, синтезирующие результаты на базе выявленных закономерностей обучающих данных, что отличает их от поисковых или классифицирующих алгоритмов. Внедрение ГИИ модифицирует классическую двухсубъектную модель педагогического процесса «педагог – обучающийся», трансформируя её в триаду «обучающийся – искусственный интеллект – педагог». В данной конфигурации ГИИ перестает быть факультативным инструментом и закрепляется в качестве неотъемлемого элемента цифрового образовательного пространства [1].

Стремительное внедрение технологий ГИИ в образовательную среду обусловлено такими дидактическими возможностями, как способность разрабатывать персонализированные траектории обучения, имитировать речевую и мыслительную деятельность для решения учебных, коммуникативных и профессиональных задач, автоматизировать контроль усвоения обучающимися учебного материала, возможность предоставлять им обратную связь и анализировать процесс обучения [2, с. 158].

Однако наряду с преимуществами внедрение ГИИ в образовательный процесс может вызывать ряд серьезных трудностей и проблем. По мнению Н. А. Староверовой, «автоматизация процессов обучения может привести к снижению роли учителя и отдалению студентов от реального общения как между собой, так и в связке с преподавателем» [3]. Более того, неконтролируемое и избыточное применение ИИ снижает самостоятельность, креативность обучающихся, их способность к критическому анализу информации [4]. Педагоги же сталкиваются с ростом профессионального выгорания, обусловленного необходимостью постоянного контроля результатов, сгенерированных ИИ, а также с усложнением процедуры проверки академической честности из-за трудностей в различении самостоятельной работы и задач, решенных с помощью алгоритмов.

В результате возникает научное противоречие между стремительным внедрением в образовательную среду ГИИ, обладающего высоким дидактическим потенциалом, и отсутствием четких критериев, показателей и методик для оценки результативности его использования.

Обзор современной научной литературы свидетельствует о растущем интересе исследователей к проблемам интеграции ГИИ в сферу образования. Широкий спектр теоретических и прикладных вопросов, рассматриваемых как отечественными, так и зарубежными авторами, позволяет выделить несколько ключевых направлений исследований.

Первое направление охватывает исследования, посвященные анализу дидактического потенциала, рисков и общей специфике интеграции ГИИ в систему высшего образования. Так, в работе Е. А. Поспеловой, Е. Н. Горлачевой и П. Л. Отоцкого представлена оценка отношения студентов к персонализированному образованию с использованием ИИ [5]. В исследовании А. С. Зуфаровой наряду с преимуществами выделяются риски интеграции ИИ в современное образование: конфиденциальность данных, равноправие доступа, ошибки алгоритма ИИ, предвзятость и дискриминация при оценивании алгоритма ИИ, соблюдение этических принципов [6]. В работе О. П. Михайловой, А. А. Хафизовой, Н. П. Назаровой, Ф. Л. Ередеевой, М. Е. Набокиной исследуются вопросы подготовки будущих учителей и развития их цифровой гибкости [7]. Авторы доказывают необходимость модернизации учебных планов педвузов через моделирование педагогических ситуаций средствами ИИ. В исследовании Ё. Вальтера рассматривается специфика трансформации образовательного процесса под влиянием ИИ. Автор выделяет три ключевых навыка, необходимых для эффективного и ответственного использования технологий ИИ: ИИ-грамотность, промпт-инжиниринг и критическое мышление [8].

Ко второму направлению относятся работы, посвященные исследованию психологических, антропологических и мировоззренческих рисков взаимодействия обучающихся с ГИИ [9; 10]. При этом Э. В. Чекмарев и К. В. Переверзев предупреждают о рисках деформации мировоззрения обучающихся под влиянием глобальных ИИ-платформ, транслирующих чуждые культурные коды, и доказывают необходимость создания суверенных образовательных ИИ-систем [11].

Третье направление объединяет исследования, посвящённые методическим аспектам интеграции ГИИ в образовательный процесс. Конкретные приемы и методики включения инструментов ГИИ в практику преподавания отдельных учебных дисциплин детально описаны в работах Е. А. Левиной и С. Г. Вишленковой [12], Т. Ю. Храмовой [13], И. Н. Беляевой, Е. А. Селютиной, Т. А. Цецориной [14].

Четвёртое направление исследований, наиболее близкое к предмету настоящего исследования, фокусируется на школьном сегменте образования. Так, в работе И. Н. Шегай обобщён практический опыт повышения эффективности уроков, автоматизации рутинных проверок и снижения нагрузки на учителей средней школы за счет внедрения технологий ИИ, при этом автор фиксирует рост творческой активности педагогов и удовлетворенности обучающихся [15]. Вопросы ранней профориентации школьников через олимпиады и конкурсы по ИИ, способствующие развитию алгоритмического мышления, рассматривают В. С. Запалацкая и Д. А. Куликов [16].

В контексте настоящего исследования интерес представляет рубрика Edu-GenAI, разработанная зарубежными исследователями Т. Чернером, М. Доннелли для оценки образовательной ценности больших языковых моделей и генераторов медиаконтента на основе ИИ. Данный оценочный инструмент включает пять доменов: инструментальную, техническую, гедонистическую, пользовательскую и благотворную ценность [17].

Таким образом, проведенный обзор научных исследований позволяет констатировать, что существующие подходы к оценке ГИИ в образовании носят преимущественно техноцентричный характер и ориентированы на высшее образование. В связи с этим приоритетной научно-практической задачей становится создание критериев оценки результативности внедрения ГИИ с учетом требований Федерального государственного образовательного стандарта основного общего и среднего общего образования и особенностей российской школьной системы.

Целью настоящего исследования является теоретическое обоснование, разработка и эмпирическая проверка диагностического комплекса, который включает систему критериев эффективности использования ГИИ, матрицу сопряжения этих критериев с требованиями Федерального государственного образовательного стандарта основного общего и среднего общего образования, а также шкалу уровней эффективности учебного взаимодействия учителя и обучающихся.

Материалы и методы исследования

Методологическую основу исследования составили подходы: системно-деятельностный, выступающий концептуальной базой Федерального государственного образовательного стандарта (далее – ФГОС); компетентностный, ориентированный на оценку не только предметных знаний, но и личностных и метапредметных результатов; критериально ориентированный, задающий логику разработки измерительных инструментов для педагогического оценивания.

Эмпирическую базу составили данные экспертной оценки разработанного диагностического комплекса, включающего систему критериев, матрицу сопряжения критериев с нормативными требованиями и уровневую шкалу интегральной эффективности применения ГИИ в учебном взаимодействии. Экспертизу осуществляли 32 специалиста: учителя-предметники (n=14) из общеобразовательных школ г. Саранска Республики Мордовия, методисты (n=8), а также исследователи в области цифровой дидактики (n=10) Мордовского государственного педагогического университета имени М. Е. Евсевьева. Апробация диагностического комплекса в рамках пилотного исследования проводилась на базе пяти общеобразовательных школ г. Саранска в течение трех недель (апрель 2026 г.).

В исследовании применялись следующие методы: анализ и обобщение научной литературы по проблеме исследования; контент-анализ требований нормативно-правовых документов в сфере образования; проектирование; экспертное оценивание; пилотная апробация инструментария на базе общеобразовательных организаций; методы математической статистики: коэффициент альфа Кронбаха, факторный анализ (метод главных компонент с вращением варимакс), коэффициент корреляции Пирсона.

Результаты исследования и их обсуждение

Исследование проводилось в три этапа: аналитический, проектировочный, экспертный. На аналитическом этапе был проведён обзор научной литературы, позволивший обосновать цель и стратегию исследования. Кроме того, осуществлен контент-анализ ФГОС основного общего и среднего общего образования [18; 19], Федеральной образовательной программы основного общего и среднего общего образования в части предметных, личностных и метапредметных результатов [20; 21], а также профессионального стандарта педагога [22], в результате чего выделены требования, релевантные оценке эффективности применения ГИИ.

На этапе проектирования по итогам теоретико-аналитической работы была разработана система критериев оценки эффективности применения ГИИ в учебном взаимодействии учителя и обучающихся. Предложенная система включает четыре группы критериев, каждая из которых операционализирована через совокупность показателей и соответствующих им методов измерения (табл. 1).

Таблица 1

Система критериев оценки эффективности применения ГИИ в учебном взаимодействии учителя и обучающихся

Примечание: составлено авторами на основе полученных данных в ходе исследования.

Для обеспечения валидности и практической применимости разработанных критериев в условиях общеобразовательных организаций необходима их содержательная корреляция с действующей нормативно-правовой базой. В рамках исследования спроектирована матрица сопряжения критериев оценки эффективности применения ГИИ с группами образовательных результатов, закреплёнными во ФГОС основного общего и среднего общего образования (табл. 2).

Показатели и критерии оценки матрицы полностью отвечают требованиям ФГОС к результатам освоения образовательных программ. Планируемые результаты ФГОС напрямую отражены в предметных и метапредметных показателях (критерии 1.1 и 1.2), тогда как личностные результаты (критерий 1.3) коррелируют с ключевыми качествами личности, такими как способность к самоопределению, формирование жизненных смыслов и морально-этические установки.

Таблица 2

Матрица сопряжения критериев эффективности ГИИ и требований ФГОС

Примечание: составлено авторами на основе полученных данных в ходе исследования.

Таблица 3

Уровневая шкала интегральной эффективности применения ГИИ в учебном взаимодействии

Примечание: составлено автором на основе полученных данных в ходе исследования.

4К-компетенции интегрированы в группу метапредметных результатов: когнитивных (в том числе логических), регулятивных и коммуникативных универсальных учебных действий. Изменения в педагогической деятельности (группа 3) соответствуют положениям профессионального стандарта педагога и установленным квалификационным характеристикам. В представленной матрице отсутствуют отдельные строки для оценки удовлетворенности обучающихся и учителей (группа 4), так как данные показатели не входят в перечень обязательных требований ФГОС. Вместе с тем они могут рассматриваться как дополнительные диагностические индикаторы при оценке эффективности внедрения ГИИ, например в рамках мониторинга психолого-педагогических условий реализации образовательной программы.

На основе предложенных критериев разработана уровневая шкала, позволяющая оценить интегральную эффективность использования ГИИ в образовательном процессе (табл. 3).

На экспертном этапе для подтверждения качества разработанного диагностического комплекса была проведена экспертиза с последующей процедурой статистической проверки полученных данных, включающей оценку содержательной валидности, внутренней согласованности, конструктной и критериальной валидности.

На начальном этапе проверки осуществлялась экспертная оценка содержательной валидности разработанного диагностического комплекса. В экспертизе приняли участие 32 специалиста: школьные учителя-предметники (n=14), методисты (n=8) и исследователи в области цифровой дидактики (n=10). Эксперты оценивали каждый из 12 критериев по шкале от 0 до 5 баллов, где 0 – показатель не проявляется/отсутствует; 1 – единичные проявления, несистемные; 2 – фрагментарные, нерегулярные; 3 – системные, но с заметными дефицитами; 4 – системные с незначительными недочётами; 5 – полное соответствие всем описанным показателям. Первичный суммарный балл рассчитывался как простая сумма баллов по всем 12 критериям (максимум 60 баллов) по формуле:

где bi – оценка по искомому критерию.

Данный показатель использовался на этапе оценки содержательной валидности и при первичной обработке экспертных данных.

Для количественной оценки содержательной валидности был рассчитан коэффициент содержательной валидности (CVR) по формуле Lawshe:

где ne – число экспертов, оценивших критерий как «соответствующий всем описанным показателям», N – общее число экспертов.

На основе анализа результатов экспертной оценки и расчета CVR были установлены следующие весовые коэффициенты для критериев: группа 1 – 0,35 (является приоритетной в ФГОС, отражает прямое влияние ГИИ на результаты обучения); группа 2 – 0,30 (ключевой метапредметный результат XXI века, но уступает по значимости предметным результатам в контексте текущего ФГОС); группа 3 – 0,20 (важный, но опосредованный показатель, поскольку эффективность учителя влияет на учеников, но не прямо на итоговые достижения обучающихся); группа 4 – 0,15 (субъективный показатель, дополняет объективные данные, но не может быть определяющим). Итоговое распределение весов (сумма = 1,00) отражает приоритет объективных, нормативно закреплённых и прямо измеримых критериев над субъективными и опосредованными, что повышает валидность и надёжность итоговой оценки эффективности ГИИ.

Переход от первичных баллов к взвешенным осуществлялся следующим образом. Поскольку каждая группа включает ровно три критерия, оцениваемых по шкале 0–5, максимальный первичный балл по любой группе составляет 15 баллов (3 × 5). Для приведения первичной суммы баллов группы к её взвешенному максимуму использовался коэффициент пересчёта kg, рассчитываемый как:

где wg – весовой коэффициент группы, 60 – максимальный суммарный балл, 15 – максимальный первичный балл группы.

Соответственно:

группа 1: k1 = 0,35 × 4 = 1,4; взвешенный максимум = 15 × 1,4 = 21 балл;

группа 2: k2 = 0,30 × 4 = 1,2; взвешенный максимум = 15 × 1,2 = 18 баллов;

группа 3: k3 = 0,20 × 4 = 0,8; взвешенный максимум = 15 × 0,8 = 12 баллов;

группа 4: k4 = 0,15 × 4 = 0,6; взвешенный максимум = 15 × 0,6 = 9 баллов.

Таким образом, итоговый взвешенный интегральный балл респондента рассчитывается по формуле:

где Sg – первичная сумма баллов по трём критериям соответствующей группы (0–15). Максимальное значение итогового взвешенного интегрального балла сохранено на уровне 60 (21 + 18 + 12 + 9). Именно этот показатель использовался в дальнейшем для определения уровня эффективности и проверки критериальной валидности.

На следующем этапе исследования с целью проверки практической применимости разработанного диагностического инструментария, сбора первичных эмпирических данных для последующего статистического анализа, а также выявления методических и организационных трудностей была проведена апробация диагностического комплекса на базе пяти общеобразовательных школ г. Саранска. Пилотное исследование продолжительностью три недели (апрель 2026 г.) охватило по два класса в каждой школе. Общая выборка составила 250 обучающихся и 75 педагогов (не менее 50 обучающихся и 15 педагогов от каждой школы).

Сбор данных осуществляется по всем 12 критериям с применением предусмотренных методов оценки: анализ контрольных и проверочных работ (критерий 1.1); наблюдение и анализ продуктов учебной деятельности (критерий 1.2); опросные методы и методики диагностики мотивации (критерий 1.3); анализ проектных и кейсовых заданий (критерий 2.1); анализ презентаций, докладов, групповых проектов (критерии 2.2, 2.3); хронометраж и самоотчёты учителей (критерии 3.1–3.3); анкетирование и интервью (критерии 4.1–4.3). В ходе апробации фиксировались временные затраты на проведение диагностических процедур, степень сложности интерпретации отдельных показателей, технические и организационные проблемы. Полученные данные послужили основанием для корректировки процедуры сбора данных и уточнения инструктивно-методических материалов для педагогов и обучающихся, что позволило повысить стандартизированность и воспроизводимость диагностических замеров на последующих этапах исследования.

Следующий этап экспертной работы был направлен на проверку внутренней согласованности, конструктной и критериальной валидности разработанного инструментария.

Внутренняя согласованность элементов системы критериев оценивалась с помощью коэффициента альфа Кронбаха. Значения коэффициента для четырёх групп критериев находились в диапазоне 0,66–0,74 (для группы 1 – 0,72; для группы 2 – 0,74; для группы 3 – 0,68; для группы 4 – 0,66). Общее значение коэффициента альфа Кронбаха по всем 12 критериям достигло 0,87. Полученные показатели свидетельствуют о приемлемой внутренней согласованности выделенных групп критериев и согласованности всей системы критериев. Вместе с тем эти результаты позволяют судить именно о внутренней согласованности инструмента и не исчерпывают всех аспектов его надёжности.

Для оценки конструктной валидности системы критериев был использован факторный анализ методом главных компонент с вращением варимакс. В результате было выделено четыре фактора, объясняющие в совокупности 74,6% дисперсии, что подтверждает достаточную полноту факторной структуры. Собственные значения всех факторов > 1, что согласуется с критерием Кайзера и обосновывает выделение именно четырёх факторов. Сумма собственных значений составляет 8,9520, что при 12 переменных соответствует 74,6% объяснённой дисперсии (8,9520 / 12 × 100 = 74,6%) (табл. 4).

После вращения варимакс проведён анализ факторных нагрузок: критерий считался значимо связанным с фактором при нагрузке ≥ 0,40. Все четыре фактора имеют не менее двух значимых нагрузок; значения значимых нагрузок находятся в диапазоне от 0,73 до 0,89. Это указывает на высокую взаимосвязь соответствующих групп критериев в восприятии экспертов и позволяет рассматривать их в рамках общей системы оценки (табл. 5).

Выявленная факторная структура интерпретирована следующим образом:

фактор 1 – объединяет критерии 1.1–1.3 (образовательные результаты), назван «Образовательные достижения обучающихся»;

фактор 2 – включает критерии 2.1–2.3 (компетенции 4К), назван «Сформированность 4К-компетенций»;

фактор 3 – соответствует критериям 3.1–3.3 (профессиональная деятельность), назван «Изменения в педагогической деятельности учителя»;

фактор 4 – объединяет критерии 4.1–4.3 (удовлетворённость и этические аспекты), назван «Удовлетворенность участников образовательного процесса».

Таблица 4

Собственные значения и вклад факторов в объяснённую дисперсию

Примечание: составлено авторами на основе полученных данных в ходе исследования.

Таблица 5

Таблица факторных нагрузок после вращения варимакс

Примечание: составлено авторами на основе полученных данных в ходе исследования.

Таблица 6

Уровневая шкала интегральной эффективности применения ГИИ в учебном взаимодействии после апробации

Примечание: составлено автором на основе полученных данных в ходе исследования.

Полученные эмпирические данные позволяют заключить, что установленная факторная структура полностью соответствует теоретической модели, положенной в основу разработанной системы критериев.

На данном этапе экспертного исследования также осуществлялось установление границ уровней эффективности (высокий, достаточный, базовый, низкий) на основе эмпирических данных. С этой целью для респондентов пилотной выборки (n = 100) производился сбор итоговых взвешенных интегральных баллов в соответствии с установленными весовыми коэффициентами (максимально возможное значение – 60 баллов). Для каждого респондента вычислялся итоговый балл, после чего определялся процент от максимума по формуле:

где I – интегральный балл респондента.

Границы уровней задавались следующим образом: низкий уровень – 0–15 баллов (0–25%); базовый – 16–30 баллов (26,7–50%); достаточный – 31–45 баллов (51,7–75%); высокий – 46–60 баллов (76,7–100%). Для валидизации полученных границ 10 независимых экспертов классифицировали все 100 случаев из пилотной выборки по четырём уровням эффективности, не имея доступа к количественным баллам участников. Полученное экспертное распределение сопоставлялось с заданным процентным значением от максимума; при расхождении более чем на 10% границы уровней корректировались с применением метода Дельфи. По итогам данной процедуры в уровневой шкале интегральной эффективности применения ГИИ в учебном взаимодействии были уточнены границы уровней и сформулированы рекомендации для принятия управленческих и педагогических решений (табл. 6).

На заключительном этапе экспертного исследования проводилась проверка критериальной валидности разработанного диагностического комплекса. С этой целью применялся метод корреляции Пирсона, в рамках которого сопоставлялись две переменные: Y – итоговый взвешенный интегральный балл, рассчитанный по системе критериев с учетом весовых коэффициентов (максимум 60 баллов), и X – среднее арифметическое независимых экспертных оценок индивидуального профиля респондента.

В исследовании приняли участие 100 респондентов (пилотная выборка). Для каждого участника был рассчитан интегральный балл на основе собранных данных. Параллельно 10 независимых экспертов провели слепую оценку анонимизированных индивидуальных профилей этих же 100 респондентов по разработанной системе критериев с учетом весовых коэффициентов: группа 1 – 21 балл; группа 2 – 18 баллов; группа 3 – 12 баллов; группа 4 – 9 баллов, после чего рассчитывался суммарный интегральный балл и определялся соответствующий уровень по шкале интегральной эффективности. Эксперты не имели доступа к расчетным баллам и оценивали профили исключительно на основе представленной информации. Для каждого респондента рассчитывалось среднее арифметическое оценок всех 10 экспертов, что формировало переменную X.

Коэффициент корреляции Пирсона составил r = 0,85, что по шкале Чеддока указывает на высокую положительную связь между интегральным баллом и независимой экспертной оценкой. Полученное значение коэффициента корреляции является статистически значимым (p < 0,01), что свидетельствует о наличии статистически подтвержденной взаимосвязи между исследуемыми показателями. Более того, при уровне значимости α = 0,05 и числе степеней свободы n – 2 = 98 критическое значение составляет tкр = 1,98. Поскольку tрасч > tкр (15,92 > 1,98), нулевая гипотеза об отсутствии статистически значимой взаимосвязи отвергается.

Таким образом, полученные результаты подтверждают критериальную валидность итогового взвешенного интегрального балла, рассчитываемого по разработанной системе критериев. Поскольку этот балл аккумулирует оценки по всем 12 критериям и всем четырём группам, это служит основанием для вывода о валидности всего диагностического инструментария.

Выводы

В ходе исследования достигнуты следующие научные результаты.

1. Разработана система из 12 критериев оценки эффективности применения ГИИ, объединенных в 4 группы: «Образовательные достижения обучающихся», «Сформированность 4К-компетенций», «Изменения в педагогической деятельности учителя», «Удовлетворенность участников образовательного процесса». Система операционализирована через совокупность количественных и качественных показателей и соответствующих им методов измерения.

2. Спроектирована матрица сопряжения критериев эффективности ГИИ и требований ФГОС основного общего и среднего общего образования. Показатели и критерии оценки матрицы полностью отвечают требованиям ФГОС к результатам освоения образовательных программ.

3. Предложена уровневая шкала (низкая эффективность – базовая эффективность – достаточная эффективность – высокая эффективность), позволяющая оценить интегральную эффективность использования ГИИ в образовательном процессе.

4. Эмпирически подтверждены психометрические характеристики разработанного диагностического инструментария: внутренняя согласованность (α-Кронбаха = 0,87), конструктная валидность (факторный анализ, 74,6% объяснённой дисперсии), критериальная валидность (корреляция с независимыми экспертными оценками r = 0,85; p < 0,01). Эти результаты свидетельствуют о надёжности и валидности инструмента как средства оценки эффективности применения ГИИ, однако характеризуют, прежде всего, качество диагностического комплекса, а не образовательную эффективность самой технологии.

Практическая значимость исследования состоит в возможности использования диагностических инструментов в общеобразовательных учреждениях для мониторинга качества образования, отслеживания развития компетенций обучающихся, оценки профессиональной готовности учителей к работе с генеративным ИИ и обоснования управленческих решений.

Основным ограничением данного исследования является отсутствие педагогического эксперимента. Проведённая эмпирическая проверка носила характер предварительной апробации диагностического инструмента и подтвердила его надёжность и валидность, но не позволила зафиксировать образовательные эффекты применения ГИИ. В связи с этим выводы об эффективности ГИИ как средства обучения в данной работе не формулируются. Перспективными направлениями дальнейших исследований являются экспериментальная проверка диагностического инструментария, его адаптация к возрастным особенностям обучающихся и специфике конкретного учебного предмета, а также создание автоматизированных средств сбора и анализа данных о взаимодействии обучающихся и учителей с ГИИ.