Введение

Применение цифровых технологий в сфере образования имеет ключевое значение, поскольку оно позволило вывести образовательный процесс на новый уровень развития, характеризующийся эффективностью, возможностью встраивания в учебный процесс различных электронных ресурсов, построением индивидуальных образовательных линий [1; 2].

Цифровая трансформация высшего образования в разных странах мира изменила не только организацию учебного процесса, но и подходы к оцениванию образовательных результатов. За последние два десятилетия компьютерное тестирование стало одной из наиболее распространенных форм контроля языковой подготовки студентов благодаря стандартизации процедур, оперативной обработке результатов, использованию мультимодальных заданий и возможности фиксировать данные о процессе выполнения теста.

Проблема компьютерного тестирования привлекает внимание как отечественных, так и зарубежных ученых. Исследователи обращают внимание на преимущества компьютерного тестирования с целью оценки языковой компетенции студентов, так как исключается человеческий фактор, проверяется большой объем знаний студента за короткое время [3–6]; компьютерное тестирование характеризуется надежностью [7, с. 48]. Авторы научных работ отмечают, что «необходимо акцентировать внимание на социально-культурной контекстуализации алгоритмов машинного обучения… для повышения эффективности и точности алгоритмов, особенно в мультикультурном образовательном пространстве» [8, с. 256].

Исследования показывают, что переход к цифровому формату затрагивает не только организацию экзамена, но и особенности выполнения заданий, влияя на интерпретацию получаемых результатов [9–11].

На начальном этапе развития компьютерного языкового тестирования основное внимание уделялось сопоставимости бумажного и цифрового форматов, надежности измерений и организационной эффективности электронных платформ. Однако последующие исследования продемонстрировали, что подобная трактовка является недостаточной. Пользовательский интерфейс, способы навигации, особенности представления информации и характер взаимодействия с цифровой средой способны изменять стратегии выполнения заданий, распределение внимания, процессы планирования и редактирования письменного ответа, а также восприятие справедливости самой процедуры оценивания [12–14].

Особенно актуальна данная проблема для оценивания языковой компетенции студентов университетов. Академическая коммуникация происходит в электронной образовательной среде, поэтому языковая компетенция становится способностью эффективно решать коммуникативные и познавательные задачи [15; 16].

В зарубежной литературе достаточно изучены вопросы, касающиеся университетского языкового тестирования, такие как автоматизированное оценивание, академическая честность, справедливость оценочных процедур, однако нет целостной системы аргументации валидности. Это связано с отсутствием интегративного подхода [17; 18].

Цель исследования – разработка модели компьютерного оценивания языковой компетенции студентов вузов. Научная новизна работы состоит в теоретическом обосновании модели технологически опосредованной валидности, объединяющей конструктивный, технологический, оценочный и этико-валидизационный компоненты в единую систему доказательств. При данном подходе цифровая среда рассматривается не как внешнее средство организации тестирования, а как неотъемлемая часть измерительной архитектуры. Она влияет на интерпретацию результатов и обоснованность их использования.

Материалы и методы исследования

Статья выполнена в формате концептуально-аналитического обзора литературы. Цель обзора состоит не в статистическом обобщении эмпирических эффектов, а в выявлении концептуальных связей между исследовательскими линиями, которые в публикациях часто рассматриваются раздельно. Концептуально-аналитический обзор дает возможность определить взаимосвязи между различными научными направлениями и создать целостную теоретическую модель.

Поиск материала осуществлялся в ходе исследования научных статей в сфере цифровизации высшего образования, лингвистики, педагогических измерений, языкового тестирования, изучения иностранных языков с помощью компьютерных технологий, искусственного интеллекта в образовании.

В основе анализа лежат работы по вопросам валидности компьютерного языкового оценивания. При отборе литературы внимание уделялось публикациям, рассматривающим компьютерное тестирование по иностранному языку, аргументно-ориентированную валидизацию, автоматизированное оценивание письменной и устной речи.

Кроме того, изучались работы, связанные с влиянием интерфейсов и эффектов формата (mode effects), цифровой грамотностью обучающихся, анализом log-data, академической честностью, цифровым прокторингом, проблемами справедливости (fairness), цифровой доступности (accessibility), а также применением генеративного искусственного интеллекта в языковом оценивании.

На первом этапе анализа источники группировались по тематике (трансформация языкового конструкта; аргументно-ориентированная валидизация; автоматизированное оценивание; академическая честность; справедливость и доступность). Далее выявлялись различные точки зрения на роль алгоритмов и границ языкового конструкта. На третьем этапе были выделены четыре блока технологически опосредованной валидности: конструктивный, технологический, оценочный и этико-валидизационный. Итогом данного этапа стала разработка модели технологически опосредованной валидности, объединяющей основные компоненты компьютерного языкового оценивания в единую систему.

Результаты исследования и их обсуждение

Тестовое задание как измерительный инструмент должно отвечать определенным требованиям качества. Оно должно отличаться дифференцирующей способностью, эффективностью, валидностью и надежностью. Валидность трактуется как пригодность тестовых заданий для той цели, ради которой проводилось тестирование, определение соответствия требованиям правилу тестовых заданий. Валидность теста является одним из критериев, позволяющих оценить пригодность тестового задания для оценки знаний. При составлении тестовых заданий важно учитывать содержательную и функциональную валидность, когда задание должно соответствовать требованиям по дисциплине [19, с. 120–121].

Анализ научно-исследовательских работ показал, что не всегда автоматизированный скоринг, справедливость и последствия использования результатов рассматриваются как элементы единой валидизационной архитектуры [10; 14; 20]. В статьях по искусственному интеллекту недостаточно полно освещены работы по правилам использования искусственного интеллекта и правам участников оценивания [21; 22]. Проблема заключается в отсутствии интегративной модели компьютерного оценивания.

В современном обществе язык рассматривается в свете деятельностной модели языковой компетенции. В структуру языковой компетенции вошли плюрилингвальная и плюрикультурная компетенции и различные формы онлайн-взаимодействия [15]. Так, в ходе компьютерного тестирования оценивается способность эффективно использовать язык для коммуникации в цифровой образовательной среде.

Для университетского образования подобное расширение конструкта имеет принципиальное значение. Академическая деятельность студентов включает поиск, анализ и критическую интерпретацию информации, работу с цифровыми источниками, подготовку письменных текстов различных жанров, совместное создание документов и участие в сетевой коммуникации. Тем самым академическая языковая компетенция не сводится к совокупности отдельных языковых навыков. Она отражает способность использовать язык как инструмент познавательной и профессионально ориентированной деятельности в условиях современной образовательной среды. Как отмечают Е. А. Карабутова, Ю. А. Прокопенко, И. Б. Акиншина, «формирование языковой компетенции в свете коммуникативного подхода… предполагает формирование пользователя языка, способного успешно реализовать межкультурное, социальное и профессиональное общение…» [23, с. 53].

При таком понимании валидность проявляет себя не как характеристика теста, а как обоснованность интерпретации результатов и корректность их последующего использования [17]. При компьютерном тестировании на результат влияет как содержание заданий, так и процедуры оценивания, алгоритмы обработки данных. Все эти компоненты входят в структуру системы валидности.

Исследователи подчеркивают, что аргументация валидности должна включать надежность экспертного и автоматизированного оценивания, справедливость процедур, цифровую доступность и обоснованность последующих решений в сфере образования [18; 24; 25].

Особый интерес представляют современные отечественные разработки в сфере тестирования по иностранному языку. В исследовании «Разработка и перспективы развития национальной интеллектуальной системы тестирования общеязыковых компетенций (ИСТОК) на базе нейросетевых решений» Е. М. Базанова и др. пишут об особенностях отечественной интеллектуальной системы тестирования. Тестирование охватывает полный цикл, включающий оценку всех видов речевых навыков: чтение, аудирование, письмо, говорение. Данная система является первой в России интеллектуальной системой тестирования, основанной на новейших разработках и инструментах, с помощью которых создаются модели машинного обучения с возможностью переобучения [26, с. 155]. Данная система имеет ряд отличительных особенностей, таких как: 1) она основана на базе нейросетевых решений, где индивидуальная траектория определяется лингвистическими и экстралингвистическими факторами; 2) валидатор теста отслеживает речевые ошибки, характерные для определенного уровня владения языком, кроме того, для теста был разработан классификатор ошибок [26, с. 155].

Авторы отмечают, что это первая отечественная система, способная охватить и проанализировать все речевые навыки для корректного определения уровня владения иностранным языком по принятой международной шкале [26, с. 156].

Международная практика демонстрирует несколько различных моделей технологизации языкового оценивания. В экзаменах типа TOEFL iBT цифровая инфраструктура сочетается с гибридным скорингом, где автоматизированные процедуры поддерживают работу сертифицированных экспертов при оценивании письма и устной речи. В исследованиях IELTS сопоставляются бумажный и компьютерный режимы языкового тестирования [12].

Развитие автоматизированных систем оценивания стало одним из наиболее значимых направлений трансформации образовательных измерений. Современные системы анализируют письменную и устную речь, применяют сложные модели машинного обучения при интерпретации результатов.

Так, например, валидность системы автоматического оценивания эссе (Automated Essay Scoring (AES)) и автоматического распознавания речи (Automatic Speech Recognition (ASR)) дискутируется учеными. Данные системы дают оценку очень близкую к экспертным решениям, однако алгоритм может основывать результат на иных характеристиках речевой продукции [20; 27].

Таким образом, при аргументации валидности важно понимать, как функционируют алгоритмы и иметь возможность провести проверку. При таком подходе валидизация затрагивает не только качество заданий в тесте, но и всю технологическую инфраструктуру.

Искусственный интеллект становится новым элементом образовательной среды. С одной стороны, он создает возможности оценивания, а с другой стороны, валидность компьютерного тестирования может снижаться.

На наш взгляд, оптимальной является гибридная модель оценивания, в которой автоматизированные алгоритмы выполняют все технические процедуры (обработка данных, анализ речевой продукции и т. д.), а итоговое решение принимает эксперт.

Предложенная в исследовании модель технологически опосредованной валидности (таблица) развивает современные представления о компьютерном языковом оценивании, объединяя несколько исследовательских направлений, которые до настоящего времени преимущественно рассматривались изолированно.

Модель технологически опосредованной валидности состоит из четырех блоков: конструктивного, технологического, оценочного и этико-валидизационного.

Конструктивный блок проверяет соответствие заданий заявленной академической языковой компетенции, включая медиацию и цифровое взаимодействие. К доказательствам относятся: анализ конструкта, экспертная проверка заданий, сопоставление с дескрипторами Общеевропейских компетенций владения иностранным языком (CEFR) и локальными целями курса. Ключевой риск заключается в подмене академической языковой компетенции набором дискретных грамматико-лексических показателей.

В технологическом блоке проверяется влияние интерфейса, навигации, формата ввода, доступности и пользовательского опыта. Доказательством является юзабилити-анализ (Usability-analyses), анализ эффектов режима (mode effects), данные логов (log-data), подгрупповая проверка цифровых барьеров. Ключевой риск содержится в конструкто-нерелевантной вариативности, вызванной платформой, устройством или цифровой грамотностью.

Оценочный блок предназначен для проверки надежности экспертного и автоматизированного скоринга, устойчивости автоматического распознавания речи / автоматического оценивания эссе / большой языковой модели (ASR/AES/LLM). В данном блоке тип доказательств представлен согласованностью экспертов, концепцией согласия между человеком и машиной (human-machine agreement), анализом признаков модели, проверкой дрейфа и пограничных случаев. Основной риск определяется тем фактом, что алгоритм оценивает статистически удобные признаки, не совпадающие с языковым конструктом.

Архитектура модели технологически опосредованной валидности

Примечание: составлена авторами на основе полученных данных в ходе исследования

В этико-валидизационном блоке происходит проверка справедливости, академической честности, прокторинга, правил использования ИИ, последствий решений. К доказательствам относится анализ справедливости (Fairness analysis), дифференцированное функционирование заданий (DIF), проверка доступности интерфейсов (accessibility review), аудит прокторинга, регламенты генеративного искусственного интеллекта, анализ последствий. Ключевой риск содержится в возможности принятия несправедливых или непрозрачных решений при формально надежном тесте.

Особенность модели заключается в изменении представления о роли цифровой образовательной среды в системе образовательных измерений. В представленной модели цифровая среда является самостоятельным компонентом для определения валидности теста. Кроме того, предложенная рамка определяет место автоматизированного оценивания в системе образования. При этом учитывается двойственная природа интеллектуальных технологий, которая заключается в том, что, с одной стороны, алгоритмы создают новые возможности для образовательных измерений, с другой стороны, появляются новые риски в процессе интерпретации результатов. Модель предусматривает распределение функций: обработка данных производится автоматизированными системами, а экспертная оценка и формирование результатов тестирования – человеком. При таком подходе максимально сохраняются требования к валидности тестирования и объективности итоговых результатов.

Теоретическая значимость предложенной модели заключается в том, что в ней комплексно рассматриваются все аспекты (конструктивный, технологический, оценочный и этико-валидизационный). Практическая ценность определяется тем, что модель может быть полезна при создании компьютерных тестов, разработке алгоритмов применения искусственного интеллекта в образовательной деятельности.

Заключение

Развитие цифровых технологий становится важным фактором, который влияет не только на процедуру тестирования по иностранному языку с целью оценки уровня языковой компетенции, но и на методологию его организации. Цифровая образовательная среда создает определенные условия для проявления языковой компетенции, а также для формирования достоверных итоговых результатов в образовательной среде.

Перспективы дальнейших исследований связаны с операционализацией компонентов технологически опосредованной валидности, разработкой соответствующих измерительных индикаторов и эмпирической проверкой предложенной модели в различных языковых, образовательных и институциональных контекстах.