Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

EXAM TESTING IN ONLINE EDUCATION, STATE OF THE ART

Abashin V.G. 1
1 Financial University under the Government of the Russian Federation
The article provides an overview of modern research on the problem of exam testing in online learning. The main modern challenge for the education system is indicated, according to one of the teams of researchers of this problem. The main advantages of online education are listed. The influence on education of such factors as the change in the mentality of applicants, the most popular reasons for the development of stress in students using online technologies is considered. The current degree of penetration of online technologies in education is presented. The techniques of improving the effectiveness of online learning are shown. The article also touches upon the issues of safety of the trainee during online training, issues of self-regulation of the trainee. Equally important issues of dietary habits, sleep, physical activity, smoking habits during online education are considered. The assessment of online education by employers is given. The assessment of online education by students, the change in the stress level when passing distance exams on the results of the exam is investigated. Theoretical and practical recommendations are given with the help of which it is possible to improve the quality of online education in general and to increase the effectiveness of examination testing in online learning using a three-stage model of the exam in particular.
exam
online
education
proctoring

Уровень образования влияет на все стороны жизни человека. От него зависит мировосприятие человека, которое формирует как риск дефолта человека как заёмщика [1] так и уменьшение количества рождённых детей для женщин, имеющих карьерные альтернативы [2].

По мнению автора, основной вызов для системы образования заключается в изменении менталитета подрастающего поколения, представители которого после получения высшего образования хотят найти работу в компаниях с меньшей иерархией и демократичным стилем управления [3]. Похожие требования подрастающее поколение предъявляет и к процессу обучения.

Другой важной задачей является минимизация избыточного образования, которой подвержены многие специалисты. В меньшей степени проблеме избыточного образования подвержены выпускники STEM (Наука, Технология, Инженерия и Математика) или LEM (Юриспруденция, Экономика и Менеджмент) наиболее престижных университетов [4]. С целью уменьшения возможного избыточного образования допустимо проведение комплексной оценки успеваемости обучающихся первого курса, по которой можно делать вывод о конечном качестве обучения через несколько лет [5] и предлагать обучающемуся корректировку траектории обучения или смену специальности.

Главным направлением трансформации образования в период пандемии COVID-19 стали онлайн-технологии, которые являются синонимом веб-технологий. Они стали единственной возможностью проведения учебных занятий. При этом особенно остро встали вопросы технического оснащения, качества доступа в интернет и квалификации преподавателей в области ИКТ [6, 7].

Обзор литературы

На текущий момент онлайн-обучение имеет слабое проникновение в традиционные высшие учебные заведения [8], однако оно более гибкое по сравнению с традиционным, поэтому пандемия только ускорила развитие онлайн-технологий образования, которые продолжают набирать популярность. Это приводит к всестороннему изменению отношения к обучению всех участников [9].

Основное преимущество онлайн-образования для обучающихся – в повышении доступности университетского образования [10]. Студенты получают возможность учиться в любое время, в любом месте, с любой интенсивностью, выбираемой самим учащимся. Также онлайн-образование набирает популярность для обучения в бизнесе [11].

Интерес к онлайн-образованию повышается и среди работодателей. Однако они готовы его учитывать только в случае наличия одного образования в традиционной системе образования. Более лояльно к онлайн-образованию относятся работодатели, которые сами имеют опыт онлайн-обучения. Однако на сегодня работодатели все равно отдают предпочтение соискателям, получившим традиционное образование [12]. Также определено, что расхождение качества образования в частных и государственных учебных заведениях незначительно [13]. При этом с точки зрения аккредитующих, лицензирующих и сертифицирующих организаций онлайн-образование ничем не отличается от других форм образования и должно обеспечивать уровень образования не хуже, чем другие формы обучения [14].

Пандемия COVID-2019 помогла изучить онлайн-образование. Произошёл временный массовый переход учебных заведений на онлайн-образование. Во время эпидемии COVID-19 студенты были онлайн более 4 ч в день [15] и их удовлетворённость образованием сильно понижалась при наличии проблем технического характера [16].

Важным фактором для повышения качества онлайн-образования являются правила формирования групп, позволяющие не допускать большого разрыва в степени начальной подготовки между обучаемыми [17]; доступность преподавателя по каналам связи, его честность и способность давать объяснения доступным языком [18]; повышение качества социальных взаимодействий при онлайн-образовании [19].

Одной из основных проблем онлайн-образования является понижение вовлеченности студентов в учебный процесс. Понижение вовлеченности часто приводит к незаконченности онлайн-образования. Студенты бросают обучение, не доведя его до конца. Решением этой проблемы становится улучшение социальных взаимодействий с преподавателями и между обучающимися [20]. В качестве конкретного приёма повышения вовлеченности можно использовать, например, синхронные дискуссии в онлайн-классе [21].

В отличие от обучения в офлайне, онлайн-среда является менее безопасной. Вопросы безопасности в интернете важны, и им нужно обучать с детства, причём обучение безопасности детей в сети возможно с помощью онлайн-образования [22].

Ещё одна сложность онлайн-образования – это проблема саморегулируемого обучения студентов. Повышаются требования к саморегулируемости процесса обучения со стороны студента, а значит, для студента повышается важность стратегических инструкций и качество управления временем, что в конечном итоге повышает успешность сдачи последующих тестов [23]. Решение проблемы заключается в стимулировании преподавателями самопроверки знаний среди студентов, обучающихся онлайн. Также важна стратегия управления временем при онлайн-обучении. Для её наработки необходимо проводить тренинги по стратегии обучения для первокурсников. Необходимо формировать мотивацию студентов, выполнять постановку целей и учить управлению усилиями [24].

В связи с уменьшением интенсивности общения со студентами, по мнению автора, необходимо уделить большее внимание получению сведений о первоначальной подготовке студентов, его успеваемости и производить более точную оценку вероятности прохождения обучения в режиме онлайн. Стоит иметь в виду, оценка студентом личной эффективности на экзамене до экзамена и после экзамена не меняется и не является объективной. Она связана с текущим уровнем знаний студента, а не степенью его готовности к экзамену [25]. Приведём примеры, подтверждающие связь первоначальной подготовки студентов и качества обучения. Успешность сдачи ЕГЭ повышается при посещении подготовительных курсов, но это действительно только для студентов из наиболее обеспеченных семей [26]. Кроме того, от сдачи ЕГЭ как экзамена категории high stakes exams зависит дальнейший уровень образования и успешности человека [27] и характеризует степень ответственности абитуриента. Другой пример – это выявленная зависимость между уровнем знания английского языка и предположением об успешности сдачи других экзаменов в англоязычных вузах [28].

Рассматривая особенности онлайн-образования, следует помнить и о региональных трендах в системе образования. Высшее образование в странах бывшего СССР развивается по двум течениям одновременно. С одной стороны, существуют студенты, обучение которых субсидирует государство и к которым по факту предъявляются повышенные требования элитарного образования, и образование, оплачиваемое студентами, которые воспринимают образование как услугу [29].

На этапе обучения при использовании онлайн-формата требуется большая открытость преподавателя, а значит, повышаются временные затраты на коммуникации со студентами. В процессе обучения требуется обратная связь в режиме реального времени, которая может быть реализована в виде контрольных вопросов. Следует учитывать, что положительный эффект от контрольных вопросов (in-class clicker questions) зависит от начального уровня успеваемости студента, но не от формата вопроса [30]. Как известно, прогресс в научной и педагогической деятельности преподавателя почти не связаны между собой [31]. В данной ситуации это значит, что при увеличении временных затрат на коммуникации с обучающимися снижается время, затрачиваемое преподавателями на научную деятельность.

Наиболее сложный вопрос при переходе к онлайн-образованию – это экзаменационное тестирование полученных знаний. Цена ошибки в задании к экзамену возрастает, что способствует развитию систем автоматической генерации тестовых заданий, которые исключают ошибки, допускаемые человеком при создании тестов. Современные системы генерации учитывают вес навыков, сложность и распределение экзаменационных баллов [32].

Усиливается необходимость оценки качества письменных экзаменов для студентов, в том числе в формате онлайн. Инструмент, выполняющий такую оценку, должен содержать центральные факторы «прозрачность», «состав экзамена», «рабочая нагрузка студентов». Возможна его реализация на основе анкетирования, а его главной целью является повышение качества экзаменов [33]. При этом сам экзамен становится инструментом проверки качества учебных и обучающих материалов [34].

Кроме традиционных факторов, негативно влияющих на качество проводимых экзаменов, таких как возможность повторной сдачи, которая незначительно увеличивает конечную вероятность сдачи экзамена, но сильно снижает среднее общее усилие студентов по освоению дисциплины [35] или деструктивного влияния изменения оценки экзамена по усмотрению учителя [36], в онлайн-образовании присутствуют и характерные только для него.

Растёт озабоченность по поводу увеличения вероятности такого академического проступка, как нечестность со стороны студента в онлайн-курсе, особенно при онлайн-тестировании. Влияние прокторизованной среды на успеваемость студентов на экзаменах остаётся слабо исследованной областью.

В исследовании сообщается [37], что успеваемость студентов в режиме «лицом к лицу» превосходит онлайн-режим, и далее предполагается, что дизайн и управление онлайн-курсами являются решающим фактором, объясняющим эту разницу. Также в этом исследовании делается вывод о том, что формат онлайн-обучения существенно менее эффективен, чем формат очного обучения. Некоторые студенты не смогли освоить последующие дисциплины на основании изученных онлайн. Полученные результаты свидетельствуют о существенной разнице между двумя прокторизованными средами, в которых средний балл за итоговый экзамен, проведённый на месте в центрах тестирования, выше среднего балла за итоговый экзамен, проведённый через удалённые онлайн-прокторинговые службы.

Другое исследование подтверждает, что, хотя использование онлайн-оценок может быть очень полезным, случаи мошенничества в отсутствие проктора на онлайн-экзаменах не позволяют защитить академическую честность. Это привело к разработке многих прокторинговых решений. Результаты показывают, что студенты, чьи экзамены проводились без прокторинга, набрали в среднем на 11 % больше баллов. Однако результаты существенно различались: использование живых прокторов в очном классе оказывало гораздо большее влияние на результаты тестов, чем веб-прокторы в онлайн-классе [38].

Обратим внимание на то, что онлайн-экзамены оказывают разную степень негативного влияния на студентов, в зависимости от академической специализации и пола, что подтверждает исследование стресса и поведенческих изменений при дистанционных электронных экзаменах во время пандемии COVID-19. Среди 1019 респондентов 32 % сообщили о большем стрессе при дистанционных электронных экзаменах. Среди причин такого стресса основными стали продолжительность экзамена, режим навигации, проблемы с технической платформой (экзаменационная платформа и подключение к Интернету) для 78, 76 и > 60 % студентов соответственно [39]. Дистанционные электронные экзамены оказали негативное влияние и на диетические привычки студентов (увеличение потребления кофеина и высокоэнергетических напитков, продуктов с высоким содержанием сахара, фаст-фуда), сон (сокращение часов сна, увеличение потребления лекарств от бессонницы), физическую активность (меньше упражнений) и привычки к курению (увеличиваются) [40]. С другой стороны, влияние качества сна [40] и факторов окружающей среды [41] на результаты экзаменов по основной учебной программе не выявлено, несмотря на негативное влияние на самого обучаемого.

Для некоторых дисциплин альтернативой экзамена может стать подготовка портфолио, содержащего расчёты, размышления, подтверждающие, что студенты достигли основных результатов обучения. Оценка этих портфолио выявила сопоставимую успеваемость студентов по результатам обучения с теми, которые были задокументированы экзаменами в предыдущие годы. Студенты сообщили в целом о благоприятном впечатлении от назначения портфолио, особенно учитывая новые обстоятельства дистанционного обучения. Оценка портфолио заняла такое же время преподавателя, как и приём экзаменов. Задание для портфолио легко модифицируется для использования в других курсах [42]. Однако заменить отчётность всех дисциплин на портфолио не представляется возможным.

Теоретические и практические рекомендации

В качестве теоретических рекомендаций предлагаются следующие результаты. Онлайн-образование набирает популярность. В связи с продолжающейся пандемией также возможны временные переходы системы образования в дистанционный формат. В свою очередь, онлайн-образование более гибкое и изменяет взаимоотношения между всеми участниками образовательного процесса. Его главным отличием является то, что время, место и интенсивность обучения выбирает сам обучающийся. Требуется больший контроль вовлеченности студента в образовательный процесс. От преподавателей требуется больше временных затрат на коммуникации со студентами.

Качество онлайн-обучения необходимо контролировать, начиная с этапа создания групп. Группы должны формироваться с примерно общим уровнем подготовки. Сдача ключевых экзаменов позволяет сделать оценку успешности сдачи остальных. Кроме того, результативность на первом курсе соответствует успешности прохождения всего обучения. В случае недостаточной результативности на первом курсе возможна корректировка программы обучения студента или смена профиля.

Несмотря на альтернативные формы проведения экзамена, в онлайн-образовании экзамен и формы контроля во время экзамена являются одними из самых важных факторов, определяющих качество обучения.

Экзамен, проводимый онлайн, является неотъемлемой частью обучения, и его результаты закладываются на этапе формирования группы обучающихся, их первоначальной подготовки и мотивации.

В качестве практических рекомендаций по организации онлайн-экзамена следует учитывать возможность его проведения в три этапа.

Первым этапом, повышающим качество онлайн-экзамена, является подготовительный этап. На этом этапе рекомендуется использовать автоматические средства генерации вопросов и билетов к экзамену, подготовку инструкций по подготовке к экзамену и его прохождения, анкет для опроса обучающихся о качестве экзамена. Для проведения онлайн-экзамена необходима прокторизированная среда. Причём наилучший результат даёт тестирование в аудитории с использованием человека – проктора. Несколько худший результат следует при использовании веб-прокторинга. Отсутствие проктора даёт наихудший результат по качеству освоения знаний.

Таким образом, для студента экзамен проходит в три этапа.

На первом этапе студент знакомится с инструкцией по подготовке к экзамену и с инструкцией по прохождению экзамена.

Второй этап заключается в самом экзаменационном тестировании.

Третий этап состоит в оценивании студентом экзамена, преподавателя и дисциплины в целом.