Ограничения, принятые в марте 2020 г. в рамках мер по недопущению распространения коронавирусной инфекции (COVID-19), предопределили вынужденный экстренный перевод обучающихся очной формы образовательных организаций высшего образования на дистанционный формат обучения [1, 2]. Период пандемии выявил недостаток существующих инфраструктурных возможностей, цифровых ресурсов и педагогических инструментов, методических решений для осуществления очной формы обучения посредством дистанционных образовательных технологий (ДОТ) [3].
Опыт показал и то, что в России недостаточно разработок в области систем прокторинга. Так, в аналитическом докладе [4] отмечается, что дефицит практик онлайн-оценки образовательных результатов обучающихся оказался одной из серьезных проблем в период ограничений. В российских вузах до весны 2020 г. отсутствовал опыт массового применения системы прокторинга. Поэтому сложившаяся ситуация активизировала поиск новых технологических решений, научно обоснованного педагогического инструментария онлайн-оценки при проведении промежуточной и итоговой аттестации.
В сложившейся ситуации наибольшие вопросы вызывала государственная итоговая аттестация (ГИА), так как доля риска ошибки в оценивании уровня подготовки выпускников, возможной по техническим, операционным, психоэмоциональным и другим причинам, возросла многократно. Поэтому в кратчайшие сроки вузам потребовалось выбрать оптимальную технологическую платформу, разработать локальные нормативные акты и сценарии проведения государственных аттестационных испытаний (ГАИ) в онлайн-формате, соответствующие обязательным требованиям приказов Министерства науки и высшего образования Российской Федерации.
В результате многие вузы выбрали выжидательную позицию: «по данным опроса ректоров российских образовательных организаций высшего образования об опыте работы в режиме ограничений, вызванных пандемией COVID-19, многие вузы ждут единого решения от Министерства науки и высшего образования РФ для всех вузов по системе прокторинга» [5]. По данным из доклада министра науки и высшего образования часть образовательных организаций высшего образования не пыталась решить задачи дистанционного проведения ГИА, а воспользовалась своим правом в требованиях Федеральных государственных образовательных стандартов высшего образования и внесла изменения в учебные планы выпускников. Изменения состояли в исключении государственного экзамена из мероприятий ГИА. По нашему мнению, такое решение признать шагом вперёд в повышении качества профессиональной подготовки выпускников затруднительно.
Поэтому актуальность нашего исследования обусловлена объективной потребностью совершенствования подходов к применению технологии прокторинга для ГИА, отвечающего требованиям нормативно-правовой базы в области образования в Российской Федерации и нацеленного на повышение качества профессиональной подготовки в образовательных организациях высшего образования.
Материалы и методы исследования
Анализ существующих российских подходов к решению задачи проведения ГИА в онлайн-формате показал, что технология прокторинга имеет опыт применения, но массово никогда не использовалась [6, 7]. Часть образовательных организаций высшего образования предприняла значительные усилия по изучению положительного опыта дистанционной аттестации обучающихся на массовых открытых онлайн-курсах, что способствовало «масштабированию» технологий онлайн-оценки результатов обучения [8]. Это позволило в большинстве вузов России провести государственные экзамены и защиту выпускных квалификационных работ дистанционно с использованием технологии прокторинга.
Технология прокторинга представляет собой совокупность технических условий и организационных процедур по дистанционному мониторингу за контрольно-оценочным мероприятием обучающегося. Прокторинг по времени проведения классифицируется на синхронный и асинхронный.
В асинхронном прокторинге испытание проводится с видеозаписью веб-камеры обучающегося и рабочего стола его компьютера, а процедуру идентификации, а также соблюдение всех требований, предъявляемых к обучаемым во время сдачи онлайн-испытания, проктор анализирует в записи. Он принимает решение о нарушении правил проведения онлайн-испытания и имеет право аннулировать полученный результат по аналогии с ситуацией использования «шпаргалки» на очном экзамене. При этом если обучающийся не согласен с замечаниями, он может подать апелляцию. Апелляционная комиссия рассматривает апелляцию, прибегая к видеозаписи. Наличие зафиксированной записи процесса сдачи онлайн-испытания является преимуществом асинхронного прокторинга.
Синхронный прокторинг предполагает проведение контрольно-оценочного мероприятия в режиме реального времени и может быть реализован в трёх вариантах сопровождения:
1. За проведением онлайн-испытания наблюдает проктор. Все онлайн-испытания проходят с видеозаписью веб-камеры обучающегося и рабочего стола его компьютера. Перед началом онлайн-испытания проктор проводит идентификацию личности, а в ходе его фиксирует нарушения установленных требований [9].
2. Автоматизированный прокторинг – компьютерная программа, которая без участия человека проводит процедуру идентификации личности, отслеживает поведение обучающегося, анализирует любые звуки в помещении, фиксирует все нарушения и формирует отчет по окончании работы.
3. Комбинированный прокторинг – совместная работа проктора и компьютерной программы. Программа контролирует действия обучающегося и при выявлении нарушения сообщает об этом проктору. Проктор может наблюдать за обучающимся в онлайн-режиме параллельно с программой. Комбинированный прокторинг признается самым надежным способом, так как любая компьютерная программа в любой момент может дать сбой [10].
Вузам, которые организовывали ГИА с применением синхронного прокторинга, предстояло решить следующие взаимосвязанные задачи технического и организационного характера:
− обеспечение идентификации личности обучающегося;
− определение организатора виртуальной аудитории для участников ГАИ;
− техническое администрирование и модерирование виртуальных аудиторий;
− выделение времени на подготовку к ответу, предусмотренного локальным нормативным актом, при сдаче государственного экзамена;
− организация контроля обучающегося во время его подготовки к ответу при сдаче государственного экзамена;
− приём государственного экзамена и рассмотрение выпускных квалификационных работ у утвержденного в расписании количества обучающихся в рамках нормативного рабочего времени педагогических работников [11].
Опыт показал, что эти задачи стали труднодостижимыми для большинства вузов. Согласно результатам аналитического опроса [12] эти вузы при использовании синхронного прокторинга выбрали путь изменения содержания и формата проведения государственного экзамена: проведение тестирования; организация письменного экзамена в форме решения ситуативных задач; выполнение контрольной работы и др.
Для тех вузов, которые попытались сохранить содержание и формат очных ГАИ, совокупность представленных задач при проектировании сценариев онлайн-мероприятий ГАИ потребовала комплексного решения. При этом чаще всего реализация ими синхронного прокторинга заключалась в поочерёдном подключении обучающихся к виртуальной аудитории государственной экзаменационной комиссии (ГЭК) для устного ответа. Однако такой подход не в полной мере обеспечивает выполнение перечисленных выше задач, в том числе:
− работа ГЭК выходит за рамки нормативного времени согласно утвержденному расписанию в связи с подготовкой к ответу обучающегося в той же виртуальной аудитории, где проходит заседание ГЭК;
− выпускники испытывают переживания, связанные с высокой ответственностью за свои операционные действия, обеспечение интернет-соединения и пользовательские навыки в новом программном обеспечении;
− значительное количество технических помех в виртуальной аудитории в связи с одновременным подключением нескольких обучающихся (отвечающих и готовящихся к ответу);
− обязанности состава ГЭК или её секретаря расширились за счёт увеличения технической нагрузки, связанной с идентификацией личности и контролем подготовки каждого обучающегося, а также организацией, администрированием и модерированием виртуальной аудитории.
Современные коммерческие и свободно распространяемые сервисы прокторинга без особых сложностей способны решать большинство задач проведения ГИА. Вместе с тем в вузах широко используются системы видеоконференцсвязи (ВКС), которые не имеют встроенных алгоритмов видеоаналитики, но обладают возможностью демонстрации рабочего стола, показа презентации и записи видеоконференции и поэтому могут послужить подспорьем в организации и проведении онлайн-мероприятий ГАИ.
Однако ни одна из специализированных платформ прокторинга либо ВКС-систем не ориентирована на комплексное решение вышеперечисленных проблемных вопросов, и их применение требует дополнительного сопровождения и решения отдельных организационных и технических задач всеми участниками ГАИ. Например, если дистанционно реализовать подход очного проведения государственного экзамена (при самостоятельном контроле ГЭК за процедурой подготовки к ответу и поочерёдному заслушиванию обучающихся в рамках одной виртуальной аудитории), как правило, обеспечить единство требований по времени для подготовки к ответу труднодостижимо. При этом проблемы с подключением или периферийными устройствами каждого участника отражаются на условиях работы всех остальных участников.
Несовершенство автоматизированных программ прокторинга также может привести не только к «проверке технической дисциплинированности и стрессоустойчивости» [13] самих обучающихся, но и председателя и членов ГЭК. Технические сбои автоматизированного прокторинга приводили к необходимости пересдач, которые были не регламентированы с точки зрения выделения дополнительного времени работы членов ГЭК, внесения изменения в расписание ГАИ по техническим причинам.
Анализ применения технологий синхронного прокторинга при проведении онлайн-испытаний выявил и другие недостатки: отсутствие необходимого оборудования требуемого уровня; низкое качество и устойчивость интернет-соединения; помехи от находящихся в помещении людей (общежития, многодетные семьи, ремонт у соседей и др.) [14].
Поэтому целью нашего исследования стала разработка новационного подхода к применению технологии прокторинга на ГАИ, отвечающего требованиям нормативно-правовой базы в области образования в Российской Федерации и нацеленного на повышение эффективности оценки результатов профессиональной подготовки в образовательных организациях высшего образования.
Для реализации этой цели в ФГБОУ ВО «Санкт-Петербургский университет ГПС МЧС России» был разработан и внедрён новационный подход к применению технологии синхронного прокторинга, который успешно прошёл апробацию в период ГИА в июне 2020 г.
Вопросы перехода выпускников очной формы обучения на дистанционный формат подготовки и проведения государственного экзамена, а также подготовки и организации процедуры защиты выпускной квалификационной работы решались на образовательном портале электронной информационно-образовательной среды с применением платформы для ВКС Trueconf.
Приказом начальника университета на основании решения учёного совета в ряд локальных нормативных актов были внесены изменения, учитывающие особенности проведения ГАИ с применением ДОТ. Для проведения ГАИ с применением ДОТ для каждого обучающегося проктором создавалась отдельная виртуальная аудитория с фиксированным регламентом времени работы.
При этом университетом были решены технические и административные вопросы обеспечения идентификации личности обучающихся и контроль соблюдения требований, установленных локальными нормативными актами. Идентификация личности обучающегося обеспечивалась проктором (доверенным лицом образовательной организации). Наличие проктора нивелировало проблему закупки дорогостоящей системы автоматизированного прокторинга, так как платформы ВКС с дополнительными функциями демонстрации рабочего стола и показа презентаций было достаточно.
В обязанности проктора входило обеспечение беспрерывной работы ГЭК и секретарей в виртуальных аудиториях. Работа проктора по решению организационных и технических задач регламентировалась разработанными сценариями проведения ГАИ.
Результаты исследования и их обсуждение
В рамках нашего исследования был применён новационный подход к организации работы ГЭК с применением ДОТ. Его принципиальное отличие заключается в отказе от сценариев, в которых осуществляется подключение обучающегося к ГЭК для прохождения ГАИ. В разработанном нами сценарии для заслушивания ответа или доклада подключение осуществлялось по новой траектории: проктор приглашал и подключал членов ГЭК в виртуальную аудиторию обучающегося, в которой он под видеоконтролем проктора готовился к ответу.
Новационный подход предопределил разработку такого порядка организации виртуальных аудиторий для дистанционного участия в ГАИ, в котором время подготовки, ответа и работы с ГЭК должно быть чётко регламентировано и спланировано для каждого обучающегося в соответствии с нормативными требованиями. Поэтому реализация разработанного нами подхода детерминировала включение в обязанности проктора, наряду с классической функцией контроля над ходом испытания, организацию виртуальной аудитории, проведение процедуры идентификации личности обучающегося, а также техническое администрирование и модерирование созданной виртуальной аудитории обучающегося.
Организация синхронного прокторинга в период ГАИ в соответствии с требованиями нормативно-правовой базы и исходя из условий равного количества времени работы виртуальных аудиторий и объёма обязанностей проктора предопределила решение задачи расчёта регламента времени работы всех участников ГАИ на основе линейных алгебраических выражений и неравенств.
Расчёт регламента для организации прокторинга на государственном экзамене
Основной проблемой при организации государственного экзамена с применением ДОТ являлось определение оптимального количества прокторов для обеспечения эффективной работы ГЭК по установленным в нормативном локальном акте образовательной организации условиям времени на подготовку и ответ обучающегося. Максимально эффективная работа ГЭК по заслушиванию ответов обучающихся на государственном экзамене обеспечивается только при достаточном количестве прокторов.
Регламент времени работы виртуальных аудиторий для проведения государственного экзамена должен соответствовать следующему условию:
Tобщ ≤ 360 мин. (1)
Общее время работы ГЭК на государственном экзамене определяется по формуле
Tобщ = x + N ∙ y + (N-1) ∙ z, (2)
где х – время на подготовку обучающегося к ответу, мин;
y – время ответа обучающегося, мин;
z – время перехода ГЭК в следующую виртуальную аудиторию, мин;
N – количество виртуальных аудиторий, шт.
Количество виртуальных аудиторий N является расчетным значением, зависящим от значений x, y, z.
Если время начала работы первой виртуальной аудитории принять за t1 (UTC+03:00), следовательно, время подключения ГЭК для заслушивания ответа обучающегося ts1 определяется по формуле
ts1 = t1+x, (3)
а время окончания работы первой виртуальной аудитории tf1 определяется выражением
tf1 = t1+x+y. (4)
Для дальнейшей визуализации регламента работы участников государственного экзамена используется графическое представление виртуальной аудитории (рис. 1).
Время начала работы ti каждой последующей виртуальной аудитории ni определяется соотношением
ti = t1 + (ni-1) ∙ y + (ni-1) ∙ z. (5)
Рис. 1. Графическое представление виртуальной аудитории
Время подключения ГЭК для заслушивания ответа обучающегося tsi в виртуальной аудитории ni определяется по формуле
tsi = (t1+x) + (ni-1) ∙ y + (ni-1) ∙ z, (6)
а время окончания работы tfi виртуальной аудитории ni определяется выражением
tfi = (t1+x)+ni ∙ y + (ni-1) ∙ z . (7)
Количество прокторов является расчетным значением, зависящим от значений x, y, z.
Эмпирически было установлено, что для организации каждой последующей виртуальной аудитории проктору необходимо не менее 4 мин.
Следовательно, для определения необходимого количества прокторов, сопровождающих работу ГЭК, задается следующее условие:
ti < tf1 + 4. (8)
Пока выполняется данное условие, для создания последующей виртуальной аудитории будет привлекаться новый проктор.
Со времени начала работы первой t1 и каждой последующей виртуальной аудитории ti проктор осуществляет подключение, идентификацию личности обучающегося и контролирует получение экзаменационного билета, а затем в режиме синхронного прокторинга контролирует подготовку обучающегося к ответу x.
Получение экзаменационного билета осуществляется посредствам личного кабинета обучающегося на образовательном портале электронной информационно-образовательной среды. После получения билета обучающийся в течение x минут готовится к ответу.
Для заслушивания ответа обучающегося проктор подключает ГЭК во время ts1, tsi. При наличии выявленных нарушений в период подготовки обучающегося делает об этом доклад председателю комиссии.
Рис. 2. Графическое представление порядка построения регламента работы виртуальных аудиторий
По указанию секретаря ГЭК обучающийся отвечает на вопросы билета государственного экзамена, а также на дополнительные и уточняющие вопросы в пределах материала, вынесенного на государственный экзамен за период времени y (рис. 2).
Расчёт регламента для организации защиты выпускной квалификационной работы или научного доклада с прокторингом
В отличие от процедуры проведения государственного экзамена, для проведения защиты выпускной квалификационной работы или научного доклада количество привлекаемых прокторов не влияет на эффективность работы ГЭК. Это связано с тем, что в процедуре защиты исключается подготовка обучающегося к ответу.
Вместе с тем регламент времени работы виртуальных аудиторий для проведения защиты выпускной квалификационной работы или научного доклада также должен соответствовать условию (1).
Общее время работы ГЭК для проведения защиты выпускной квалификационной работы или научного доклада определяется по формуле
Tобщ= n ∙ x + n ∙ y + (n-1) ∙ z , (9)
где х – время на доклад обучающегося, мин;
y – время апологии (защитной речи) обучающегося, мин;
z – время перехода ГЭК в следующую виртуальную аудиторию, мин;
n – порядковый номер виртуальной аудитории, шт.
Количество виртуальных аудиторий N для проведения защиты выпускной квалификационной работы или научного доклада также является расчетным значением, зависящим от значений x, y, z.
Если время начала работы первой виртуальной аудитории принять за t1 (UTC+03:00), следовательно, время начала апологии обучающегося ta1 определяется по формуле
ta1 = t1+x, (10)
а время окончания работы первой виртуальной аудитории to1 определяется выражением
to1 = t1+x+y. (11)
Следовательно, время начала работы ti каждой последующей виртуальной аудитории ni определяется соотношением
ti = t1 + (ni-1) ∙ x + (ni-1) ∙ y + (ni-1) ∙ z. (12)
Время начала апологии обучающегося tai в виртуальной аудитории ni определяется по формуле
tai = t1 + ni ∙ x + (ni-1) ∙ y + (ni-1) ∙ z , (13)
а время окончания работы toi виртуальной аудитории ni определяется выражением
toi = t1 + ni ∙ x + ni ∙ y + (ni-1) ∙ z. (14)
Со времени начала работы первой t1 и каждой последующей виртуальной аудитории ti проктор осуществляет подключение и идентификацию личности обучающегося, а затем подключает ГЭК для заслушивания доклада об основных результатах выпускной квалификационной работы или научно-квалификационной работы обучающегося. На доклад об основных результатах выпускной квалификационной работы или научно-квалификационной работы обучающемуся отводится не более x минут. В рамках периода времени y ГЭК заслушивает апологию обучающегося по дополнительным, уточняющим вопросам, секретарь ГЭК зачитывает отзыв и т.д.
По окончании времени работы виртуальных аудиторий tf1-tfi, to1-toi обучающиеся ожидают вызова для доведения результатов ГАИ, а ГЭК переходит в последующие виртуальные аудитории для заслушивания обучающихся с учетом времени z.
Если количество виртуальных аудиторий, спланированных с учетом выполнения условия (1), превышает количество обучающихся, свободные виртуальные аудитории становятся резервными на случай технических неисправностей, возникших в основных виртуальных аудиториях в день проведения ГАИ.
По завершении заслушиваний всех обучающихся одним из прокторов создается виртуальная аудитория для заседания ГЭК и доведения обучающимся результатов ГАИ.
Сценарии ГИА, совместная работа проктора и участников ГАИ апробированы в Санкт-Петербургском университете ГПС МЧС России. В эксперименте приняли участие более 1000 чел. в период ГИА в июне 2020 г., и более 200 чел. в январе 2021 г.
Экспертный опрос участников ГАИ (488 чел.):
− констатировал высокую оценку организации проведения ГАИ с применением ДОТ председателей ГЭК и «внешними» членами ГЭК;
− подтвердил оперативность решения проктором технических проблем, возникающих у участников ГАИ;
− удостоверил создание максимально комфортных технических условий для всех участников ГАИ;
− повысил психоэмоциональную и техническую уверенность обучающихся в период прохождения ГАИ;
− засвидетельствовал снижение технической сложности подключения к виртуальной аудитории обучающегося членов ГЭК, в том числе не имеющих опыта «внешних» представителей, а также возрастных педагогов и педагогов с низким уровнем владения персональным компьютером и программным обеспечением.
По результатам исследования получено свидетельство о государственной регистрации программы для ЭВМ «Автоматизированный расчет регламента проведения государственных аттестационных испытаний с применением дистанционных образовательных технологий» № 2021610178 от 12.01.2021 г. Правообладатель ФГБОУ ВО «Санкт-Петербургский университет Государственной противопожарной службы Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий».
Заключение
Таким образом, исследование с целью разработки и апробации новационного подхода к применению технологии синхронного прокторинга на ГАИ, отвечающей требованиям нормативно-правовой базы в области образования в Российской Федерации и нацеленной на повышение эффективности оценки результатов профессиональной подготовки в образовательных организациях высшего образования позволяет сформулировать ряд выводов.
1. Период пандемии выявил недостаток существующих инфраструктурных возможностей, цифровых ресурсов и инструментов, методических решений для осуществления ГИА посредством ДОТ, что обусловливает поиск новых технологических решений, научно обоснованного педагогического инструментария онлайн-оценки при проведении промежуточной и итоговой аттестации.
2. Анализ существующих российских подходов к онлайн-проведению ГИА показал, что при решении этой задачи наиболее целесообразна технология синхронного прокторинга.
3. Применение синхронного прокторинга требует решения взаимосвязанных задач технического и организационного характера:
− обеспечение идентификации личности обучающегося;
− определение организатора виртуальной аудитории для участников ГАИ;
− техническое администрирование и модерирование виртуальных аудиторий;
− выделение времени на подготовку к ответу, предусмотренного локальным нормативным актом, при сдаче государственного экзамена;
− организация контроля обучающегося во время его подготовки к ответу при сдаче государственного экзамена;
− приём государственного экзамена и рассмотрение выпускных квалификационных работ у утвержденного в расписании количества обучающихся в рамках нормативного рабочего времени педагогических работников.
4. Решение вузами совокупности задач при проектировании сценариев онлайн-мероприятий ГАИ в 2020 г. имело отдельные недостатки и затруднения при выполнении нормативных требований.
5. Комплексным решением задач организации работы ГЭК с применением ДОТ способен стать новый подход, имеющий принципиальное отличие от существующих и заключающийся в отказе от сценариев, в которых осуществляется подключение обучающегося к ГЭК для сдачи ГАИ. Разработанный сценарий для заслушивания ответа или доклада осуществляется по новационному подходу: проктор приглашает и подключает членов ГЭК в виртуальную аудиторию обучающегося, в которой он под видеоконтролем готовился к ответу.
6. Разработка предложенного порядка организации виртуальных аудиторий для дистанционного участия в ГАИ, в котором время подготовки, ответа и работы с ГЭК должно быть чётко регламентировано и спланировано для каждого обучающегося в соответствии с нормативными требованиями, включила усиление роли проктора в процедуре ГАИ.
7. Разработка синхронного прокторинга в период ГАИ в соответствии с новационным подходом включила решение задачи расчёта регламента времени работы всех участников ГАИ на основе линейных алгебраических выражений и неравенств.
8. Апробация новационного подхода к планированию регламентов дистанционного проведения ГАИ и их сопровождение проктором (группой прокторов) доказала его преимущества, так как позволила:
− повысить эффективность работы ГЭК при соблюдении нормативных требований;
− обеспечить равноправные условия всем обучающимся в период ГАИ по нормативным требованиям ко времени подготовки;
− использовать резервные виртуальные аудитории при возникновении технических проблем в основных виртуальных аудиториях;
− снизить операционную, техническую и психоэмоциональную нагрузку на обучающихся, секретаря и членов ГЭК.
9. Внедрение новационного подхода к применению технологии синхронного прокторинга не только позволило решить проблемные задачи проведения ГИА с применением ДОТ, но и разрешить противоречие классического очного проведения государственного экзамена: был выполнен принцип справедливости по критерию времени подготовки обучающегося к ответу (четвертый зашедший в аудиторию имеет время, равное времени на подготовку первого).
Библиографическая ссылка
Булат Р.Е., Байчорова Х.С., Лебедев А.Ю., Никитин Н.А. НОВАЦИОННЫЙ ПОДХОД К ПРИМЕНЕНИЮ СИНХРОННОГО ПРОКТОРИНГА НА ГОСУДАРСТВЕННЫХ АТТЕСТАЦИОННЫХ ИСПЫТАНИЯХ // Современные наукоемкие технологии. – 2022. – № 4. – С. 143-150;URL: https://top-technologies.ru/ru/article/view?id=39123 (дата обращения: 24.04.2024).