Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

В последнее время все большую популярность набирает реализация образовательных программ с применением электронного обучения и дистанционных образовательных технологий. С точки зрения законодательства под электронным обучением понимается организация образовательной деятельности с применением содержащейся в базах данных и используемой при реализации образовательных программ информации и обеспечивающих ее обработку информационных технологий, технических средств, а также информационно-телекоммуникационных сетей, обеспечивающих передачу по линиям связи указанной информации, взаимодействие обучающихся и педагогических работников [1].

В большинстве случаев для реализации образовательных программ с использованием электронного обучения используются различные LMS-системы (learning management system, системы управления обучением), например LMS Moodle, а проведение дисциплины осуществляется с помощью электронного онлайн-курса (ЭОК). Следует отметить, что электронные онлайн-курсы важны не только для обеспечения дистанционной формы обучения, на которую вузы (часто вынужденно) переходят в условиях антиковидных ограничений, но и в первую очередь как средство поддержки очной (и смешанной) форм обучения, в рамках которой они могут решать задачи информационной, методической и технологической поддержки образовательного процесса. Таким образом, при использовании в учебном процессе электронного обучения и дистанционных образовательных технологий (ЭО и ДОТ) образовательные учреждения должны обеспечить высокое качество создаваемых ЭОК.

На текущий момент вузы стали массово разрабатывать и внедрять в учебный процесс электронные учебные курсы. Это привело к большому количеству используемых ЭОК, например в ФГБОУ ВО «Байкальский государственный университет» за 2021–2022 учебный год использовалось более 1100 электронных учебных курсов. Курсы обычно разрабатываются преподавателями кафедр, которые ведут учебные дисциплины, а проверка курсов на соответствие рабочей программе и качество учебного контента возложена на учебный отдел. Стоит отметить, что ЭОК могут ежегодно модифицироваться и дополняться учебными материалами. Очевидно, что регулярно контролировать ЭОК «глазами и руками» в таких условиях достаточно тяжело (не стоит забывать, что это не единственная и даже не основная задача учебного отдела), в результате чего в работе ставится задача разработать модель скоринговой оценки электронного курса, которая незаменима при необходимости обработки больших массивов информации в условиях ограниченного объема времени и ресурсов. Ее использование позволит существенно «убыстрить» проведение контроля в рамках первичной экспертизы и последующего регулярного контроля.

Материалы и методы исследования

При определении понятия «качество образования» принято выделять три основных категории: качество содержания образования; качество результатов образования; качество образовательных технологий [2]. Содержание образования задается государственными образовательными стандартами, результаты образования оцениваются уровнем соответствия освоенных обучающимися компетенциями стандартам и квалификационным требованиям, предъявляемым к специалистам, а образовательные технологии, применяемые в процессе обучения, выбираются и обеспечиваются, как правило, учебным заведением. Различия подходов к проектированию ЭОК зачастую определяются совокупностью ситуационных факторов, к их числу можно отнести информационную инфраструктуру образовательной организации, используемую систему LMS, дидактические ограничения для отдельных дисциплин и учебных программ и пр. [3]. Это приводит к тому, что структура ЭОК и его представление может существенно отличаться в разных вузах, а для контроля качества реализации ЭОК вузы вынуждены самостоятельно разрабатывать различные стандарты и методики.

Если провести аналогию с разработкой программного обеспечения, то жизненный цикл ЭОК будет состоять из четырёх основных этапов (рис. 1).

Очевидно, что при таком подходе в жизненном цикле электронного онлайн-курса в качестве основных, фундаментальных этапов следует выделить этапы проектирования и разработки, а качество создаваемого электронного онлайн-курса зависит от самого учебно-методического материала, используемых информационных технологий, методов организации обучения с использованием ЭО и ДОТ. При этом обязательно нужно учитывать, что все реализуемые компоненты должны соответствовать законодательным, нормативным и техническим требованиям, в частности федеральным образовательным стандартам, рабочим программам и фондам оценочных средств [4].

Рис. 1. Жизненный цикл электронного курса

Рис. 2. Иерархическая система показателей: Х0 – оценка ЭОК в целом, Х1,…, ХМ – оценка M-группы показателей, множество x – оценки соответствующих показателей в группах

Оценка ЭОК может осуществляться на каждом этапе, но ключевым является этап тестирования, чтобы в случае необходимости внести корректировки в курс до ввода его в эксплуатацию. На этом этапе следует провести скоринговую оценку разработанного электронного курса по ряду показателей, среди которых можно выделить следующие группы:

− показатели, характеризующие соответствие курса формальным требованиям;

− показатели, характеризующие качество образовательного контента;

− показатели организационного обеспечения;

− показатели, характеризующие контролирующие функции.

Иерархическая система показателей, по которой осуществляется оценка, представлена на рис. 2.

Таким образом, предлагаемая в работе методика построения модели скоринговой оценки электронного курса предполагает выделение иерархии показателей (признаков), по которым можно сделать оценку как отдельных компонентов ЭОК, так и электронного курса в целом. На построенную иерархическую систему показателей необходимо наложить систему весовых коэффициентов Р = {pi ,…, pM}. Для определения значащих критериев (а также их весовых коэффициентов) следует привлечь группу экспертов. Для определения значений весовых коэффициентов в работе предлагается использовать систему, описанную в работе Фишберна [5]. Ее очень удобно применять в ситуациях большой неопределенности: экспертам нет необходимости указывать конкретные числовые значения (что может привести к большим разногласиям), достаточно просто указать степень предпочтения одних показателей к другим (по сути, проранжировать показатели по их важности (вкладу) в итоговую оценку). Варианты предпочтения: строгое предпочтение, нестрогое предпочтение, безразличие

Тогда системе убывающего предпочтения альтернатив наилучшим образом отвечает система снижающихся по правилу арифметической прогрессии весов:

.

Данная схема может применяться как для оценки общего показателя – качества ЭОК (Х0), так и для оценки частных показателей – выделенных групп показателей (Х1,…, Х4).

В результате расчет оценки качества ЭОК (и групп показателей) сводится к аддитивной свертке – произведение векторов значений на векторы весовых коэффициентов.

Результаты исследования и их обсуждение

Для формирования системы показателей и построения модели скоринговой оценки электронных курсов в университете была создана специальная рабочая группа, включающая представителей профессорско-преподавательского состава университета и учебного отдела. Были определены следующие основные группы показателей: {Х1 – формальные требования, Х2 – качество учебного контента, Х3 – организационное обеспечение, Х4 – контрольно-измерительные материалы}.

Далее в каждой группе определены конкретные показатели и оцениваемые характеристики, которые представлены в таблице (используемые сокращения: РП – Рабочая программа дисциплины, ФОС – фонд оценочных средств).

Составляющие системы оценки электронного курса

В результате опроса экспертной группы получены следующие значения весовых коэффициентов: для итоговой оценки электронного курса Х0 – {0,285;0,285;0,145;0.285}; для Х1 – {0,166;0,166;0.333;0.333}; для Х2 –{0,285; 0,145;0.425; 0,145}; для Х3 – {0,5;0,333;0,166}; Х4 – {0,4;0,4;0,2} (последовательность совпадает с последовательностью показателей в таблице.

Реализация электронных курсов в системе Moodle и наличие развитой информационной системы университета [6, 7] позволили получить значения большинства показателей автоматически из базы данных, например, путем сравнения наличия тем в ЭОК и тем в РП, лекций в ЭОК и тем в РП и т.п. (источник АСУ ВУЗ в таблице). Только два показателя требуют оценки экспертов (из числа преподавателей кафедр).

В результате проведенной скоринговой оценки разработанных во ФГОБУ ВО БГУ и последующего «ручного» контроля определены следующие группы курсов и их типовые оценки:

− При оценке курса от 0,85 до 1 – курс может быть использован в образовательном процессе без каких-либо ограничений (в дистанционном формате обучения, смешанном формате), дополнительная «ручная» экспертиза обычно не требуется.

− При оценке курса от 0,6 до 0,85 – курс имеет определённые недостатки (могут быть представлены не все учебные элементы, может не хватать ряда тестов и инструкций и пр.). Курс можно использовать в смешанном обучении, для использования в дистанционном следует провести доработку курса. Возможно, потребуется дополнительная «ручная» экспертиза.

− Оценка курса меньше 0,6 – курс имеет существенные недоработки и/или не соответствует рабочей программе. Проведение обучения по такому курсу не рекомендуется. Часто курсы с такими оценками используются преподавателями как вспомогательное средство, например для проведения аттестаций, или как вариант методического пособия.

Использование предлагаемой в работе модели имеет свои плюсы и минусы. Среди основных преимуществ можно выделить:

− Экономия времени, ресурсов и, как следствие, финансовых затрат на экспертизу ЭОК. Вручную проверять каждый курс, сверяясь с его с рабочей программой, на практике нереально. Реализация скоринговой оценки позволяет автоматически сопоставлять ЭОК с РП и ФОС дисциплины, проверить наличие необходимых элементов и атрибутов в курсе.

− Существенно сокращается срок первичной экспертизы. Значение оценки (и ее изменение в динамике) сигнализирует о курсах, на которые следует обратить внимание.

− Нет предвзятости и субъективизма. Оценка не «поддается» субъективному мнению работников и объективно оценивает наличие необходимых элементов в электронных курсах.

Система скоринга имеет и недостатки:

− Оценка с использованием модели оценивает не напрямую качество учебного контента, а формальные требования, которые ставятся перед разработчиком электронного курса. Соответственно, зная особенности алгоритма проверки, разработчик электронного курса имеет возможность «формально» подойти к своей работе.

− Скоринг пока не учитывает работу преподавателей в электронных курсах. Ведь жизненный цикл ЭОК включает и этап эксплуатации. В образовательном процессе нельзя умалять роль преподавателя и личных контактов (даже если они осуществляются с использованием средств ИТ-коммуникаций).

Заключение

К достоинствам предлагаемой в работе методики можно отнести то, что состав показателей (и групп), входящих в предлагаемую скоринговую модель оценивания, может изменяться, не изменяя при этом саму структуру (возможно, потребуется изменение системы весовых коэффициентов), есть возможность оценки как обобщенного показателя качества ЭОК, так и частных показателей по какой-либо группе, а также возможность автоматизации расчета оценок (множество значений показателей можно в автоматическом режиме брать из базы данных E-LMS и, при наличии такой возможности, сопоставлять их с данными в информационной системе университета).

В результате апробации модели в учебном процессе ФГБОУ ВО БГУ были сформированы допустимые пороговые значения оценки ЭОК в целом, так и по группам показателей. Уход значений показателей вниз за пороговые значения служит сигналом для пересмотра и возможной переработки электронного онлайн-курса.

Использование данной модели существенно упрощает проведение первичной оценки созданных в университете электронных онлайн-курсов и служит повышению качества образовательного процесса в общем.