Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

SCORING MODEL OF ONLINE COURSE AS A TOOL FOR EDUCATIONAL PROCESS QUALITY MANAGEMENT

Rodionov A.V. 1
1 Baikal State University
The article considers a number of theoretical, practical and methodological issues related to determining the readiness of an electronic course for implementation in the educational process by forming an integral assessment of an electronic course. The most popular way of e-learning in educational organizations has become the use of learning management system, which has led to the widespread use of electronic online courses. Electronic online courses in educational organizations are usually developed on the basis of the approved work program of the discipline, to which it must fully comply. The quality of the educational process when using e-learning and distance learning technologies depends very much on the quality of the online courses used. Thus, before using the course in the educational process, it is advisable to first assess its viability and the possibility of using it. The article proposes a scoring model for assessing an e-learning course, built on a set of quality indicators in the form of a hierarchical structure. As a result of the study with the involvement of a group of experts, the measured parameters were determined, a system of weighting factors was built. The model was tested on a number of courses used in the educational process, assessment intervals were determined and their interpretation was given.
electronic online course
scoring
course quality
distance learning
evaluation criteria

В последнее время все большую популярность набирает реализация образовательных программ с применением электронного обучения и дистанционных образовательных технологий. С точки зрения законодательства под электронным обучением понимается организация образовательной деятельности с применением содержащейся в базах данных и используемой при реализации образовательных программ информации и обеспечивающих ее обработку информационных технологий, технических средств, а также информационно-телекоммуникационных сетей, обеспечивающих передачу по линиям связи указанной информации, взаимодействие обучающихся и педагогических работников [1].

В большинстве случаев для реализации образовательных программ с использованием электронного обучения используются различные LMS-системы (learning management system, системы управления обучением), например LMS Moodle, а проведение дисциплины осуществляется с помощью электронного онлайн-курса (ЭОК). Следует отметить, что электронные онлайн-курсы важны не только для обеспечения дистанционной формы обучения, на которую вузы (часто вынужденно) переходят в условиях антиковидных ограничений, но и в первую очередь как средство поддержки очной (и смешанной) форм обучения, в рамках которой они могут решать задачи информационной, методической и технологической поддержки образовательного процесса. Таким образом, при использовании в учебном процессе электронного обучения и дистанционных образовательных технологий (ЭО и ДОТ) образовательные учреждения должны обеспечить высокое качество создаваемых ЭОК.

На текущий момент вузы стали массово разрабатывать и внедрять в учебный процесс электронные учебные курсы. Это привело к большому количеству используемых ЭОК, например в ФГБОУ ВО «Байкальский государственный университет» за 2021–2022 учебный год использовалось более 1100 электронных учебных курсов. Курсы обычно разрабатываются преподавателями кафедр, которые ведут учебные дисциплины, а проверка курсов на соответствие рабочей программе и качество учебного контента возложена на учебный отдел. Стоит отметить, что ЭОК могут ежегодно модифицироваться и дополняться учебными материалами. Очевидно, что регулярно контролировать ЭОК «глазами и руками» в таких условиях достаточно тяжело (не стоит забывать, что это не единственная и даже не основная задача учебного отдела), в результате чего в работе ставится задача разработать модель скоринговой оценки электронного курса, которая незаменима при необходимости обработки больших массивов информации в условиях ограниченного объема времени и ресурсов. Ее использование позволит существенно «убыстрить» проведение контроля в рамках первичной экспертизы и последующего регулярного контроля.

Материалы и методы исследования

При определении понятия «качество образования» принято выделять три основных категории: качество содержания образования; качество результатов образования; качество образовательных технологий [2]. Содержание образования задается государственными образовательными стандартами, результаты образования оцениваются уровнем соответствия освоенных обучающимися компетенциями стандартам и квалификационным требованиям, предъявляемым к специалистам, а образовательные технологии, применяемые в процессе обучения, выбираются и обеспечиваются, как правило, учебным заведением. Различия подходов к проектированию ЭОК зачастую определяются совокупностью ситуационных факторов, к их числу можно отнести информационную инфраструктуру образовательной организации, используемую систему LMS, дидактические ограничения для отдельных дисциплин и учебных программ и пр. [3]. Это приводит к тому, что структура ЭОК и его представление может существенно отличаться в разных вузах, а для контроля качества реализации ЭОК вузы вынуждены самостоятельно разрабатывать различные стандарты и методики.

Если провести аналогию с разработкой программного обеспечения, то жизненный цикл ЭОК будет состоять из четырёх основных этапов (рис. 1).

Очевидно, что при таком подходе в жизненном цикле электронного онлайн-курса в качестве основных, фундаментальных этапов следует выделить этапы проектирования и разработки, а качество создаваемого электронного онлайн-курса зависит от самого учебно-методического материала, используемых информационных технологий, методов организации обучения с использованием ЭО и ДОТ. При этом обязательно нужно учитывать, что все реализуемые компоненты должны соответствовать законодательным, нормативным и техническим требованиям, в частности федеральным образовательным стандартам, рабочим программам и фондам оценочных средств [4].

missing image file

Рис. 1. Жизненный цикл электронного курса

missing image file

Рис. 2. Иерархическая система показателей: Х0 – оценка ЭОК в целом, Х1,…, ХМ – оценка M-группы показателей, множество x – оценки соответствующих показателей в группах

Оценка ЭОК может осуществляться на каждом этапе, но ключевым является этап тестирования, чтобы в случае необходимости внести корректировки в курс до ввода его в эксплуатацию. На этом этапе следует провести скоринговую оценку разработанного электронного курса по ряду показателей, среди которых можно выделить следующие группы:

− показатели, характеризующие соответствие курса формальным требованиям;

− показатели, характеризующие качество образовательного контента;

− показатели организационного обеспечения;

− показатели, характеризующие контролирующие функции.

Иерархическая система показателей, по которой осуществляется оценка, представлена на рис. 2.

Таким образом, предлагаемая в работе методика построения модели скоринговой оценки электронного курса предполагает выделение иерархии показателей (признаков), по которым можно сделать оценку как отдельных компонентов ЭОК, так и электронного курса в целом. На построенную иерархическую систему показателей необходимо наложить систему весовых коэффициентов Р = {pi ,…, pM}. Для определения значащих критериев (а также их весовых коэффициентов) следует привлечь группу экспертов. Для определения значений весовых коэффициентов в работе предлагается использовать систему, описанную в работе Фишберна [5]. Ее очень удобно применять в ситуациях большой неопределенности: экспертам нет необходимости указывать конкретные числовые значения (что может привести к большим разногласиям), достаточно просто указать степень предпочтения одних показателей к другим (по сути, проранжировать показатели по их важности (вкладу) в итоговую оценку). Варианты предпочтения: строгое предпочтение, нестрогое предпочтение, безразличие

Тогда системе убывающего предпочтения альтернатив наилучшим образом отвечает система снижающихся по правилу арифметической прогрессии весов:

missing image file.

Данная схема может применяться как для оценки общего показателя – качества ЭОК (Х0), так и для оценки частных показателей – выделенных групп показателей (Х1,…, Х4).

В результате расчет оценки качества ЭОК (и групп показателей) сводится к аддитивной свертке – произведение векторов значений на векторы весовых коэффициентов.

Результаты исследования и их обсуждение

Для формирования системы показателей и построения модели скоринговой оценки электронных курсов в университете была создана специальная рабочая группа, включающая представителей профессорско-преподавательского состава университета и учебного отдела. Были определены следующие основные группы показателей: {Х1 – формальные требования, Х2 – качество учебного контента, Х3 – организационное обеспечение, Х4 – контрольно-измерительные материалы}.

Далее в каждой группе определены конкретные показатели и оцениваемые характеристики, которые представлены в таблице (используемые сокращения: РП – Рабочая программа дисциплины, ФОС – фонд оценочных средств).

Составляющие системы оценки электронного курса

Группа показателей

Показатель

Возможное значение

Источник

Формальные требования

Наличие аннотации дисциплины

Да/нет (1/0)

АСУ ВУЗ

 

Темы в ЭОК есть и совпадают с РП

Да/нет (1/0)

АСУ ВУЗ

 

Лекции в ЭОК есть и совпадают с РП

Да/нет (1/0)

АСУ ВУЗ

 

Материалы для семинаров/ лабораторных/ практик в ЭОК есть и совпадают с РП

Да/нет (1/0)

АСУ ВУЗ

Качество учебного контента

Оценка полноты представленных материалов в курсе

По шкале от 0 до 10, преобразование в диапазон 0–1.

Кафедра

 

Оценка новизны представленных материалов в курсе

По шкале от 0 до 10, преобразование в диапазон 0–1.

Кафедра

 

Наличие в курсе видеоматериалов

Да/нет (1/0)

АСУ ВУЗ

 

Наличие в курсе интерактивных материалов

Да/нет (1/0)

АСУ ВУЗ

Организационное обеспечение

Наличие в курсе инструкций к ресурсам и элементам

P/T, где P – количество элементов/ресурсов с пояснениями, P – общее количество

АСУ ВУЗ

 

Наличие в материалах разной степени сложности и возможность выбора траектории обучения

Да/нет (1/0)

АСУ ВУЗ

 

Наличие вспомогательных учебных материалов

Да/нет (1/0)

 

Контрольно-измерительные материалы

В ЭОК есть и совпадает с ФОС текущая аттестация

Да/нет (1/0)

АСУ ВУЗ

 

В ЭОК есть и совпадает с ФОС промежуточная аттестация

Да/нет (1/0)

АСУ ВУЗ

 

В ЭОК присутствуют элементы для самоконтроля

Да/нет (1/0)

АСУ ВУЗ

В результате опроса экспертной группы получены следующие значения весовых коэффициентов: для итоговой оценки электронного курса Х0 – {0,285;0,285;0,145;0.285}; для Х1 – {0,166;0,166;0.333;0.333}; для Х2 –{0,285; 0,145;0.425; 0,145}; для Х3 – {0,5;0,333;0,166}; Х4 – {0,4;0,4;0,2} (последовательность совпадает с последовательностью показателей в таблице.

Реализация электронных курсов в системе Moodle и наличие развитой информационной системы университета [6, 7] позволили получить значения большинства показателей автоматически из базы данных, например, путем сравнения наличия тем в ЭОК и тем в РП, лекций в ЭОК и тем в РП и т.п. (источник АСУ ВУЗ в таблице). Только два показателя требуют оценки экспертов (из числа преподавателей кафедр).

В результате проведенной скоринговой оценки разработанных во ФГОБУ ВО БГУ и последующего «ручного» контроля определены следующие группы курсов и их типовые оценки:

− При оценке курса от 0,85 до 1 – курс может быть использован в образовательном процессе без каких-либо ограничений (в дистанционном формате обучения, смешанном формате), дополнительная «ручная» экспертиза обычно не требуется.

− При оценке курса от 0,6 до 0,85 – курс имеет определённые недостатки (могут быть представлены не все учебные элементы, может не хватать ряда тестов и инструкций и пр.). Курс можно использовать в смешанном обучении, для использования в дистанционном следует провести доработку курса. Возможно, потребуется дополнительная «ручная» экспертиза.

− Оценка курса меньше 0,6 – курс имеет существенные недоработки и/или не соответствует рабочей программе. Проведение обучения по такому курсу не рекомендуется. Часто курсы с такими оценками используются преподавателями как вспомогательное средство, например для проведения аттестаций, или как вариант методического пособия.

Использование предлагаемой в работе модели имеет свои плюсы и минусы. Среди основных преимуществ можно выделить:

− Экономия времени, ресурсов и, как следствие, финансовых затрат на экспертизу ЭОК. Вручную проверять каждый курс, сверяясь с его с рабочей программой, на практике нереально. Реализация скоринговой оценки позволяет автоматически сопоставлять ЭОК с РП и ФОС дисциплины, проверить наличие необходимых элементов и атрибутов в курсе.

− Существенно сокращается срок первичной экспертизы. Значение оценки (и ее изменение в динамике) сигнализирует о курсах, на которые следует обратить внимание.

− Нет предвзятости и субъективизма. Оценка не «поддается» субъективному мнению работников и объективно оценивает наличие необходимых элементов в электронных курсах.

Система скоринга имеет и недостатки:

− Оценка с использованием модели оценивает не напрямую качество учебного контента, а формальные требования, которые ставятся перед разработчиком электронного курса. Соответственно, зная особенности алгоритма проверки, разработчик электронного курса имеет возможность «формально» подойти к своей работе.

− Скоринг пока не учитывает работу преподавателей в электронных курсах. Ведь жизненный цикл ЭОК включает и этап эксплуатации. В образовательном процессе нельзя умалять роль преподавателя и личных контактов (даже если они осуществляются с использованием средств ИТ-коммуникаций).

Заключение

К достоинствам предлагаемой в работе методики можно отнести то, что состав показателей (и групп), входящих в предлагаемую скоринговую модель оценивания, может изменяться, не изменяя при этом саму структуру (возможно, потребуется изменение системы весовых коэффициентов), есть возможность оценки как обобщенного показателя качества ЭОК, так и частных показателей по какой-либо группе, а также возможность автоматизации расчета оценок (множество значений показателей можно в автоматическом режиме брать из базы данных E-LMS и, при наличии такой возможности, сопоставлять их с данными в информационной системе университета).

В результате апробации модели в учебном процессе ФГБОУ ВО БГУ были сформированы допустимые пороговые значения оценки ЭОК в целом, так и по группам показателей. Уход значений показателей вниз за пороговые значения служит сигналом для пересмотра и возможной переработки электронного онлайн-курса.

Использование данной модели существенно упрощает проведение первичной оценки созданных в университете электронных онлайн-курсов и служит повышению качества образовательного процесса в общем.