В настоящее время сфера применения средств вычислительной техники в образовании постоянно расширяется. В образовательном процессе использование современных информационных технологий становится средой функционирования учебного процесса и ведет к становлению новых образовательных технологий, получаемых, например, в сочетании дистанционного обучения и педагогического тестирования на основе образовательных стандартов.
Также наблюдается тенденция к формированию единого структурированного образовательного информационного пространства, как некоторой информационной среды, в которую человек попадает с момента начала его обучения в начальной школе, и которая сопровождает его на протяжении жизни в образовательной, профессиональной и прочих видах деятельности.
В разрезе данного тренда создано множество обучающих информационных систем, больших и малых, технологии которых используются в настоящее время в вузах в рамках электронных информационно-образовательных сред (ЭИОС).
Интенсификация использования электронного обучения и дистанционных образовательных технологий обусловлена следующими их свойствами:
− позволяют снижать затраты на организацию учебного процесса;
− обеспечивают возможностью обучения из любой точки мира в удобное время;
− могут использоваться в экстренных ситуациях (например, в случае пандемии COVID-19).
Однако не все электронные обучающие системы равноценны. Они обладают различным функционалом, наглядностью, сложностью, инерционностью и т.д. Как следствие, и качество обучения в них различно. Таким образом, приобретает актуальность сравнительный анализ и оценка эффективности электронных образовательных систем.
Цель исследования: на основе анализа методов оценки эффективности информационных систем разработка наиболее адекватного в современных реалиях метода для оценки эффективности электронных образовательных систем.
Материал и методы исследования
Проблема оценки эффективности информационных систем достаточно хорошо изучена. На предмет эффективности и возможности использования в конкретных ситуациях анализируются такие методы, как метод функциональной точки [1], котловой метод [1], совокупная стоимость владения [2; 3], потребительский индекс [1; 2], экономическая добавленная стоимость [1; 2; 4], источник экономической стоимости [1; 2], cреднеотраслевые результаты [1], модель совокупного экономического эффекта [4], Гартнер-измерение [1; 2], функционально-стоимостной анализ [1], метод последовательных уступок [5], метод анализа иерархий [5], экспертный метод [6], оценка на основе анализа рисков [7] и другие. Эти методы направлены на выявление в конечном счете экономического эффекта, который достигается за счет внедрения или использования информационной системы.
Однако, применительно к образовательным информационным системам, использование этих методов является не совсем оправданным, поскольку не учитывается качество обучения в системе – эффективность информационной системы с точки зрения обучающихся.
Оценка эффективности обучения часто базируется на модели Киркпатрика, предложенной еще в 1959 году и весьма эффективно используемой [8-10]. Но данная модель, как и ее усовершенствованная модификация [11], напрямую не учитывают эффект от использования образовательной информационной системы, получаемый обучающей организацией.
Наибольший интерес для обучающих организаций, по нашему мнению, представляют такие образовательные информационные системы, которые позволяют обеспечивать высокий уровень качества обучения с одновременным повышением экономического эффекта, считаем, что и эффективность образовательных информационных систем следует учитывать посредством комплексного показателя, учитывающего и качество обучения, и экономическую эффективность.
Авторы предлагают для оценки эффективности образовательных информационных систем вуза использовать «комплексный индекс полезности электронной информационно-образовательной среды» (КИП ЭИОС), включающий, с одной стороны, показатели «полезности ЭИОС для обучающихся» (согласно усовершенствованной модели Киркпатрика), и с другой – показатели экономической эффективности от использования системы для вуза.
Усовершенствованная методика проведения оценки эффективности обучения [11] включает показатели:
1. Оценка реакции слушателей посредством анализа листов реагирования или анкетирования.
2. Оценка знаний и навыков посредством профессионального тестирования или экзаменов.
3. Оценка поведения после обучения посредством субъективной оценки в ходе, например, собеседования в стиле коучинг или мозгового штурма по проблемам коллектива.
4. Проверка владения полученными навыками путем обучения других сотрудников.
5. Оценка практических навыков путем выполнения типового задания.
6. Оценка влияния программы обучения – измерение целевого показателя, для улучшения которого проводилось обучение (улучшение качества, увеличение производительности труда персонала, увеличение продаж и др.).
Оценку реакции слушателей предлагается осуществлять при помощи следующего индекса:
Ilr = Qs / n, (1)
где Qs – количество обучаемых, довольных результатами обучения;
n – количество всех обучаемых, прошедших программу.
Оценку знаний и навыков предлагаем осуществлять аналогичным образом:
Iks = Qp / n, (2)
где Qp – количество обучаемых, успешно прошедших тестирование.
Оценку поведения после обучения предлагаем производить следующим образом:
,(3)
где ri – субъективная оценка, выставленная i-му обучаемому по результатам испытания в баллах;
b – максимальное количество баллов в выбранной системе оценок.
Авторы считают, что проверку владения полученными навыками путем обучения других сотрудников можно осуществить путем тестирования обучаемых сотрудников посредством тех же самых проверочных заданий, которые использовались при оценке знаний и навыков обучаемых, прошедших программу:
Iss = Qps / Qts , (4)
где Qps – количество сотрудников, успешно прошедших тестирование;
Qts – количество всех сотрудников, обучившихся у прошедших первоначальную программу.
Оценку практических навыков путем выполнения типового задания предлагаем осуществлять как:
, (5)
где mi – процент выполнения типового задания i-м обучаемым.
Оценку влияния программы обучения предлагаем производить на основе процента выполнения плана по целевому показателю, ради которого проводилось обучение:
, (6)
где ∆Vf – фактическое изменение целевого показателя по i-му обучаемому;
∆Vp – плановое изменение целевого показателя.
Последние 3 показателя (проверка владения полученными навыками, оценка практических навыков и оценка влияния программы обучения) целесообразно использовать при обучении не студентов, а действующих сотрудников организаций или промышленных предприятий, например, в рамках повышения квалификации.
Таким образом, итоговую оценку ЭИОС для обучающихся предлагаем осуществлять по формуле:
IS = Ilr ∙ Iks ∙ Ib ∙ Iss ∙ Itt ∙ It . (7)
В качестве показателей эффективности ЭИОС для вуза предлагаем использовать следующие, являющиеся, с нашей точки зрения, наиболее важными:
1. Увеличение (или снижение) прибыли при использовании ЭИОС за счет увеличения (или снижения) оплаты за обучение.
2. Снижение затрат на сопровождение учебного процесса за счет электронного документооборота и сокращения накладных расходов (электричество, теплоэнергия в аудиториях и т.д.).
3. Рост количества обучаемых. Вследствие использования ЭИОС снижается влияние территориальной удаленности обучаемых, т.о., теоретически большее количество обучаемых может быть привлечено.
4. Рост производительности за счет использования ЭИОС. За счет совершенствования процессов сдачи, проверки, выдачи работ, выставления оценок и т.д. большее количество работ может быть проверено в единицу времени. Аналогично, большее количество студентов может быть обучено в единицу времени.
Важно также разделять и учитывать как стоимость ЭИОС, так и ежегодные затраты на ее эксплуатацию и содержание (включая трудоемкость создания учебных материалов). Существуют относительно недорогие системы с высокими эксплуатационными расходами, и наоборот.
Таким образом, эффективность ЭИОС для вуза можно оценить, вычислив следующий индекс:
, (8)
где ∆P – изменение ежегодной прибыли при использовании ЭИОС за счет изменения оплаты за обучение;
∆Csp – изменение ежегодных затрат на сопровождение учебного процесса;
t – предполагаемый срок эксплуатации ЭИОС;
Csw – стоимость приобретения (проектирования) ЭИОС;
Cso – ежегодные затраты на эксплуатацию и содержание ЭИОС (включая ежегодные затраты на создание учебных материалов);
∆E – изменение производительности за счет использования ЭИОС, выраженное в стоимостных единицах;
∆Q – изменение численности обучаемых при использовании ЭИОС.
Комплексный индекс полезности электронной информационно-образовательной среды можем вычислять по формуле:
IE = IS ∙ IU . (9)
Данная методика представляется более адекватной при проведении оценки эффективности ЭИОС как таковой, поскольку учитывает как экономическую эффективность ее применения, так и эффективность обучения на ее основе. Поскольку возможна ситуация, когда, согласно формуле (9), снижение эффективности обучения в ЭИОС может быть компенсировано повышением экономической эффективности, и наоборот, а также принимая во внимание, что в интересах обучающей организации использовать как минимум безубыточные системы, предлагается использовать показатели IU и IE в комплексе при выборе ЭИОС.
Представляется целесообразным рассчитывать эти показатели для каждой альтернативной ЭИОС и выбирать безубыточную систему с наибольшим значением комплексного индекса полезности (IE max, при IU > 1). Такой выбор обусловлен предположением, что системы, обеспечивающие низкую эффективность обучения, со временем перестанут быть востребованными со стороны обучающихся, что в свою очередь приведет к снижению количества обучаемых и прибыли.
Использование предложенного подхода к оценке ЭИОС может быть осложнено следующими условиями:
1. Могут быть использованы разные методики обучения для одной и той же дисциплины. Влияние методики обучения может исказить конечный результат оценки эффективности обучающей системы.
2. Изначальный уровень подготовки обучающихся в разных системах может быть различным.
3. Различные ЭИОС обладают различными наборами обучающих средств, обладающих различной эффективностью. Также некоторые обучающие средства при обучении определенным дисциплинам показывают свою эффективность, а при обучении другим дисциплинам – нет. Корректность выбора обучающего средства для определенной дисциплины или типа занятия также накладывает свой отпечаток на итоговую оценку эффективности всей ЭИОС.
Таким образом, для наиболее точного выявления эффективности различных ЭОИС считаем возможным проведение тестового обучения с последующей оценкой ЭИОС при помощи показателей IU и IE по описанной выше методике. Для обеспечения «чистого эксперимента» желательно выполнить следующие условия:
− обучение должно проводиться по одной методике обучения одним и тем же преподавателем (группой преподавателей);
− обучение в различных ЭИОС должно проводиться по одному и тому же перечню дисциплин, соответственно и оценка ЭИОС должна проводиться по этим дисциплинам;
− участники для тестового обучения должны отбираться из примерно одной и той же социальной среды и обладать схожими признаками (возраст, уровень образования, квалификация, опыт, социальный статус и т.д.).
Даже если эти условия не могут быть выполнены, по предложенной методике можно осуществлять сравнения различных ЭИОС в целом, безотносительно специфики дисциплин, предлагаемых обучающей организацией. Однако соблюдение этих условий, во-первых, покажет возможность применения ЭИОС для обучения по определенным направлениям (специальностям), и, во-вторых, позволит оценивать эффективность методик обучения и обучающих средств в рамках ЭИОС.
Допустим, мы оценили две ЭИОС с помощью предложенной выше методики. Тогда для оценки методик обучения можем провести несколько тестовых обучений в рамках одной ЭИОС по одной дисциплине (группе дисциплин), с использованием одних и тех же обучающих средств, но с применением различных методик обучения. Тогда отношение комплексных индексов полезности, получаемых при применении каждой из методик, к индексу полезности второй ЭИОС (назовем этот показатель индексом методики обучения – IEM) покажет эффективность одного метода относительно другого:
IEMn = IE1n / IE2 , (10)
где IE1n – комплексный индекс полезности первой ЭИОС, получаемый при применении методики n;
IE2 – комплексный индекс полезности первой ЭИОС.
Аналогичным образом можем оценить эффективность обучающего средства, используя в тестовом обучении одну и ту же методику, но с применением различных средств обучения:
IETn = IE1m / IE2 , (11)
где IE1m – комплексный индекс полезности первой ЭИОС, получаемый при применении обучающего средства m;
IE2 – комплексный индекс полезности первой ЭИОС;
IETn – индекс средства обучения.
И также:
IEDl = IE1l / IE2 , (12)
где IE1l – комплексный индекс полезности первой ЭИОС, получаемый при обучении дисциплине l;
IE2 – комплексный индекс полезности первой ЭИОС;
IEDl – индекс дисциплины.
Результаты исследования и их обсуждение
Таким образом, в результате исследования мы получили инструмент для оценки эффективности электронных обучающих систем и их отдельных компонентов, представляющий большую гибкость и эффективность, чем методики оценки, предлагаемые в публикациях ранее. Применительно к управлению вузом полезно рассмотреть следующие возможные ситуации:
1. IE max, при IU > 1. Это наиболее предпочтительный вариант для вуза в разрезе долгосрочной перспективы. ЭИОС приносит прибыль, пусть не максимальную, но обладает наивысшим показателем соотношения полезности для обучающихся и для вуза.
2. IE >1, при IU max. Также достаточно привлекательный вариант для вуза. ЭИОС наиболее прибыльна при приемлемом и достаточно стабильном показателе соотношения полезности для обучающихся и для вуза. Однако в будущем такие ЭИОС могут потерять актуальность перед более эффективными системами (с т. зр. соотношения полезности для обучающихся и для вуза).
3. IE <1, при IU max. Нежелательный для вуза вариант, несмотря на высокий показатель прибыльности. Очевидно, что такая ЭИОС будет обладает низким обучающим потенциалом, и ее актуальность с точки зрения обучающихся будет потеряна.
4. IE >1, или IE max при IU <1. Также нежелательный вариант для вуза, несмотря на высокое значение показателя соотношения полезности для обучающихся и для вуза. В данном случае прибыль не покрывает затраты на ЭИОС, как следствие, вуз терпит убыток. Использовать данный вариант можно только при уверенности в актуальности данной ЭИОС в будущем (для чего требуется провести дополнительный анализ) и тщательно выстроенной бизнес-стратегии, гарантирующей получение дополнительной прибыли за счет нахождения дополнительных сфер использования ЭИОС.
Заключение
Предложенная в данной статье методика позволяет более комплексно и эффективно оценивать полезность ЭИОС для вуза, поскольку учитывает как показатели коммерческой эффективности, так и эффективность обучения. Это позволит вузу более эффективно выстраивать стратегию развития, выбирая наиболее современные и эффективные обучающие системы, и максимизировать при этом прибыль.
Также при работе над статьей были получены вспомогательные методики, позволяющие оценить эффективность обучающих методик (индекс методики обучения), средств обучения (индекс средств обучения) и эффективность ЭИОС при обучении определенной дисциплине (индекс дисциплины). По значениям полученных индексов мы можем осуществить выбор конкретных методик и средств обучения при составлении обучающих программ и реализации их в рамках выбранной ЭИОС.