Автоматизированные системы индивидуального тестирования в настоящее время используются все более широко. Растет их многообразие [1, 2], формы и методы применения [3, 4]. Этому способствует совершенствование IT-технологий и их выход на новый уровень. Например, все более активно внедряются методологии интеллектуального анализа данных [5, 6]. При этом требования к функциональным возможностям компьютерных сред индивидуального тестирования постоянно возрастают. В связи с этим также повышается как уровень базовых теоретических знаний и умений использования систем на практике, так и уровень владения навыками работы в данных информационных программных комплексах [7]. Будущему преподавателю необходимо, несмотря на интуитивно понятный интерфейс и эргономичность внедряемых в образовательный процесс систем индивидуального тестирования, получать навыки профессиональной работы с их функциональными инструментами.
На современном этапе развития образовательной системы уже недостаточно только умений использования готовых программных модулей для реализации индивидуального и группового обучения оптимальным образом. Особенно это становится актуальным в условиях распространения дистанционных форм обучения ввиду пандемии [8, 9]. Современные компьютерные системы тестирования позволяют либо как минимум генерировать необходимые наборы заданий из имеющегося банка данных, либо как максимум создавать собственные компоненты средств диагностики. Следовательно, для наиболее эффективной организации учебного процесса будущий учитель должен владеть этими средствами в совершенстве. Таким образом, возникает необходимость в обучении профессиональных кадров, способных применять весь спектр имеющихся средств индивидуального тестирования в повседневной практике.
Цель исследования – оценка уровня обученности студентов использованию в образовательном процессе систем индивидуального тестирования на примере программного комплекса «Advanced Tester».
Научная новизна состоит в описании этапов процесса обучения студентов применению инструментов автоматизированных систем индивидуального тестирования.
Материалы и методы исследования
Особенности организации учебного процесса на любом уровне современной системы образования предполагают активное внедрение различных методов оценки, диагностики и комплексного мониторинга знаний и умений учащихся. В соответствии с этим учитель должен знать специфику данных методов и быть готов применять их на практике. Эффективность же используемых подходов в настоящее время во многом определяется ввиду больших объемов информационных потоков практикой обращения к функциональным инструментам автоматизированных информационных систем. Работа программных приложений данного вида строится на различных методологиях математического моделирования на основе анализа совокупной информации об исследуемых объектах и связей между ними. Таким образом, арсенал современного успешного преподавателя [10] должен включать владение как базовыми методами математического моделирования индивидуальных образовательных траекторий, так и отдельными специальными приемами и практиками систем индивидуального тестирования учебных достижений учащихся.
Теоретико-методологической основой исследования выступают, с одной стороны, исследования в области деятельностного и системного подходов, а также теории личностно-ориентированного обучения. Данными вопросами в разное время занимались Ю.К. Бабанский, В.П. Беспалько, Д.Н. Богоявленский, Е.В. Бондаревская, Л.С. Выготский, З.И. Калмыкова, А.Н. Леонтьев, И.Я. Лернер, М.И. Махмутов, Н.Ф. Талызина, А.П. Тряпицына, И.С. Якиманская. С другой стороны, используется методологическая база и подходы современной теории математического моделирования, диагностики и тестирования, а также концепции информатизации образования. Данные идеи успешно развивали и внедряли в повседневную практику применения В.С. Аванесов, С.А. Бешенков, С.П. Грушевский, М.В. Кларин, К.К. Колин, А.Н. Майоров, Ю.М. Нейман, И.В. Роберт, И.В. Слободчиков, М.Б. Челышкова. Совокупность этих подходов характеризует перечень функциональных средств, необходимых для эффективного воплощения в образовательной деятельности инструментов систем индивидуального тестирования.
Исследование состояло в следующем. Была выдвинута гипотеза исследования, что обучение использованию в учебном процессе функциональных средств автоматизированных систем индивидуального тестирования на примере программного комплекса «Advanced Tester» будет способствовать готовности применения студентами аналогичных инструментов компьютерных приложений в практической деятельности.
В рамках современного образовательного процесса студенты разных направлений подготовки и специализации формируют умения и навыки работы в разнообразных программных комплексах электронного обучения. Функционал этих электронных систем во многом схож друг с другом и предоставляет пользователю возможности изучения теоретического материала, выполнения практических заданий и оценки приобретенных знаний. В то же время студенты педагогического бакалавриата и магистратуры должны не только уметь ориентироваться, как и другие студенты, в информационной среде электронных систем обучения, но и должны уметь наполнять их содержанием, использовать программные инструменты для построения образовательного процесса оптимальным образом.
Последовательно опишем этапы процесса обучения студентов применению инструментов автоматизированных систем индивидуального тестирования. В рассмотрении этих вопросов будем использовать программные модули среды «Advanced Tester» [11]. Работа в данном приложении подобна действиям в других аналогичных компьютерных приложениях. Так, общие приемы открытия, сохранения, закрытия файлов выполняются идентично всем современным программам. В среде есть основная рабочая область, которая предназначена для отображения информации о процессе освоения обучаемым блоков теоретического материала. Также в ней имеются специализированные диалоговые окна программных модулей для построения графовых моделей, создания базы данных тестовых заданий, ассоциирования набора заданий с изучаемым учебным материалом и формирования оптимальной траектории обучения учащегося. Именно специальные навыки работы с инструментами диалоговых окон являются предметом данного исследования. Оперирование их функционалом, хоть и строится на интуитивно понятных правилах работы и эргономике действий в программной среде, в то же время требует представлений о взаимосвязях программных модулей в единое целое компьютерного приложения. Кроме того, последовательность производимых в автоматизированной системе операций также предполагает знание об алгоритмах построения оптимальных образовательных траекторий.
Первым подготовительным этапом использования возможностей программного приложения «Advanced Taster» и других подобных сред является разработка графовой модели изучаемого материала и ее редактирование. В любом случае, даже если изначально пользователь загружает исходную графовую модель, то ему на этапе построения индивидуальной образовательной траектории приходится ее редактировать. Без выполнения этой операции невозможно оптимизировать траекторию обучения. Ввиду этого навыки формирования вершин графовой модели и задание между ними связей важны не только на исходном этапе эксплуатации программного комплекса, но и на последующих этапах индивидуального тестирования. Итак, для создания графовой модели студент должен задать перечень вершин графа с помощью ввода данных в определенное для этого поле. Те же действия можно осуществить с помощью указания пути к текстовому файлу, который уже содержит нумерацию и наименование вершин в виде последовательности строк. После с помощью функционала в виде двух выпадающих списков необходимо указать, какой элемент влияет на другой элемент. Затем остается нажать кнопку «Сгенерировать» для получения графовой модели учебного материала. При этом в том случае, если модель редактируется, для внесения в нее новых данных о вершинах и связях между ними служит кнопка «Сохранить изменения».
На втором этапе пользователю необходимо создать или загрузить банк тестовых заданий. В программе «Advanced Tester» для этого имеется специальный встроенный модуль, который предполагает внесение в базу данных заданий как закрытого, так и открытого типа. При этом имеется возможность создания тестовых заданий на соответствие, на установление правильной последовательности, добавление. Кроме того, оболочка обладает многими компонентами форматирования исходных данных, дистракторов и правильных ответов. Тестовые задания также можно загрузить в программную оболочку системы. При этом подчеркнем, что вне зависимости от использования встроенного редактора тестов или варианта с их импортом основное назначение на этом этапе – ассоциирование заданий с набором вершин графа. Именно эта процедура в дальнейшем обеспечивает на основе данных тестирования учащихся формирование индивидуальных траекторий изучения учебного материала.
На третьем этапе студенту, осваивающему возможности автоматизированной системы «Advanced Tester», необходимо сформировать в соответствии с планом обучения набор тестовых заданий для входного контроля знаний. Этот этап является диагностическим, он выполняет функцию оценки исходного уровня учебных умений и навыков обучаемых. Пользователь программного приложения должен сначала указать в специальной форме номера вершин графовой модели, а затем из сгенерированного списка заданий выбрать те, которые он считает необходимыми для стартовой проверки знаний. При этом также имеется возможность с помощью встроенных в программу критериев формирования теста автоматизированно сформировать набор таких заданий для выполнения. Активация критерия осуществляется в поле специальной формы в виде компонентов единственного и множественного выбора.
На четвертом этапе студентам, получающим навыки работы в программном приложении, следует освоить функционал использования математического аппарата соответствия Галуа и импликативных матриц. При этом необходимости в знании определения этих математических понятий и тонкостей их применения на практике не требуется. Пользователю системы наглядно на индивидуальных графовых моделях отображается текущий уровень учебных достижений учащихся и предлагаются возможные пути формирования дальнейшей траектории обучении в соответствии с представленными в программе на выбор критериями. Обучаемому работе в среде приложения студенту остается автоматизированно сформировать материал для коррекции полученных знаний и умений или разрешить обучаемому переход к следующей теме предметного изучения.
На пятом этапе последовательно повторяются действия предыдущих этапов ввиду необходимости коррекции и уточнения образовательных траекторий учащихся. Это может выражаться в редактировании набора вершин графовой модели, связей между ними, обновлении материала для тестовых заданий, редактировании перечня в тестах проверяемых элементов знаний, ассоциированных с компонентами графовой структуры. Затем при прохождении следующих блоков учебного материала данные пять этапов повторяются. Таким образом, последовательность приемов работы в автоматизированной системе «Advanced Tester» определена следующими навыками:
1. Создание или импортирование графовой модели учебного материала и ее редактирование.
2. Создание или импортирование банка тестовых заданий и его редактирование.
3. Формирование диагностического теста для входного контроля знаний обучаемых.
4. Генерирование индивидуальных образовательных траекторий обучаемых.
5. Формирование оптимального плана изучения предметного материала в соответствии с выбранными критериями.
При этом показателями формирования у студентов навыков работы в программном комплексе «Advanced Tester» служат не только уровень знаний о его возможностях или функциональных особенностях данного приложения. Каждый студент должен понимать алгоритм действий в программной среде и оценивать роль применяемых в нем программных инструментов для построения оптимальных индивидуальных образовательных траекторий с помощью средств математического моделирования [12].
Результаты исследования и их обсуждение
Исследовательская деятельность по обучению студентов использованию в образовательном процессе систем индивидуального тестирования проводилась на примере программного комплекса «Advanced Tester» в Смоленском государственном университете. В эксперименте участвовали студенты физико-математического факультета направления подготовки «Педагогическое образование». Педагогический эксперимент проводился в течение двух лет. В первый год в экспериментальной группе студентов со специализацией по математике и информатике изучение возможностей автоматизированных систем индивидуального тестирования осуществлялось с помощью приложения «Advanced Tester». В контрольной группе студентов со специализацией по физике и информатике обучение строилось на изучении общих подходов к моделированию образовательных траекторий с помощью математических методов. Во второй год экспериментальную группу составляли студенты со специализацией по физике, а контрольную группу – по математике. Таким образом, можно говорить о равномерном случайном распределении выборок групп студентов в педагогическом эксперименте. Экспериментальную группу за два года образовали 36 чел., а контрольную группу составили 37 чел.
В каждой из групп – экспериментальной и контрольной – на входе в обучение были проведены диагностика уровня учебных знаний и умений студентов, четыре промежуточные диагностические работы, а также итоговая диагностика. Для оценки уровня индивидуальных и групповых достижений студентов по применению в образовательном процессе систем индивидуального тестирования использовалась система оценки и контроля знаний и умений на основе положений современной теории тестирования. Задача экспериментальной работы состояла в сравнительной оценке уровня обученности студентов использованию в образовательном процессе систем индивидуального тестирования. При этом система индивидуального тестирования «Advanced Tester» рассматривалась как пример полнофункциональной программной среды математического моделирования образовательных траекторий. Для обоснования целесообразности применения в обучении данного подхода исследовались результаты диагностических срезов знаний, количественный анализ которых проводился по формуле
,
где S1, S2 – вопросы по теории, а S3, S4 – задания практики, оцененные по десятибалльной шкале. Данные итоговой диагностики учебных достижений студентов по знаниям теоретических основ моделирования траекторий обучения с использованием методологий теории графов и теории тестирования, а также владению навыками работами в автоматизированных программных средах индивидуального тестирования представлены в таблице.
Результаты формирующего этапа эксперимента по использованию систем индивидуального тестирования разработки программных приложений также отражены на рисунке.
Качественный анализ условий и результатов эксперимента. Количественные данные, полученные в ходе эксперимента в контрольной группе, отражают закон нормального распределения. Результаты диагностических срезов в экспериментальной выборке студентов также в целом подтверждают нормальное распределение со смещением в диапазон показателей высокого уровня учебных достижений. Относительное распределение результатов обучения внутри исследуемых групп демонстрирует большее количество студентов с оценкой знаний выше базового уровня в экспериментальной выборке и, наоборот, меньшее количество студентов с высокими показателями обученности в контрольной выборке. Эти факты можно объяснить, на наш взгляд, тем, что последовательное получение навыков в одной системе индивидуального тестирования, логика построения в ее программной среде образовательной траектории от этапа к этапу с помощью средств математического моделирования способствует более прочному усвоению знаний и умений.
Результаты формирующего этапа эксперимента по использованию систем индивидуального тестирования
|
Группа |
Число студентов, достигших уровня усвоения знаний |
Всего |
||
|
Высокий |
Повышенный |
Базовый |
||
|
Контрольная группа |
6 |
23 |
8 |
37 |
|
Экспериментальная группа |
15 |
18 |
3 |
36 |
|
Всего |
21 |
41 |
11 |
73 |
Результаты формирующего этапа эксперимента по использованию систем индивидуального тестирования
Понимание глубинной взаимосвязи всех этапов работы в программных приложениях, предназначенных для построения индивидуальных траекторий обучения, определяет комплексное восприятие в целом. Таким образом, студенты затрачивают меньше времени на адаптацию применения функционала в аналогичных автоматизированных программах индивидуального тестирования знаний и умений. Как показывает эксперимент, студенты контрольной группы в меньшей степени понимают конечную цель использования такого рода программных комплексов. Они во многом используют их возможности как средство тестовой оценки учебных достижений, а не как инструмент формирования траектории обучения оптимальным образом. Ввиду вышесказанного, выдвинутая в проводимом исследовании гипотеза находит свое подтверждение в экспериментальной деятельности авторов.
Заключение
Данные педагогического эксперимента свидетельствуют о рациональности применения системы индивидуального тестирования «Advanced Tester» как инструмента обучения студентов использованию автоматизированных средств математического моделирования при построении образовательных траекторий. Во-первых, программные модули данной системы объединены в единую программную оболочку. Они наглядно дают представление обо всей цепочке формирования индивидуальной траектории от проектирования учебных модулей до корректировки полученных стратегий обучения. Во-вторых, ввиду соответствия всем требованиям, которые предъявляются к современным программным средам в области эргономики и стандартизации используемых методов работы, система индивидуального тестирования «Advanced Tester» обеспечивает максимальную степень переноса полученных навыков работы в другие программные среды данного направления использования. В-третьих, специфика положенных в основу программы алгоритмов отражает и подтверждает эффективность изучения именно данных методологий оценки и диагностики учебных достижений средствами математического моделирования [13–15]. В заключение подчеркнем, что выбор функциональных инструментов, на примере которых строится объяснение студентам, играет определяющую роль в получении умений и навыков использования возможностей систем индивидуального тестирования в современном образовательном процессе.