Технологии и методы составления компьютерных тестов развиваются достаточно быстро, уже сейчас появляются новые системы тестового контроля, позволяющие каждый следующий вопрос в тесте выбирать адаптивно в зависимости от ответов на предыдущие вопросы, т.е. в конечном счете, управлять собственно процессом обучения. Именно таким системам обучения и тестового контроля принадлежит будущее педагогической практики. Поэтому сегодня важно развивать теоретические и практические вопросы создания комплексных компьютеризированных систем обучения и контроля, а именно: разработку методов, моделей и алгоритмов их адаптивного управления [4–7].
Анализ литературных исследований
Один из важнейших моментов в проведении занятия состоит в оценивании знаний обучаемых. Преподаватель должен хорошо понимать роль и значение процесса и результатов выставления оценки на основе проведенного контроля. Главное состоит в том, чтобы оценки были справедливые и оказывали содействие активизации учебной деятельности. В настоящее время при проведении занятий широко используется автоматизированная и неавтоматизированная система тестирования полученных обучаемыми знаний. Остановимся на тестировании более подробно. Основные требования к тестам следующие [1–5]:
– формулировки тестовых заданий не должны прямо повторять текст учебника или конспекта. Ответ на тестовый вопрос должен требовать понимания темы или раздела, знания сути предмета;
– в каждой теме, включенной в тест, должно быть, по крайней мере, 50 % практических заданий;
– желательна подготовка тестов различного уровня сложности, с различной максимальной оценкой.
Целью исследований является разработка информационных технологий обучения и контроля знаний для повышения качества и интенсификации обучения за счет учета и использования индивидуальных особенностей респондентов путем создания новых функциональных моделей и адаптивных алгоритмов процесса обучения и тестирования.
Достижение поставленной цели определило необходимость решения научной задачи – разработки и совершенствовании методов адаптивного управления процессом обучения и контроля знаний обучаемых в КСОТ;
Материалы и методы исследования
Тестирование для выполнения тестовых двух условий конструируется в виде простых автоматов. Правила автоматов отражают структуру возвратов для различных типов контроля. Для респондентов, где блоки обучения разнесены по слоям детализации, возвраты выходного контроля имеют вложенную структуру, соответствующую дереву вывода знаний [5, 6, 10].
На графе 1 выделяется конечное состояние, которое имеет выход с условием разрешения прохода на следующий блок обучения или допуска к очередному блоку обучения.
Для этого случая граф знаний (рис. 1) должен быть дополнен блоками тестового контроля (CKNi) знаний учебных блоков. В зависимости от разрешенного количества повторов вопроса (от разрешенного количества ошибок в ответе на заданный вопрос) в тесте граф блока контроля будет иметь вид рис. 2. На этом рисунке изображен граф одного такта работы блока контроля выходов при трехразовом разрешенном количестве повторов заданного вопроса теста.
Рис. 1. Ярусно-параллельный граф знаний
Рис. 2. Такт работы графа автомата контроля выходов блока CKN, где Н – обозначает неправильный ответ на задание теста; Р – правильный; j, j + 1 – номера вопросов теста
Структурная схема модели блока контроля знаний со спуском для организации выходного контроля знаний одного обучающегося по учебной дисциплине примет вид рис. 3.
Здесь R – условие возврата if – else, к исходному блоку знаний или «спуску» на Li –1 слой по выходному критерию; RU – условие if – else подъема на Li слой блока знаний по выходному критерию контроля Li – 1 блока.
На рис. 4 показан граф блока контроля выходов ЯПГ на n тактов работы со спуском на «m – 1» уровень знаний. Количество тактов работы блока тестового контроля CKNi соответствует количеству заданий в тесте.
Рис. 3. Структурная схема модели блока контроля знаний со спуском
Рис. 4. Граф автомата контроля на n тактов со спуском на «m – 1» уровень знаний
Если обучаемый не отвечает на требуемое количество заданий в тесте m-го уровня, то по общим результатам за тест он получает неудовлетворительную оценку и блоком CKNi будет автоматически спущен для повторения необходимого материала на «m – 1» уровень графа знаний.
Тестовые задания на данном уровне должны быть легче, чем на m-м и содержать те знания, которые раскрывают и поясняют знания на более высоком уровне. На этом уровне усвоенные обучаемым знания также тестируются и он может вернуться на m-й уровень только после успешного окончания проверки. По решению преподавателя (разработчика теста) могут быть и другие схемы организации контроля выходов (входов) блоков знаний учебного материала.
Таким образом, если модель учебной дисциплины сформирована на основе смешанной потоковой и ЯПГ модели знаний в виде блоков, то путь изучения, в том числе повторение пройденного материала, определяется результатами входного/выходного контроля знаний учебных блоков для каждого обучающегося.
В целом, методы построения предметной области обучения на основе ЯПГ и возвратного тестирования адаптивных КСОТ позволяют моделировать интеллектуальную обработку знаний о ходе изучения обучаемыми материалов учебной дисциплины, управляя траекторией процесса обучения на основе результатов текущего, рубежного и итогового тестирования по учебной дисциплине. Как показала практика [5, 7–11], именно такую форму, в виде обучающего графа представления знаний учебных дисциплин в ПрО перспективных обучающих систем, целесообразно использовать.
Результаты исследования и их обсуждение
Обеспечение индивидуального подхода к процессу адаптивного управления обучением в КСОТ возможно, если в ней есть процедура автоматического определения типов респондентов (модель обучаемых). Исходными данными для решения этой задачи являются:
1. Априорные данные
– характеристики респондентов – начальный уровень знаний по изучаемой дисциплине, способности к обучению, средняя скорость обучения, качество выполнения заданий, уровень практических навыков и умений;
– параметры тестовых заданий – допустимые времена выполнения тестового задания ТD, вопроса задания Т0;
– допустимое количество ошибок и повторов выполнения задания и теста;
2. Текущие данные:
– полученные реальные времена выполнения теста tD и вопроса задания ti;
– количество ошибок KO (KV) и повторов KP (KV) выполнения задания и теста;
3. Апостериорные данные:
– полученные оценки в результате выполнения теста и рейтинговые оценки по освоению знаний учебной дисциплины респондентами.
Для классификации респондентов по типам также должны быть определены экспертные оценки целого ряда количественных характеристик учебной дисциплины и процесса тестирования.
Такими характеристиками являются:
Q = {tрд, tтд, tzд} – директивное время изучения материала раздела, темы и занятия соответственно;
O = Оd –Oti > 0 – результаты сравнения полученной респондентом оценки с допустимой для TV теста;
Tras = tрд – tрт > 0 – результаты сравнения директивного на изучение материалов раздела дисциплины времени с текущим («да – директивное больше текущего», «нет – текущее превышает директивное»);
Ttem = tтд – tтт > 0 – результаты сравнения допустимого на изучение темы дисциплины времени с текущим («да», «нет»);
Tzan = tzд – tzт > 0 – результаты сравнения допустимого на изучение материалов занятия дисциплины времени с текущим («да», «нет»).
Количественные параметры для классификации респондентов представлены в таблице.
Исходные данные для тестирования респондентов в КСОТ
|
Тип респондента |
Кол-во заданий теста |
Допустимое время выполнения теста |
Допустимое количество ошибок |
Допустимое количество повторов |
Максимальное время выполнения задания |
Допустим, средний балл (12-балльн. шкала) |
|
Начинающий |
10–30 |
20–40 мин |
< 4 |
< 4 |
0,75–2 мин |
2–4 |
|
Слабый |
10–30 |
15–35 мин |
< 4 |
< 4 |
0,7–1 мин |
3–6 |
|
Средний |
10–30 |
12–30 мин |
< 3 |
< 3 |
0,65–1 мин |
7–9 |
|
Сильный |
10–30 |
10–20 мин |
< 2 |
< 2 |
0,50–1 мин |
9–11 |
|
Оч. сильный |
10–30 |
5–12 мин |
1 |
1 |
0,25–0,5мин |
11–12 |
Для организации адаптивного к характеристикам респондентов, управления ПОТ, должна быть сформирована по каждой ЭВМ сети КСОТ база критических ситуаций. В алгоритме функционирования системы ситуационного управления используются два аспекта классификации возможных ситуаций нарушения ПОТ i-й ЭВМ сети: первый связан с определением ситуаций, требующих вмешательства системы управления в ПОТ, второй – с классификацией КС по способам их разрешения.
Поэтому, в первую очередь, должна быть сформирована по каждой i-й ЭВМ сети КСОТ база критических ситуаций, которая включала бы ситуации, свидетельствовавшие о нарушении ПОТ этой ЭВМ сети. К ним отнесем следующие ситуации: полученные текущие времена выполнения вопросов задания (теста) превысили допустимые; количество ошибок выполнения задания (теста) превысило допустимые; количество повторов выполнения задания (теста) превысило допустимые.
Будем классифицировать КС в КСОТ по следующим типам – ситуации 1-го типа – это признаки нарушения ПОТ: 1-я,…, к – я ошибка в ответе на задание теста; необходимость перехода на различные уровни тестирования; неудовлетворительная оценка за тест, требующая повторения тестирования; превышение требуемого времени на обработку задания теста; превышение времени сравнения текущего и допустимого количества ошибок и повторов заданий теста; превышение требуемого времени на тест в целом; превышение времени формирования запроса на определенный тип алгоритма коррекции вычислительного процесса и его включения в работу и т.д.
Также алгоритмами классификации респондентов и САУ формируются признаки необходимости перехода на требуемый уровень тестирования, неудовлетворительной оценки за тест и превышения времени формирования запроса на определенный тип алгоритма коррекции процесса обучения и тестирования.
Типы разрешения КС (ситуации 2-го типа): запустить ПОТ; продолжать ПОТ; остановить ПОТ; изучить учебный материал; начать тестирование; повторить вопрос теста; повторить тест; задать тестовое задание на «m – 1» уровне; задать задание на m – уровне; закончить тестирование.
Аналитические модели этих КС системы ситуационного управления КСОТ разработаны универсальные модели и поэтому использованы в алгоритме функционирования САУ сети КСОТ учебных дисциплин.
Выводы
Модель адаптивной КСОТ и алгоритмы ее функционирования позволяют осуществлять автоматизированное управление процессом изучения и проверки полученных знаний по учебной дисциплине обучаемыми, практически не требуя вмешательства преподавателя в этот процесс, что, в свою очередь, позволяет эффективно использовать КСОТ не только при аудиторных занятиях, но и при дистанционном обучении.