Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

STRUCTURE AND ALGORITHMS OF AN INTELLIGENT TESTING SYSTEM IN A DIGITAL EDUCATIONAL PLATFORM

Demidko E.V. 1
1 Pacific National University
Distance learning is widely used today in school, in secondary vocational education, and in higher education. It has both positive and negative aspects, the latter of which are often due to shortcomings in its organization. Therefore, it is important to find an approach to the organization of digital educational platforms that will help to neutralize the negative aspects of distance learning, which is the subject of this article. The main research methods were methods of modeling information systems that implement structural and algorithmic functions of database management: search, collection, storage, processing, display and output of information. This article discusses and substantiates one of the approaches of such an organization of distance learning, which can be used to create an effective and efficient system of training and retraining of qualified scientific and engineering personnel to increase the competitiveness of the national economy, which is a necessary condition for improving the quality of labor and the quality of life of the population. The proposed intelligent testing system for the educational platform: gives an opportunity to get higher education to a much larger number of citizens while reducing the cost of education for them; reduces inefficient financial expenditures of the state budget and financial resources of students; improves the quality of higher education, since one of the important principles of education here is taking into account individual cognitive abilities each student and the formation of their personal educational learning trajectories.
distance learning
digital educational platform
quality of education
knowledge structure
testing system

Сегодня технологии дистанционного образования дают возможность существенно повысить качество обучения, однако это требует использования соответствующего подхода в его организации. Очень часто информационные ресурсы используются сегодня всего лишь как электронные эквиваленты бумажных своих вариантов: журналов учета посещаемости и успеваемости, учебников, учебно-методических пособий и т.д. Такое понимание принципов дистанционного обучения приводит как к снижению уровня и оперативности контроля обучающихся, так и к увеличению объема работы преподавателей, обусловленного необходимостью тратить время на различные рутинные действия, связанные с регламентами работ цифровых платформ. При этом все это не освобождает преподавателей от обязательной и рутинной проверки всей номенклатуры выполненных обучающимися заданий. В целом указанные аспекты и формируют часто отрицательное отношение к дистанционному обучению, хотя его возможности при правильной организации могут быть намного эффективнее и результативнее, что позволяет нивелировать ограничения классических подходов организации учебного процесса:

− значительные финансовые затраты, которые необходимы при существенном увеличении количества обучающихся;

− ограниченные возможности высших учебных заведений по привлечению нужного количества профессорско-преподавательского состава требуемой квалификации.

Это позволит создать эффективную и результативную систему подготовки и переподготовки квалифицированных научных и инженерно-технических кадров для повышения конкурентоспособности национальной экономики [1]. Разработка структуры и алгоритмов интеллектуальной системы тестирования для такой цифровой образовательной платформы и является целью данной статьи.

Материалы и методы исследования

Основными методами исследования явились методы моделирования информационных систем, реализующие структурные и алгоритмические функции управления базами данных: поиск, сбор, хранение, обработку, отображение и выдачу информации. На основе данных методов содержательная (учебно-методические материалы дисциплин) и процедурная (организационно-методические процедуры) стороны учебного процесса, которые являются в данном случае материалами исследования, были трансформированы в единую структуру и алгоритмы интеллектуальной цифровой образовательной платформы.

Цифровая образовательная платформа – информационное пространство, где участники процесса обучения получают возможность дистанционного (удаленного) образования посредством обеспечения им доступа к методическим материалам и информации [2]. Большинство таких платформ также имеют встроенные процедуры контроля уровня полученных обучающимися знаний [3].

Рассмотрим типовые элементы цифровой образовательной платформы [4, 5]:

1. Личный кабинет преподавателя или учащегося.

2. База знаний.

3. Модуль контроля и аттестации.

4. Модуль интерактивного взаимодействия.

5. Модуль планирования и оповещения.

6. Модуль сбора статистики.

7. Модуль администрирования системы.

Некоторые из приведенных модулей имеют приоритетное значение с точки зрения непосредственно процесса обучения (например: 2, 3, 5), некоторые являются вспомогательными и предназначены для обеспечения коммуникаций. Модули также могут объединяться, что определяется разработчиком на основании поставленных перед ним задач.

Основные условия функционирования предлагаемой автором данной статьи интеллектуальной цифровой образовательной платформы: во-первых, база знаний должна иметь логичную и прослеживаемую взаимосвязь между всеми своими уровнями; во-вторых, система тестирования должна давать возможность выявления пробелов в системе знаний обучающихся. Выполнение этих условий существенно снизит время преподавателей на выявление трудных для понимания обучающимися тем и разделов изучаемых дисциплин, что даст им возможность больше времени уделять научно-исследовательской деятельности.

Предлагаемая в статье интеллектуальная система тестирования для цифровой образовательной платформы не имеет конкретной привязки к программно-аппаратному комплексу и может быть реализована практически на любой современной технической и программной базе.

Результаты исследования и их обсуждение

Структурно предполагаемая цифровая образовательная платформа, помимо интеллектуальной системы тестирования (далее – системы тестирования) и вспомогательных технических подсистем, обеспечивающих ее функционирование, должна включать еще три пользовательских блока:

− база данных обучающихся;

− база данных преподавателей;

− база знаний.

Общие требования к содержанию баз приведены в табл. 1.

Иерархию элементов междисциплинарной иерархической структуры в базе знаний необходимо организовать следующим образом: 1. Компетенция. 2. Модель, метод. 3. Теория, концепция. 4. Закон, закономерность. 5. Принцип, правило. 6. Понятие.

Рассмотрим описанную иерархию применительно к экономике. На рисунке изображен принцип построения модели Дюпона как наглядное представление главной цели деятельности предпринимателя – повышение рентабельности собственного капитала в долгосрочном периоде, что и должно являться главной компетенцией выпускника основных экономических специальностей. На основе этого принципа может быть построена иерархия элементов междисциплинарной иерархической структуры знаний для специальностей некоторых экономических профилей.

Таблица 1

Содержание баз цифровой образовательной платформы

База

Требования к содержанию

Знаний

Учебно-методические материалы по дисциплинам, иерархизированные и структурированные от уровня компетенций (вверху) до уровня понятий (внизу)

Данных обучающихся

Личные данные, статистика посещаемости и запросов, график и результаты тестирования, траектория обучения

Данных преподавателей

Личные данные, статистика посещаемости и запросов, график и статистика консультаций, динамика успеваемости по дисциплинам

missing image file

Структурно-аналитическая схема модели Дюпона (составлено автором)

Таблица 2

Дальнейшая декомпозиция вниз представленной иерархии

Элемент

Теоретические аспекты элемента

Объем проданных товаров

Маркетинг: основы маркетинга, стратегический маркетинг, управление проектами, логистика и управление цепями поставок

Управление конкурентоспособностью: проектирование продукции, управление человеческими ресурсами, закупки, производственный процесс и его структура, организационные типы производства, планирование производства, контроль качества

Цена

Ценообразование: планирование и прогнозирование цен, управление затратами, калькулированные себестоимости, налоги и налогообложение, бухгалтерский учет

Кредиторская задолженность

УПРАВЛЕНИЕ КАПИТАЛОМ: финансовый анализ, ценные бумаги и инвестиции, управление финансовыми рисками, оценка и управление стоимостью предприятия

Кредиты, ссуды

Уставной капитал

* Количество элементов «Маркетинг».

Таблица 3

Фрагмент таблицы кодов элементов для «Маркетинг»*

Столбец 1

Столбец 2

Код элемента «Маркетинг» (например: 1512**)

4***

Код 1 элемента нижнего уровня «Основы маркетинга» (например: 5614**)

-1

Код 2 элемента нижнего уровня «Стратегический маркетинг» (например: 1345**)

-1

Код… элемента нижнего уровня «Управление проектами» (например: 3506**)

-1

Код N-1 элемента нижнего уровня: «Логистика и управление цепями поставок» (например: 8997**)

-1

* Жирным шрифтом выделено реальное содержание столбцов таблицы кодов элементов.

** Коды формируются вероятностно при создании элемента междисциплинарной иерархической структуры в базе знаний, коды генерируются до обеспечения их уникальности.

*** Количество элементов нижней иерархии задается в процессе определения междисциплинарной иерархической структуры.

Таблица 4

Алгоритм определения тестовых вопросов

№ этапа

Название этапа

Описание процедуры этапа

1

Начало сессии тестирования

Обучающийся авторизуется в системе тестирования

2

Анализ базы данных обучающегося

Система тестирования определяет элемент(ы) базы знаний, которые обучающийся должен был изучить от даты последней сессии тестирования (например: 1512*)

3

Формирование первичного набора тестовых вопросов

Из шаблона тестовых вопросов базы знаний для 1512 формируется тест**

4

Прохождение теста

Обучающийся проходит тест

5

Анализ прохождения теста

Система тестирования оценивает результат на основе установленных критериев

6

Формирование вторичного набора тестовых вопросов

Если результат меньше установленного критерия, то система тестирования формирует тест для элементов нижней иерархии (5614, 1345, 3506, 8997)***

7

Анализ прохождения теста

Система тестирования оценивает результат на основе установленных критериев

8

Формирование перечня элементов базы знаний для дальнейшего обучения

Для элементов, результат тестирования по которым меньше установленного критерия, может повторяться тестирование по еще более нижним элементам базы знаний****

9

Формирование и представление результатов

Система тестирования:

1. Определяет элементы базы знаний для повторного изучения (также указываются элементы согласно основному плану обучения) и устанавливает срок следующего тестирования.

2. Результаты тестирования и данные по п. 1; отправляются на e-mail преподавателя и обучающегося; заносятся в базу данных обучающегося.

3. Определяет необходимость консультации обучающегося (например, при низких результатах тестирования по элементу более двух раз) и включает это в план консультаций преподавателя.

10

Окончание сессии тестирования

Обучающийся авторизуется в системе тестирования

* Кодов может быть несколько, если требовалось изучить несколько элементов.

** В данном случае, так как элемент «МАРКЕТИНГ» является итоговым для своего класса, тест должен состоять из комплексных вопросов, каждый из которых включает тематику нескольких элементов нижней иерархии.

*** Вопросы теста могут полностью включать все шаблоны указанных элементов или основываться на наиболее сложных и комплексных вопросах этих элементов (для сокращения теста).

**** Глубина тестирования определяется каждым образовательным учреждением самостоятельно, однако глубина более трех уровней представляется сомнительной.

В табл. 2 приведена дальнейшая декомпозиция вниз представленной иерархии.

Содержание отдельного элемента в базе междисциплинарной иерархической структуры знаний должно иметь следующие составляющие: название элемента, определение, описание в виде презентации, модель расчетная с диапазонами переменных или тестовые задания с вариантами ответов (шаблон для генерирования тестовых вопросов), код элемента. Коды всех элементов должны быть сведены в отдельную базу данных, что необходимо для формирования системой тестирования комплекта тестовых вопросов – алгоритм этого формирования и является научным практико-ориентированным результатом данной статьи. В табл. 3 представлен шаблон фрагмента кодов элементов базы знаний для табл. 2.

В целом краткий алгоритм работы системы тестирования можно описать следующими шагами:

1. Анализ базы данных обучающегося (статистика посещаемости и запросов, график и результаты тестирования, траектория обучения).

2. Формирование тестовых вопросов (расчетные модели и/или тестовые задания) на основе результатов анализа п. 1.

3. Тестирование.

4. Занесение результатов тестирования в базу данных обучающегося.

5. Анализ результатов тестирования и корректировка индивидуальной траектории обучающегося.

6. Предоставление результатов.

В табл. 4 приведено описание данного алгоритма на примере табл. 3.

Оценка эффективности деятельности преподавателя проводится на основе результатов успеваемости по его дисциплинам, что, в свою очередь, зависит от того, насколько он смог логически выстроить иерархическую структуру знаний по своей дисциплине, а также увязать ее с другими дисциплинами. При этом оценка успеваемости посредством системы тестирования здесь максимально объективна и прозрачна.

Поиск аналогичных систем тестирования, применяемых в цифровых образовательных платформах, привел к отрицательному результату. Это можно объяснить тем, что предлагаемая интеллектуальная система тестирования может быть построена только на базе междисциплинарной иерархической структуры знаний, построению которых, к сожалению, не уделяется должное внимание.

Заключение

В целом потребность в электронных образовательных платформах с интерактивными процедурами обучения постоянно растет, особенно в современных условиях. Однако переход на дистанционное обучение невозможен как без внедрения в процесс современных методов обучения с использованием компьютеров и другой современной техники, так и без новых технологий организации учебного процесса.

Организация определенным образом цифровой образовательной платформы, включающей иерархизированную базу знаний и предложенные структуры и алгоритмы интеллектуальной системы тестирования:

− дает возможность получить высшее образование значительно большему количеству граждан (в том числе русскоязычных граждан других государств) при одновременном понижении стоимости обучения для них;

− снижает неэффективные финансовые расходы государственного бюджета и финансовых ресурсов обучающихся;

− повышает качество высшего образования, так как одним из важных принципов обучения здесь является учет индивидуальных познавательных способностей каждого обучающегося и формирование их личных образовательных траекторий обучения.

Таким образом, реализация предложенного подхода позволит устранить указанные в начале статьи проблемы дистанционного обучения, что снизит их уровень критического восприятия дистанционного образования в целом.