Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,899

TO THE PROBLEM OF EFFECTIVENESS EVALUATION METHODS OF ELECTRONIC CONTENT MANAGEMENT ROOM TEACHER EDUCATION PORTAL

Cherkasov M.A. 1 Kurzaeva L.V. 1 Kozlova E.S. 1 Makashova V.N. 1
1 Nosov Magnitogorsk State Technical University
The relevance of this study is related to the active introduction of the traditional educational process of distance learning technologies. Accordingly, the organization of information and educational space is given special attention in both the pedagogical and the technological aspects. The evaluation of both aspects of elaboration of particular importance given to the issues of educational content management effectiveness of such an environment. In the framework of this article suggested criteria and methods of electronic educational portal classrooms teachers assess the efficiency of content management. Particular attention is paid to the means of evaluation of qualitative and quantitative indicators, methods of descriptive and analytical statistics. The contents of this article are of practical value for improving the quality of work with various types of universities and educational portals will be of interest to specialists dealing with increasing the effectiveness of training with the use of distance learning technologies.
educational portal
content management effectiveness

Актуальные тенденции развития дистанционных технологий образования оказывают существенное влияние на традиционное обучение. Так, сегодня большинство вузов активно внедряют и используют образовательные порталы, которые в текущих условиях используются не просто для сопровождения образовательного процесса, а как элемент единой информационной образовательной среды вуза. В таких условиях от портала одним из требований к информационной среде вуза является эффективная работа с контентом.

Согласно разработанной в вузе модели организация работы в системе электронного обучения реализуется на базе требований к структуре и функционированию, состоящих из нормативных документов, психолого-педагогических принципов и технологических требований. В свою очередь систему электронного обучения можно разделить на две компоненты: содержательную и поддерживающую, в совокупности состоящие из нормативных документов по организации образовательного процесса, базы учебных материалов, поддержки пользователей, средств интерактивного взаимодействия и новостей и извещений. Для поддержки контента в актуальном состоянии, учета изменений в требовании к способам предоставления информации, решении об изменении уже имеющихся или внедрении новых компонентов, в модели предусмотрен контроль эффективности и соответствия требованиям, реализуемый за счет системы мониторинга деятельности пользователей.

Современные подсистемы контроля эффективности и соответствия требованиям базируются на критериях, которые условно можно разбить на следующие группы:

• Удобство и востребованность контента.

• Полнота и качество базы учебных материалов.

• Мотивированность участников образовательного процесса к работе в системе электронного обучения с использованием образовательного портала.

При этом показатели части из них подвержены автоматическому контролю, другие в рамках внутренних аудитов вуза.

Качество базы учебных материалов проводится посредством внутренних аудитов, так данные за два года представлены на картах Шухарта (рис. 1) (названия факультетов не представлены).

pic_53.tif

а

pic_54.tif

б

Рис. 1. Карты Шухарта для числа несоответствий, выявленных в учебно-методическом обеспечении образовательных программ, размещенных факультетами на информационно-образовательном портале: а – в базовом учебном году; б – в отчетном учебном году

На рис. 1 представлены карты Шухарта по числу дефектов – типовых ошибок. На них зарегистрировано число разных типов несоответствий (c), выявленных в учебно-методическом обеспечении образовательных программ, размещенных в разделах факультетов на информационно-образовательном портале.

Из представленных карт видно, что среднее число ошибок за рассматриваемые годы снизилось. При этом ни по одному факультету число ошибок не приближается к верхней контрольной границе. Все это в целом может говорить о росте качества учебно-методического обеспечения на портале за счет их открытости и облегчения возможностей внешнего контроля.

При работе с новым порталом у пользователей, естественно, может возникнуть чувство дезориентации, связанное отчасти с новой структурой размещения информации, отчасти с новыми элементами управления на портале. Для оценки удовлетворенности пользователей удобством размещения контента обратимся к проводимым на портале опросам, один из опросов направленный на изучение мнения пользователей портала о различных аспектах производственной деятельности, содержал вопрос «Оцените уровень доступности информации на портале в четырехбалльной системе». В опросе принимали участие преподаватели и студенты. Сравним результаты опроса за базовый период (рис. 2) и отчетный период (рис. 3).

Гистограммы хорошо иллюстрируют, что организация хранения документов в базовом периоде вызывала затруднение при работе с порталом у студентов. При внедрении нового портала уменьшилось количество негативных оценок удобства размещения контента у студентов и преподавателей.

Учитывая то, что на портале соблюдены эргономические требования к построению веб-ресурсов, а заимствованность интерфейса SharePoint у продукции компании Microsoft является главной чертой продуктов компании, можно заключить, что удобство размещения контента на портале является оптимальным, а предоставляемый инструментарий и его назначение – интуитивно понятным.

Система мониторинга деятельности пользователей необходима для создания условий динамического развития электронного образования на основе максимально полного использования имеющегося кадрового потенциала, а также поиск новых форм использования электронных кабинетов преподавателей в образовательных целях. В рамках данной статьи приведем пример анализа активности использования электронных кабинетов на образовательном портале.

В базовый период был введен 71 электронный кабинет, в отчетный год 89 кабинетов. Однако многие из них остаются невостребованными.

В рамках системы мониторинга и стимулирования мотивации работы с электронными кабинетами разработаны критерии оценки кабинетов, которые легли в основу конкурса «Лучший электронный кабинет преподавателя».

pic_55.tif

Рис. 2. Оценка пользователями удобства размещения контента базового периода

pic_56.tif

Рис. 3. Оценка пользователями удобства размещения контента отчетного периода

Критериями оценки кабинетов являлись:

1. Статистика посещаемости электронного кабинета (ЭК) студентами (вес: 0,1). Баллы по данному критерию начислялись по формуле

Cherkasov01.wmf

2. Статистика посещаемости электронного кабинета преподавателями (вес: 0,2). Формула расчета баллов:

Cherkasov02.wmf

3. Статистика обсуждений в блоге электронного кабинета (вес: 0,2). Для расчета баллов по данному критерию использовалась следующая формула:

Cherkasov03.wmf

4. Наполнение раздела «Дидактические материалы» (вес: 0,1). Данная категория оценивалась следующим образом:

0 баллов – полностью отсутствует;

10 баллов – слабо;

40 баллов – хорошо;

60 баллов – отлично.

5. Наполнение раздела «Работы студентов» (вес: 0,2). Данная категория оценивалась следующим образом:

0 баллов – полностью отсутствует;

10 баллов – слабо;

40 баллов – хорошо;

60 баллов – отлично.

6. Размещение в электронном кабинете преподавателем новостей (вес: 0,2). Данная категория оценивалась следующим образом:

0 баллов – полностью отсутствует;

10 баллов – слабо;

40 баллов – хорошо;

60 баллов – отлично.

В соответствии с оценкой за базовый и отчетный годы распределение кабинетов по набранным баллам выглядит следующим образом (рис. 4).

Рейтинг электронных кабинетов преподавателей можно разбить на 4 группы в соответствии с набранными баллами:

0–24 – это кабинеты, получившие «неудовлетворительную» оценку, 25–50 – соответствует оценке «удовлетворительно», 51–75 – оценка «хорошо», 76–100 – получили оценку «отлично».

По гистограмме видно, что количество кабинетов, получивших оценку в минимальном диапазоне баллов, уменьшилось, в то время как произошел рост долей электронных кабинетов, находящихся в среднем и наивысшем диапазонах суммы баллов.

Однако остается вопрос, значим ли данный рост, например, для группы «хороших кабинетов», набравших 51–75 баллов.

pic_57.tif

Рис. 4. Изменение рейтингов электронных кабинетов преподавателей за базовый и отчетный учебные года

Для оценки значимости различий в данной группе воспользуемся t-критерием Стьюдента для долей:

Cherkasov04.wmf

где p1 – доля в первой группе; p2 – доля во второй группе; n1 – объем первой группы; n2 – объем второй группы.

В нашем случае p1 = 0,03, p2 = 0,11, n1 = 71, n2 = 89.

При данных значениях по модулю t = 2,06.

По таблице критических значений для t-распределения Стьюдента находим критическое значение для уровня значимости 0,05, равное 1,96. Эмпирическое значение превышает критическое, значит, можно говорить о значимости различий в долях в группе «хорошие кабинеты» за два рассмотренных периода. А значит, можно говорить об имеющейся положительной тенденции.

Исходя из этих наблюдений, отмечаем увеличение активности пользователей портала за счет повышения мотивации работы с образовательным порталом, обеспечения поддержки пользователей. Результаты анализа эффективности организации электронного обучения на базе информационно-образовательного портала позволяют нам утверждать, что внедренная нами модель организации электронного обучения является рабочей и показывает положительные результаты оценки удобства и востребованности контента.

Таким образом, можно сказать, что при постоянной оценке управления контентом образовательного портала, повышается контроль над общей работой пользователей с размещаемым контентом. Это оказывает позитивное влияние, в частности, как на качество контента образовательного портала, так и на качество образовательного процесса в целом.