Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

APPLICATION OF THE STATISTICAL PROCESSING EXPERT ESTIMATES FOR DECISION OF TOPICAL OBJECTIVES THE EDUCATION

Novgorodtseva T.Yu. 1 Ivanova E.N. 1 Lesnikov I.N. 1 Rodionov A.V 1 Kalanda Yu.V. 1
1 Irkutsk State University
Often, for solving urgent management tasks in the decision-making process, ex-pert methods are used. After conducting a survey of a group of experts, the results are processed in order to obtain generalized data and new information contained in a hidden form in expert assessments. For such processing it is expedient to use statistical methods for processing expert estimates to improve the reliability of the results. At the same time, the statistical methods used are very diverse. The creation of a common technology for the application of statistical methods standardizes the process of processing expert estimates for a different class of tasks. In the article, classification of methods of expert assessments is conducted, and the scope of their application is considered in solving problems arising in the educational process. Prospective directions of using methods of expert assessments in the field of education are highlighted. The criteria for applying the methods of expert assessments from the point of view of the tasks of the educational process are formulated. This model has been developed to build a decision support model based on statistical methods. The example of solving the educational problem is given. The application of the proposed technology allows to avoid errors in the choice of statistical methods when using different data sets, and also increases the validity of the decisions made.
expert assessments
methods of expert assessments
model
modeling
education
statistics

Результативность деятельности любого образовательного учреждения основывается прежде всего на верно принятых управленческих решениях. Решение – это выбор альтернативы действия. Принятые решения отражаются на всей деятельности образовательного учреждения [1]. С целью повышения обоснованности принимаемых решений в сфере образования необходимо использовать как формализованные методы, так и методы, основанные на аргументированных суждениях специалистов – экспертов.

Необходимость и актуальность разработки технологии применения статистических методов для решения управленческих задач образовательного учреждения обосновывается:

- наличием широкого спектра задач, требующих применения методов экспертных оценок (оценка качества образования, аттестация персонала, лицензирование, экспертиза учебных программ, планов и т.д.);

- необходимостью стандартизации методов сбора и обработки экспертной оценки;

- отсутствием типовых технологий поддержки принятия решений на основе статистических методов обработки экспертных оценок.

Цель исследования

Разработка типовой технологии применения статистических методов обработки экспертных оценок в процессе решения различных управленческих задач, возникающих в учебно-воспитательном процессе.

Материалы и методы исследования

Существуют различные подходы к классификации методов экспертного анализа. В частности, в работах А.И. Орлова [2], В.В. Колбина [3], Д.С. Набатова [4] различают методы как по имеющейся исходной информации, так и по технике проведения исследования. В работе С.А. Айвазян [5] основным принципом классификации методов является «цель решаемой задачи». На основе проведенного анализа существующих подходов построена обобщенная классификация методов (таблица).

Классификация методов экспертных оценок

Признак

Индикатор

Методы

По исходной информации

Количественные

Непосредственная численная оценка альтернатив, метод средней точки, метод Акоффа – Чёрчмена (последовательное сравнение), метод Фон Неймана – Моргенштерна (метод лотерей)

Качественные

Парное сравнение, множественное сравнение, pанжирование, векторы предпочтений

Смешанные

Все вышеперечисленные методы

По технике проведения

Индивидуальные

Метод интервью, аналитический метод, анкетирование

Коллективные

Метод Дельфи, метод «мозговой атаки», метод сценариев, дерево целей, метод комиссий

По цели использования

Организация экспертной группы

Метод самооценки, метод взаимной оценки

Ранжирование

Ранжирование, непосредственная численная оценка альтернатив, метод Акоффа – Чёрчмена (последовательное сравнение)

Проверка согласованности экспертов

Коэффициент конкордации, коэффициент вариации

На основании общей классификации в работе выделен ряд методов экспертных оценок, позволяющих выполнять статистическую обработку оценок данных экспертами: метод самооценки выбран в качестве метода формирования таблицы исходных данных; медиана и метод ранжирования используется для упорядочения средних оценок (объектов); проверка согласованности мнений осуществляется с помощью коэффициентов корреляции Спирмена, конкордации и вариации. Применительно к решению задач, возникающих в образовательном процессе, предлагается учитывать следующие параметры, приведенные на рис. 1.

novg1.tif

Рис. 1. Критерии применения методов экспертных оценок с точки зрения задач образовательного процесса

В качестве перспективных направлений использования методов экспертных оценок в сфере образования выделены следующие:

1. Научное обоснование: критериев оценки сформированной компетенции; вновь создаваемых служб (подразделений, клубов и т.п.); разрабатываемых дисциплин (факультативов, курсов и т.д.); оценки качества образовательных услуг.

2. Разработка стратегии развития образовательного процесса; внедрение инновационных технологий; анализ образовательных проектов и программ; формирование портфеля проектов (мероприятий, программ и т.д.); определение перспектив педагогического процесса; повышение авторитета педагога и престижа педагогической профессии.

3. Поддержка принятия управленческих решений, в частности оценка риска принимаемых решений; оценка альтернативных решений и определение наиболее предпочтительных вариантов организации образовательного процесса; анализ результатов и последствий педагогического процесса; выявление сильных и слабых сторон педагогического процесса.

Результаты исследования и их обсуждение

На основе типовых этапов проведения экспертного анализа предлагается следующая последовательность действий для построения модели поддержки принятия решений на основе методов статистической обработки экспертных оценок (рис. 2).

novg2.tif

Рис. 2. Этапы построения модели поддержки принятия решения на основе статистических методов

1. Постановка задачи (формулировка цели и задач исследования).

2. Сбор исходных данных и их предварительная обработка (на основании проведенного опроса или интервью, анкет формируется таблица исходных данных, анализируется достаточность информации, качество заполнения анкет).

3. Выбор метода обработки данных (применяемые методы позволяют обрабатывать как количественные, так и качественные оценки, проводить упорядочение объектов по степени их предпочтения, оценивать согласованность мнения экспертов).

4. Построение модели вида

Y = {Ri, rjk W, V},

где Ri – есть искомая величина – вектор ранжированных объектов, nov01.wmf, n – число объектов; rjk – матрица ранговых коэффициентов корреляции, характеризующая тесноту связи между мнениями экспертов (данная формула применима в случае наличия связанных рангов):

nov02.wmf

где j и nov03.wmf; m – число экспертов; nov04.wmf nov05.wmf pr и ps – число групп связных рангов соответственно у признаков Х и У; ti – число связных рангов в i-й группе.

Оценка согласованности мнений экспертов осуществляется с помощью коэффициентов конкордации – W (со связными рангами) и вариации – V. Алгоритмы расчета следующие:

nov06.wmf

где nov07.wmf ki – количество групп связных рангов j-го признака; tij – число одинаковых рангов, которые присваивает разными объектам j-й эксперт.

nov08.wmf

где nov09.wmf – среднее квадратичное отклонение, nov10.wmf – среднее значение оценок.

Оценка значимости коэффициента конкордации проводится критерием χ – квадрат (формула с учетом связных рангов):

nov11.wmf

5. Анализ и интерпретация результатов моделирования (позволяет выделить объекты в зависимости от цели исследования и более обоснованно принять решение).

Формирование набора характеристик (аргументов) осуществляется по следующему правилу: в состав характеристик входят аргументы со значением

Аi ≥ M + σ,

где Аi – оценка i-го признака (количество повторов аргумента); i – номер признака (аргумента) nov12.wmf n – общее количество аргументов; M – медиана; σ – стандартное отклонение.

Выходной информацией является список аргументов:

nov13.wmf

Рассмотрим данную технологию на примере решения задачи выбора педагогического состава для мероприятия «День самоуправления в школе». Целями его являются популяризация профессии учителя, возможности проявить творческие, организаторские, лидерские способности учащихся. Как правило, процесс подбора кандидатов на роли дня самоуправления является стихийным: иногда используется процедура самовыдвижения, иногда сам учитель назначает кандидатуру. Не всегда это оправдано и не дает ожидаемых результатов, как с точки зрения самого процесса проведения мероприятия, так и с точки зрения участников мероприятия. Требуется обосновать подбор кандидатур на роли учителей, администрации «Дня самоуправления в школе» [6].

В качестве экспертов выбраны 40 учеников из школ Иркутской области (г. Ангарска и п. Юбилейный).

Сбор данных произведен с помощью метода анкетирования. Анкета состоит из 10 вопросов: 2 вопроса общих, 4 вопроса об отношении респондентов ко дню самоуправления, 4 вопроса о личностных и профессиональных качествах педагогического состава. Обработка результатов происходит по двум видам качеств педагога.

По итогам проведенного анкетирования получены следующие результаты:

1. В опросе приняло участие 8 школ Иркутской области.

2. Большинство респондентов находятся в возрастной категории 15–16 лет и обучаются в старшем звене.

3. Из опроса респондентов выявлено, что в дне самоуправления должны участвовать ученики 9–11 классов, а также не важен пол ученика в роли преподавателя.

4. Критерием по важности в должности учителя учащиеся выбрали наличие интересного материала для преподавания.

5. В проведенном опросе участники проголосовали за самостоятельный выбор предмета.

6. Характеристики модели педагогического состава по личным качествам:

- на основании ранжирования наибольшее предпочтение получили аргументы: терпеливость, доброжелательность, ответственность. Другими словами, экспертам важно отношение педагога к своим обучающимся;

- анализ парных коэффициентов ранговой корреляции позволил выделить шесть человек или 15 % экспертов, имеющих мнение отличное от большинства, следовательно, теснота связи между мнениями экспертов высокая (значение уровня коэффициента Спирмена в интервале от 0,5 до 0,8);

- коэффициент конкордации Кэндалла составил 0,7, что свидетельствует об уровне выше среднего согласованности мнений экспертов. Статистическая надежность коэффициента оценена с использованием критерия Хи-квадрат при уровне значимости 0,05 (доверительная вероятность р = 0,95);

- уровень значений коэффициентов вариации аргументов не позволил однозначно говорить об однородности мнений экспертов, в частности такие аргументы, как скромность, нравственность, требовательность, исполнительность, показали уровень коэффициента вариации больше 30 %. Тем не менее большинство анализируемых аргументов (доброжелательность, креативность, коммуникабельность, уравновешенность, ответственность, оптимистичность, терпеливость, отзывчивость) имеют коэффициент вариации до 33 %, что позволило сделать выводы, что однородность мнений экспертов высока.

7. Характеристики модели педагогического состава по профессиональным качествам:

- на основании ранжирования наибольшее предпочтение получили аргументы: уметь объяснять, умный, ответственный. Иначе говоря, экспертам важно качество объяснения информации;

- анализ парных коэффициентов ранговой корреляции позволил выделить: пятнадцать человек, или 37,5 % экспертов, имеют мнение отличное от большинства, следовательно, теснота связи между мнениями экспертов высокая (значение уровня коэффициента Спирмена в интервале от 0,5 до 0,8);

- коэффициент конкордации Кэндалла составил 0,66, что свидетельствует об уровне выше среднего согласованности мнений экспертов. Статистическая надежность коэффициента оценена с использованием критерия Хи-квадрат при уровне значимости 0,05 (доверительная вероятность р = 0,95);

- уровень значений коэффициентов вариации аргументов не позволил однозначно говорить об однородности мнений экспертов, в частности такие аргументы, как симпатичный, нравственный, организаторские способности, иметь авторитет, лидер, компетентный, оратор, показали уровень коэффициента вариации больше 30 %. Тем не менее большинство анализируемых аргументов (активист, креативный, коммуникабельный, уравновешенный, уметь объяснять, ответственный, умный, любить предмет, оптимистичный) имеют коэффициент вариации до 33 %, позволил сделать выводы, что однородность мнений экспертов высока, то есть эксперты схожи в своих суждения по данному вопросу.

Заключение

Использование предложенной в работе технологии статистической обработки экспертных оценок позволяет стандартизировать процесс принятия управленческих решений для разных задач, избежать ошибок в выборе статистических методов при использовании различных наборов данных, а также повышает обоснованность принимаемых решений за счет:

- применимости технологии к решению широкого класса задач, без ограничения на размер исходных данных, количество экспертов, признаков и пр.;

- применения различных статистических методов к решаемой задаче, что позволяет повысить объективность получаемых выводов;

- использования «классических» статистических методов и возможности применения стандартного программного обеспечения для расчетов (в частности, Excel, Statistica), что понижает «порог входа» и делает доступным применение технологии широкому кругу пользователей. Однако целесообразным является создание специализированного программного продукта для поддержки принятия управленческих решений в образовательных учреждениях.

Также следует отметить то, что методы экспертных оценок позволяют дополнить информацию, необходимую для подготовки и принятия управленческих решений, но ни в коем случае не заменяют их и не допускают «механических» принятий решений только на их основе.