Результативность деятельности любого образовательного учреждения основывается прежде всего на верно принятых управленческих решениях. Решение – это выбор альтернативы действия. Принятые решения отражаются на всей деятельности образовательного учреждения [1]. С целью повышения обоснованности принимаемых решений в сфере образования необходимо использовать как формализованные методы, так и методы, основанные на аргументированных суждениях специалистов – экспертов.
Необходимость и актуальность разработки технологии применения статистических методов для решения управленческих задач образовательного учреждения обосновывается:
- наличием широкого спектра задач, требующих применения методов экспертных оценок (оценка качества образования, аттестация персонала, лицензирование, экспертиза учебных программ, планов и т.д.);
- необходимостью стандартизации методов сбора и обработки экспертной оценки;
- отсутствием типовых технологий поддержки принятия решений на основе статистических методов обработки экспертных оценок.
Цель исследования
Разработка типовой технологии применения статистических методов обработки экспертных оценок в процессе решения различных управленческих задач, возникающих в учебно-воспитательном процессе.
Материалы и методы исследования
Существуют различные подходы к классификации методов экспертного анализа. В частности, в работах А.И. Орлова [2], В.В. Колбина [3], Д.С. Набатова [4] различают методы как по имеющейся исходной информации, так и по технике проведения исследования. В работе С.А. Айвазян [5] основным принципом классификации методов является «цель решаемой задачи». На основе проведенного анализа существующих подходов построена обобщенная классификация методов (таблица).
Классификация методов экспертных оценок
|
Признак |
Индикатор |
Методы |
|
По исходной информации |
Количественные |
Непосредственная численная оценка альтернатив, метод средней точки, метод Акоффа – Чёрчмена (последовательное сравнение), метод Фон Неймана – Моргенштерна (метод лотерей) |
|
Качественные |
Парное сравнение, множественное сравнение, pанжирование, векторы предпочтений |
|
|
Смешанные |
Все вышеперечисленные методы |
|
|
По технике проведения |
Индивидуальные |
Метод интервью, аналитический метод, анкетирование |
|
Коллективные |
Метод Дельфи, метод «мозговой атаки», метод сценариев, дерево целей, метод комиссий |
|
|
По цели использования |
Организация экспертной группы |
Метод самооценки, метод взаимной оценки |
|
Ранжирование |
Ранжирование, непосредственная численная оценка альтернатив, метод Акоффа – Чёрчмена (последовательное сравнение) |
|
|
Проверка согласованности экспертов |
Коэффициент конкордации, коэффициент вариации |
На основании общей классификации в работе выделен ряд методов экспертных оценок, позволяющих выполнять статистическую обработку оценок данных экспертами: метод самооценки выбран в качестве метода формирования таблицы исходных данных; медиана и метод ранжирования используется для упорядочения средних оценок (объектов); проверка согласованности мнений осуществляется с помощью коэффициентов корреляции Спирмена, конкордации и вариации. Применительно к решению задач, возникающих в образовательном процессе, предлагается учитывать следующие параметры, приведенные на рис. 1.
Рис. 1. Критерии применения методов экспертных оценок с точки зрения задач образовательного процесса
В качестве перспективных направлений использования методов экспертных оценок в сфере образования выделены следующие:
1. Научное обоснование: критериев оценки сформированной компетенции; вновь создаваемых служб (подразделений, клубов и т.п.); разрабатываемых дисциплин (факультативов, курсов и т.д.); оценки качества образовательных услуг.
2. Разработка стратегии развития образовательного процесса; внедрение инновационных технологий; анализ образовательных проектов и программ; формирование портфеля проектов (мероприятий, программ и т.д.); определение перспектив педагогического процесса; повышение авторитета педагога и престижа педагогической профессии.
3. Поддержка принятия управленческих решений, в частности оценка риска принимаемых решений; оценка альтернативных решений и определение наиболее предпочтительных вариантов организации образовательного процесса; анализ результатов и последствий педагогического процесса; выявление сильных и слабых сторон педагогического процесса.
Результаты исследования и их обсуждение
На основе типовых этапов проведения экспертного анализа предлагается следующая последовательность действий для построения модели поддержки принятия решений на основе методов статистической обработки экспертных оценок (рис. 2).
Рис. 2. Этапы построения модели поддержки принятия решения на основе статистических методов
1. Постановка задачи (формулировка цели и задач исследования).
2. Сбор исходных данных и их предварительная обработка (на основании проведенного опроса или интервью, анкет формируется таблица исходных данных, анализируется достаточность информации, качество заполнения анкет).
3. Выбор метода обработки данных (применяемые методы позволяют обрабатывать как количественные, так и качественные оценки, проводить упорядочение объектов по степени их предпочтения, оценивать согласованность мнения экспертов).
4. Построение модели вида
Y = {Ri, rjk W, V},
где Ri – есть искомая величина – вектор ранжированных объектов, 
, n – число объектов; rjk – матрица ранговых коэффициентов корреляции, характеризующая тесноту связи между мнениями экспертов (данная формула применима в случае наличия связанных рангов):
где j и 
; m – число экспертов; 
pr и ps – число групп связных рангов соответственно у признаков Х и У; ti – число связных рангов в i-й группе.
Оценка согласованности мнений экспертов осуществляется с помощью коэффициентов конкордации – W (со связными рангами) и вариации – V. Алгоритмы расчета следующие:
где 
ki – количество групп связных рангов j-го признака; tij – число одинаковых рангов, которые присваивает разными объектам j-й эксперт.
где 
– среднее квадратичное отклонение, 
– среднее значение оценок.
Оценка значимости коэффициента конкордации проводится критерием χ – квадрат (формула с учетом связных рангов):
5. Анализ и интерпретация результатов моделирования (позволяет выделить объекты в зависимости от цели исследования и более обоснованно принять решение).
Формирование набора характеристик (аргументов) осуществляется по следующему правилу: в состав характеристик входят аргументы со значением
Аi ≥ M + σ,
где Аi – оценка i-го признака (количество повторов аргумента); i – номер признака (аргумента) 
n – общее количество аргументов; M – медиана; σ – стандартное отклонение.
Выходной информацией является список аргументов:
Рассмотрим данную технологию на примере решения задачи выбора педагогического состава для мероприятия «День самоуправления в школе». Целями его являются популяризация профессии учителя, возможности проявить творческие, организаторские, лидерские способности учащихся. Как правило, процесс подбора кандидатов на роли дня самоуправления является стихийным: иногда используется процедура самовыдвижения, иногда сам учитель назначает кандидатуру. Не всегда это оправдано и не дает ожидаемых результатов, как с точки зрения самого процесса проведения мероприятия, так и с точки зрения участников мероприятия. Требуется обосновать подбор кандидатур на роли учителей, администрации «Дня самоуправления в школе» [6].
В качестве экспертов выбраны 40 учеников из школ Иркутской области (г. Ангарска и п. Юбилейный).
Сбор данных произведен с помощью метода анкетирования. Анкета состоит из 10 вопросов: 2 вопроса общих, 4 вопроса об отношении респондентов ко дню самоуправления, 4 вопроса о личностных и профессиональных качествах педагогического состава. Обработка результатов происходит по двум видам качеств педагога.
По итогам проведенного анкетирования получены следующие результаты:
1. В опросе приняло участие 8 школ Иркутской области.
2. Большинство респондентов находятся в возрастной категории 15–16 лет и обучаются в старшем звене.
3. Из опроса респондентов выявлено, что в дне самоуправления должны участвовать ученики 9–11 классов, а также не важен пол ученика в роли преподавателя.
4. Критерием по важности в должности учителя учащиеся выбрали наличие интересного материала для преподавания.
5. В проведенном опросе участники проголосовали за самостоятельный выбор предмета.
6. Характеристики модели педагогического состава по личным качествам:
- на основании ранжирования наибольшее предпочтение получили аргументы: терпеливость, доброжелательность, ответственность. Другими словами, экспертам важно отношение педагога к своим обучающимся;
- анализ парных коэффициентов ранговой корреляции позволил выделить шесть человек или 15 % экспертов, имеющих мнение отличное от большинства, следовательно, теснота связи между мнениями экспертов высокая (значение уровня коэффициента Спирмена в интервале от 0,5 до 0,8);
- коэффициент конкордации Кэндалла составил 0,7, что свидетельствует об уровне выше среднего согласованности мнений экспертов. Статистическая надежность коэффициента оценена с использованием критерия Хи-квадрат при уровне значимости 0,05 (доверительная вероятность р = 0,95);
- уровень значений коэффициентов вариации аргументов не позволил однозначно говорить об однородности мнений экспертов, в частности такие аргументы, как скромность, нравственность, требовательность, исполнительность, показали уровень коэффициента вариации больше 30 %. Тем не менее большинство анализируемых аргументов (доброжелательность, креативность, коммуникабельность, уравновешенность, ответственность, оптимистичность, терпеливость, отзывчивость) имеют коэффициент вариации до 33 %, что позволило сделать выводы, что однородность мнений экспертов высока.
7. Характеристики модели педагогического состава по профессиональным качествам:
- на основании ранжирования наибольшее предпочтение получили аргументы: уметь объяснять, умный, ответственный. Иначе говоря, экспертам важно качество объяснения информации;
- анализ парных коэффициентов ранговой корреляции позволил выделить: пятнадцать человек, или 37,5 % экспертов, имеют мнение отличное от большинства, следовательно, теснота связи между мнениями экспертов высокая (значение уровня коэффициента Спирмена в интервале от 0,5 до 0,8);
- коэффициент конкордации Кэндалла составил 0,66, что свидетельствует об уровне выше среднего согласованности мнений экспертов. Статистическая надежность коэффициента оценена с использованием критерия Хи-квадрат при уровне значимости 0,05 (доверительная вероятность р = 0,95);
- уровень значений коэффициентов вариации аргументов не позволил однозначно говорить об однородности мнений экспертов, в частности такие аргументы, как симпатичный, нравственный, организаторские способности, иметь авторитет, лидер, компетентный, оратор, показали уровень коэффициента вариации больше 30 %. Тем не менее большинство анализируемых аргументов (активист, креативный, коммуникабельный, уравновешенный, уметь объяснять, ответственный, умный, любить предмет, оптимистичный) имеют коэффициент вариации до 33 %, позволил сделать выводы, что однородность мнений экспертов высока, то есть эксперты схожи в своих суждения по данному вопросу.
Заключение
Использование предложенной в работе технологии статистической обработки экспертных оценок позволяет стандартизировать процесс принятия управленческих решений для разных задач, избежать ошибок в выборе статистических методов при использовании различных наборов данных, а также повышает обоснованность принимаемых решений за счет:
- применимости технологии к решению широкого класса задач, без ограничения на размер исходных данных, количество экспертов, признаков и пр.;
- применения различных статистических методов к решаемой задаче, что позволяет повысить объективность получаемых выводов;
- использования «классических» статистических методов и возможности применения стандартного программного обеспечения для расчетов (в частности, Excel, Statistica), что понижает «порог входа» и делает доступным применение технологии широкому кругу пользователей. Однако целесообразным является создание специализированного программного продукта для поддержки принятия управленческих решений в образовательных учреждениях.
Также следует отметить то, что методы экспертных оценок позволяют дополнить информацию, необходимую для подготовки и принятия управленческих решений, но ни в коем случае не заменяют их и не допускают «механических» принятий решений только на их основе.
Библиографическая ссылка
Новгородцева Т.Ю., Иванова Е.Н., Лесников И.Н., Родионов А.В., Каланда Ю.В. ТЕХНОЛОГИЯ ПРИМЕНЕНИЯ МЕТОДОВ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ЭКСПЕРТНЫХ ОЦЕНОК ДЛЯ РЕШЕНИЯ АКТУАЛЬНЫХ ЗАДАЧ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА // Современные наукоемкие технологии. – 2018. – № 6. – С. 123-128;URL: https://top-technologies.ru/ru/article/view?id=37044 (дата обращения: 23.11.2024).