Как оценить результаты воспитательной работы? Обращение к такой проблеме есть следствие потребности в совершенствовании системы оценки качества образования, в изменении подходов в оценивании. Как отмечено в исследовании, «оценка смещается в сторону более комплексного подхода» [1, с. 343]. Но поиск ответов на поставленный вопрос порождает, как минимум, ряд последующих вопросов. Каковы границы оцениваемых результатов воспитательной работы? Кто заинтересован в такой оценке, какова форма ее представления? Кто и с помощью чего проводит измерения?
Представляемые в данном исследовании результаты разработки и первичной апробации методики оценки результативности воспитательной работы с помощью технологий больших данных исходят из следующих ответов на них.
Внесение поправок в Федеральный закон «Об образовании в Российской Федерации» обязывает образовательные организации осуществлять воспитание на основе разработанной и утвержденной ими рабочей программы воспитания и календарного плана воспитательной работы. Ориентиром их разработки являются примерные рабочие программы воспитания, разработанные на федеральном уроне. Следовательно, безграничное понятие «воспитательная работа» в представляемом исследовании конкретизировано содержанием названных выше документов в образовательных организациях. Применение понятия «результативность» определено тем, что под результативностью – в терминологии ГОСТ ИСО 9000-2015 – понимается «степень реализации запланированной деятельности и достижения запланированных результатов». Для определения результативности – в представляемой методике – производится сопоставление запланированной и выполненной деятельности (результатов). Оно обосновывает применение понятия «оценка» [2, с. 22–23].
Цель исследования – произвести комплексную форму оценки результативности воспитательной работы в ОО, выраженную в количественных значениях. Для определения компонентов оценки результативности воспитательной работы экспериментально построить модель факторов риска снижения результативности воспитательной работы в образовательной организации. Апробировать методику с помощью технологий больших данных.
Выделим следующие группы участников отношений в сфере образования, профессиональная деятельность которых взаимосвязана с оценкой результативности воспитательной работы в образовательной организации (ВР в ОО). Органы управления образования всех уровней работают с усредненными значениями, полученными при оценке результативности воспитательной работы в каждой образовательной организации. На их основе анализируется результативность существующей политики в области воспитания в городах и районах, регионах и в целом в Российской Федерации.
Для руководства образовательных организаций оценка результативности – это возможность получить «обратную связь». Полученные значения результативности позволяют им оперативно корректировать действия участников образовательных отношений при реализации ВР в ОО, расширить возможности внутренней системы оценки качества образования.
Для педагога-предметника, классного руководителя оценка результативности – это возможность минимизировать субъективизм при самооценке результатов воспитательной работы и оценить свои профессиональные компетенции, выявить потребность в методическом сопровождении, идентифицировать себя как наставника или наставляемого.
Для родительского сообщества и социальных институтов – это возможность почувствовать свою причастность и ответственность за образовательные цели и результаты.
Описанная взаимосвязь профессиональной деятельности участников отношений в сфере образования позволяет считать, что они заинтересованы не столько в самом процессе оценки результативности воспитательной работы, сколько в достоверности и количественной форме значений, полученных при оценке результативности. Следовательно, приоритетом является обеспечение качества оценки результативности воспитательной работы в образовательной организации. Для такого обеспечения традиционный набор методов и практик, применяемых педагогами, недостаточен [2, с. 179]. Необходима разработка методики оценки результативности воспитательной работы, основанная на методологии квалиметрии.
Анализ исследований в образовании, например определение структуры и оценки качества профессионально ориентированных заданий для будущих педагогов [3], обеспечение согласования традиционной системы оценок и контрольно-измерительных материалов [4], достижение объективной оценки результатов профессионального образования [5], демонстрирует высокую результативность решения научных задач подобного класса. Разработанная на основе квалиметрии методика должна быть алгоритмизированной и ориентированной на работу со значительным количеством источников информации, включать в себя применение технологий больших данных и метода групповых экспертных оценок. Итогом ее явится комплексная форма оценки результативности, выраженная в количественных значениях. Они позволят на основе сопоставления запланированной и выполненной деятельности (результатов) не только оценить результативность воспитательной работы для конкретного момента времени, но и провести анализ причин ее состояния, определить перспективы. Рассматривая разработку и первичную апробацию методики оценки ВР в ОО как цель исследования, конкретизируем ее следующие задачи:
1) определить компоненты, составляющие комплексную оценку результативности ВР в ОО;
2) описать структуру методики оценки результативности ВР в ОО;
3) предложить интерпретацию значений компонентов, полученных при оценке результативности воспитательной работы в образовательной организации.
Материалы и методы исследования
При разработке и первичной апробации методики оценки результативности воспитательной работы с помощью технологий применялись следующие методы.
1. Метод групповых экспертных оценок. Для его применения была сформирована экспертная группа (ЭГ). В ее состав входили руководители образовательных организаций, классные руководители, методисты, преподаватели вуза. Объектами экспертизы являлись: структура методики оценки результативности ВР в ОО, модель факторов риска снижения результативности ВР в ОО, компоненты оценки результативности ВР в ОО, размерность и градации шкал порядка, с которой работает эксперт, для каждого компонента оценки результативности, набор документов для каждого компонента оценки результативности ВР в ОО.
2. Метод моделирования, в ходе которого рабочая группа формировала объекты экспертизы, перечисленные выше.
3. Метод опроса. Опрос применялся рабочей группой, во-первых, для получения информации, необходимой для моделирования объектов экспертизы (всего в опросах приняли участие 68 участников образовательных отношений); во-вторых, при получении «вторичной информации» от участников образовательных отношений при первичной апробации методики в образовательных организациях.
4. Также при первичной апробации методики в образовательных организациях применялись методы анкетирования и наблюдения для установления обратной связи и оперативной корректировки содержания методики или сопровождения реализующих ее участников.
В первичной апробации приняли участие 11 образовательных организаций Удмуртской Республики. Выбор образовательных организаций одного региона обусловлен желанием минимизировать погрешности, связанные с региональными особенностями системы образования.
Результаты исследования и их обсуждение
Для определения компонентов оценки результативности ВР в ОО экспериментально была построена модель факторов риска снижения результативности воспитательной работы в образовательной организации. Под риском понимается «следствие влияния неопределенности на достижение поставленных целей» [6, с. 1]. Обращение к моделированию рисков обусловлено как достаточной теоретической и экспериментальной базой подобных исследований в смежных с педагогикой областях [7], так и возможностями классифицировать и ранжировать факторы, влияющие на достижение конкретных результатов образовательными организациями [8].
Разработанная модель содержала 24 фактора риска. На основе их анализа было установлено, что факторы, влияющие на результативность воспитательной работы, возможно распределить по трем группам [9].
К первой группе относятся факторы, связанные с постановкой и диагностикой достижения целей воспитательной работы. Среди них: неполный перечень целей и их постоянная корректировка, недиагностичное (не позволяющее однозначно определить степень достижения) описание целей, отсутствие, недостаточная конкретизация, разноуровневость, необоснованность методик, применяемых образовательной организацией для диагностики достижения целей воспитательной работы, и пр.
Вторую группу составляют факторы, связанные с наличием и применением нормативно-правовой и методической базы сопровождения воспитательной работы [10, 11]. Многообразие субъектов, охваченных воспитательной работой, требует конкретизации отношений между ними, как минимум, на уровне образовательной организации. К факторам риска данной группы также относятся отсутствие или недостаток методического сопровождения, периодическое повышение квалификации, потребность в дополнительном профессиональном образовании для выполнения функций классного руководителя и пр. К третьей группе относятся факторы риска, определяемые недостаточной согласованностью между планированием и достижением конкретных показателей воспитательной работы. В соответствии с вышеизложенным были определены три компонента, составляющие оценку результативности воспитательной работы в образовательной организации (К1, К2, К3). К1 – компонент, оценивающий степень планирования и достижения целей воспитательной работы. К2 – компонент, оценивающий наличие нормативно-правовой, методической базы, регламентирующий выполнение воспитательной работы в образовательной организации и степень ее реализации участниками образовательных отношений. К3 – компонент, оценивающий степень выполнения конкретных запланированных показателей рабочей программы воспитания и календарного плана воспитательной работы (мероприятий, акций, конкурсов и пр.).
Методика оценки результативности воспитательной работы в образовательной организации содержит три этапа: «Планирование», «Выполнение», «Прогноз и рекомендации» (рис. 1). Каждый этап содержит алгоритм позиций, которые определяют действия участников реализации методики.
На первом этапе методики осуществляются подготовительные работы, формируются рабочая и экспертная группы, согласуются условия оценки с «заказчиком». Также определяются факторы, влияющие на снижение результатов воспитательной работы, размерность шкал, которыми будут пользоваться эксперты. Следовательно, определяются компоненты оценки результативности воспитательной работы в образовательной организации (К1, К2, К3). Отметим, что количество данных компонентов является открытым и может варьироваться для образовательных организаций различных уровней.
Рис. 1. Этапы методик оценки результативности воспитательной работы в образовательной организации
Второй этап методики включает, во-первых, работу с различными источниками для получения информации о планируемой и осуществленной воспитательной работе (работа с различными источниками информации). Во-вторых, собранная информация, единица которой «документ» в терминологии больших данных, классифицируется и размещается в документоориентированной системе управления базами данных MongoDB [12]. Количество таких документов для общеобразовательной организации прогнозируется в пределах 150–200. В-третьих, каждый эксперт, последовательно изучая информацию (документы), классифицированные для каждого компоненты оценки результативности (К1, К2, К3), оценивает их в определенной шкале. Размерность и градация шкалы определяются на основе коллективного экспертного мнения в ходе первого этапа методики. Результаты работы экспертной группы обобщаются, анализируются и представляются в форме, определенной «заказчиком» оценки результативности воспитательной работы в образовательной организации. На третьем этапе формируются прогноз и рекомендации по повышению результативности воспитательной работы.
Рассмотрим варианты распределения значений компонентов результативности воспитательной работы для образовательной организации (класса) на рисунке 2. В каждой четверти представлен один из компонентов: К1 – первая четверть, К2 – вторая четверть, К3 – третья четверть, К I – итоговое значение. Горизонтальная ось – ось планирования (П), вертикальная ось – достигнутый результат (Р). Размерность шкалы 8 баллов. В рамках данной шкалы эксперты используют для каждого компонента оценки соответствующие градации при экспертной оценке документов, связанных с планированием достигнутым результатом. Например, для оценки К1 эксперты применяют следующие градации:
– Ось П – планирования. Градация шкалы – система целей воспитательной работы в образовательной организации представлена в полном объеме и является диагностичной: 1– 2 балла – не представлена, 3–4 балла – скорее не представлена, 5–6 баллов – скорее представлена, 7–8 баллов – представлена.
– Ось Р – достигнутый результат. Градация шкалы – достижение целей воспитательной работы в образовательной организации подтверждено диагностикой: 1–2 балла – не подтверждена, 3–4 балла– скорее не подтверждена, 5–6 баллов – скорее подтверждена, 7–8 баллов – подтверждена.
На рисунке 2 представлены варианты значений компонентов оценки результативности воспитательной работы для различных образовательных организаций.
Рис. 2. Варианты значений компонентов оценки результативности воспитательной работы в образовательной организации
Для первой четверти идеальный случай – А4, когда поставленные цели воспитательной работы в образовательной организации представлены в полном объеме и являются диагностичными, а их достижение подтверждено системой диагностических процедур. К сожалению, более реальным является вариант А2, когда достижение запланированных целей не подтверждено диагностикой, а подменяется иными показателями, например количеством мероприятий.
Во второй четверти идеальный случай – В3, когда все действия по воспитательной работе участников образовательных отношений подкреплены нормативно и методически. Наиболее нежелательной является позиция В2, когда активность педагогов спонтанна, интуитивна, не подкреплена соответствующим сопровождением.
В третьей четверти вариант С4 характерен для образовательных организаций, которые выполняют многочисленные мероприятия, которые первоначально не планировались. С3 показывает недостаток ресурсов у образовательной организации для выполнения запланированных мероприятий.
Итоговая оценка результативности для образовательной организации представлена в четвертой четверти. Граничные случаи: D 4 – это образовательные организации, в которых все хорошо на бумаге, но реальность иная; D 2 – это образовательные организации, которые работают, не уделяя необходимого влияния планированию или пренебрегая заранее запланированными мероприятиями.
Взаимосвязь между значениями оценки результативности ВР для конкретной образовательной организации проиллюстрируем на следующем примере. Значения оценки результативности для образовательной организации N составляют: К1 (7, 4). К2 (4, 8). К3 (4, 7). Возможно заключить, что в этой образовательной организации цели воспитательной работы сформулированы в полном объеме и диагностично, но недостаточно применяются системы диагностики, позволяющие определить степень достижения целей воспитания. Данное заключение подтверждает и то, что в этой образовательной организации для достижения цели активно взаимодействуют все участники образовательных отношений, но их действия недостаточно подкреплены нормативно-правовым и методическим сопровождением. В результате значительная часть воспитательной работы осуществляется интуитивно. Значительный объем выполненных мероприятий расходится с планами по их проведению, что ограничивает возможность качественной подготовки к проведению мероприятий в угоду повышения их количества.
Итоги первичной апробации, проводимой в общеобразовательных организациях, позволили внести следующие коррективы в разработанную методику: во-первых, следует расширить требования к конфиденциальности процесса проведения оценки в образовательных организациях и представления ее значений (этап «Планирование»). Во-вторых, необходимо обеспечить «квалиметрическое просвещение» педагогического коллектива образовательных организаций, в которых проводится оценка результативности воспитательной работы (этап «Выполнение»). В-третих, нужно расширять количество источников информации за счет работы с родительским ссобществом и учителями-предмениками. В-четвертых, разработка прогноза и рекомендаций по повышению результативности воспитательной работы требует взаимодействия с учредителями образовательной органиазции, порядок такого взаимодействия необходимо включить в алгоритм методики (этап «Прогноз и рекомендации»).
Первичная апробация подтвердила, что ключевыми пользователями методики являются как сами образовательные организации, так и управления образованием городов и районов. Кроме этого, интерес к методике проявили общественные организации и бизнес. Первые активно включились в сбор информации, вторые рассматривают себя в качестве поставщика такой услуги, как независимая оценка результативности воспитательной работы в образовательной организации.
Заключение
Педагогические исследования часто критикуют за «бездетность», за обилие теории и недостаток конкретных результатов. Представляемая методика позволяет не только получить такой результат, она имеет резерв для развития:
– расширение числа компонентов оценки результативности воспитательной работы в образовательной организации позволит дифференцировать полученные значения по направлениям воспитательной работы, по вкладу различных групп участников образовательных отношений;
– расширение шкалы, с которой работают эксперты, и конкретизация ее градации повысят точность значений компонентов оценки результативности ВР в ОО;
– конкретизация профессиональных компетенций, необходимых для сбора и классификации информации, работы с экспертами, анализа и прогноза и прочих действий, входящих в алгоритм методик, потребует профессиональной переподготовки соответствующих специалистов. Возможные перспективы такой переподготовки видятся как в формировании особой группы специалистов по квалиметрической оценке результативности ВР в ОО, так и в независимой оценке со стороны общественных организаций и социально ориентированного бизнеса;
– накопление классифицированной информации в системе больших данных позволит сопоставлять значения оценки результативности за четверти (семестры) и определять взаимосвязь динамики изменений результативности ВР в ОО с принимаемыми управленческими решениями.