Введение
В условиях активного внедрения инновационных образовательных методик и технологий особую актуальность приобретает задача объективной оценки их эффективности. Традиционные способы анализа учебных результатов зачастую не позволяют в полной мере выявить статистические закономерности и подтвердить значимость наблюдаемых изменений – для этого требуются надежные инструменты математико-статистической обработки данных. Одним из таких инструментов выступает критерий хи-квадрат Пирсона – непараметрический метод, позволяющий анализировать категориальные данные и проверять гипотезы о взаимосвязи между различными переменными. В педагогическом исследовании он дает возможность оценить, существует ли статистически значимая связь между применяемой методикой обучения и учебными результатами, сравнить распределение показателей успеваемости в разных группах, а также подтвердить или опровергнуть предположения исследователя на количественной основе. Современные педагогические исследования все чаще сталкиваются с необходимостью обработки категориальных данных – например, при сравнении распределения оценок до и после внедрения новой методики; уровней освоения компетенций в экспериментальной и контрольной группах; показателей вовлеченности обучающихся в учебный процесс; результатов анкетирования и опросов с категориальными ответами. Актуальность применения критерия хи-квадрат Пирсона в педагогике обусловлена его универсальностью, он подходит для анализа данных разного типа (оценки, уровни освоения компетенций, распределение по группам успеваемости и т. д.), не требует строгого соблюдения нормальности распределения и может использоваться при работе с относительно небольшими выборками (при соблюдении базовых условий применимости).
Критерий хи-квадрат Пирсона разработал Карл Пирсон – английский математик, биолог и философ, один из основоположников математической статистики. Он предложил этот метод в 1900 г. для проверки соответствия эмпирических данных теоретическому распределению [1, с. 179]. Среди других ученых, связанных с развитием методов математической статистики, можно назвать: Рональда Эйлмера Фишера [2] продолжателя работ Пирсона в области прикладной математической статистики; Эгона Пирсона [3, с. 241] – сына Карла Пирсона, который также внес значительный вклад в развитие статистики; Южи Неймана [4] – ученого, работавшего вместе с Эгоном Пирсоном над развитием статистических методов. В педагогике критерий хи-квадрат начали применять для анализа результатов экспериментов, анкетирования и сравнения групп. Например, в статье Л. А. Аблаевой [5] рассматривается применение этого критерия для обработки данных эксперимента с участием учителей, обучавшихся по разным методикам. В работе Э. Ф. Зеер [6] и Н. К. Жиганова [7] критерий хи-квадрат используется в комбинации с факторным анализом для изучения результатов анкетирования.
В последние годы в диссертационных исследованиях по педагогике заметно возросла частота применения методов математической и статистической обработки данных, среди которых особое распространение получил критерий хи-квадрат Пирсона. В. И. Загвязинский [8] подчеркивал, что недостаточный уровень математической подготовки исследователей чреват возникновением спекуляций, маскируемых так называемым «математическим камуфляжем». По его мнению, применение математического аппарата без глубокого понимания его теоретических оснований и корректного использования инструментария не только не повышает достоверность результатов, но и усугубляет ошибки, создавая ложную видимость научной обоснованности. Вопросы математизации педагогического знания и границ применимости статистических методов затрагивали и другие ученые. В. В. Краевский [9] рассматривал взаимосвязь эмпирического и теоретического уровней педагогического исследования, отмечая необходимость строгого обоснования выбора методов обработки данных. П. И. Образцов [10] акцентировал внимание на практической важности методологической грамотности исследователя при использовании статистических инструментов. Л. А. Шипилина [11] исследовала содержание количественных методов в психолого-педагогических исследованиях, подчеркивая их сочетание с качественными подходами. Н. В. Бордовская [12] и А. А. Реан [13] в своих исследованиях по педагогической психологии отмечали риски механического применения статистических критериев без учета специфики педагогических данных. В ряде работ по методологии осуществления научного исследования Л. С. Выготский [14, с. 113] и T. Tarang с соавт. [15] подчеркивали необходимость соблюдения в педагогических экспериментах двух ключевых требований: репрезентативности выборки и корректной интерпретации статистических показателей. Таким образом, проблема применения статистических методов в педагогических исследованиях, хоть и достаточно полно рассмотрена в научной литературе, требует последующего уточнения методических рекомендаций по корректному использованию критерия хи-квадрат Пирсона, с учетом специфики педагогических данных.
Цель исследования – продемонстрировать практическое использование критерия хи-квадрат Пирсона в педагогических исследованиях и показать его возможность для оценки влияния образовательной методики на успеваемость обучающихся. В работе представлен алгоритм использования критерия, ключевые требования, а также интерпретация полученных результатов на примере сравнения традиционной и инновационной (реверсивного обучения) методик.
Материалы и методы исследования
Эмпирической основой исследуемого вопроса послужили данные успеваемости иностранных студентов Казанского государственного энергетического университета за один семестр, в исследовании принимали участие 99 студентов, из которых 50 чел. входили в экспериментальную группу, а 49 – в контрольную. Экспериментальная группа обучалась по реверсивному (перевернутому) обучению, требующему самостоятельного изучения лекций вне аудитории и применения полученных знаний в ходе практических занятий. Контрольная группа обучалась по традиционной схеме, которая предполагает лекции в аудитории и самостоятельную работу с практическими заданиями. В исследовании были применены результаты текущего контроля, в частности оценки за практические работы, лабораторные задания, тестирование, а также промежуточной аттестации, то есть результаты зачетов и экзамена по профильным дисциплинам. Иными словами, исследовались и оценивались категориальные показатели успеваемости студентов по уровням «неудовлетворительно», «удовлетворительно», «хорошо», «отлично», а также показатели вовлеченности студентов в учебный процесс: посещаемость практических занятий, активность выполнения групповых заданий и участие в обсуждениях. Основным методом анализа был взят хи-квадрат Пирсона, который позволил проверить выдвинутую гипотезу о связи между методом обучения и успеваемостью. В рамках анализа были выдвинуты две гипотезы – нулевая гипотеза, согласно которой между используемой методикой обучения и распределением оценок студентов статистически значимой связи нет (различия случайны), и альтернативная – о наличии, то есть существовании статистической связи (при котором распределение оценок в группах неслучайно).
Результаты исследования и их обсуждение
Для корректного применения критерия хи-квадрат Пирсона необходимо соблюдать следующие условия:
− данные должны иметь категориальную природу – например, распределяться по уровням успеваемости («низкий», «средний», «высокий») или группироваться по типу обучения («экспериментальная группа», «контрольная группа»);
− каждое наблюдение должно быть независимым: один объект исследования (например, студент) дает только одно наблюдение, не связанное с другими;
− в каждой ячейке таблицы сопряженности ожидаемая частота должна составлять не менее 5 – если это условие не выполняется, предпочтительнее использовать точный критерий Фишера;
− объем выборки должен быть достаточно крупным: как правило, он должен включать от 20 до 50 и более наблюдений, чтобы обеспечить надежность и достоверность результатов анализа.
При соблюдении условий применения критерия хи-квадрат Пирсона процедура расчета соответствующей статистической величины проводится по стандартной формуле
,
где Oi – наблюдаемая частота в i-й ячейке (реальные данные из эксперимента);
Ei – ожидаемая частота в i-й ячейке (рассчитывается теоретически при условии, что нулевая гипотеза верна).
Построим таблицу наблюдаемых частот с учетом заданных условий. В исследовании участвуют две группы по 49 и 50 чел.: контрольная и экспериментальная. Уровень сформированности компетенций оценивается по четырем категориям: «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично». Для анализа данных формируется таблица сопряженности размером 2×4 (две группы и четыре уровня успеваемости) либо 4×2 (четыре уровня успеваемости и две группы) – выбор ориентации зависит от удобства представления данных. Число степеней свободы в данном случае составляет 3, что рассчитывается по формуле: (число строк − 1) × (число столбцов − 1). В ячейки таблицы вносятся фактические (наблюдаемые) частоты – то есть количество студентов в каждой группе, получивших оценку соответствующего уровня. Например, фиксируется, сколько человек в контрольной группе получили «неудовлетворительно», сколько «удовлетворительно» и т. д., и аналогично для экспериментальной группы. После заполнения таблицы наблюдаемых частот переходят к расчету ожидаемых частот – то есть тех значений, которых следовало бы ожидать при условии отсутствия связи между методикой обучения и уровнем успеваемости (при справедливости нулевой гипотезы). Ожидаемая частота для каждой ячейки вычисляется как произведение суммарного итога по строке и суммарного итога по столбцу, деленное на общий объем выборки. Далее, на основе сопоставления наблюдаемых и ожидаемых частот производится расчет статистики критерия хи-квадрат Пирсона. Полученное значение сравнивается с критическим для заданного уровня значимости (обычно 0,05) и числа степеней свободы (в данном случае – 3). Это позволяет сделать вывод о наличии или отсутствии статистически значимой связи между применяемой образовательной методикой и уровнем сформированности компетенций у студентов. Если рассчитанное значение критерия превышает критическое, нулевая гипотеза отвергается – значит, методика обучения оказывает значимое влияние на результаты. В противном случае нет оснований утверждать, что различия в успеваемости обусловлены именно способом организации учебного процесса.
В качестве примера построим таблицу наблюдаемых частот на основе заданных условий: контрольная группа – 49 чел.; экспериментальная группа – 50 чел.; уровни сформированности компетенций: «неудовлетворительно», «удовлетворительно», «хорошо», «отлично».
Наблюдаемые частоты успеваемости
|
Уровень успеваемости |
Контрольная группа |
Экспериментальная группа |
Всего |
|
Неудовлетворительно |
14 |
6 |
20 |
|
Удовлетворительно |
18 |
11 |
29 |
|
Хорошо |
12 |
24 |
36 |
|
Отлично |
5 |
9 |
14 |
|
Всего |
49 |
50 |
99 |
Примечание: составлена авторами на основе полученных данных в ходе исследования
Шаг 1. Расчет ожидаемых частот. Ожидаемая частота для каждой ячейки вычисляется по формуле: (сумма по строке × сумма по столбцу) / общий объем выборки. Рассчитаем ожидаемые частоты для всех ячеек:
«неудовлетворительно», контрольная: (20×49)/99 ≈ 9,899;
«неудовлетворительно», экспериментальная: (20×50)/99 ≈ 10,101;
«удовлетворительно», контрольная: (29×49)/99 ≈ 14,343;
«удовлетворительно», экспериментальная: (29×50)/99 ≈ 14,657;
«хорошо», контрольная: (36×49)/99 ≈ 17,818;
«хорошо», экспериментальная: (36×50)/99 ≈ 18,182;
«отлично», контрольная: (14×49)/99 ≈ 6,929;
«отлично», экспериментальная: (14×50)/99 ≈ 7,071.
Шаг 2. Расчет статистики критерия хи-квадрат. Расчеты для каждой ячейки:
«неудовлетворительно», контрольная: (14−9,899)2/9,899 ≈ 1,700;
«неудовлетворительно», экспериментальная: (6−10,101)2/10,101 ≈ 1,667;
«удовлетворительно», контрольная: (18−14,343)2/14,343 ≈ 0,930;
«удовлетворительно», экспериментальная: (11−14,657)2/14,657 ≈ 0,909;
«хорошо», контрольная: (12−17,818)2/17,818 ≈ 1,894;
«хорошо», экспериментальная: (24−18,182)2/18,182 ≈ 1,854;
«отлично», контрольная: (5−6,929)2/6,929 ≈ 0,537;
«отлично», экспериментальная: (9−7,071)2/7,071 ≈ 0,525.
Суммируем все значения:
χ2набл. = 1,700+1,667+0,930+0,909+1,894+1,854+0,537+0,525 ≈ 10,016.
Шаг 3. Определение числа степеней свободы:
v = (4−1)(2−1) = 3.
Шаг 4. Сравнение с критическим значением. При уровне значимости p = 0,05 (опирайтесь на стандартную таблицу критических значений распределения хи-квадрат Пирсона для заданного уровня значимости) и числе степеней свободы v = 3 критическое значение χ2крит. = 7,815.
Поскольку χ2набл.> χ2крит.. (10,016>7,815), нулевая гипотеза об отсутствии связи между методикой обучения и уровнем успеваемости отвергается.
Заключение
Проведенный анализ на базе Казанского государственного энергетического университета показал, что использование критерия хи-квадрат Пирсона позволяет объективно оценить влияние реверсивного обучения на успеваемость студентов. Расчетное значение статистики критерия превысило критическое, что дало возможность отвергнуть нулевую гипотезу об отсутствии связи между методикой обучения и уровнем успеваемости и подтвердить неслучайный характер различий в распределении оценок между контрольной и экспериментальной группами. Предложенный на основе хи-квадрат Пирсона расчет дал педагогам и администрации вуза объективное основание для внедрения реверсивного обучения, особенно для иностранных студентов технических направлений подготовки. Таким образом, критерий хи-квадрат Пирсона продемонстрировал свою ценность как инструмент доказательной педагогики, помогающий перейти от интуитивных предположений к объективным выводам и способствующий научно обоснованному совершенствованию образовательного процесса.