Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

MEASUREMENT OF MATHEMATICS TEACHERS’ PROFESSIONAL PERFORMANCE BASED ON PORTFOLIO

Leus O.V. 1 Maslak A.A. 1
1 Kuban State University
A portfolio for the estimation of teachers’ professional performance in general education schools was developed. The importance of this research lies in the fact that teachers’ professional performance defines the quality of education in schools in great degree. Within the framework of the theory of latent variables, the portfolio analysis as measuring tool was carried out. Portfolio indicators were obtained that better than others differentiated mathematics teachers into two groups: high and low level of professional performance. The quality of mathematics teachers’ professional performance based on the portfolio was measured on a linear scale. Results of measurement of mathematics teachers’ professional performance were used for comparison of schools – lyces, general education high and elementary schools in Slavyansk-on-Kuban (Krasnodar krai). On average, mathematics teachers’ professional performance was the highest in lyces and the lowest in the general education elementary schools. However, in some high and elementary general education schools, mathematics teachers’ professional performance was higher than in lyces.
teachers’ professional performance
measurement of latent variables
portfolio
Rasch model

Качество профессиональной деятельности учителя является латентной переменной, т.е. непосредственно неизмеряемой переменной. В данной работе качество профессиональной деятельности учителя определяется операционально – через набор индикаторов (показателей) портфолио учителя. Каждый индикатор портфолио характеризует один из аспектов качества профессиональной деятельности учителя.

Цель работы состоит в формировании и измерении интегрального показателя качества профессиональной деятельности учителя, измеряемого на линейной шкале. Этот показатель используется не только для сравнительного анализа учителей математики, но и для сравнения школ на основе качества профессиональной деятельности учителей математики.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Сформировать операциональное определение качества профессиональной деятельности учителей на основе портфолио.

2. Провести анализ функционирования индикаторов портфолио.

3. Измерить качество профессиональной деятельности учителей на основе портфолио.

4. Сравнить общеобразовательные школы на основе качества профессиональной деятельности учителей.

Материалы и методы исследования

В исследовании приняли участие учителя математики всех 36 общеобразовательных школ Славянского района Краснодарского края. Для измерения качества профессиональной деятельности учителя использовалось портфолио, представленное в методических рекомендациях [5].

Качество профессиональной деятельности учителя измеряется в рамках теории латентных переменных. Наиболее полно на русском языке эта теория представлена в монографии [3]. Выбор этой теории обусловлен следующим.

1. Качество профессиональной деятельности учителя измеряется на линейной шкале, что необходимо для дальнейшего сравнительного анализа и мониторинга [5].

2. Измерение этого интегрального показателя необходимо для более точного уяснения его смысла, в данном случае ? что такое «качество профессиональной деятельности учителя». Кроме того, эта теория оказалась эффективной при измерении самых разных латентных переменных в социальных системах [1–7, 9, 10].

Для обработки данных использовалась диалоговая система «Измерение латентных переменных», разработанная в Лаборатории объективных измерений [8].

Таблица 1

Статистическая характеристика набора индикаторов

Номер индикатора

Оценка индикаторной (логит)

Стандартная ошибка (логит)

Значение статистики Хи-квадрат

Уровень значимости статистики Хи-квадрат

41

–2,884

0,707

1,470

0,479

31

–2,698

0,651

1,245

0,537

34

–2,472

0,590

0,935

0,627

32

–2,025

0,491

1,894

0,388

29

–1,747

0,440

3,457

0,178

37

–1,679

0,285

1,124

0,570

35

–1,651

0,392

3,373

0,185

39

–1,651

0,425

0,472

0,790

30

–1,492

0,401

0,775

0,679

38

–1,367

0,319

4,083

0,130

28

–1,310

0,376

2,217

0,330

42

–1,195

0,362

4,016

0,134

36

–1,139

0,244

2,197

0,333

12

–0,961

0,336

0,976

0,614

11

–0,952

0,335

2,205

0,332

17

–0,921

0,332

1,347

0,510

8

–0,677

0,309

4,139

0,126

33

–0,537

0,209

0,415

0,813

40

–0,496

0,294

1,443

0,486

14

–0,416

0,288

12,495

0,002

1

–0,302

0,280

0,800

0,670

27

–0,092

0,267

8,275

0,016

7

0,010

0,261

3,020

0,221

15

0,152

0,254

6,916

0,031

9

0,168

0,254

0,806

0,668

13

0,181

0,253

0,896

0,639

26

0,341

0,246

1,657

0,437

3

0,423

0,243

4,157

0,125

25

0,596

0,238

0,718

0,698

18

0,661

0,236

9,158

0,010

24

0,976

0,229

2,503

0,286

10

1,315

0,226

1,272

0,529

2

1,391

0,226

1,451

0,484

20

1,457

0,226

7,527

0,023

23

1,495

0,226

1,539

0,463

19

1,778

0,228

1,492

0,474

16

1,875

0,230

0,443

0,801

6

1,914

0,230

0,601

0,740

22

2,154

0,235

1,065

0,587

5

2,510

0,246

9,622

0,008

21

3,739

0,324

1,804

0,406

4

5,526

0,612

4,180

0,124

Результаты исследования и их обсуждение

Прежде всего, необходимо отметить, данные, адекватные модели измерения [3]. Статистика Хи-квадрат равна 92,932 при числе степеней свободы 78, что соответствует эмпирическому уровню значимости 0,119 (больше номинального 0,05). Кроме того, индекс сепарабельности учителей очень высок и равен 0,816.

Статистическая характеристика набора индикаторов представлена в табл. 1.

Лучше других дифференцирует учителей с высоким качеством профессиональной деятельности индикатор № 4 «Наличие ученой степени», его значение равно 5,526 логит (рис. 1).

Учителей с низким качеством профессиональной деятельности лучше других дифференцирует индикатор № 41 «Исключение действий, связанных с влиянием личных, имущественных (финансовых) и иных интересов, препятствующих добросовестному исполнению трудовых обязанностей», его значение равно –2,884 логит (рис. 2).

Результаты измерения качества профессиональной деятельности учителей представлены на рис. 3.

В верхней части рис. 3 находится гистограмма, показывающая распределение оценок качества профессиональной деятельности учителей, в нижней части рисунка показано распределение оценок индикаторов на той же самой шкале. Здесь объекты соответствуют учителям.

pic_28.tif

Рис. 1. Характеристическая кривая индикатора № 4 «Наличие ученой степени»

pic_29.tif

Рис. 2. Характеристическая кривая индикатора № 41

pic_30.wmf

Рис. 3. Результаты измерения качества профессиональной деятельности учителей математики

Исходя из представленной на этом рисунке информации, можно сделать следующие выводы:

– диапазон варьирования оценок качества профессиональной деятельности учителей очень большой и равен 6 логит (от –1 до +5 логит). Это свидетельствует о том, что учителя очень сильно различаются по качеству своей профессиональной деятельности, т.е. портфолио хорошо дифференцирует качество профессиональной деятельности учителей;

– индикаторные переменные варьируются в еще большем диапазоне – 9 логит (от –3 до +6 логит), что обеспечивает высокую точность измерения на всем диапазоне варьирования латентной переменной;

– между двумя этими наборами оценок (учителями и индикаторными) существует смещение – различие между соответствующими средними равно 1,584 логит. Это означает, что для более точного измерения качества профессиональной деятельности учителей необходимо добавить в портфолио «трудные» индикаторы.

Представляет интерес сравнение видов общеобразовательных учреждений, – лицеев, средних и основных общеобразовательных учреждений, – по качеству профессиональной деятельности их учителей математики. Результаты этого сравнения представлены в табл. 2.

Дисперсионный анализ показал, что виды школ статистически значимо отличаются друг от друга качеством профессиональной деятельности учителей математики (табл. 2). Оценки видов школ представлены в табл. 3.

Как и следовало ожидать, среднее значение качества профессиональной деятельности учителей математики наибольшее в лицеях (2,156 логит), наименьшее в основных общеобразовательных учреждениях (1,282 логит). Средние общеобразовательные учреждения занимают промежуточное положение (1,563 логит).

Представляет интерес не только сравнение видов школ, но и самих школ (табл. 4).

Таблица 2

Дисперсионный анализ качества профессиональной деятельности учителей математики в зависимости от вида школы

Источник дисперсии

Сумма квадратов

Степени свободы

Средний квадрат

Fэксп

р

Вид школы

6,620

2

3,310

4,675

0,012

Школа

93,943

34

2,763

3,903

< 0,001

Ошибка

43,907

62

0,708

   

Всего

144,470

96

     

Таблица 3

Средние значения качества профессиональной деятельности учителей математики в зависимости от вида школы

Вид школы

Среднее значение

Число учителей

Стандартная ошибка

95 % доверительный интервал

Нижняя граница

Верхняя граница

Лицей

2,156

14

0,324

1,513

2,799

СОШ

1,563

61

0,155

1,255

1,870

ООШ

1,282

22

0,258

9,769

1,794

Таблица 4

Средние значения качества профессиональной деятельности учителей математики в школах

Номер школы

Вид школы

Число учителей

Среднее значение

Стандартная ошибка

95 % доверительный интервал

Нижняя граница

Верхняя граница

11

ООШ

1

4,149

0,842

2,466

5,831

43

СОШ

3

4,016

0,486

3,044

4,987

16

СОШ

6

3,107

0,344

2,420

3,793

31

ООШ

2

2,906

0,595

1,717

4,096

8

ООШ

2

2,431

0,595

1,242

3,620

25

СОШ

5

2,357

0,376

1,605

3,109

1

Лицей

8

2,308

0,298

1,713

2,902

19

СОШ

2

2,303

0,595

1,113

3,492

17

СОШ

5

2,201

0,376

1,449

2,953

4

Лицей

6

1,954

0,344

1,267

2,640

56

СОШ

3

1,931

0,486

0,960

2,902

39

СОШ

2

1,810

0,595

0,621

3,000

18

СОШ

2

1,722

0,595

0,533

2,912

46

ООШ

1

1,523

0,842

–0,160

3,205

14

ООШ

1

1,468

0,842

–0,214

3,150

54

ООШ

1

1,294

0,842

–0,388

2,976

51

СОШ

2

1,239

0,595

0,049

2,428

50

ООШ

1

1,218

0,842

–0,464

2,900

9

ООШ

2

1,161

0,595

–0,029

2,350

48

СОШ

3

1,123

0,486

0,152

2,095

3

СОШ

5

1,101

0,376

0,349

1,853

38

ООШ

2

0,990

0,595

–0,199

2,180

22

ООШ

1

0,987

0,842

–0,695

2,669

20

СОШ

3

0,925

0,486

–0,046

1,897

10

СОШ

2

0,905

0,595

–0,284

2,095

44

ООШ

1

0,891

0,842

–0,791

2,574

28

СОШ

5

0,863

0,376

0,111

1,616

49

ООШ

1

0,666

0,842

–1,017

2,348

5

СОШ

5

0,583

0,376

–0,170

1,335

21

ООШ

3

0,460

0,486

–0,512

1,431

7

ООШ

2

0,442

0,595

–0,748

1,631

6

СОШ

2

0,364

0,595

–0,826

1,553

23

СОШ

2

0,326

0,595

–0,864

1,515

29

СОШ

4

–0,044

0,421

–0,885

0,798

30

ООШ

1

–1,240

0,842

–2,922

0,442

Интересно отметить, что наибольшее среднее качество профессиональной деятельности учителей математики наблюдается в ООШ № 11 (4,149 логит). Кроме того, как видно из табл. 5, в некоторых СОШ (№ 16 и 25) среднее значение качества профессиональной деятельности учителей математики выше, чем, например, в лицее № 1. Более того, в некоторых ООШ (№ 11 и 25) среднее значение качества профессиональной деятельности учителей математики также выше, чем в лицее № 1.

Выводы

1. Представлена методика измерения латентной переменной «качество профессиональной деятельности учителя».

2. Необходимо подчеркнуть, что качество профессиональной деятельности учителя определяется операционально, т.е. через набор индикаторов.

3. Полученные результаты измерения использованы для измерения качества профессиональной деятельности учителей в 35 общеобразовательных школах Славянского района в 2014 году.

4. Использованные индикаторы можно корректировать и таким образом уточнять смысл понятия «качество профессиональной деятельности учителя».