Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,899

ИССЛЕДОВАНИЕ ОТНОШЕНИЯ УЧАЩИХСЯ К СЛУЧАЙНОМУ ВЫБОРУ ВОПРОСОВ ПРИ КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ

Барыктабасов К.К. 1 Жумабаева Ч.Н. 1 Бримкулов У.Н. 1
1 Кыргызско-Турецкий университет «Манас»
Целью данной работы является исследование отношения учащихся к случайному выбору вопросов при компьютерном тестировании в высших учебных заведениях. Исследование проводилось в виде опроса студентов. Респондентам предлагалось указать степень их согласия на применение в компьютерном тестировании случайного выбора вопросов на промежуточных (модулях), финальных, вступительных экзаменах, а также в целях самостоятельного определения уровня знаний. В исследовании приняли участие 1034 студента, представляющих 6 высших учебных заведений Кыргызстана. По результатам исследования получены следующие выводы: несмотря на то, что более 50?% респондентов одобрительно относятся к случайному выбору вопросов, количество тех, кто не одобряет данный подход, увеличивается в зависимости от важности экзамена. Так, больше всего отрицательных отзывов на применение данной методики получено для вступительных экзаменов. Другими словами, 23,1?% респондентов предпочитают, чтобы были одинаковые вопросы для всех, когда по результатам тестирования составляется рейтинг экзаменуемых для последующего отбора лучших из них. Тогда как для промежуточных экзаменов эта цифра составляет 16,1?%. Кроме того, выявилась статистически значимая разница во мнении учащихся по инженерным направлениям в сравнении с мнением учащихся по гуманитарным и экономическим направлениям. Так, выяснилось, что респонденты, учащиеся по инженерным направлениям, более лояльно относятся к применению метода случайного выбора вопросов при компьютерном тестировании, по сравнению с учащимися по другим направлениям. Статистически значимой разницы во мнении между учащимися различных высших учебных заведений не выявлено.
университет
учебный процесс
компьютерное тестирование
случайный выбор вопросов
1. Ferrari A., Cachia R., Punie Y. Innovation and creativity in education and training in the EU member states: Fostering creative learning and supporting innovative teaching. JRC Technical Notes. 2009. [Electronic resource]. URL: http://ftp.jrc.es/EURdoc/JRC52374_TN.pdf (date of access: 13.12.2019).
2. Bloxham S., Boyd P. Developing Effective Assessment In Higher Education: A Practical Guide: A Practical Guide. UK: McGraw-Hill Education, 2007. 272 р.
3. Gavin Sim, Phil Holifield, Martin Brown. Implementation of computer assisted assessment: lessons from the literature. ALT-J. 2004. V. 12. № 3. Р. 215–229. DOI: 10.1080/0968776042000259546.
4. Joint Information Systems Committee (JISC). (2006) e-Assessment Glossary (Extended). [Electronic resource]. URL: https://wayback.archive-it.org/all/20130308215932/http:/www.jisc.ac.uk/media/documents/themes/elearning/eassess_glossary_extendedv101.pdf (date of access: 11.12.2019).
5. Gr?inne Conole, Bill Warburton. A review of computer-assisted assessment. ALTJ. 2005. V. 13. № 1. Р. 17–31. DOI: 10.1080/0968776042000339772.
6. Rita Ismailova, Gulshat Muhametjanova, Tunс Durmus Medeni, Ihsan Tolga Medeni, Demet Soylu & Omar Azimbek Dossymbekuly. Cybercrime risk awareness rate among students in Central Asia: A comparative study in Kyrgyzstan and Kazakhstan. Information Security Journal: A Global Perspective. 2019. № 28 (4–5). Р. 127–135. DOI: 10.1080/19393555.2019.1685142.
7. Williams E. Contreras-Higuera, Francesc Mart??nez-Olmo, M. Jose? Rubio-Hurtado, Ruth Vila`-Ban?os. University Students’ Perceptions of E-Portfolios and Rubrics as Combined Assessment Tools in Education Courses. Journal of Educational Computing Research. 2016. V. 54. № 1. Р. 85–107. DOI: 10.1177/0735633115612784.
8. Michael Fullan, Maria Langworthy. Towards a New End: New Pedagogies for Deep Learning. Seatle (USA): Collaborative Impact. 2013. [Electronic resource]. URL: http://www.newpedagogies.nl/images/towards_a_new_end.pdf (date of access: 13.12.2019).
9. Christie M.F., Grainger P., Dahlgren R., Call K., Heck D., Simon S. Improving the quality of assessment grading tools in master of education courses: a comparative case study in the scholarship of teaching and learning. Journal of the Scholarship of Teaching and Learning. 2015. V. 15. № 5. Р. 22–35. DOI: 10.14434/josotl.v15i5.13783.
10. Kruger D., Inman S., Ding Z., Kang Y., Kuna P., Liu Y., Wang Y. Improving teacher effectiveness: Designing better assessment tools in learning management systems. Future Internet. 2015. V. 7. № 4. Р. 484–499. DOI: 10.3390/fi7040484.
11. Brimkulov U., Baryktabasov K., Jumabaeva Ch., Information Technologies in Education: The Learning Assessment Tools. MANAS Journal of Engineering. 2017. V. 5. № 2. Р. 27–33.

В рамках данной статьи рассматриваются системы оценки знаний, ведь «оценивание знаний является неотъемлемым компонентом образования, так как позволяет судить и улучшать как обучение, так и преподавание» [1]. Более того, «исследования и практический опыт показывают важность оценивания знаний в высшем образовании. Это формирует опыт студентов и оказывает большее влияние на их поведение, чем сами уроки» [2].

В англоязычной литературе использование информационных и коммуникационных технологий (ИКТ) для оценки знаний называют по-разному. Например, в [3] авторы используют термин «оценка с помощью компьютеров» (computer assisted assessment – CAA) что подразумевает: «использование компьютеров для оценивания знаний учащегося». Кроме того имеется такое понятие, как э-оценивание (e-assessment) [4]. В [5] используется термин «computer-based assessment» (CBA), т.е. «оценивание знаний на основе компьютеров».

На сегодняшний день ИКТ-средства могут быть использованы на вступительных экзаменах, в целях предварительной проверки или промежуточной оценки знаний, заключительных экзаменов, а также для самостоятельной оценки знаний [5]. Вне учебных заведений в целях определения уровня знаний тестируемого для последующего приема на работу, для выдачи сертификатов, прав на вождение и т.д.

Использование ИКТ для оценки знаний имеет ряд преимуществ по отношению к письменным экзаменам с использованием бумаги, поэтому развитие средств онлайн оценки знаний имеет очень важное значение с точки зрения педагогики [5]. Появляется возможность исключения человеческого фактора при подсчете итоговых баллов (ошибки при совершении арифметических операций, а также объективность проверяющего), имеется возможность автоматической манипуляции вопросами (изменение порядка вопросов, а также вариантов ответов, можно использовать метод случайного выбора вопросов).

Недостатками использования ИКТ для оценки знаний являются: зависимость от технических средств обеспечения проведения экзамена (наличие и исправность источников электроэнергии, компьютерной техники, средств телекоммуникации и т.д.), зависимость от количества имеющихся компьютеров, необходимость подготовки большого количества вопросов при использовании метода случайного выбора. Также важно рассмотрение вопросов безопасности, зависящих от многих факторов [6].

В целом системы оценки знаний можно поделить на следующие виды: оптические считыватели (optical mark readers – OMR) [5], э-портфолио [5, 7], электронные средства рецензирования (системы основанные на коллегиальной оценке) [8], системы основанные на критериях оценки [7, 9], а также компьютерное тестирование [10, 11]. Кроме того, в последнее время появляются системы оценки знаний, использующие виртуальную реальность, а также искусственный интеллект.

Системы компьютерного тестирования, когда предоставляется вопрос с несколькими вариантами ответов, впервые появились в 1970-х гг. С развитием систем тестирования, кроме простых вопросов, когда надо указать правильный ответ, появились такие виды вопросов, где необходимо переместить объект на нужное место, ввести слово или текст, нарисовать объект и т.д. [3]. Для эффективного использования компьютерного тестирования необходимо заранее приготовить большое количество вопросов. В этих целях в [10] обсуждается исследование, связанное с генерированием случайных вопросов.

В случаях, когда необходимо оценить знания очень большого количества людей (например, при проведении Единого государственного экзамена в Российской Федерации, Общереспубликанского тестирования в Кыргызской Республике и т.д.), требуется значительное использование человеческих, временных и материальных ресурсов. Хорошей альтернативой в данном случае является компьютерное тестирование. Однако в случае использования случайного выбора вопросов при компьютерной оценке знаний у тестируемых может сложиться мнение, что при другом наборе вопросов они могли бы получить более высокий балл.

В связи с этим целью данной работы стало исследование отношения учащихся к случайному выбору вопросов при компьютерном тестировании в высших учебных заведениях.

Материалы и методы исследования

Исследование проводилось с мая 2018 г. по май 2019 г. в виде опроса студентов. В качестве инструмента использовался инструмент «Google forms». Для проведения исследования была подготовлена анкета на русском, кыргызском и турецком языках, состоящая из раздела, включающего вопросы для получения информации о респонденте, а также раздела, содержащего основные вопросы исследования (табл. 1).

Таблица 1

Содержание раздела «Основные вопросы»

Вопрос

Варианты ответов

Проходили ли Вы когда-либо компьютерное тестирование?

– Да

– Нет

Укажите степень Вашего доверия к результатам компьютерного тестирования

1

Совсем не доверяю

2

3

4

5

Полностью доверяю

ПРИМЕР. Допустим, в компьютере имеется 500 вопросов по одной и той же теме. Уровень сложности всех вопросов одинаковый. Во время экзамена компьютер в случайном порядке выбирает 50 вопросов. Таким образом, для каждого студента формируется персональный набор вопросов

Пожалуйста, укажите степень Вашего согласия со следующими утверждениями:

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше), будет правильно использовать для проведения ПРОМЕЖУТОЧНЫХ экзаменов (модулей)

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для проведения ФИНАЛЬНЫХ (итоговых) экзаменов

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для проведения ВСТУПИТЕЛЬНЫХ экзаменов

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для САМОПРОВЕРКИ (самостоятельной подготовки или обучения)

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Результаты экзамена со случайным выбором вопросов для каждого студента (смотрите пример выше) не будут справедливыми

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Для сравнения уровня знаний тестируемых между собой необязательно им всем давать полностью одинаковый набор вопросов

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Результаты данного опроса полезны для улучшения качества компьютерного тестирования

1

Совершенно НЕ согласен

2

3

4

5

Полностью согласен

Последние 3 вопроса позволили убедиться в осознанности полученных ответов в процессе анкетирования.

Результаты исследования и их обсуждение

В результате проведенного анекетирования были получены данные, показывающие, что чуть более половины респондентов положительно относятся к использованию метода случайного выбора вопросов (промежуточный экзамен – 58,2 %, финальный экзамен 57,7 %, вступительный экзамен 56,4 %). По мере повышения важности экзамена уменьшается количество поддерживающих метод случайного выбора вопросов.

В целях сравнения мнений респондентов в зависимости от общего направления их обучения, был проведен дисперсионный анализ, результаты которого приведены в табл. 2.

Таблица 2

Результаты дисперсионного анализа по определению разницы во мнениях респондентов в зависимости от их направления обучения

 

df

F

Sig.

Mean difference

Проходили ли Вы когда-либо компьютерное тестирование?

(2, 1031)

1.693

.184

 

Укажите степень Вашего доверия к результатам компьютерного тестирования

(2, 1031)

1.023

.360

 

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше), будет правильно использовать для проведения ПРОМЕЖУТОЧНЫХ экзаменов (модулей)

(2, 1031)

9.479

.000

μeng – μecon = ,248

μeng – μhum = ,394

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для проведения ФИНАЛЬНЫХ (итоговых) экзаменов

(2, 1031)

2.723

.066

 

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для проведения ВСТУПИТЕЛЬНЫХ экзаменов

(2, 1031)

4.650

.010

μeng – μecon = ,409

μeng – μhum = ,201

Экзамен со случайным выбором вопросов для каждого студента (смотрите пример выше) будет правильно использовать для САМОПРОВЕРКИ (самостоятельной подготовки или обучения)

(2, 1031)

3.991

.019

μeng – μhum = ,248

Результаты экзамена со случайным выбором вопросов для каждого студента (смотрите пример выше) не будут справедливыми

(2, 1031)

2.802

.061

 

Результаты данного опроса полезны для улучшения качества компьютерного тестирования

(2, 1031)

.191

.826

 

Примечание. В табл. 1 и 2 значения в столбце, обозначенном «Sig.», указывают на наличие или отсутствие статистически значимой разницы. Так, если значение меньше 0,05, это означает что имеется статистически значимая разница. В противном случае статистически значимой разницы нет.

Согласно табл. 2, респонденты, обучающиеся по инженерным направлениям, чаще указывали положительный ответ на использование метода случайного выбора вопросов в промежуточных и вступительных экзаменах, а также в целях самостоятельной подготовки или самообучения.

Для того чтобы определить, имеется ли разница во мнении респондентов в зависимости от высшего учебного заведения, была проведена проверка, основанная на распределении Стьюдента (t-критерий Стьюдента) (табл. 3).

Таблица 3

Результаты проверки на основе t-критерия Стьюдента

 

Levene’s Test for Equality of Variances

t-test for Equality of Means

F

Sig.

t

df

Sig. (2-tailed)

Mean Difference

Std. Error Difference

95 % Confidence Interval of the Difference

Lower

Upper

Укажите степень Вашего доверия к результатам компьютерного тестирования

Equal variances assumed

.084

.772

1.198

1032

.231

.135

.113

-.086

.357

Equal variances not assumed

   

1.210

101.450

.229

.135

.112

-.087

.357

Экзамен со случайным выбором вопросов для каждого студента будет правильно использовать для проведения ПРОМЕЖУТОЧНЫХ экзаменов (модулей)

Equal variances assumed

.182

.670

-.135

1032

.893

-.018

.136

-.284

.248

Equal variances not assumed

   

-.138

101.949

.891

-.018

.133

-.282

.245

Экзамен со случайным выбором вопросов для каждого студента будет правильно использовать для проведения ФИНАЛЬНЫХ (итоговых) экзаменов

Equal variances assumed

.064

.801

-1.343

1032

.180

-.199

.148

-.489

.092

Equal variances not assumed

   

-1.334

100.783

.185

-.199

.149

-.494

.097

Экзамен со случайным выбором вопросов для каждого студента будет правильно использовать для проведения ВСТУПИТЕЛЬНЫХ экзаменов

Equal variances assumed

.006

.936

-.739

1032

.460

-.115

.156

-.422

.191

Equal variances not assumed

   

-.722

100.183

.472

-.115

.160

-.432

.201

Экзамен со случайным выбором вопросов для каждого студента будет правильно использовать для САМОПРОВЕРКИ (самостоятельной подготовки или обучения)

Equal variances assumed

1.458

.227

.579

1032

.563

.076

.131

-.181

.332

Equal variances not assumed

   

.526

97.656

.600

.076

.144

-.210

.361

Результаты экзамена со случайным выбором вопросов для каждого студента не будут справедливыми

Equal variances assumed

.692

.406

.294

1032

.769

.046

.157

-.263

.355

Equal variances not assumed

   

.301

102.079

.764

.046

.153

-.258

.351

Как видно из табл. 3, между мнением респондентов, обучающихся в различных высших учебных заведениях, статистически значимой разницы нет.

Заключение

В результате можно сделать следующие выводы по отношению к методу случайного выбора вопросов при компьютерном тестировании:

– Использование данного метода поддерживают в среднем 57,43 % респондентов, в то время как среднее количество не поддерживающих данный метод респондентов составило 21 %.

– Чем важнее экзамен, тем меньше количество поддерживающих метод случайного выбора вопросов и больше тех, кто высказывает отрицательное мнение. Так, выявилась статистически значимая разница в количестве поддержавших вышеуказанный метод на финальных и вступительных экзаменах по сравнению с промежуточными экзаменами.

– Использование данного метода в целях самопроверки, самостоятельной подготовки или обучения поддержало подавляющее большинство респондентов (77.2 %). Только 10,7 % отметили отрицательное отношение в данном случае.

– Отношение респондентов к данному методу не зависит от вуза, в котором они учатся.

– Однако респонденты, обучающиеся по инженерным направлениям, более склонны поддерживать данный метод, по сравнению с респондентами, обучающимися по экономическим и гуманитарным направлениям.

Относительно малое количество поддержавших метод случайного выбора вопросов при компьютерном тестировании среди учащихся по гуманитарным и экономическим направлениям, вероятно, можно объяснить распространенным мнением о том, что нельзя оценить знание человека в данных направлениях науки, используя только тесты, где предоставляется вопрос с несколькими вариантами ответов, из которых необходимо выбрать один или несколько вариантов. Часто знания и навыки человека можно лучше оценить с помощью сочинения, собеседования или практического экзамена. В то же время при оценке знаний по естественнонаучным направлениям использование тестов типа «вопрос – несколько вариантов ответов» имеется больше возможностей обеспечить одинаковую сложность и объективность результатов тестирования.

Опираясь на результаты данного исследования авторы считают, что в вузах с естественнонаучным уклоном имеет смысл организовать центр тестирования для автоматизации оценки знаний учащихся с помощью компьютерного тестирования. Однако по гуманитарным и другим направлениям, возможно, следует подождать появления более продвинутых систем оценки знаний, использующих искусственный интеллект с возможностью анализа и понимания человеческой речи, оценки сочинений и т.д.


Библиографическая ссылка

Барыктабасов К.К., Жумабаева Ч.Н., Бримкулов У.Н. ИССЛЕДОВАНИЕ ОТНОШЕНИЯ УЧАЩИХСЯ К СЛУЧАЙНОМУ ВЫБОРУ ВОПРОСОВ ПРИ КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ // Современные наукоемкие технологии. – 2019. – № 12-1. – С. 134-138;
URL: https://top-technologies.ru/ru/article/view?id=37847 (дата обращения: 27.10.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074