Научный журнал

Современные наукоемкие технологии

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Барыктабасов К.К. 1 Жумабаева Ч.Н. 1 Бримкулов У.Н. 1

---

1 Кыргызско-Турецкий университет «Манас»

Целью данной работы является исследование отношения учащихся к случайному выбору вопросов при компьютерном тестировании в высших учебных заведениях. Исследование проводилось в виде опроса студентов. Респондентам предлагалось указать степень их согласия на применение в компьютерном тестировании случайного выбора вопросов на промежуточных (модулях), финальных, вступительных экзаменах, а также в целях самостоятельного определения уровня знаний. В исследовании приняли участие 1034 студента, представляющих 6 высших учебных заведений Кыргызстана. По результатам исследования получены следующие выводы: несмотря на то, что более 50?% респондентов одобрительно относятся к случайному выбору вопросов, количество тех, кто не одобряет данный подход, увеличивается в зависимости от важности экзамена. Так, больше всего отрицательных отзывов на применение данной методики получено для вступительных экзаменов. Другими словами, 23,1?% респондентов предпочитают, чтобы были одинаковые вопросы для всех, когда по результатам тестирования составляется рейтинг экзаменуемых для последующего отбора лучших из них. Тогда как для промежуточных экзаменов эта цифра составляет 16,1?%. Кроме того, выявилась статистически значимая разница во мнении учащихся по инженерным направлениям в сравнении с мнением учащихся по гуманитарным и экономическим направлениям. Так, выяснилось, что респонденты, учащиеся по инженерным направлениям, более лояльно относятся к применению метода случайного выбора вопросов при компьютерном тестировании, по сравнению с учащимися по другим направлениям. Статистически значимой разницы во мнении между учащимися различных высших учебных заведений не выявлено.

Статья в формате PDF

0 KB

университет

учебный процесс

компьютерное тестирование

случайный выбор вопросов

1. Ferrari A., Cachia R., Punie Y. Innovation and creativity in education and training in the EU member states: Fostering creative learning and supporting innovative teaching. JRC Technical Notes. 2009. [Electronic resource]. URL: http://ftp.jrc.es/EURdoc/JRC52374_TN.pdf (date of access: 13.12.2019).

2. Bloxham S., Boyd P. Developing Effective Assessment In Higher Education: A Practical Guide: A Practical Guide. UK: McGraw-Hill Education, 2007. 272 р.

3. Gavin Sim, Phil Holifield, Martin Brown. Implementation of computer assisted assessment: lessons from the literature. ALT-J. 2004. V. 12. № 3. Р. 215–229. DOI: 10.1080/0968776042000259546.

4. Joint Information Systems Committee (JISC). (2006) e-Assessment Glossary (Extended). [Electronic resource]. URL: https://wayback.archive-it.org/all/20130308215932/http:/www.jisc.ac.uk/media/documents/themes/elearning/eassess_glossary_extendedv101.pdf (date of access: 11.12.2019).

5. Gr?inne Conole, Bill Warburton. A review of computer-assisted assessment. ALTJ. 2005. V. 13. № 1. Р. 17–31. DOI: 10.1080/0968776042000339772.

6. Rita Ismailova, Gulshat Muhametjanova, Tunс Durmus Medeni, Ihsan Tolga Medeni, Demet Soylu & Omar Azimbek Dossymbekuly. Cybercrime risk awareness rate among students in Central Asia: A comparative study in Kyrgyzstan and Kazakhstan. Information Security Journal: A Global Perspective. 2019. № 28 (4–5). Р. 127–135. DOI: 10.1080/19393555.2019.1685142.

7. Williams E. Contreras-Higuera, Francesc Mart??nez-Olmo, M. Jose? Rubio-Hurtado, Ruth Vila`-Ban?os. University Students’ Perceptions of E-Portfolios and Rubrics as Combined Assessment Tools in Education Courses. Journal of Educational Computing Research. 2016. V. 54. № 1. Р. 85–107. DOI: 10.1177/0735633115612784.

8. Michael Fullan, Maria Langworthy. Towards a New End: New Pedagogies for Deep Learning. Seatle (USA): Collaborative Impact. 2013. [Electronic resource]. URL: http://www.newpedagogies.nl/images/towards_a_new_end.pdf (date of access: 13.12.2019).

9. Christie M.F., Grainger P., Dahlgren R., Call K., Heck D., Simon S. Improving the quality of assessment grading tools in master of education courses: a comparative case study in the scholarship of teaching and learning. Journal of the Scholarship of Teaching and Learning. 2015. V. 15. № 5. Р. 22–35. DOI: 10.14434/josotl.v15i5.13783.

10. Kruger D., Inman S., Ding Z., Kang Y., Kuna P., Liu Y., Wang Y. Improving teacher effectiveness: Designing better assessment tools in learning management systems. Future Internet. 2015. V. 7. № 4. Р. 484–499. DOI: 10.3390/fi7040484.

11. Brimkulov U., Baryktabasov K., Jumabaeva Ch., Information Technologies in Education: The Learning Assessment Tools. MANAS Journal of Engineering. 2017. V. 5. № 2. Р. 27–33.

В рамках данной статьи рассматриваются системы оценки знаний, ведь «оценивание знаний является неотъемлемым компонентом образования, так как позволяет судить и улучшать как обучение, так и преподавание» [1]. Более того, «исследования и практический опыт показывают важность оценивания знаний в высшем образовании. Это формирует опыт студентов и оказывает большее влияние на их поведение, чем сами уроки» [2].

В англоязычной литературе использование информационных и коммуникационных технологий (ИКТ) для оценки знаний называют по-разному. Например, в [3] авторы используют термин «оценка с помощью компьютеров» (computer assisted assessment – CAA) что подразумевает: «использование компьютеров для оценивания знаний учащегося». Кроме того имеется такое понятие, как э-оценивание (e-assessment) [4]. В [5] используется термин «computer-based assessment» (CBA), т.е. «оценивание знаний на основе компьютеров».

На сегодняшний день ИКТ-средства могут быть использованы на вступительных экзаменах, в целях предварительной проверки или промежуточной оценки знаний, заключительных экзаменов, а также для самостоятельной оценки знаний [5]. Вне учебных заведений в целях определения уровня знаний тестируемого для последующего приема на работу, для выдачи сертификатов, прав на вождение и т.д.

Использование ИКТ для оценки знаний имеет ряд преимуществ по отношению к письменным экзаменам с использованием бумаги, поэтому развитие средств онлайн оценки знаний имеет очень важное значение с точки зрения педагогики [5]. Появляется возможность исключения человеческого фактора при подсчете итоговых баллов (ошибки при совершении арифметических операций, а также объективность проверяющего), имеется возможность автоматической манипуляции вопросами (изменение порядка вопросов, а также вариантов ответов, можно использовать метод случайного выбора вопросов).

Недостатками использования ИКТ для оценки знаний являются: зависимость от технических средств обеспечения проведения экзамена (наличие и исправность источников электроэнергии, компьютерной техники, средств телекоммуникации и т.д.), зависимость от количества имеющихся компьютеров, необходимость подготовки большого количества вопросов при использовании метода случайного выбора. Также важно рассмотрение вопросов безопасности, зависящих от многих факторов [6].

В целом системы оценки знаний можно поделить на следующие виды: оптические считыватели (optical mark readers – OMR) [5], э-портфолио [5, 7], электронные средства рецензирования (системы основанные на коллегиальной оценке) [8], системы основанные на критериях оценки [7, 9], а также компьютерное тестирование [10, 11]. Кроме того, в последнее время появляются системы оценки знаний, использующие виртуальную реальность, а также искусственный интеллект.

Системы компьютерного тестирования, когда предоставляется вопрос с несколькими вариантами ответов, впервые появились в 1970-х гг. С развитием систем тестирования, кроме простых вопросов, когда надо указать правильный ответ, появились такие виды вопросов, где необходимо переместить объект на нужное место, ввести слово или текст, нарисовать объект и т.д. [3]. Для эффективного использования компьютерного тестирования необходимо заранее приготовить большое количество вопросов. В этих целях в [10] обсуждается исследование, связанное с генерированием случайных вопросов.

В случаях, когда необходимо оценить знания очень большого количества людей (например, при проведении Единого государственного экзамена в Российской Федерации, Общереспубликанского тестирования в Кыргызской Республике и т.д.), требуется значительное использование человеческих, временных и материальных ресурсов. Хорошей альтернативой в данном случае является компьютерное тестирование. Однако в случае использования случайного выбора вопросов при компьютерной оценке знаний у тестируемых может сложиться мнение, что при другом наборе вопросов они могли бы получить более высокий балл.

В связи с этим целью данной работы стало исследование отношения учащихся к случайному выбору вопросов при компьютерном тестировании в высших учебных заведениях.

Материалы и методы исследования

Исследование проводилось с мая 2018 г. по май 2019 г. в виде опроса студентов. В качестве инструмента использовался инструмент «Google forms». Для проведения исследования была подготовлена анкета на русском, кыргызском и турецком языках, состоящая из раздела, включающего вопросы для получения информации о респонденте, а также раздела, содержащего основные вопросы исследования (табл. 1).

Последние 3 вопроса позволили убедиться в осознанности полученных ответов в процессе анкетирования.

Результаты исследования и их обсуждение

В результате проведенного анекетирования были получены данные, показывающие, что чуть более половины респондентов положительно относятся к использованию метода случайного выбора вопросов (промежуточный экзамен – 58,2 %, финальный экзамен 57,7 %, вступительный экзамен 56,4 %). По мере повышения важности экзамена уменьшается количество поддерживающих метод случайного выбора вопросов.

В целях сравнения мнений респондентов в зависимости от общего направления их обучения, был проведен дисперсионный анализ, результаты которого приведены в табл. 2.

Согласно табл. 2, респонденты, обучающиеся по инженерным направлениям, чаще указывали положительный ответ на использование метода случайного выбора вопросов в промежуточных и вступительных экзаменах, а также в целях самостоятельной подготовки или самообучения.

Для того чтобы определить, имеется ли разница во мнении респондентов в зависимости от высшего учебного заведения, была проведена проверка, основанная на распределении Стьюдента (t-критерий Стьюдента) (табл. 3).

Как видно из табл. 3, между мнением респондентов, обучающихся в различных высших учебных заведениях, статистически значимой разницы нет.

Заключение

В результате можно сделать следующие выводы по отношению к методу случайного выбора вопросов при компьютерном тестировании:

– Использование данного метода поддерживают в среднем 57,43 % респондентов, в то время как среднее количество не поддерживающих данный метод респондентов составило 21 %.

– Чем важнее экзамен, тем меньше количество поддерживающих метод случайного выбора вопросов и больше тех, кто высказывает отрицательное мнение. Так, выявилась статистически значимая разница в количестве поддержавших вышеуказанный метод на финальных и вступительных экзаменах по сравнению с промежуточными экзаменами.

– Использование данного метода в целях самопроверки, самостоятельной подготовки или обучения поддержало подавляющее большинство респондентов (77.2 %). Только 10,7 % отметили отрицательное отношение в данном случае.

– Отношение респондентов к данному методу не зависит от вуза, в котором они учатся.

– Однако респонденты, обучающиеся по инженерным направлениям, более склонны поддерживать данный метод, по сравнению с респондентами, обучающимися по экономическим и гуманитарным направлениям.

Относительно малое количество поддержавших метод случайного выбора вопросов при компьютерном тестировании среди учащихся по гуманитарным и экономическим направлениям, вероятно, можно объяснить распространенным мнением о том, что нельзя оценить знание человека в данных направлениях науки, используя только тесты, где предоставляется вопрос с несколькими вариантами ответов, из которых необходимо выбрать один или несколько вариантов. Часто знания и навыки человека можно лучше оценить с помощью сочинения, собеседования или практического экзамена. В то же время при оценке знаний по естественнонаучным направлениям использование тестов типа «вопрос – несколько вариантов ответов» имеется больше возможностей обеспечить одинаковую сложность и объективность результатов тестирования.

Опираясь на результаты данного исследования авторы считают, что в вузах с естественнонаучным уклоном имеет смысл организовать центр тестирования для автоматизации оценки знаний учащихся с помощью компьютерного тестирования. Однако по гуманитарным и другим направлениям, возможно, следует подождать появления более продвинутых систем оценки знаний, использующих искусственный интеллект с возможностью анализа и понимания человеческой речи, оценки сочинений и т.д.

Библиографическая ссылка