Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

В рамках данной статьи рассматриваются системы оценки знаний, ведь «оценивание знаний является неотъемлемым компонентом образования, так как позволяет судить и улучшать как обучение, так и преподавание» [1]. Более того, «исследования и практический опыт показывают важность оценивания знаний в высшем образовании. Это формирует опыт студентов и оказывает большее влияние на их поведение, чем сами уроки» [2].

В англоязычной литературе использование информационных и коммуникационных технологий (ИКТ) для оценки знаний называют по-разному. Например, в [3] авторы используют термин «оценка с помощью компьютеров» (computer assisted assessment – CAA) что подразумевает: «использование компьютеров для оценивания знаний учащегося». Кроме того имеется такое понятие, как э-оценивание (e-assessment) [4]. В [5] используется термин «computer-based assessment» (CBA), т.е. «оценивание знаний на основе компьютеров».

На сегодняшний день ИКТ-средства могут быть использованы на вступительных экзаменах, в целях предварительной проверки или промежуточной оценки знаний, заключительных экзаменов, а также для самостоятельной оценки знаний [5]. Вне учебных заведений в целях определения уровня знаний тестируемого для последующего приема на работу, для выдачи сертификатов, прав на вождение и т.д.

Использование ИКТ для оценки знаний имеет ряд преимуществ по отношению к письменным экзаменам с использованием бумаги, поэтому развитие средств онлайн оценки знаний имеет очень важное значение с точки зрения педагогики [5]. Появляется возможность исключения человеческого фактора при подсчете итоговых баллов (ошибки при совершении арифметических операций, а также объективность проверяющего), имеется возможность автоматической манипуляции вопросами (изменение порядка вопросов, а также вариантов ответов, можно использовать метод случайного выбора вопросов).

Недостатками использования ИКТ для оценки знаний являются: зависимость от технических средств обеспечения проведения экзамена (наличие и исправность источников электроэнергии, компьютерной техники, средств телекоммуникации и т.д.), зависимость от количества имеющихся компьютеров, необходимость подготовки большого количества вопросов при использовании метода случайного выбора. Также важно рассмотрение вопросов безопасности, зависящих от многих факторов [6].

В целом системы оценки знаний можно поделить на следующие виды: оптические считыватели (optical mark readers – OMR) [5], э-портфолио [5, 7], электронные средства рецензирования (системы основанные на коллегиальной оценке) [8], системы основанные на критериях оценки [7, 9], а также компьютерное тестирование [10, 11]. Кроме того, в последнее время появляются системы оценки знаний, использующие виртуальную реальность, а также искусственный интеллект.

Системы компьютерного тестирования, когда предоставляется вопрос с несколькими вариантами ответов, впервые появились в 1970-х гг. С развитием систем тестирования, кроме простых вопросов, когда надо указать правильный ответ, появились такие виды вопросов, где необходимо переместить объект на нужное место, ввести слово или текст, нарисовать объект и т.д. [3]. Для эффективного использования компьютерного тестирования необходимо заранее приготовить большое количество вопросов. В этих целях в [10] обсуждается исследование, связанное с генерированием случайных вопросов.

В случаях, когда необходимо оценить знания очень большого количества людей (например, при проведении Единого государственного экзамена в Российской Федерации, Общереспубликанского тестирования в Кыргызской Республике и т.д.), требуется значительное использование человеческих, временных и материальных ресурсов. Хорошей альтернативой в данном случае является компьютерное тестирование. Однако в случае использования случайного выбора вопросов при компьютерной оценке знаний у тестируемых может сложиться мнение, что при другом наборе вопросов они могли бы получить более высокий балл.

В связи с этим целью данной работы стало исследование отношения учащихся к случайному выбору вопросов при компьютерном тестировании в высших учебных заведениях.

Материалы и методы исследования

Исследование проводилось с мая 2018 г. по май 2019 г. в виде опроса студентов. В качестве инструмента использовался инструмент «Google forms». Для проведения исследования была подготовлена анкета на русском, кыргызском и турецком языках, состоящая из раздела, включающего вопросы для получения информации о респонденте, а также раздела, содержащего основные вопросы исследования (табл. 1).

Последние 3 вопроса позволили убедиться в осознанности полученных ответов в процессе анкетирования.

Результаты исследования и их обсуждение

В результате проведенного анекетирования были получены данные, показывающие, что чуть более половины респондентов положительно относятся к использованию метода случайного выбора вопросов (промежуточный экзамен – 58,2 %, финальный экзамен 57,7 %, вступительный экзамен 56,4 %). По мере повышения важности экзамена уменьшается количество поддерживающих метод случайного выбора вопросов.

В целях сравнения мнений респондентов в зависимости от общего направления их обучения, был проведен дисперсионный анализ, результаты которого приведены в табл. 2.

Согласно табл. 2, респонденты, обучающиеся по инженерным направлениям, чаще указывали положительный ответ на использование метода случайного выбора вопросов в промежуточных и вступительных экзаменах, а также в целях самостоятельной подготовки или самообучения.

Для того чтобы определить, имеется ли разница во мнении респондентов в зависимости от высшего учебного заведения, была проведена проверка, основанная на распределении Стьюдента (t-критерий Стьюдента) (табл. 3).

Как видно из табл. 3, между мнением респондентов, обучающихся в различных высших учебных заведениях, статистически значимой разницы нет.

Заключение

В результате можно сделать следующие выводы по отношению к методу случайного выбора вопросов при компьютерном тестировании:

– Использование данного метода поддерживают в среднем 57,43 % респондентов, в то время как среднее количество не поддерживающих данный метод респондентов составило 21 %.

– Чем важнее экзамен, тем меньше количество поддерживающих метод случайного выбора вопросов и больше тех, кто высказывает отрицательное мнение. Так, выявилась статистически значимая разница в количестве поддержавших вышеуказанный метод на финальных и вступительных экзаменах по сравнению с промежуточными экзаменами.

– Использование данного метода в целях самопроверки, самостоятельной подготовки или обучения поддержало подавляющее большинство респондентов (77.2 %). Только 10,7 % отметили отрицательное отношение в данном случае.

– Отношение респондентов к данному методу не зависит от вуза, в котором они учатся.

– Однако респонденты, обучающиеся по инженерным направлениям, более склонны поддерживать данный метод, по сравнению с респондентами, обучающимися по экономическим и гуманитарным направлениям.

Относительно малое количество поддержавших метод случайного выбора вопросов при компьютерном тестировании среди учащихся по гуманитарным и экономическим направлениям, вероятно, можно объяснить распространенным мнением о том, что нельзя оценить знание человека в данных направлениях науки, используя только тесты, где предоставляется вопрос с несколькими вариантами ответов, из которых необходимо выбрать один или несколько вариантов. Часто знания и навыки человека можно лучше оценить с помощью сочинения, собеседования или практического экзамена. В то же время при оценке знаний по естественнонаучным направлениям использование тестов типа «вопрос – несколько вариантов ответов» имеется больше возможностей обеспечить одинаковую сложность и объективность результатов тестирования.

Опираясь на результаты данного исследования авторы считают, что в вузах с естественнонаучным уклоном имеет смысл организовать центр тестирования для автоматизации оценки знаний учащихся с помощью компьютерного тестирования. Однако по гуманитарным и другим направлениям, возможно, следует подождать появления более продвинутых систем оценки знаний, использующих искусственный интеллект с возможностью анализа и понимания человеческой речи, оценки сочинений и т.д.