Рабочая программа дисциплины – это нормативный документ, входящий в состав основной образовательной программы высшего профессионального образования по соответствующему направлению подготовки и профилю [1].
Целями разработки рабочих программ дисциплин являются определение места дисциплины в системе подготовки бакалавра (магистра), раскрытие содержания учебного материала, организации и технологии обучения, способов проверки результатов обучения, учебно-методического и материально-технического обеспечения учебного процесса.
При разработке рабочих программ необходимо учитывать и соблюдать требования, описанные в Федеральном государственном образовательном стандарте высшего образования [2]. Существенной сложностью при разработке рабочих программ является самостоятельное составление критериев оценивания выполняемых работ. Критерии оценивания должны быть составлены таким образом, чтобы не возникало их двусмысленного толкования [3, 4].
В работе рассмотрены 9 рабочих программ, из них выделены критерии оценивания, были произведены анализ критериев и оценка семантической близости между ними. Для оценки семантической близости существует ряд метрик, которые делятся на группы по учитываемым параметрам, таким как:
– частота символов или слов (коэффициент Танимото, мера Дайса, коэффициент Симпсона) [5, 6];
– редакционное расстояние (расстояние Левенштейна, расстояние Джаро) [7, 8];
– семантическая близость слов (косинусная мера, скалярное произведение, евклидово расстояние, манхэттенское расстояние, расстояние Минковского) [9–10].
В статье [11] был сделан вывод, что для анализа семантической близости достаточно использовать метрики, основанные на нахождении косинусной меры и евклидова расстояния.
Косинусная мера предполагает представление частот встречаемости терминов в двух текстах в виде векторов и определение степени смысловой близости этих текстов на основе вычисления косинуса угла, который образуют два вектора, увеличение значения косинуса указывает на большую степень близости между документами. Косинусная мера изменяется от 0 до 1 вычисляется по формуле:
, (1)
где sim – мера смысловой близости текстов t1 и t2;
f – частотность некоторого i-го термина.
Евклидово расстояние трактуется как расстояние между точками в многомерном пространстве, для похожих документов оно будет стремиться к нулю. Евклидово расстояние изменяется от 0 до ∞ и рассчитывается по формуле:
, (2)
где nEquation.DSMT4 – число терминов;
i – переменная-счетчик;
tf – частота термина в тексте;
idf – обратная документная частота.
Методы и средства исследования
Для нахождения косинусной меры и евклидова расстояния в облачном сервисе Google Colab [12] было разработано приложение с использованием библиотеки TensorFlow и языковой модели ELMo. Библиотека TensorFlow реализует концепцию глубокого обучения [13]. Языковая модель ELMo – Embedding Language Model (ELMo) – генерирует контекстно-зависимые эмбеддинги [14]. Эмбеддинг – векторное представление смысла предложения [15].
Загрузка исходных данных и расчет семантического расстояния
В качестве исходных данных были взяты 9 рабочих программ Уфимского государственного нефтяного технического университета.
1. Профиль подготовки «Электрооборудование и электрохозяйство предприятий, организаций и учреждений»
1.1. Дисциплина «Автоматизированный электропривод».
1.2. Дисциплина «Иностранный язык».
1.3. Дисциплина «Инженерная и компьютерная графика».
2. Профиль подготовки «Бурение нефтяных и газовых скважин»
2.1. Дисциплина «Математика».
2.2. Дисциплина «Начертательная геометрия и инженерная компьютерная графика».
2.3. Дисциплина «Термодинамика и те- плопередача».
3. Профиль подготовки «Машины и аппараты химических производств»
3.1. Дисциплина «Иностранный язык».
3.2. Дисциплина «Математика».
3.3. Дисциплина «Монтаж и ремонт оборудования нефтехимических производств».
В фондах оценочных средств имеется от 3 до 9 средств оценивания, к которым относятся: доклад, сообщение, компьютерное тестирование, контрольная работа, лабораторная работа, письменный и устный опрос, разноуровневые задачи и задания, расчетно-графическая работа, собеседование, устный опрос. Критерии оценивания лабораторных работ, письменных и устных опросов, расчетно-графических работ для дисциплины «Термодинамика и теплопередача» по профилю подготовки «Бурение нефтяных и газовых скважин» представлены в табл. 1.
Таблица 1
Критерии оценивания по дисциплине «Термодинамика и теплопередача»
|
Оценка |
Критерий |
|
1. Лабораторная работа |
|
|
5 |
Работа выполнена самостоятельно по методическим указаниям, расчеты приведены в полном объеме и без ошибок, сделаны полные выводы, отчет оформлен в соответствии с требованиями, при защите даны развернутые и полные ответы на все вопросы |
|
4 |
Работа выполнена с помощью указаний преподавателя, в расчетах допущены незначительные ошибки, выводы по работе неполные, отчет о лабораторной работе оформлен не в полном соответствии с требованиями, ответы на вопросы неполные |
|
3 |
Работа выполнена с помощью подробных указаний преподавателя, в расчетах допущены существенные ошибки, выводы по работе неполные, отчет о лабораторной работе оформлен без учета требований, ответы на вопросы частично неправильные |
|
2 |
Участие в выполнении лабораторной работы не принималось, в расчетах допущены грубые ошибки, выводы по работе отсутствуют, отчет о лабораторной работе оформлен неаккуратно и без учета требований, ответы на вопросы неправильные или отсутствуют |
|
2. Письменный и устный опрос |
|
|
5 |
Знает основные термодинамические закономерности, методы и модели, взаимосвязи между тепловыми и механическими процессами, методы моделирования, применяемые в тепловых, механических и химических процессах, дает развернутые и полные ответы на все вопросы |
|
4 |
Знает основные термодинамические закономерности, методы и модели, взаимосвязи между тепловыми и механическими процессами, методы моделирования, применяемые в тепловых, механических и химических процессах, дает ответы на все вопросы, но ответы неполные |
|
3 |
Имеет общие представления об основных термодинамических закономерностях, методах и моделях, взаимосвязи между тепловыми и механическими процессами, методах моделирования, применяемых в тепловых, механических и химических процессах, дает ответы не на все вопросы, ответы на вопросы частично неправильные |
|
2 |
Не знает основных термодинамических закономерностей, методов и моделей, взаимосвязей между тепловыми и механическими процессами, методов моделирования, применяемых в тепловых, механических и химических процессах, ответы на вопросы неправильные или отсутствуют |
|
3. Расчетно-графическая работа |
|
|
5 |
Задание выполнено полностью правильно, в отчете приведены необходимые теоретические сведения, ответ полный |
|
4 |
Задание выполнено с небольшими неточностями, к отчету имеются замечания, теоретические сведения приведены не в полном объеме |
|
3 |
Задание выполнено с ошибками, отчет неполный, теоретические сведения приведены в минимальном объеме |
|
2 |
Задание выполнено неверно, отчет неполный, теоретические сведения не приведены либо задание отсутствует |
Исходные данные для каждой рабочей программы объединятся в группы (corpus), в каждом corpus первой строкой вводятся критерии для оценки «5», второй для оценки «4», третьей для оценки «3», четвертой для оценки «2», пример на рис. 1.
Рис. 1. Группы критериев оценивания по дисциплине «Термодинамика и теплопередача»
Результаты расчетов представлены в виде матриц попарного сравнения, столбцы матрицы – это расстояния между оценками «5», «4», «3» и «2» в соответствующем порядке, т.е. только первая строка таблицы (рис. 2).
Рис. 2. Результаты расчета косинусной меры
Рис. 3. Аппроксимации евклидова расстояния
Таблица 2
Результаты достоверности аппроксимаций
|
Средство оценивания |
Методы анализа семантической близости |
|
|
Косинусная мера |
Евклидово расстояние |
|
|
Лабораторная работа |
0,9391 |
0,9303 |
|
Письменный и устный опрос |
0,6812 |
0,8161 |
|
Расчетно-графическая работа |
0,9874 |
0,9657 |
После нахождения косинусной меры и евклидова расстояния полученные результаты были перенесены в электронные таблицы и проведена их аппроксимация вторым порядком с выводом коэффициентов полинома и среднеквадратичного отклонения. Результаты аппроксимации евклидова расстояния приведены на рис. 3.
Результаты достоверности аппроксимации были сведены в табл. 2, из которой следует, что значения достоверности для письменного и устного опроса значительно меньше остальных.
Перефразированные тексты критериев для письменного и устного опроса представлены в табл. 3, собственно перефразирования в тексте отмечены полужирным начертанием.
Таблица 3
Перефразированный текст исходных данных для письменного и устного опроса
|
Оценка |
Критерий |
|
Письменный и устный опрос |
|
|
5 |
Отвечает на поставленные вопросы основной термодинамической закономерности, приводит примеры взаимосвязи между тепловыми и механическими процессами, может ответить на дополнительные вопросы о методах моделирования, применяемых в тепловых, механических и химических процессах |
|
4 |
Отвечает на поставленные вопросы основной термодинамической закономерности, приводит примеры взаимосвязи между тепловыми и механическими процессами, не может ответить на дополнительные вопросы о методах моделирования, применяемых в тепловых, механических и химических процессах |
|
3 |
Отвечает на поставленные вопросы основной термодинамической закономерности, не приводит примеры взаимосвязи между тепловыми и механическими процессами, не может ответить на дополнительные вопросы о методах моделирования, применяемых в тепловых, механических и химических процессах |
|
2 |
Не отвечает на поставленные вопросы основной термодинамической закономерности, не приводит примеры взаимосвязи между тепловыми и механическими процессами, не может ответить на дополнительные вопросы о методах моделирования, применяемых в тепловых, механических и химических процессах |
В результате достоверность аппроксимации превысила значение 0,99 (рис. 4).
Рис. 4. Аппроксимация евклидова расстояния после перефразировки
Заключение
С помощью анализа семантической близости методами косинусной меры и евклидова расстояния было выявлено, что в некоторых программах рабочих дисциплин критерии оценивания недостаточно семантически близки. Также в ходе работы установлено, что можно повысить семантическую близость с помощью перефразирования имеющихся критериев оценивания без потери смысловой значимости.