Научный журнал

Современные наукоемкие технологии

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Гиниятуллин В.М. 1 Ермолаев Е.В. 1 Салихова М.А. 1 Хлыбов А.В. 1 Чурилов Д.А. 1 Чурилова Е.А. 1

---

1 ФГБОУ ВО «Уфимский государственный нефтяной технический университет»

Статья является логическим продолжением предыдущей статьи «Оценка семантической близости критериев оценивания в рабочих программах вуза». В данном случае более детально описаны разработанное приложение и загрузка исходных данных. Выполнено большее количество вычислений на трех разных учебных потоках. В итоге было разобрано 9 рабочих программ дисциплин. Все расчеты проведены с учетом рекомендаций, сделанных в первой статье, поэтому анализ рабочих программ дисциплин на семантическую близость критериев оценивания проведен с помощью двух метрик: косинусной меры и евклидова расстояния. Проведено перефразирование критериев оценивания с недостаточной семантической близостью. Это позволило улучшить показатель аппроксимации результатов расчета метрик, т.е. повысить семантическую близость фраз, для которых она имеет низкое значение. Повышение значения происходит без потери смысловой значимости. Таким образом, результаты расчета можно использовать в практических целях, например при создании автоматизированного помощника преподавателя, когда написанное будет проверяться системой на семантическую близость, т.е. будет установлен некий порог для фраз. Это позволит отбрасывать те фразы, которые не соответствуют порогу, регулировать процесс создания описаний критериев оценивания.

Статья в формате PDF

1408 KB

рабочие программы

векторное представление

евклидово расстояние

косинусная мера

аппроксимация полиномом

1. Приказ Министерства образования и науки РФ от 05.04.2017 № 301 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования – программам бакалавриата, программам специалитета, программам магистратуры». [Электронный ресурс]. URL: http://base.garant.ru/71721568/ (дата обращения: 24.07.2021).

2. Положение об основных профессиональных образовательных программах высшего образования – программах бакалавриата, программах специалитета, программах магистратуры, реализуемых федеральным государственным бюджетным образовательным учреждением высшего образования «Уфимский государственный нефтяной технический университет» (УГНТУ), утв. Приказом по УГНТУ от 04.09.2017 № 570-4. [Электронный реурс]. URL: http://rusoil.net/files/2019-06/Polozhenie-ob-OPOP.pdf (дата обращения: 24.07.2021).

3. Еремицкая И.А. Разработка рабочих программ дисциплин (модулей), программ практик, государственной итоговой аттестации в условиях реализации ФГОС ВО // Педагогическая наука и образование в диалоге со временем. Астрахань: Изд-во ФГБОУ ВПО «Астраханский государтсвенный университет», 2020. С. 25‑31.

4. Самодурова Т.В. Построение рабочих учебных программ дисциплин в соответствии с требованиями ФГОС ВПО // Педагогические условия реализации ФГОС общего и профессионального образования. Комсомольск-на-Амуре: Изд-во АмГПГУ, 2014. С. 105–110.

5. Никитенко А. Векторное представление слов. 2020. [Электронный ресурс]. URL: https://craftappmobile.com/vector-representation-of-words/ (дата обращения: 24.07.2021).

6. Исаков С. Векторные представления слов: все дело в контексте. 2018. [Электронный ресурс]. URL: https://neurohive.io/ru/osnovy-data-science/word2vec-vektornye-predstavlenija-slov-dlja-mashinnogo-obuchenija/ (дата обращения: 24.07.2021).

7. Шумская А.О. Оценка эффективности метрик расстояния Евклида и расстояния Махаланобиса в задачах идентификации происхождения текста // Доклады томского государственного университета систем управления и радиоэлектроники. Томск: Изд-во ТГУСУиР, 2013. С. 141–145.

8. Хачумов М.В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений. М.: Изд-во Федеральный исследовательский центр «Информатика и управление» РАН, 2012. С. 81–89.

9. Белова К.М., Судаков В.А. Исследование эффективности методов оценки релевантности текстов // Препринты ИПМ им. М.В. Келдыша. М.: Изд-во Институт прикладной математики им. М.В. Келдыша РАН, 2020. С. 1–16.

10. Яцко В.А. Особенности вычисления косинусной меры смысловой близости документов // Актуальные вопросы теории и практики развития научных исследований. Уфа: Изд-во Общество с ограниченной ответственностью «ОМЕГА САЙНС», 2020. С. 69–75.

11. Гиниятуллин В.М., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Оценка семантической близости между критериями оценивания в рабочих программах вуза // Современные наукоемкие технологии. 2021. № 1. С. 12–19.

12. Сахнюк П.А. Возможности Google Colab для изучения технологий машинного обучения и нейронных сетей // Информатизация непрерывного образования. М.: Изд-во Российский университет дружбы народов (РУДН), 2018. С. 586–588.

13. Семченко Р.В., Еровлев П.А. Программирование нейронных сетей в Python с использованием библиотек Keras и TensorFlow // Постулат. Биробиджан: Изд-во Приамурский государственный университет им. Шолом-Алейхема, 2020. № 7. С. 26–31.

14. Боровков Н.А., Фураев Ф.И. Использование языковой модели ELMO для задачи аспектно-ориентированного анализа тональности // Научная сессия ГУАП. СПб.: Изд-во Санкт-Петербургский государственный университет аэрокосмического приборостроения, 2019. С. 301–305.

15. Обзор четырех популярных NLP-моделей. [Электронный ресурс]. URL: https://proglib.io/p/obzor-chetyreh-populyarnyh-nlp-modeley-2020-04-21 (дата обращения: 24.07.2021).

Рабочая программа дисциплины – это нормативный документ, входящий в состав основной образовательной программы высшего профессионального образования по соответствующему направлению подготовки и профилю [1].

Целями разработки рабочих программ дисциплин являются определение места дисциплины в системе подготовки бакалавра (магистра), раскрытие содержания учебного материала, организации и технологии обучения, способов проверки результатов обучения, учебно-методического и материально-технического обеспечения учебного процесса.

При разработке рабочих программ необходимо учитывать и соблюдать требования, описанные в Федеральном государственном образовательном стандарте высшего образования [2]. Существенной сложностью при разработке рабочих программ является самостоятельное составление критериев оценивания выполняемых работ. Критерии оценивания должны быть составлены таким образом, чтобы не возникало их двусмысленного толкования [3, 4].

В работе рассмотрены 9 рабочих программ, из них выделены критерии оценивания, были произведены анализ критериев и оценка семантической близости между ними. Для оценки семантической близости существует ряд метрик, которые делятся на группы по учитываемым параметрам, таким как:

– частота символов или слов (коэффициент Танимото, мера Дайса, коэффициент Симпсона) [5, 6];

– редакционное расстояние (расстояние Левенштейна, расстояние Джаро) [7, 8];

– семантическая близость слов (косинусная мера, скалярное произведение, евклидово расстояние, манхэттенское расстояние, расстояние Минковского) [9–10].

В статье [11] был сделан вывод, что для анализа семантической близости достаточно использовать метрики, основанные на нахождении косинусной меры и евклидова расстояния.

Косинусная мера предполагает представление частот встречаемости терминов в двух текстах в виде векторов и определение степени смысловой близости этих текстов на основе вычисления косинуса угла, который образуют два вектора, увеличение значения косинуса указывает на большую степень близости между документами. Косинусная мера изменяется от 0 до 1 вычисляется по формуле:

, (1)

где sim – мера смысловой близости текстов t1 и t2;

f – частотность некоторого i-го термина.

Евклидово расстояние трактуется как расстояние между точками в многомерном пространстве, для похожих документов оно будет стремиться к нулю. Евклидово расстояние изменяется от 0 до ∞ и рассчитывается по формуле:

, (2)

где nEquation.DSMT4 – число терминов;

i – переменная-счетчик;

tf – частота термина в тексте;

idf – обратная документная частота.

Методы и средства исследования

Для нахождения косинусной меры и евклидова расстояния в облачном сервисе Google Colab [12] было разработано приложение с использованием библиотеки TensorFlow и языковой модели ELMo. Библиотека TensorFlow реализует концепцию глубокого обучения [13]. Языковая модель ELMo – Embedding Language Model (ELMo) – генерирует контекстно-зависимые эмбеддинги [14]. Эмбеддинг – векторное представление смысла предложения [15].

Загрузка исходных данных и расчет семантического расстояния

В качестве исходных данных были взяты 9 рабочих программ Уфимского государственного нефтяного технического университета.

1. Профиль подготовки «Электрооборудование и электрохозяйство предприятий, организаций и учреждений»

1.1. Дисциплина «Автоматизированный электропривод».

1.2. Дисциплина «Иностранный язык».

1.3. Дисциплина «Инженерная и компьютерная графика».

2. Профиль подготовки «Бурение нефтяных и газовых скважин»

2.1. Дисциплина «Математика».

2.2. Дисциплина «Начертательная геометрия и инженерная компьютерная графика».

2.3. Дисциплина «Термодинамика и те- плопередача».

3. Профиль подготовки «Машины и аппараты химических производств»

3.1. Дисциплина «Иностранный язык».

3.2. Дисциплина «Математика».

3.3. Дисциплина «Монтаж и ремонт оборудования нефтехимических производств».

В фондах оценочных средств имеется от 3 до 9 средств оценивания, к которым относятся: доклад, сообщение, компьютерное тестирование, контрольная работа, лабораторная работа, письменный и устный опрос, разноуровневые задачи и задания, расчетно-графическая работа, собеседование, устный опрос. Критерии оценивания лабораторных работ, письменных и устных опросов, расчетно-графических работ для дисциплины «Термодинамика и теплопередача» по профилю подготовки «Бурение нефтяных и газовых скважин» представлены в табл. 1.

Исходные данные для каждой рабочей программы объединятся в группы (corpus), в каждом corpus первой строкой вводятся критерии для оценки «5», второй для оценки «4», третьей для оценки «3», четвертой для оценки «2», пример на рис. 1.

Результаты расчетов представлены в виде матриц попарного сравнения, столбцы матрицы – это расстояния между оценками «5», «4», «3» и «2» в соответствующем порядке, т.е. только первая строка таблицы (рис. 2).

После нахождения косинусной меры и евклидова расстояния полученные результаты были перенесены в электронные таблицы и проведена их аппроксимация вторым порядком с выводом коэффициентов полинома и среднеквадратичного отклонения. Результаты аппроксимации евклидова расстояния приведены на рис. 3.

Результаты достоверности аппроксимации были сведены в табл. 2, из которой следует, что значения достоверности для письменного и устного опроса значительно меньше остальных.

Перефразированные тексты критериев для письменного и устного опроса представлены в табл. 3, собственно перефразирования в тексте отмечены полужирным начертанием.

Таблица 3

Перефразированный текст исходных данных для письменного и устного опроса

В результате достоверность аппроксимации превысила значение 0,99 (рис. 4).

Рис. 4. Аппроксимация евклидова расстояния после перефразировки

Заключение

С помощью анализа семантической близости методами косинусной меры и евклидова расстояния было выявлено, что в некоторых программах рабочих дисциплин критерии оценивания недостаточно семантически близки. Также в ходе работы установлено, что можно повысить семантическую близость с помощью перефразирования имеющихся критериев оценивания без потери смысловой значимости.

Библиографическая ссылка