Научный журнал

Современные наукоемкие технологии

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Гиниятуллин В.М. 1 Ермолаев Е.В. 1 Салихова М.А. 1 Хлыбов А.В. 1 Чурилов Д.А. 1 Чурилова Е.А. 1

---

1 ФГБОУ ВО «Уфимский государственный нефтяной технический университет»

Появление нового образовательного стандарта (ФГОС), главным отличием которого от предыдущего стала ориентация на результаты обучения студентов, обеспечило диалог между образовательным учреждением и рынком труда, что позволило полученные студентами знания и навыки применять при построении карьеры. Однако переход на новый образовательный стандарт не обошелся без появления новых проблем. Одной из них является отсутствие конкретики и однозначного понимания состава формулировок компетенций и соответствующих им результатов обучения. В данной статье предложена методика оценки и анализа формулировок результатов обучения, основанная на предположении, что получаемые векторы этих формулировок являются ортогональными друг другу. Векторы были получены с помощью языковой модели ELMO и затем поданы на вход двум метрикам: евклидовому расстоянию и косинусной мере. Были отобраны как лучшие по расчету формулировки, так и худшие. По результатам анализа и сравнения было выявлено, что в лучших формулировках преимущественно используются разные слова, также они обладают малой длиной фраз. Худшие формулировки являются таковыми потому, что в них используются одинаковые слова и фразы. Была предложена рекомендация использовать в качестве порогового значения для евклидова расстояния 7, а для косинусной меры 0,6. Для получения представления о том, как работает модель ELMO, была предпринята попытка упрощения расчета за счет уменьшения размерности векторов. Упрощение позволило сделать следующий вывод: если векторы пересекаются в пиковых значениях, то они являются семантически близкими друг к другу, и наоборот.

Статья в формате PDF

1085 KB

федеральный государственный образовательный стандарт

компетенция

языковая модель

векторное представление

нейронная сеть

1. Приказ Министерства образования и науки РФ от 12.01.2016 № 5 «Об утверждении федерального государственного образовательного стандарта высшего образования по направлению подготовки 09.03.01 Информатика и вычислительная техника (уровень бакалавриата)». [Электронный ресурс]. URL: http://base.garant.ru/71328468/ (дата обращения: 21.07.2021).

2. Положение об основных профессиональных образовательных программах высшего образования – программах бакалавриата, программах специалитета, программах магистратуры, реализуемых федеральным государственным бюджетным образовательным учреждением высшего образования «Уфимский государственный нефтяной технический университет» (УГНТУ), утв. Приказом по УГНТУ от 04.09.2017 № 570-4. [Электронный реурс]. URL: http://rusoil.net/files/2019-06/Polozhenie-ob-OPOP.pdf (дата обращения: 21.07.2021).

3. Щербакова Е.А. Система оценки уровня сформированности компетенций и результатов обучения // Учебный центр подготовки руководителей Высшей школы экономики. Саратов: ФГБОУ ВПО «Саратовский государственный университет им. Н.Г. Чернышевского», 2014. 33 с.

4. Чучалин А.И. Образовательные стандарты ведущих российских вузов // Высшее образование в России. 2018. № 4. С. 14–25.

5. Мишин И.Н. Критическая оценка формирования перечня компетенций в ФГОС ВО 3++ // Высшее образование в России. 2018. № 4. С. 66–75.

6. Гиниятуллин В.М., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Оценка семантической близости между критериями оценивания в рабочих программах вуза // Современные наукоемкие технологии. 2021. № 1. С. 12–19.

7. Рабочие программы дисциплин (бакалавриат). Новосибирский государственный университет. [Электронный ресурс]. URL: https://www.nsu.ru/n/geology-geophysics-department/students/rabochie-programma-distsiplin/ (дата обращения: 21.07.2021).

8. Информация по образовательным программам. Омский государственный педагогический университет. [Электронный ресурс]. URL: https://omgpu.ru/sveden/education3 (дата обращения: 21.07.2021).

9. Peters M.E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. Deep contextualized word representations. [Electronic resource]. 2018. URL: https://arxiv.org/abs/1802.05365 (date of access: 21.07.2021).

10. Pre-trained embeddings. ELMO on Russian WMT News. [Electronic resource]. URL: http://files.deeppavlov.ai/deeppavlov_data/elmo_ru-news_wmt11-16_1.5M_steps.tar.gz. (date of access: 21.07.2021).

11. Meraldo A. Word Embedding, Character Embedding and Contextual Embedding in BIDAF – an Illustrated Guide. [Electronic resource]. 2019. URL: https://towardsdatascience.com/the-definitive-guide-to-bidaf-part-2-word-embedding-character-embedding-and-contextual-c151fc4f05bb (date of access: 21.07.2021).

12. Prateek J. A Step-by-Step NLP Guide to Learn ELMO for Extracting Features from Text. [Electronic resource]. 2019. URL: https://www.analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/ (date of access: 21.07.2021).

В 2011 году был утвержден Федеральный государственный образовательный стандарт третьего поколения (ФГОС) [1; 2]. Отличительной чертой нового стандарта стало акцентирование внимания на результатах, которых достигает студент в процессе обучения [3; 4]. Результаты выражаются в компетенциях (общекультурных, общепрофессиональных, профессиональных), которые характеризуют выпускника не только с профессиональной точки зрения, но и как личность (получение в процессе обучения различных социально одобряемы ценностных установок, развитие коммуникативных навыков, стрессоустойчивости и т.д.). Таким образом требования рынка труда влияют на формирование образовательных программ для того, чтобы знания и навыки, полученные в университете, помогали в построении карьеры. Однако термин «компетенция» формализован расплывчато, что приводит к возникновению проблемы отсутствия однозначного понимания как состава и содержания компетенций, так и соответствующих им результатов обучения [5]. Из этого следуют конфликтные ситуации неоднозначности в толковании формулировок компетенций и результатов обучения студентов преподавателями, деканатами, учебной частью и другими подразделениями вуза.

В статье [6] была предложена методика оценки формулировок описаний критериев оценивания знаний студентов в рабочих программах учебных дисциплин. В результате использования данной методики формулировки оценок «2», «3», «4» и «5» преобразуются в векторное представление, после чего вычисляется семантическое расстояние между ними и проводится параболическая аппроксимация. В своем первоначальном виде она не может быть использована для формализации результатов обучения. Формулировки «знать», «уметь», «владеть» – понятия не числовые, следовательно, к ним не применимы отношения «больше/меньше», «порядок следования», «расстояние между» и т.д. Поэтому делается предположение, что получаемые векторы формулировок являются ортогональными друг другу.

В работе представлена методика оценки и анализа формулировок результатов обучения с помощью языковой модели ELMO. Были использованы рабочие программы учебных дисциплин для бакалавриата Уфимского государственного нефтяного технического университета (УГНТУ), Новосибирского государственного университета (НГУ) [7], Омского государственного педагогического университета (ОмГПУ) [8]. Часть рассмотренных формулировок компетенций не выдерживает критики, поэтому необходимо создать автоматизированный механизм поиска некорректных формулировок.

Используемая языковая модель и метрики

Трансформация исходного текста в вектор происходит с помощью языковой модели ELMO [9; 10]. В основе модели лежит двунаправленная нейронная сеть с долгой краткосрочной памятью (bidirectional LSTM). Благодаря ей значения векторного представления являются не фиксированными и зависящими от контекста. На выходе образуется вектор размерностью 1024.

Получаемые векторы подаются на вход двум метрикам: косинусной мере и евклидовому расстоянию. Косинусная мера является степенью близости (значения изменяются от 0 до 1, где 1 представляет максимальную близость), а евклидово расстояние – мерой расстояния (значения изменяются от 0 до ∞, при этом 0 является значением максимальной близости). Выбор только двух метрик основан на том, что большее их количество является избыточным, а использование только одной метрики может быть недостаточным [6].

Формула для расчета косинусной меры:

(1)

где и – векторы, между которыми производится расчет семантического расстояния.

Евклидово расстояние рассчитывается следующим образом:

(2)

Расчет семантического расстояния и анализ результатов

Расчеты проведены на 64 бакалаврских рабочих программах учебных дисциплин, основная часть – это рабочие программы Уфимского государственного нефтяного технического университета.

В качестве исходных данных выступают формулировки результатов обучения, между которыми вычисляется семантическое расстояние. Предполагается, что векторы формулировок «Знать», «Уметь», «Владеть» являются ортогональными друг другу, поэтому в идеальном случае значение евклидова расстояния стремится к бесконечности (максимально возможное значение), а косинусной меры – равно 0 (минимально возможное значение).

В ходе исследования был проведен расчет трех значений семантического расстояния для каждой компетенции (Знать-Уметь З-У, Знать-Владеть З-В, Уметь-Владеть У-В). Поскольку в идеальном случае евклидово расстояние стремится к ∞, а косинусная мера к 0, то были выбраны примеры с максимальным евклидовым расстоянием и минимальной косинусной мерой. В табл. 1 представлены формулировки компетенций и результатов вычисления евклидова расстояния и косинусной меры, которые являются лучшими с точки зрения предложенного расчета (жирным шрифтом выделены максимальные значения евклидова расстояния и минимальные значения косинусной меры). Компетенции анализируются для «Дисциплины (вуз, профиль обучения)», «Кристаллография (УГНТУ, профиль «Геология»)». Здесь и далее ОПК – общепрофессиональные компетенции, ПК – профессиональные компетенции, ПКО – обязательные профессиональные компетенции.

Данные формулировки отличаются краткостью и преимущественным использованием различных слов.

В табл. 2 отобраны формулировки, которые являются худшими с точки зрения представленного расчета (формулировки компетенций приведены «как есть» из рабочих программ, вместе с грамматическими ошибками). Жирным шрифтом выделены минимальное евклидово расстояние и максимальная косинусная мера.

Очевидно, что «худшими» данные формулировки делает чрезмерное использование одних и тех же слов и фраз.

Анализ табл. 1 и 2, показал, что они не обладают достаточной полнотой (табл. 1 – из-за малой длины фраз, табл. 2 – из-за использования одних и тех же слов и фраз, что делает формулировки мало отличающимися друг от друга). В результате длительных дискуссий авторы пришли к мнению, что наиболее пригодными являются формулировки, для которых евклидово расстояние принимает значение около 7, а косинусная мера 0,6. В них хорошо сочетаются длина содержимого формулировок (достаточная полнота) и умеренное использование одинаковых слов и фраз, применение синонимов (табл. 3).

Результатом данной работы являются рассчитанные значения семантического расстояния по двум метрикам: косинусной мере и евклидову расстоянию. На вход этим метрикам подается числовой вектор размерности 1024, полученный с помощью модели ELMO. Модель схематически можно разделить на два блока:

1) символьный эмбеддинг (char embedding), получаемый с помощью сверточной нейронной сети (CNN) [9; 11];

2) двунаправленная нейронная сеть с долгой краткосрочной памятью (bidirectional LSTM) [9].

Для получения входного числового вектора двунаправленной нейронной сети из исходного текста используется сверточная нейронная сеть с макс пулингом (max pooling) [9]. Исходный текст разбивается на слова. Каждое слово затем делится на символы (буквы), и ему в соответствие ставится свой числовой вектор, первоначальное приближение которого задается случайным образом [11; 12]. В результате получается вектор размерности 1024. На рис. 1 и 2 дано графическое представление значений выходов предпоследнего слоя нейронной сети, в виде гистограмм. Рис. 1 – лучшая формулировка, рис. 2 – худшая.

Рис. 1. Графическая иллюстрация вектора формулировки «Знать» компетенции ОПК-1 для дисциплины «Машиностроение», профиль «Геология»

Рис. 2. Графическая иллюстрация вектора формулировки «Знать» компетенции ПК-4 для дисциплины «Теория автоматического управления», профиль «Электрооборудование и электрохозяйство предприятий, организаций и учреждений»

Рис. 1 и 2 являются малоинформативными и не несут информации о различии между векторами «хороших» и «плохих» формулировок. Поскольку в модели ELMO используются случайным образом заданные начальные приближения, то теряется смысл в анализе векторов из-за невоспроизводимости получаемых результатов.

Для получения представления о том, как работает модель ELMO, была предпринята попытка упрощения расчета за счет уменьшения размерности векторов. Случайным образом трижды сгенерированы вектора «А», «В» и «С», размерностью в 21 индекс, первая треть которых символизирует результат обучения «знать», вторая «уметь», третья «владеть». В табл. 4 в векторах А жирным шрифтом выделены «пики» (максимальные, по модулю, значения), а на рис. 3 дано представление первого вектора А в виде гистограммы. Рис. 3, как и предполагалось, есть упрощенная версия рис. 1 и 2.

Предполагается, что пики вектора В преимущественно не пересекаются с пиками вектора А, а с вектором С пересекаются.

Рис. 3. Графическая иллюстрация вектора А

Таблица 4

Расчет метрик упрощенного вычисления

Из табл. 4 видно, что когда пики одного вектора находятся в пересекающихся областях с другим вектором, то они являются семантически близкими, и наоборот (евклидово расстояние пересекающихся в пиках векторов меньше, а косинусная мера больше, чем для непересекающихся векторов). Таким образом, предположение об ортогональности исследуемых векторов подтверждается.

Заключение

– Предложенная методика оценки формулировок результатов обучения студентов имеет практическую значимость и может быть использована как механизм поиска некорректных формулировок. Рекомендуется в качестве пороговых значений использовать следующие: евклидово расстояние около 7, косинусная мера примерно 0,6.

– Понятие «семантическая близость» можно понимать как «взаиморасположение объектов в n-мерном пространстве», следовательно, к ним могут быть применимы отношения «больше/меньше», «порядок следования», «расстояние между» и т.д.

Библиографическая ссылка