Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

В 2011 году был утвержден Федеральный государственный образовательный стандарт третьего поколения (ФГОС) [1; 2]. Отличительной чертой нового стандарта стало акцентирование внимания на результатах, которых достигает студент в процессе обучения [3; 4]. Результаты выражаются в компетенциях (общекультурных, общепрофессиональных, профессиональных), которые характеризуют выпускника не только с профессиональной точки зрения, но и как личность (получение в процессе обучения различных социально одобряемы ценностных установок, развитие коммуникативных навыков, стрессоустойчивости и т.д.). Таким образом требования рынка труда влияют на формирование образовательных программ для того, чтобы знания и навыки, полученные в университете, помогали в построении карьеры. Однако термин «компетенция» формализован расплывчато, что приводит к возникновению проблемы отсутствия однозначного понимания как состава и содержания компетенций, так и соответствующих им результатов обучения [5]. Из этого следуют конфликтные ситуации неоднозначности в толковании формулировок компетенций и результатов обучения студентов преподавателями, деканатами, учебной частью и другими подразделениями вуза.

В статье [6] была предложена методика оценки формулировок описаний критериев оценивания знаний студентов в рабочих программах учебных дисциплин. В результате использования данной методики формулировки оценок «2», «3», «4» и «5» преобразуются в векторное представление, после чего вычисляется семантическое расстояние между ними и проводится параболическая аппроксимация. В своем первоначальном виде она не может быть использована для формализации результатов обучения. Формулировки «знать», «уметь», «владеть» – понятия не числовые, следовательно, к ним не применимы отношения «больше/меньше», «порядок следования», «расстояние между» и т.д. Поэтому делается предположение, что получаемые векторы формулировок являются ортогональными друг другу.

В работе представлена методика оценки и анализа формулировок результатов обучения с помощью языковой модели ELMO. Были использованы рабочие программы учебных дисциплин для бакалавриата Уфимского государственного нефтяного технического университета (УГНТУ), Новосибирского государственного университета (НГУ) [7], Омского государственного педагогического университета (ОмГПУ) [8]. Часть рассмотренных формулировок компетенций не выдерживает критики, поэтому необходимо создать автоматизированный механизм поиска некорректных формулировок.

Используемая языковая модель и метрики

Трансформация исходного текста в вектор происходит с помощью языковой модели ELMO [9; 10]. В основе модели лежит двунаправленная нейронная сеть с долгой краткосрочной памятью (bidirectional LSTM). Благодаря ей значения векторного представления являются не фиксированными и зависящими от контекста. На выходе образуется вектор размерностью 1024.

Получаемые векторы подаются на вход двум метрикам: косинусной мере и евклидовому расстоянию. Косинусная мера является степенью близости (значения изменяются от 0 до 1, где 1 представляет максимальную близость), а евклидово расстояние – мерой расстояния (значения изменяются от 0 до ∞, при этом 0 является значением максимальной близости). Выбор только двух метрик основан на том, что большее их количество является избыточным, а использование только одной метрики может быть недостаточным [6].

Формула для расчета косинусной меры:

(1)

где и – векторы, между которыми производится расчет семантического расстояния.

Евклидово расстояние рассчитывается следующим образом:

(2)

Расчет семантического расстояния и анализ результатов

Расчеты проведены на 64 бакалаврских рабочих программах учебных дисциплин, основная часть – это рабочие программы Уфимского государственного нефтяного технического университета.

В качестве исходных данных выступают формулировки результатов обучения, между которыми вычисляется семантическое расстояние. Предполагается, что векторы формулировок «Знать», «Уметь», «Владеть» являются ортогональными друг другу, поэтому в идеальном случае значение евклидова расстояния стремится к бесконечности (максимально возможное значение), а косинусной меры – равно 0 (минимально возможное значение).

В ходе исследования был проведен расчет трех значений семантического расстояния для каждой компетенции (Знать-Уметь З-У, Знать-Владеть З-В, Уметь-Владеть У-В). Поскольку в идеальном случае евклидово расстояние стремится к ∞, а косинусная мера к 0, то были выбраны примеры с максимальным евклидовым расстоянием и минимальной косинусной мерой. В табл. 1 представлены формулировки компетенций и результатов вычисления евклидова расстояния и косинусной меры, которые являются лучшими с точки зрения предложенного расчета (жирным шрифтом выделены максимальные значения евклидова расстояния и минимальные значения косинусной меры). Компетенции анализируются для «Дисциплины (вуз, профиль обучения)», «Кристаллография (УГНТУ, профиль «Геология»)». Здесь и далее ОПК – общепрофессиональные компетенции, ПК – профессиональные компетенции, ПКО – обязательные профессиональные компетенции.

Данные формулировки отличаются краткостью и преимущественным использованием различных слов.

В табл. 2 отобраны формулировки, которые являются худшими с точки зрения представленного расчета (формулировки компетенций приведены «как есть» из рабочих программ, вместе с грамматическими ошибками). Жирным шрифтом выделены минимальное евклидово расстояние и максимальная косинусная мера.

Очевидно, что «худшими» данные формулировки делает чрезмерное использование одних и тех же слов и фраз.

Анализ табл. 1 и 2, показал, что они не обладают достаточной полнотой (табл. 1 – из-за малой длины фраз, табл. 2 – из-за использования одних и тех же слов и фраз, что делает формулировки мало отличающимися друг от друга). В результате длительных дискуссий авторы пришли к мнению, что наиболее пригодными являются формулировки, для которых евклидово расстояние принимает значение около 7, а косинусная мера 0,6. В них хорошо сочетаются длина содержимого формулировок (достаточная полнота) и умеренное использование одинаковых слов и фраз, применение синонимов (табл. 3).

Результатом данной работы являются рассчитанные значения семантического расстояния по двум метрикам: косинусной мере и евклидову расстоянию. На вход этим метрикам подается числовой вектор размерности 1024, полученный с помощью модели ELMO. Модель схематически можно разделить на два блока:

1) символьный эмбеддинг (char embedding), получаемый с помощью сверточной нейронной сети (CNN) [9; 11];

2) двунаправленная нейронная сеть с долгой краткосрочной памятью (bidirectional LSTM) [9].

Для получения входного числового вектора двунаправленной нейронной сети из исходного текста используется сверточная нейронная сеть с макс пулингом (max pooling) [9]. Исходный текст разбивается на слова. Каждое слово затем делится на символы (буквы), и ему в соответствие ставится свой числовой вектор, первоначальное приближение которого задается случайным образом [11; 12]. В результате получается вектор размерности 1024. На рис. 1 и 2 дано графическое представление значений выходов предпоследнего слоя нейронной сети, в виде гистограмм. Рис. 1 – лучшая формулировка, рис. 2 – худшая.

Рис. 1. Графическая иллюстрация вектора формулировки «Знать» компетенции ОПК-1 для дисциплины «Машиностроение», профиль «Геология»

Рис. 2. Графическая иллюстрация вектора формулировки «Знать» компетенции ПК-4 для дисциплины «Теория автоматического управления», профиль «Электрооборудование и электрохозяйство предприятий, организаций и учреждений»

Рис. 1 и 2 являются малоинформативными и не несут информации о различии между векторами «хороших» и «плохих» формулировок. Поскольку в модели ELMO используются случайным образом заданные начальные приближения, то теряется смысл в анализе векторов из-за невоспроизводимости получаемых результатов.

Для получения представления о том, как работает модель ELMO, была предпринята попытка упрощения расчета за счет уменьшения размерности векторов. Случайным образом трижды сгенерированы вектора «А», «В» и «С», размерностью в 21 индекс, первая треть которых символизирует результат обучения «знать», вторая «уметь», третья «владеть». В табл. 4 в векторах А жирным шрифтом выделены «пики» (максимальные, по модулю, значения), а на рис. 3 дано представление первого вектора А в виде гистограммы. Рис. 3, как и предполагалось, есть упрощенная версия рис. 1 и 2.

Предполагается, что пики вектора В преимущественно не пересекаются с пиками вектора А, а с вектором С пересекаются.

Рис. 3. Графическая иллюстрация вектора А

Таблица 4

Расчет метрик упрощенного вычисления

Из табл. 4 видно, что когда пики одного вектора находятся в пересекающихся областях с другим вектором, то они являются семантически близкими, и наоборот (евклидово расстояние пересекающихся в пиках векторов меньше, а косинусная мера больше, чем для непересекающихся векторов). Таким образом, предположение об ортогональности исследуемых векторов подтверждается.

Заключение

– Предложенная методика оценки формулировок результатов обучения студентов имеет практическую значимость и может быть использована как механизм поиска некорректных формулировок. Рекомендуется в качестве пороговых значений использовать следующие: евклидово расстояние около 7, косинусная мера примерно 0,6.

– Понятие «семантическая близость» можно понимать как «взаиморасположение объектов в n-мерном пространстве», следовательно, к ним могут быть применимы отношения «больше/меньше», «порядок следования», «расстояние между» и т.д.