Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

SETTING OF THE MULTI-CRITERIA OPTIMIZATION TASK FOR THE EFFECTIVENESS IMPROVEMENT OF A UNIVERSITY EDUCATIONAL ACTIVITY

Ovchinkin O.V. 1 Pykhtin A.I. 1 Sizov A.S. 1
1 Southwest State University
The effectiveness of the higher educational institutions work is currently being given greater priority. Every year, the Ministry of Education and Science of the Russian Federation carries out an appropriate monitoring upon seven indications, along with an internal evaluation of the universities work on an expanded list of indicators for the purpose of ranking the universities and their managers. In order to improve the effectiveness of educational activity of higher educational institutions, the possibility of creating and implementing specialized software tools for decision taking support is being considered – in this regard, the problem is presented in the form of a multi-criteria optimization. The objective functions of the task are: to achieve the maximum possible number of performance monitoring indicators, to maximize the score based on the results of the internal evaluation of the Ministry of Education and Science of Russia and to minimize the financial costs of the university to change the indicators value. At the same time, there are some restrictions to the budget available to the university. The suggested mathematical model was tested on the data of the Southwest State University in 2017. The model empirically tested can determine the financial costs of the institution for raising such indicators of educational activity as the average score of the unified state exam of students admitted for the first year of study, the percent of foreign students, the proportion of the number of masters and graduate students in the total number of students, the percent of graduates’ employment.
effectiveness
university
monitoring
optimization
multi-criteria

В настоящее время оценке эффективности деятельности образовательных организаций, прежде всего вузов, уделяется повышенное внимание. Примером служит ежегодный мониторинг эффективности деятельности организаций высшего образования, проводимый ежегодно Департаментом государственной политики в сфере высшего образования Минобрнауки России (http://indicators.miccedu.ru/monitoring/). Указанный мониторинг устанавливает 8 показателей эффективности, для каждого из которых установлено пороговое значение, в общем случае отличающееся для различных субъектов России: оценка образовательной деятельности (средний балл ЕГЭ студентов, принятых на очную форму обучения, пороговое значение – 60), оценка научно-исследовательской деятельности (объем НИОКР в расчете на одного НПР), оценка международной деятельности (процент иностранных студентов), оценка финансово-экономической деятельности (доходы вуза в расчете на одного НПР), процент трудоустройства выпускников и дополнительный показатель, определяющийся в зависимости от специфики вуза. Цель мониторинга – разделить все вузы на 2 категории – эффективные и неэффективные. Эффективным признается вуз, выполнивший 4 и более показателей. Неэффективным – выполнивший 3 и менее. Отметим, что показатели едины для любых категорий вузов (государственных и негосударственных, федеральных, национальных исследовательских, технических и т.д.).

В то же время действует приказ Минобрнауки России от 23.01.2018 г. № 41 «Об утверждении показателей эффективности деятельности федеральных бюджетных и автономных образовательных учреждений высшего образования и работы их руководителей, находящихся в ведении Министерства образования и науки Российской Федерации» (далее – Приказ 41), устанавливающий сходный, но более детализированный перечень показателей, причем для каждого показателя установлены возможные диапазоны его значений и соответствующие указанным диапазонам максимальные баллы. Сумма баллов, назначенная экспертами Минобрнауки России по результатам оценки вуза в соответствии с диапазонами значений показателей Приказа 41, и является значением, определяющим относительную эффективность вузов (т.е. своего рода рейтинг вузов) и их руководителей. Пороговые значения диапазонов показателей различаются для вузов со статусом «федеральный» или «национальный исследовательский» (более высокие нормативы) и для всех остальных образовательных организаций.

Стоит отметить, что аналогичные показатели (за исключением среднего балла ЕГЭ) используются и в международных рейтингах QS, THE, RUR и т.д.

Каждый вуз в современных условиях должен строить свою деятельность таким образом, чтобы выполнять критерии эффективности мониторинга деятельности вуза и повышать свой рейтинг по результатам оценки эффективности в соответствии с Приказом 41. Для этого вузы разрабатывают долгосрочные и краткосрочные программы стратегического развития, дорожные карты и т.д.

Вопросы совершенствования управления эффективностью деятельности вуза на основе расширения информационно-аналитической базы принятия управленческих решений с целью роста конкурентоспособности на рынке образовательных услуг рассматривались в [1]. Вопрос несовершенства системы показателей эффективности с точки зрения оценки качества высшего образования раскрыт в [2]. Необходимость применения информационных технологий для повышения эффективности управления вузом рассмотрена в [3, 4]. Необходимость учета таких показателей эффективности, как средний балл ЕГЭ студентов, уровень доходов вуза, процент трудоустройства выпускников, при планировании контингента студентов рассматривалась в [5]. В то же время акцент на повышение эффективности образовательной деятельности вузов путем внедрения специализированных программных средств поддержки принятия решений не затрагивались.

И в мониторинге Минобрнауки России, и в Приказе 41 классическое понятие эффективности как «относительной результативности процесса, определяемой как отношение результата к затратам обусловившим или обеспечившим его получение» [6] сводится к достижению заданных пороговых значений, т.е. относительность учитывается только при расчете отдельных показателей. В то же время повышение эффективности может достигаться не только за счет увеличения значений показателей, но и за счет уменьшения затрат. Поэтому в дальнейшей постановке задачи будут учтены финансовые затраты, связанные с изменением значения того или иного показателя.

Сформулируем проблему повышения эффективности деятельности вуза в виде задачи многокритериальной оптимизации. Пусть существует множество показателей ovch01.wmf. Текущее значение показателей из множества Р для вуза задается вектором ovch02.wmf. Искомое значение показателей из множества Р для вуза задается вектором ovch03.wmf, ovch04.wmf (так как нет смысла уменьшать достигнутые значения). Подмножество показателей мониторинга эффективности деятельности образовательных организаций ovch05.wmf. Для каждого ovch06.wmf, ovch07.wmf определяется пороговое значение rj ≥ 0 и соответствующая функция, определяющая преодоление вузом порога rj: ovch08.wmf, если ovch09.wmf, ovch10.wmf, если xj < rj. Подмножество показателей оценки деятельности вузов в соответствии с Приказом 41 ovch11.wmf. ovch12.wmf в случае, если другие показатели не учитываются. Для каждого ovch13.wmf определяется оценочная функция (обычно кусочно-заданная) zj(x), которая определяет сумму баллов, назначаемую за достижение вузом значения показателя x. Причем, если ovch14.wmf, то zj(x) = 0. Пример кусочно-заданной функции zj(x) для показателя «Число публикаций организации, индексируемых в Web Of Science в расчете на 100 НПР»:

ovch15.wmf (1)

Будем также считать, что для каждого показателя ovch16.wmf существует оценочная функция sj(x), которая определяет объем финансирования, который нужно вложить, чтобы увеличить значение показателя ovch17.wmf с 0 до x. Определение такой функции для каждого показателя – отдельная задача, причем для каждого вуза характер функции будет различен. Например, для показателя «Число публикаций организации, индексируемых в Scopus в расчете на 100 НПР» в Юго-Западном государственном университете, в котором численность НПР NНПР = 500 человек, а среднее вознаграждение, выплачиваемое автору за публикацию одной статьи в издании, индексируемом в Scopus составляет VScopus = 15000 рублей, функция sj(x) может иметь вид

ovch18a.wmf (2)

То есть вузу нужно в среднем вложить 75 тыс. руб., чтобы увеличить значение этого показателя на 1.

Нахождение оптимального значения ovch19.wmf сводится к задаче многокритериальной оптимизации:

ovch20.wmf, (3)

где ovch21.wmf – целевая функция вуза № 1, соответствующая итоговой оценке эффективности в соответствии с Приказом 41;

ovch22.wmf – целевая функция вуза № 2, соответствующая количеству выполненных показателей в мониторинге эффективности;

ovch23.wmf – целевая функция вуза № 3, соответствующая минимизации затрат на изменение значений показателей, Сmin – затраты вуза на поддержание значений показателей на прежнем уровне.

При этом имеет место система ограничений:

ovch24.wmf, ovch25.wmf. (4)

То есть, во-первых, невозможно израсходовать на повышение эффективности средств больше, чем заложено бюджетом вуза (ovch26.wmf), во-вторых, нет смысла превышать максимальные значения показателей эффективности в соответствии с Приказом 41, если только они не превышены изначально.

Дополнительное условие, которое необходимо выполнить, но только если это возможно в принципе:

ovch27.wmf (5)

где ovch28.wmf – количество показателей, которые вуз должен выполнить, чтобы считаться эффективным (в настоящее время 4).

Апробируем представленную модель на данных Юго-Западного государственного университета (ЮЗГУ) 2017 г. Ограничимся следующими показателями образовательной деятельности (таблица).

Показатели образовательной деятельности ЮЗГУ 2017 г.

Обозначение и наименование показателя, единица измерения

rj

zj(xj)

ovch29.wmf

p1 – средний балл ЕГЭ студентов, принятых на обучение по очной форме на программы бакалавриата и специалитета, балл

60

ovch30.wmf

60,06

p2 – удельный вес численности обучающихся по программам магистратуры и аспирантуры в общей численности приведенного контингента обучающихся по программам высшего образования, %

0

ovch31.wmf

17,85

p3 – удельный вес численности иностранных студентов (бакалавриат, специалитет, магистратура) в общей численности студентов, %

1

ovch32.wmf

4,77

p4 – удельный вес выпускников, трудоустроившихся в течение календарного года, следующего за годом выпуска, в общей численности выпускников, обучавшихся по программам высшего образования, %

70

0

65

Начальные значения целевых функций:

ovch33.wmf, ovch34.wmf, ovch35.wmf. (6)

Повысить средний балл ЕГЭ студентов, принятых на первый курс обучения, можно двумя способами или их комбинацией: 1) повысить минимальные пороговые баллы по предметам, сдаваемым при поступлении; 2) стимулировать абитуриентов с высокими баллами выбирать вуз, предлагая им различные гранты, дополнительные образовательные услуги и т.д. [7]. Применение первого способа ведет в общем случае к уменьшению контингента студентов. Так, чтобы увеличить средний балл зачисленных в ЮЗГУ в 2017 г. с 60,1 до 65,1 (чтобы получить максимальный балл по показателю p1), необходимо увеличить средний пороговый балл с 39 до 55 (рисунок). Рисунок показывает, что линия тренда в диапазоне рассматриваемых баллов аппроксимируется линейной функцией с угловым коэффициентом Ktrend = –71,656. При этом количество зачисленных студентов снизится с 1140 до 759, т.е. на 381 человека, что при средней стоимости обучения в PRavg = 80 тыс. рублей в год составит 30,480 млн руб. затрат.

ovchin1.wmf

Зависимость количества зачисленных от среднего балла зачисленных при повышении минимального порогового балла

Вариант со стимулированием кажется более перспективным. Расчеты показывают, что для увеличения среднего балла зачисленных с 60 до 61 необходимо дополнительно принять на обучение в университет 127 человек со средним баллом 70. Для увеличения среднего балла до 65,1 уже потребуется 1200 человек со средним баллом 70, что не представляется возможным, так как в Курской области отсутствует такое количество абитуриентов (из 5000 выпускников 2017 г. в ЮЗГУ подали заявление о приеме 2301 человек, из них средний балл ЕГЭ 70 и более имеют всего 357 человек). В любом случае будем считать, что затраты на поощрение 1-го поступающего с высоким баллом ЕГЭ сопоставимы с потерями от уменьшения численности студентов на 1 человека. Таким образом, с учетом уравнения линии тренда на рисунке, получим следующую оценочную функцию:

ovch36.wmf (7)

То есть повышение среднего балла на 1 в указанном диапазоне обходится вузу в условиях Курской области примерно в 5,73 миллиона рублей.

Показатель p2 вузом выполняется с запасом. Выполнение показателя обусловлено мерами, направленными на стимулирование обучения в магистратуре и аспирантуре за счет системы скидок (до 50 % от стоимости обучения в отдельных случаях). При приведенном контингенте студентов Q = 6500 человек затраты на увеличение показателя будут оцениваться функцией:

ovch37.wmf (8)

Привлечение иностранных студентов обычно осуществляется на основании агентских договоров с комиссией 10–20 % от стоимости обучения, но и стоимость обучения для иностранных граждан обычно выше на 10–25 %. Соответственно, оценочная функция для увеличения доли иностранных студентов:

ovch38a.wmf (9)

Затраты на трудоустройство одного выпускника можно оценить как бюджет вуза, затрачиваемый на данный процесс (для ЮЗГУ это 5 работников со средней заработной платой 25000 рублей в месяц), B в отношении к количеству трудоустроенных в течение года выпуска и следующего за ним T с учетом того, что общее количество выпускников равно V:

ovch39a.wmf (10)

Для нахождения субоптимального значения ovch40.wmf в ЮЗГУ разработано соответствующее программное обеспечение, реализующее алгоритм полного перебора с заданным шагом дискретизации составляющих ovch41.wmf для небольшого количества показателей (2–7). Оптимальное решение при этом выбирается по принципу Парето по аналогии с [8].

Таким образом, в работе повышение эффективности образовательной деятельности вуза представлено в виде многокритериальной задачи оптимизации. С целью повышения эффективности образовательной деятельности вузов рассматривается вариант создания и внедрения специализированных программных средств поддержки принятия решений. В качестве целевых функций задачи выступают: выполнение максимально возможного количества показателей мониторинга эффективности деятельности вузов, максимизация суммы баллов по результатам внутренней оценки вузов со стороны Минобрнауки России и минимизация финансовых затрат вуза на увеличение значений показателей. При этом накладываются ограничения на имеющийся в распоряжении вуза бюджет. Полученная математическая модель апробирована на данных Юго-Западного государственного университета 2017 г. Предложены полученные эмпирическим путем варианты задания функций, определяющих финансовые затраты вуза на повышение таких показателей образовательной деятельности, как средний балл единого государственного экзамена студентов, принятых на первый курс обучения, доля иностранных студентов, удельный вес численности магистров и аспирантов в общем приведенном контингенте обучающихся, процент трудоустройства выпускников.

Работа выполнена в рамках Гранта Президента Российской Федерации для государственной поддержки молодых российских ученых – кандидатов наук № МК-968.2018.8.