Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,899

EFFICIENCY INTEGRAL ASSESSMENT OF RESEARCH WORKS IN RESEARCH INSTITUTIONS OF THE MINISTRY OF PUBLIC HEALTH OF RUSSIA

Lebedev G.S. 1, 2 Krylov O.B. 2 Lelyakov A.I. 2 Mironov Yu.G. 2 Tkachenko V.V. 2
1 I.M. Sechenov First Moscow State Medical University
2 Federal Research Institute for Health Organization and Informatics of Ministry of Health of the Russian Federation
The effectiveness of the research results implementation is one of the main indicators that must be taken into account in the allocation of budget funds allocated to research. The requirement of efficiency of spending budget funds allocated for research works, leads to the need for continuous improvement of the methodological apparatus of decision support on the allocation of funds, including considering the efficiency of implementation of previously obtained research results of each Research Institution. With the development of information technology, it is important to improve the quality of the use of budgetary funds through information support for decision-making on the organization of research in the Ministry of Public Health, based on the assessment of the potential of the Research Institution, reflecting their ability to achieve the stated results in the execution of state contracts. The technique of integrated assessment of the effectiveness of research results in scientific institutions of the Ministry of Public health of Russia, obtained in the framework of State assignments or State contracts on the basis of a set of scientometric and statistical indicators, as well as expert evaluation. The requirements to the methodology and indicators, the requirements to the approaches and methods of expert evaluation are consistently given.
state contract
method
expert evaluation
research work
scientific platform
scientific and technical potential

В России в последнее время все более остро встает вопрос о повышении эффективности отечественной науки [1, 2], разработки четких критериев оценки ее деятельности, вплоть до комплексного реформирования всей системы, включая механизмы финансирования [3, 4], приемы управления и структуру производственных отношений. Все это в равной степени относится как к фундаментальной, так и прикладной науке [5].

Объективная текущая необходимость повышения прозрачности и эффективности процесса научных исследований совпала с важным изменением в научной среде: достигнута достаточно высокая степень переноса деятельности ученых в электронную онлайновую среду [6]. Сбор, обработка и интерпретация следов этой активности открывает ранее недоступные возможности по формированию статистической базы о деятельности ученых и, в частности, об использовании результатов их исследований [7].

Эффективность научно-исследовательских работ (НИР), в том числе внедрение их результатов в практику, является одним из основных показателей, который необходимо учитывать при распределении бюджетных средств, направляемых на научные исследования. Эффективность НИР может быть определена как ценность полученных при выполнении НИР научных результатов и их соответствия объемам ресурсов (материальных, финансовых и др.), израсходованных на их получение. Объемы этих ресурсов можно рассматривать как стоимость работ, а именно объем финансирования [8], в рамках государственных заданий или государственных контрактов научно-исследовательским учреждениям (НИУ), которые относятся к федеральным государственным бюджетным (ФГБУ) и образовательным (ФГБОУ) учреждениям Минздрава России.

Большинство существующих методик оценки эффективности НИР, и ценности полученных при выполнении НИР научных результатов, по своей сути сводится к одномоментной оценке. Как правило, решается задача минимизации затрат на обеспечение работ, при условии их безусловного выполнения и достижения плановой цели исследования, не принимая во внимание дальнейшее внедрение результатов исследований в практику.

Таким образом, актуальна задача разработки методики интегральной динамической оценки эффективности НИР, так как оценка ценности полученных результатов может меняться по мере внедрения результатов в практику и развития медицинской науки. Предлагается оценку эффективности НИР проводить на протяжении ряда лет после её завершения, и на основании этой оценки формировать интегральный показатель (рейтинг) НИУ [2, 9], отражающий эффективность НИР в этих НИУ.

Цель исследования: разработка интегральной методики оценки эффективности НИР, проводимых в НИУ Минздрава России, которая будет оценивать не только ее выполнение и отчетные материалы, но и степень внедрения ее научных результатов. Такая оценка будет проводиться в течение определенного периода после завершения НИР.

Материалы и методы исследования

В настоящее время в Минздраве России разработаны и функционируют методики экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий. При проведении экспертной оценки используются, в том числе, и наукометрические показатели [3, 9, 10], однако показатели внедрения полученных ранее результатов НИР представлены недостаточно. Этому есть объективные причины, поскольку внедрение результатов НИР зачастую происходит через значительное время после окончания НИР и не может быть оценено в полной мере при экспертной оценке отчета.

Методы экспертной оценки позволяют, наравне с количественными показателями, получить качественную (экспертную) оценку эффективности НИР, основанную на опыте и субъективном мнении ведущих специалистов Минздрава России.

В то же время комплексная оценка с учетом вычисляемых показателей и качественной (экспертной) оценки представляется наиболее состоятельной.

В настоящее время широко известны и применяются следующие методы оценки эффективности НИР:

− Наукометрический (библиометрический) метод [11];

− Финансово-экономический метод [12, 14, 15];

− Экспертный метод (субъективность) [15];

− Метод весовых коэффициентов;

− Метод анализа иерархий [16].

Известны интегральные методики, сочетающие в себе элементы перечисленных выше методов.

Методы расчета экономического эффекта для прикладных исследований (расчетный, подтвержденный) [12, 17].

Для оценки эффективности НИР необходима система показателей, которая основана на оптимальном выборе важнейших критериев и разбивается на 2 группы:

− не учитывающие важность критериев;

− учитывающие важность критериев.

Первая группа представлена лексиминной оптимизацией.

Вторая группа представлена лексикографической оптимизацией и методами вербального анализа решений.

Система показателей (критериев) должна отвечать следующим требованиям:

− репрезентативность (представительность) – количество показателей должно быть достаточным для описания научной деятельности и каждый из них должен наиболее полно отражать работу в этом направлении;

− аддитивность – показатели должны быть непротиворечивыми один другому и взаимонезависимыми;

− однозначность – показатели должны быть выражены так, чтобы не допускать двойного толкования и уменьшать вероятность возникновения ошибок;

− сопоставимость – показатели должны обеспечивать возможность объективного их сопоставления во времени и с показателями других научных подразделений;

− контролируемость – показатели должны рассчитываться по статистическим данным, которые подвергаются контролю;

− достоверность – показатели должны быть подтверждены не менее чем двумя независимыми экспертами.

Проведем построение модели оценки эффективноссти НИР с использованием методов системного анализа интегральной оценки эффективности НИР.

Метод системного подхода предполагает:

− четкое выявление целей;

− формирование полного перечня альтернативных действий, с учетом форс-мажорных обстоятельств, обеспечивающих достижение поставленных целей;

− оценка альтернатив по совокупности наиболее важных критериев, исключая необоснованные, применяемые к конкретному НИУ;

− внесение ясности в проблему выбора тематик НИР, эквивалентных научно-технической политике и научно-техническому потенциалу НИУ.

Учет основных критериев оценки эффективности НИР:

− оценка потребности в проведении НИР;

− оценка необходимых затрат;

− оценка обеспечения научными кадрами;

− оценка технической осуществимости;

− оценка основных средств и износ;

− оценка компьютерных интернет / интрасетей и АРМ;

− оценка системного и программного обеспечения.

Для оценки конкретной НИР основные критерии могут быть первостепенными или второстепенными. По каждому критерию для оценки используется специальная шкала.

Каждая группа критериев имеет свой вес, который определяется экспертно.

В методах решения многокритериальных задач превалирует применение в той или иной форме данных о важности (значимости) критериев.

Значимость критериев характеризуется применением специальных положительных чисел, называемых коэффициентами важности. Обычно эти коэффициенты определяются экспертным путем и используются в обобщенных критериях (например, взвешенной сумме исходных критериев) или правилах «голосования».

Результаты исследования и их обсуждение

Концептуальная модель интегральной оценки может быть построена следующим образом [8].

Подразумеваем, что успешное выполнение НИР в первую очередь зависит от научно-технического потенциала (НТП) и высокой оценки наукометрического уровня тематических направлений НИР (публикации, цитирование, патенты, изобретения и т.д.) в конкретном НИУ, тогда эмпирическая формула показателя уровня НТП n-го научного учреждения NPn будет

NPn = αn(ωnCn), (1)

где αn – коэффициент НТП n-го научного учреждения, предполагается по условной %-ой шкале α = 0÷W,

где W ≤ 100;

Cn – оценка наукометрического уровня НИР (публикации, цитирование, патенты, изобретения и т.д.), вычисляется по формуле

leb01.wmf, (2)

где Мn – общее количество публикаций за время t;

Dn – кол-во научных работников (исследователей);

ωn – нейтрализующий коэффициент публикаций в НИУ с преобладанием экспериментальных НИР:

leb03.wmf (3)

Концептуальная модель научно-технического потенциала медицинского НИУ

Эффективность НИР [2, 13] в медицинском НИУ на современном этапе, безусловно, зависит от ряда взаимодополняющих факторов или условий: высокий интеллектуальный потенциал исследователей, качественный уровень организации и управления ресурсами, наличие современного технологического оборудования для определенных исследований, наличие программно-технических комплексов, объединенных в сети, с выходом на специализированные научные базы данных, а также финансовые ресурсы, обеспечивающие утвержденные государственные задания или государственные контракты.

Ресурсный потенциал можно рассчитать как разность («невязку») вида

leb04.wmf (4)

где Zo – обобщенные затраты на обеспечение НИР;

Zd – обобщенные «дивиденды», получаемые в процессе НИР;

to – временной лаг, так как НИР – процесс, протяженный во времени.

Применим простую логику:

Zpt > 0 – работа эффективна;

Zpt <= 0 – работа неэффективна.

Для двух работ одного направления можно утверждать, что первая работа более эффективна, чем вторая, если leb05.wmf

Для каждой составляющей Zd(t) и Zo(t) можно воспользоваться приближениями в виде полиномов Лагранжа:

leb06.wmf (5)

В этих полиномах входящие в них f(x), τi и φi(x) определяются на основе существующей нормативно-методической базы для каждой составляющей Zd(t) и Zo(t). Аналогичным образом определяются налагаемые на них ограничения, а также вид и области определения функций f(x) и φi(x).

Исходя из вышеизложенного структурная модель НТП в медицинском учреждении может быть представлена в виде

leb07.wmf (6)

где leb08.wmf – финансовые, интеллектуальные, информационные, материальные, учебно-методические, медицинские, социальные и программно-технические ресурсы n-го НИУ;

Ln – уровень управления ресурсами;

t – модуль времени;

Ψ – функционал (функция, заданная на произвольном множестве), определяющий значение Fn(t),

тогда Fn(t) – признак обобщения всех видов ресурсов и факторов во временном периоде t.

Модель бюджетного финансирования в рамках государственных заданий Минздрава России по научным исследованиям и платформам

Обобщенная эмпирическая модель бюджетного финансирования отображена в следующем выражении:

leb09.wmf (7)

где P – общее число научных платформ Минздрава России;

N – общее число научных учреждений Минздрава России;

Bpn – наукометрическая оценка p-й научной платформы (1 ≤ p ≤ 14) в n-м учреждении;

leb10.wmf – относительный уровень p-й научной платформы в n-м учреждении в общем объеме финансирования НИР в %.

Выделим соответствующие модели бюджетного финансирования НИР для вузов и НИИ Минздрава в предложенном выражении:

leb11.wmf (8)

leb12.wmf (9)

где Ni – кол-во НИИ Минздрава России;

Vz – кол-во вузов Минздрава России.

Вузы и НИИ в объеме финансирования НИР в %, в том числе в общем разрезе структуры Минздрава России:

leb13.wmf (10)

На основе наукометрических оценок leb14.wmf, для каждой p-й научной платформы в n-м учреждении, можно привести базовый оценочный уровень НТП, и на основании (1) и (2) получим

leb15.wmf (11)

Затем вычислим суммарный оценочный уровень всех научных платформ (НП) Минздрава России:

leb16.wmf (12)

где βp – коэффициент, определяющий прохождение p-й научной платформы в n-м учреждении в список приоритетных научных исследований (НИ) Минздрава России:

leb17.wmf (13)

Экспертные критерии оценки эффективности НИР в научно-исследовательских учреждениях

Результатом выполнения государственных заданий научными учреждениями представляются показатели выполненных/невыполненных научных работ (численные и описательные), затем распределяются по основным направлениям («критериям»), каждому из которых присваивается весовой коэффициент («приоритет») от 0 до 1, причем сумма коэффициентов по всем критериям равна 1.

При определении приоритетов следует учитывать, что для различных по типу научных работ (фундаментальные, прикладные, экспериментальные, экспертизы, организационные и т.д.) необходим свой набор, отражающий вес каждого критерия для соответствующего типа исследования. Так, например, очевидно, что для фундаментальных исследований наибольший приоритет будет иметь научный критерий, для прикладных – медицинский и т.д.

В качестве «критериев» используются:

− научный;

− финансово-экономический;

− медицинский;

− социальный;

− учебно-методический;

− организационный;

− информационно-технологический.

Численные значения любых показателей (Пi), которые используются для оценки этих критериев, автоматически нормируются относительно максимального значения соответствующего показателя (Пmax) по всем исследованиям аналогичного типа и предоставляются эксперту в виде относительной оценки leb18.wmf наряду с абсолютным значением, т.е. в виде

leb19.wmf (14)

Все научные работы на основании имеющихся показателей оцениваются экспертами по каждому критерию (может быть принята любая привычная система оценки, например 10-балльная). Итоговая оценка O получается путем суммирования произведений оценки Nk на соответствующий коэффициент Ek.

leb20.wmf (15)

Таким образом, для всех НИР получаем матрицу итоговых оценок и оценок по критериям (которые также могут понадобиться для проведения более детального анализа).

Не секрет, что многие научные исследования могут иметь отложенные результаты, в наибольшей степени это касается фундаментальных исследований. Следовательно, целесообразно продолжать мониторинг результатов завершенных научных работ и их оценку еще в течение 3–5 лет. Таким образом, матрица оценок расширяется за счет еще одной размерности – год и приобретает динамичность.

Исходя из предложенной выше методики, включающей период оценки результатов от 3 до 5 лет, получаем коэффициент Qy, где y – порядковый год.

Получаем матрицу итоговых оценок и оценок c критериями по годам:

leb21.wmf (16)

Разработанная в статье методика использует методы решения многокритериальных оптимизационных задач. Она позволяет:

− рассчитывать показатели уровня НТП научного учреждения;

− обобщать все виды ресурсов и факторов структурной модели НТП учреждения во временном диапазоне;

− рассчитывать обобщенную модель бюджетного финансирования учреждения(ий) Минздрава России по научным платформам;

− рассчитывать базовый оценочный уровень НТП учреждения для каждой НП Минздрава России, в том числе в разрезе образовательных и научных учреждений, и всех НП Минздрава России;

− формировать матрицу экспертных оценок по критериям;

− проводить анализ деятельности НИУ на основе сформированной матрицы экспертных оценок по годам и периодам;

− оценивать эффективность НИР в НИУ Минздрава России.

Методика расчета интегральной оценки эффективности НИР учитывает:

− критерии эффективность – стоимость;

− вычисляемые, наукометрические показатели;

− динамику показателей на протяжении ряда лет;

− экспертные оценки ценности полученных результатов;

− ожидаемый/подтвержденный экономический эффект.

Методика обеспечивает:

− выбор периода оценки результатов [14] – итого 3–5 лет;

− расчет показателей эффективность – стоимость на протяжении указанного периода [15]. Взвешенная сумма по годам, предполагается, что «давний» год должен весить больше, например: по годам 0,5 – 0,3 – 0,2;

− определение алгоритма работы экспертов;

− проведение экспертной оценки;

− расчет интегрального показателя.

Надо иметь в виду, что применение разного рода показателей – это необходимое, но недостаточное условие для принятия окончательного решения об уровне научных исследований, проводимых в научно-исследовательском учреждении (НИУ), и его места в рейтинге научных организаций.

При распределении бюджетных средств фонда госзаказа по научным организациям должны учитываться следующие параметры и показатели:

− наукометрическая оценка эффективности выполнения научных работ;

− вхождение тематического направления в утвержденный Перечень приоритетных направлений развития научно-технологического комплекса России на 2014–2020 гг.;

− научно-технический потенциал (рейтинг) научной организации, где выполняются работы по выделенным тематическим направлениям.

Авторы считают, что наукометрические индикаторы, полученные на основе описанного подхода, будут давать существенно более точную и оперативную картину текущего состояния и развития науки. Можно ожидать, что они будут востребованы как минимум следующими основными действующими лицами научной сферы:

− фондораспределяющими структурами – для повышения эффективности принятия решения о финансировании исследований;

− государственными органами научно-технической экспертизы (Рособрнадзор, ВАК и др.);

− руководством НИУ, так как использование подобных показателей в процедурах расчета показателей научно-технической деятельности существенно повысило бы качество решений о материальном стимулировании труда ученых;

− научным сообществом, представляемым отдельными учеными и их неформальными коллективами, которые с помощью данных показателей могли бы лучше согласовывать свои намерения и возможности с объективными направлениями развития науки.

На основании матрицы (3) можно делать анализ эффективной деятельности научно-исследовательских учреждений, как по годам, так и по периодам, например по суммарной или средней итоговой оценке всех выполненных НИР.

Для большей объективности оценок эффективности деятельности научного учреждения следует дополнительно учесть уровень научно-технического потенциала данного учреждения, который можно также выразить нормированной оценкой, полученной в соответствии с описанным алгоритмом, формула (1).

Основными характеристиками научно-технического потенциала и эффективности научного учреждения, объективно необходимыми для отражения интегральной наукометрической оценки научно-исследовательских работ, проводимых по государственному заданию, являются:

− количество публикаций по всем научным направлениям: по годам (временной лаг ~ 5 лет), дифференцированно по отечественным и зарубежным журналам;

− численность и структура кадрового состава организации (с учетом возрастного состава и по годам);

− информационно-аналитические оценки имеющихся научно-технических результатов российского и мирового уровня;

− количество (и их финансовый объем) получаемых грантов (по направлениям) от российских фондов, зарубежных фондов и программ, спонсоров;

− состав (и объем) выполненных внебюджетных конкурсных (и заказных) исследований, проектов, разработок (временной лаг ~ 5 лет);

− интегральная характеристика-оценка результатов интеллектуальной (инновационной) деятельности (изобретения, алгоритмы и программы, патенты и т.п.);

− информационная инфраструктура (интрасеть/интернет) [18], приборный парк, состав оборудования, в первую очередь коллективного пользования (суперкомпьютер, дорогой масс-спектрометр и т.п.);

− автоматизированная информационная система управления научными исследованиями [19];

− подготовка кадров высшей квалификации (аспирантура, диссертационные советы), связи с высшей школой;

− формализованное описание международных научных связей;

− обобщенные финансовые (корпоративные) показатели по годам и по периодам.

Как показал анализ, организационная база функционирующей в Минздраве России системы экспертной оценки позволяет осуществить подход к оценке внедрения результатов НИР, описанный в настоящей статье, включающий статистические показатели, так и экспертную оценку [3, 8].

Выводы

Используемая в настоящее время в Мин- здраве России методика экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий, не позволяет в полной мере учесть научный потенциал учреждения и оценить результаты внедрения проводимых исследований. Представленная в статье методика интегральной оценки эффективности НИР в НИУ Мин- здрава России позволит существенно повысить качество решения задачи распределения бюджетных средств на выполнение государственных заданий за счет учета внедрения результатов ранее выполненных НИР, отслеживаемого на протяжении ряда лет.

Разработанная методика в настоящее время внедрена в разработанную автоматизированную систему управления научными исследованиями Минздрава России.