В России в последнее время все более остро встает вопрос о повышении эффективности отечественной науки [1, 2], разработки четких критериев оценки ее деятельности, вплоть до комплексного реформирования всей системы, включая механизмы финансирования [3, 4], приемы управления и структуру производственных отношений. Все это в равной степени относится как к фундаментальной, так и прикладной науке [5].
Объективная текущая необходимость повышения прозрачности и эффективности процесса научных исследований совпала с важным изменением в научной среде: достигнута достаточно высокая степень переноса деятельности ученых в электронную онлайновую среду [6]. Сбор, обработка и интерпретация следов этой активности открывает ранее недоступные возможности по формированию статистической базы о деятельности ученых и, в частности, об использовании результатов их исследований [7].
Эффективность научно-исследовательских работ (НИР), в том числе внедрение их результатов в практику, является одним из основных показателей, который необходимо учитывать при распределении бюджетных средств, направляемых на научные исследования. Эффективность НИР может быть определена как ценность полученных при выполнении НИР научных результатов и их соответствия объемам ресурсов (материальных, финансовых и др.), израсходованных на их получение. Объемы этих ресурсов можно рассматривать как стоимость работ, а именно объем финансирования [8], в рамках государственных заданий или государственных контрактов научно-исследовательским учреждениям (НИУ), которые относятся к федеральным государственным бюджетным (ФГБУ) и образовательным (ФГБОУ) учреждениям Минздрава России.
Большинство существующих методик оценки эффективности НИР, и ценности полученных при выполнении НИР научных результатов, по своей сути сводится к одномоментной оценке. Как правило, решается задача минимизации затрат на обеспечение работ, при условии их безусловного выполнения и достижения плановой цели исследования, не принимая во внимание дальнейшее внедрение результатов исследований в практику.
Таким образом, актуальна задача разработки методики интегральной динамической оценки эффективности НИР, так как оценка ценности полученных результатов может меняться по мере внедрения результатов в практику и развития медицинской науки. Предлагается оценку эффективности НИР проводить на протяжении ряда лет после её завершения, и на основании этой оценки формировать интегральный показатель (рейтинг) НИУ [2, 9], отражающий эффективность НИР в этих НИУ.
Цель исследования: разработка интегральной методики оценки эффективности НИР, проводимых в НИУ Минздрава России, которая будет оценивать не только ее выполнение и отчетные материалы, но и степень внедрения ее научных результатов. Такая оценка будет проводиться в течение определенного периода после завершения НИР.
Материалы и методы исследования
В настоящее время в Минздраве России разработаны и функционируют методики экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий. При проведении экспертной оценки используются, в том числе, и наукометрические показатели [3, 9, 10], однако показатели внедрения полученных ранее результатов НИР представлены недостаточно. Этому есть объективные причины, поскольку внедрение результатов НИР зачастую происходит через значительное время после окончания НИР и не может быть оценено в полной мере при экспертной оценке отчета.
Методы экспертной оценки позволяют, наравне с количественными показателями, получить качественную (экспертную) оценку эффективности НИР, основанную на опыте и субъективном мнении ведущих специалистов Минздрава России.
В то же время комплексная оценка с учетом вычисляемых показателей и качественной (экспертной) оценки представляется наиболее состоятельной.
В настоящее время широко известны и применяются следующие методы оценки эффективности НИР:
− Наукометрический (библиометрический) метод [11];
− Финансово-экономический метод [12, 14, 15];
− Экспертный метод (субъективность) [15];
− Метод весовых коэффициентов;
− Метод анализа иерархий [16].
Известны интегральные методики, сочетающие в себе элементы перечисленных выше методов.
Методы расчета экономического эффекта для прикладных исследований (расчетный, подтвержденный) [12, 17].
Для оценки эффективности НИР необходима система показателей, которая основана на оптимальном выборе важнейших критериев и разбивается на 2 группы:
− не учитывающие важность критериев;
− учитывающие важность критериев.
Первая группа представлена лексиминной оптимизацией.
Вторая группа представлена лексикографической оптимизацией и методами вербального анализа решений.
Система показателей (критериев) должна отвечать следующим требованиям:
− репрезентативность (представительность) – количество показателей должно быть достаточным для описания научной деятельности и каждый из них должен наиболее полно отражать работу в этом направлении;
− аддитивность – показатели должны быть непротиворечивыми один другому и взаимонезависимыми;
− однозначность – показатели должны быть выражены так, чтобы не допускать двойного толкования и уменьшать вероятность возникновения ошибок;
− сопоставимость – показатели должны обеспечивать возможность объективного их сопоставления во времени и с показателями других научных подразделений;
− контролируемость – показатели должны рассчитываться по статистическим данным, которые подвергаются контролю;
− достоверность – показатели должны быть подтверждены не менее чем двумя независимыми экспертами.
Проведем построение модели оценки эффективноссти НИР с использованием методов системного анализа интегральной оценки эффективности НИР.
Метод системного подхода предполагает:
− четкое выявление целей;
− формирование полного перечня альтернативных действий, с учетом форс-мажорных обстоятельств, обеспечивающих достижение поставленных целей;
− оценка альтернатив по совокупности наиболее важных критериев, исключая необоснованные, применяемые к конкретному НИУ;
− внесение ясности в проблему выбора тематик НИР, эквивалентных научно-технической политике и научно-техническому потенциалу НИУ.
Учет основных критериев оценки эффективности НИР:
− оценка потребности в проведении НИР;
− оценка необходимых затрат;
− оценка обеспечения научными кадрами;
− оценка технической осуществимости;
− оценка основных средств и износ;
− оценка компьютерных интернет / интрасетей и АРМ;
− оценка системного и программного обеспечения.
Для оценки конкретной НИР основные критерии могут быть первостепенными или второстепенными. По каждому критерию для оценки используется специальная шкала.
Каждая группа критериев имеет свой вес, который определяется экспертно.
В методах решения многокритериальных задач превалирует применение в той или иной форме данных о важности (значимости) критериев.
Значимость критериев характеризуется применением специальных положительных чисел, называемых коэффициентами важности. Обычно эти коэффициенты определяются экспертным путем и используются в обобщенных критериях (например, взвешенной сумме исходных критериев) или правилах «голосования».
Результаты исследования и их обсуждение
Концептуальная модель интегральной оценки может быть построена следующим образом [8].
Подразумеваем, что успешное выполнение НИР в первую очередь зависит от научно-технического потенциала (НТП) и высокой оценки наукометрического уровня тематических направлений НИР (публикации, цитирование, патенты, изобретения и т.д.) в конкретном НИУ, тогда эмпирическая формула показателя уровня НТП n-го научного учреждения NPn будет
NPn = αn(ωnCn), (1)
где αn – коэффициент НТП n-го научного учреждения, предполагается по условной %-ой шкале α = 0÷W,
где W ≤ 100;
Cn – оценка наукометрического уровня НИР (публикации, цитирование, патенты, изобретения и т.д.), вычисляется по формуле
, (2)
где Мn – общее количество публикаций за время t;
Dn – кол-во научных работников (исследователей);
ωn – нейтрализующий коэффициент публикаций в НИУ с преобладанием экспериментальных НИР:
(3)
Концептуальная модель научно-технического потенциала медицинского НИУ
Эффективность НИР [2, 13] в медицинском НИУ на современном этапе, безусловно, зависит от ряда взаимодополняющих факторов или условий: высокий интеллектуальный потенциал исследователей, качественный уровень организации и управления ресурсами, наличие современного технологического оборудования для определенных исследований, наличие программно-технических комплексов, объединенных в сети, с выходом на специализированные научные базы данных, а также финансовые ресурсы, обеспечивающие утвержденные государственные задания или государственные контракты.
Ресурсный потенциал можно рассчитать как разность («невязку») вида
(4)
где Zo – обобщенные затраты на обеспечение НИР;
Zd – обобщенные «дивиденды», получаемые в процессе НИР;
to – временной лаг, так как НИР – процесс, протяженный во времени.
Применим простую логику:
Zpt > 0 – работа эффективна;
Zpt <= 0 – работа неэффективна.
Для двух работ одного направления можно утверждать, что первая работа более эффективна, чем вторая, если 
Для каждой составляющей Zd(t) и Zo(t) можно воспользоваться приближениями в виде полиномов Лагранжа:
(5)
В этих полиномах входящие в них f(x), τi и φi(x) определяются на основе существующей нормативно-методической базы для каждой составляющей Zd(t) и Zo(t). Аналогичным образом определяются налагаемые на них ограничения, а также вид и области определения функций f(x) и φi(x).
Исходя из вышеизложенного структурная модель НТП в медицинском учреждении может быть представлена в виде
(6)
где 
– финансовые, интеллектуальные, информационные, материальные, учебно-методические, медицинские, социальные и программно-технические ресурсы n-го НИУ;
Ln – уровень управления ресурсами;
t – модуль времени;
Ψ – функционал (функция, заданная на произвольном множестве), определяющий значение Fn(t),
тогда Fn(t) – признак обобщения всех видов ресурсов и факторов во временном периоде t.
Модель бюджетного финансирования в рамках государственных заданий Минздрава России по научным исследованиям и платформам
Обобщенная эмпирическая модель бюджетного финансирования отображена в следующем выражении:
(7)
где P – общее число научных платформ Минздрава России;
N – общее число научных учреждений Минздрава России;
Bpn – наукометрическая оценка p-й научной платформы (1 ≤ p ≤ 14) в n-м учреждении;
– относительный уровень p-й научной платформы в n-м учреждении в общем объеме финансирования НИР в %.
Выделим соответствующие модели бюджетного финансирования НИР для вузов и НИИ Минздрава в предложенном выражении:
(8)
(9)
где Ni – кол-во НИИ Минздрава России;
Vz – кол-во вузов Минздрава России.
Вузы и НИИ в объеме финансирования НИР в %, в том числе в общем разрезе структуры Минздрава России:
(10)
На основе наукометрических оценок 
, для каждой p-й научной платформы в n-м учреждении, можно привести базовый оценочный уровень НТП, и на основании (1) и (2) получим
(11)
Затем вычислим суммарный оценочный уровень всех научных платформ (НП) Минздрава России:
(12)
где βp – коэффициент, определяющий прохождение p-й научной платформы в n-м учреждении в список приоритетных научных исследований (НИ) Минздрава России:
(13)
Экспертные критерии оценки эффективности НИР в научно-исследовательских учреждениях
Результатом выполнения государственных заданий научными учреждениями представляются показатели выполненных/невыполненных научных работ (численные и описательные), затем распределяются по основным направлениям («критериям»), каждому из которых присваивается весовой коэффициент («приоритет») от 0 до 1, причем сумма коэффициентов по всем критериям равна 1.
При определении приоритетов следует учитывать, что для различных по типу научных работ (фундаментальные, прикладные, экспериментальные, экспертизы, организационные и т.д.) необходим свой набор, отражающий вес каждого критерия для соответствующего типа исследования. Так, например, очевидно, что для фундаментальных исследований наибольший приоритет будет иметь научный критерий, для прикладных – медицинский и т.д.
В качестве «критериев» используются:
− научный;
− финансово-экономический;
− медицинский;
− социальный;
− учебно-методический;
− организационный;
− информационно-технологический.
Численные значения любых показателей (Пi), которые используются для оценки этих критериев, автоматически нормируются относительно максимального значения соответствующего показателя (Пmax) по всем исследованиям аналогичного типа и предоставляются эксперту в виде относительной оценки 
наряду с абсолютным значением, т.е. в виде
(14)
Все научные работы на основании имеющихся показателей оцениваются экспертами по каждому критерию (может быть принята любая привычная система оценки, например 10-балльная). Итоговая оценка O получается путем суммирования произведений оценки Nk на соответствующий коэффициент Ek.
(15)
Таким образом, для всех НИР получаем матрицу итоговых оценок и оценок по критериям (которые также могут понадобиться для проведения более детального анализа).
Не секрет, что многие научные исследования могут иметь отложенные результаты, в наибольшей степени это касается фундаментальных исследований. Следовательно, целесообразно продолжать мониторинг результатов завершенных научных работ и их оценку еще в течение 3–5 лет. Таким образом, матрица оценок расширяется за счет еще одной размерности – год и приобретает динамичность.
Исходя из предложенной выше методики, включающей период оценки результатов от 3 до 5 лет, получаем коэффициент Qy, где y – порядковый год.
Получаем матрицу итоговых оценок и оценок c критериями по годам:
(16)
Разработанная в статье методика использует методы решения многокритериальных оптимизационных задач. Она позволяет:
− рассчитывать показатели уровня НТП научного учреждения;
− обобщать все виды ресурсов и факторов структурной модели НТП учреждения во временном диапазоне;
− рассчитывать обобщенную модель бюджетного финансирования учреждения(ий) Минздрава России по научным платформам;
− рассчитывать базовый оценочный уровень НТП учреждения для каждой НП Минздрава России, в том числе в разрезе образовательных и научных учреждений, и всех НП Минздрава России;
− формировать матрицу экспертных оценок по критериям;
− проводить анализ деятельности НИУ на основе сформированной матрицы экспертных оценок по годам и периодам;
− оценивать эффективность НИР в НИУ Минздрава России.
Методика расчета интегральной оценки эффективности НИР учитывает:
− критерии эффективность – стоимость;
− вычисляемые, наукометрические показатели;
− динамику показателей на протяжении ряда лет;
− экспертные оценки ценности полученных результатов;
− ожидаемый/подтвержденный экономический эффект.
Методика обеспечивает:
− выбор периода оценки результатов [14] – итого 3–5 лет;
− расчет показателей эффективность – стоимость на протяжении указанного периода [15]. Взвешенная сумма по годам, предполагается, что «давний» год должен весить больше, например: по годам 0,5 – 0,3 – 0,2;
− определение алгоритма работы экспертов;
− проведение экспертной оценки;
− расчет интегрального показателя.
Надо иметь в виду, что применение разного рода показателей – это необходимое, но недостаточное условие для принятия окончательного решения об уровне научных исследований, проводимых в научно-исследовательском учреждении (НИУ), и его места в рейтинге научных организаций.
При распределении бюджетных средств фонда госзаказа по научным организациям должны учитываться следующие параметры и показатели:
− наукометрическая оценка эффективности выполнения научных работ;
− вхождение тематического направления в утвержденный Перечень приоритетных направлений развития научно-технологического комплекса России на 2014–2020 гг.;
− научно-технический потенциал (рейтинг) научной организации, где выполняются работы по выделенным тематическим направлениям.
Авторы считают, что наукометрические индикаторы, полученные на основе описанного подхода, будут давать существенно более точную и оперативную картину текущего состояния и развития науки. Можно ожидать, что они будут востребованы как минимум следующими основными действующими лицами научной сферы:
− фондораспределяющими структурами – для повышения эффективности принятия решения о финансировании исследований;
− государственными органами научно-технической экспертизы (Рособрнадзор, ВАК и др.);
− руководством НИУ, так как использование подобных показателей в процедурах расчета показателей научно-технической деятельности существенно повысило бы качество решений о материальном стимулировании труда ученых;
− научным сообществом, представляемым отдельными учеными и их неформальными коллективами, которые с помощью данных показателей могли бы лучше согласовывать свои намерения и возможности с объективными направлениями развития науки.
На основании матрицы (3) можно делать анализ эффективной деятельности научно-исследовательских учреждений, как по годам, так и по периодам, например по суммарной или средней итоговой оценке всех выполненных НИР.
Для большей объективности оценок эффективности деятельности научного учреждения следует дополнительно учесть уровень научно-технического потенциала данного учреждения, который можно также выразить нормированной оценкой, полученной в соответствии с описанным алгоритмом, формула (1).
Основными характеристиками научно-технического потенциала и эффективности научного учреждения, объективно необходимыми для отражения интегральной наукометрической оценки научно-исследовательских работ, проводимых по государственному заданию, являются:
− количество публикаций по всем научным направлениям: по годам (временной лаг ~ 5 лет), дифференцированно по отечественным и зарубежным журналам;
− численность и структура кадрового состава организации (с учетом возрастного состава и по годам);
− информационно-аналитические оценки имеющихся научно-технических результатов российского и мирового уровня;
− количество (и их финансовый объем) получаемых грантов (по направлениям) от российских фондов, зарубежных фондов и программ, спонсоров;
− состав (и объем) выполненных внебюджетных конкурсных (и заказных) исследований, проектов, разработок (временной лаг ~ 5 лет);
− интегральная характеристика-оценка результатов интеллектуальной (инновационной) деятельности (изобретения, алгоритмы и программы, патенты и т.п.);
− информационная инфраструктура (интрасеть/интернет) [18], приборный парк, состав оборудования, в первую очередь коллективного пользования (суперкомпьютер, дорогой масс-спектрометр и т.п.);
− автоматизированная информационная система управления научными исследованиями [19];
− подготовка кадров высшей квалификации (аспирантура, диссертационные советы), связи с высшей школой;
− формализованное описание международных научных связей;
− обобщенные финансовые (корпоративные) показатели по годам и по периодам.
Как показал анализ, организационная база функционирующей в Минздраве России системы экспертной оценки позволяет осуществить подход к оценке внедрения результатов НИР, описанный в настоящей статье, включающий статистические показатели, так и экспертную оценку [3, 8].
Выводы
Используемая в настоящее время в Мин- здраве России методика экспертной оценки эффективности НИР, проводимых в рамках выполнения государственных заданий, не позволяет в полной мере учесть научный потенциал учреждения и оценить результаты внедрения проводимых исследований. Представленная в статье методика интегральной оценки эффективности НИР в НИУ Мин- здрава России позволит существенно повысить качество решения задачи распределения бюджетных средств на выполнение государственных заданий за счет учета внедрения результатов ранее выполненных НИР, отслеживаемого на протяжении ряда лет.
Разработанная методика в настоящее время внедрена в разработанную автоматизированную систему управления научными исследованиями Минздрава России.
Библиографическая ссылка
Лебедев Г.С., Крылов О.Б., Леляков А.И., Миронов Ю.Г., Ткаченко В.В. ИНТЕГРАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТ В НАУЧНЫХ УЧРЕЖДЕНИЯХ МИНЗДРАВА РОССИИ // Современные наукоемкие технологии. – 2019. – № 1. – С. 69-75;URL: https://top-technologies.ru/ru/article/view?id=37381 (дата обращения: 23.11.2024).