Научный журнал

Современные наукоемкие технологии

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Гудков П.Г. 1 Гусева А.И. 1 Тихомирова А.Н. 1

---

1 Национальный исследовательский ядерный университет «МИФИ»

Данная статья посвящена разработке иерархической системы показателей для оценки заявок, подаваемых в различные научные фонды РФ. В основу системы показателей (факторов) положена объектно-ориентированная модель жизненного цикла научного направления, охватывающая четыре фазы: зарождение, рост, зрелость и насыщение. Для определения значимости факторов, шкал и критериев их оценки используется комплексный подход, интегрирующий статистические, наукометрические и экспертные методы. Согласование экспертных суждений проводилось методом анализа иерархий Т. Саати. Для апробации предложенного подхода выбраны три научных направления из классификатора РФФИ, входящих в область области 07. Инфокоммуникационные технологии и вычислительные системы в 2015 г. Все три научных направления находятся на разных фазах жизненного цикла.

Статья в формате PDF

0 KB

научное направление

объектно-ориентированная модель жизненного цикла

метод анализа иерархий

статистические методы

наукометрические методы

1. Бочкарёв П.В., Гусева А.И., Киреев В.С., Кузнецов И.А., Филиппов С.А. Модель научного направления на основе интеграции объектно-ориентированного, наукометрического и экспертного подходов // Фундаментальные исследования. – 2015. – № 12–6. – С. 1095–1102.

2. Киреев В.С. метод анализа иерархий в системе инновационных образовательных проектов // Программные продукты и системы. – 2011. – № 4. – С. 188–190.

3. Минин В.А., Зацман И.М., Хавансков В.А., Шубников С.К. Индикаторы тематических взаимосвязей науки и технологий: от текста к числам // Информатика и ее применения. – 2014. – Т.8, выпуск 3. – С. 114–125.

4. Минин В.А., Зацман И.М., Хавансков В.А., Шубников С.К. Интенсивность цитирования научных публикаций в изобретениях по информационно-компьютерным технологиям, патентуемых в России отечественными и зарубежными заявителями // Информатика и ее? применения. – 2016. – Т. 10, выпуск 2. – С. 107–122.

5. Прудский В.Г., Попова Е.С. Идентификация и оценка эффективности функционирования научных школ как стратегической конкурентной компетенции вузов // ArsAdministrandi. – 2013. – № 1. – С. 114–123.

6. Резниченко В.А., Проскудина Г.Ю., Овдий О.М. Концептуальная модель научной публикации // Труды 14-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (RCDL-2012). URL: http://rcdl.ru/doc/2012/paper5.pdf (дата обращения: 23.11.2015).

7. Саати Т. Принятие решений. Метод анализа иерархий. – М.: Радио и связь, 1993. – 278 с.

8. Тихомирова А.Н., Сидоренко Е.В. Модификация метода анализа иерархий Т. Саати для расчета весов критериев при оценке инновационных проектов // Современные проблемы науки и образования. – 2012. – № 2.; URL: https://www.science-education.ru/ru/article/view?id=6009.

9. Указ Президента РФ от 01.12.2016 № 642 «О Стратегии научно-технологического развития Российской Федерации»; http://rulaws.ru/president/Ukaz-Prezidenta-RF-ot-01.12.2016-N-642/.

В Стратегии научно-технологического развития Российской Федерации определяются цель и основные задачи научно-технологического развития Российской Федерации, устанавливаются принципы, приоритеты, основные направления и меры реализации государственной политики в этой области, а также ожидаемые результаты реализации настоящей Стратегии [8]. Одной из основных задач Стратегии является формирование эффективной современной системы управления в области науки, технологий и инноваций, обеспечивающей повышение инвестиционной привлекательности сферы исследований и разработок, а также эффективности капиталовложений в указанную сферу, результативности и востребованности исследований и разработок.

В настоящее время финансирование науки происходит на конкурсной основе. В этом случае перед экспертами встают проблемы оценивания и сравнения между собой различных научных направлений, определения, каким образом можно оценить вклад конкретного научного коллектива в развитие данного научного направления и насколько перспективно рассматриваемое научное направление. Для ответа на заданные вопросы привлекаются в основном экспертные решения, а не результаты наукометрических и статистических исследований. Но вопрос о точности и достоверности такого подхода до сих пор остается открытым. В данной статье предлагается использовать комплексный подход, основанный на интеграции статистических, наукометрических и экспертных методов, для оценки конкурсных заявок с целью обеспечения эффективности капиталовложений в указанную сферу и обеспечения результативности научных проектов.

Состояние проблемы

Научное (научно-техническое) направление представляет собой совокупность научных работ, объединенных общностью объекта и методов исследования, общностью тем и их взаимосвязанностью [1]. К научным работам, или, более точно, научным результатам (НР), относятся тезисы докладов, статьи, монографии и учебники, препринты, защищенные диссертации и результаты интеллектуальной деятельности (патенты на изобретения, промышленные образцы, полезные модели и селекционные достижения, свидетельства государственной регистрации на программы для ЭВМ и базы данных). Концепция OPEN SCIENCE предполагает, что научные исследования, данные и их распространение становятся доступными для всех уровней заинтересованного общества. Самым используемым источником научных данных становятся научные сети, системы и электронные библиотеки.

Объем накопленной в настоящее время научной информации (тезисы, статьи, монографии, патенты и т.д.) оценивается в петабайтах (большие данные, BigData) и требует специальных методов обработки. Современные мировые базы данных имеют свои собственные классификаторы научных направлений. Использование имеющихся классификаторов также сопряжено с рядом трудностей. Во-первых, эти классификаторы отличаются друг от друга, во-вторых, динамика изменения направления прикладных исследований чрезвычайно высока и классификаторы не успевают изменяться так быстро, как нужно. В-третьих, появление нового научного направления не сразу бывает замечено и отражается в классификаторах только через некоторое время, фактически уже на стадии роста. Таким образом, решение задачи многомерной классификации на больших объемах научных данных является весьма актуальным.

В работе в рамках проекта, поддерживаемого грантом РФФИ, предложена объектно-ориентированная модель научного направления [1], согласующаяся как с классической моделью жизненного цикла научного направления по Г.А. Несветайлову, так и с формальной концептуальной моделью научных данных CERIF (Common European Research Information Format) [6].

К базовым сущностям, которые содержит данная модель, относятся: Научное направление, Научный результат, Научный коллектив, Персона, Организация, Событие.

С помощью сущности Научное направление реализуется такое свойство объектно-ориентированного подхода, как агрегирование, когда крупное Научное направление может содержать в себе более мелкие Научные направления. Сущность Научное направление описывается, как правило, названием, контентом и фазой жизненного цикла; включает сущности Научный результат, Персона, Научный коллектив, Организация, Событие. По этой связи происходит наследование таких свойств, как название, контент и фаза.

Этот Научный результат создают Персона и Научный коллектив. Через Научный коллектив проявляется такое свойство объектно-ориентированного подхода, как прототипирование: эта сущность представима типами Научная школа, Сетевая форма научно-технической и инновационной деятельности, Проектный коллектив. Тип Научного результата может быть Книга; Книжная рецензия; Резюме главы книги; Рецензия главы книги; Часть книги; Антология; Монография; Справочник, Cловарь; Учебник; Энциклопедия; Руководство; Другие книги; Журнал; Журнальная статья; Рецензия журнальной статьи; Резюме журнальной статьи; Труды конференции; Статья трудов конференции; Сборник научных работ; Статья сборника научных работ; Препринт; Письмо; Письмо редактору; Автореферат диссертации; Диссертация; Отчет; Краткое сообщение; Постер; Презентация; Новости; Комментарий; Аннотация; Стандарт, Патент на изобретение, Промышленный образец, Полезная модель, Селекционное достижение, Свидетельство государственной регистрации на программы для ЭВМ и базы данных.

Научный результат представляется через Событие (т.е. на конференции, выставке, симпозиуме и т.д.). Сущность Организация аффилирует Научный результат.

Сущность Персона сотрудничает с Научным коллективом и Организацией, участвует в Событии или организует Событие. Помимо этого Организация также организует Событие.

Жизненный цикл научного направления состоит из четырех этапов своего развития: зарождение, рост, зрелость и насыщение с последующим распадом. На разных этапах жизненного цикла преобладают разные виды научных результатов. Так, на первом этапе развития научного направления преобладают фундаментальные исследования, на второй – прикладные исследования и разработки. В соответствии с этим изменяется основной вид результатов научной деятельности в сторону увеличения патентов и авторских свидетельств.

В работах [3, 4] рассмотрены проблемы статистических вычислений значений количественных индикаторов взаимосвязей науки и технологий, как для целых областей знаний, так и для отдельных направлений исследований. Для выявления этих взаимосвязей используются название публикаций, цитируемых в описаниях отобранных изобретений, ключевые слова из названий публикаций и ключевые слов из аннотаций публикаций. По данным Роспатента по классу G06 – «Обработка данных; вычисление; счет» Международного патентного классификатора за период с 2000 по 2012 г. были предприняты усилия по определению «периодов патентного отклика» т.е. временного интервала, прошедшего с момента выхода научных публикаций до опубликования патентов, в описании изобретений которых цитируются данные публикации. Значения показателя «период патентного отклика» дают возможность оценить динамику востребованности результатов научных исследований в сфере разработки технологий.

Расчеты, проведенные по полному массиву патентов класса G06 (в качестве основного индекса МПК), показывают, что максимум распределения значений равен 3 годам для патентообладателей из России и 9 годам – для зарубежных патентообладателей. Были также получены распределения «периодов патентного отклика» для отдельных наиболее многочисленных по числу патентов подклассов G06, а именно: G06F, G06K, G06T. Для подкласса G06F «Обработка цифровых данных с помощью электрических устройств» распределения имеют максимумы в 6 и 9 лет соответственно. Для подкласса G06K «Распознавание, представление и воспроизведение данных; манипулирование носителями информации; носители информации» распределения имеют по два максимума в 3 и 22 года и в 5 и 9 лет. Для подкласса G06T «Обработка или генерация данных изображения» распределения также имеют по два максимума в 5 и 9 лет и в 6 и 7 лет. Таким образом, можно определить, что интервал запаздывания по направлению ИКТ составляет примерно 3–5 лет. Такое запаздывание дает возможность прогнозировать наиболее вероятное время появления технологий.

В настоящее время создание научных результатов приходится не столько на отдельных ученых, сколько на творческие коллективы – научные школы, многопрофильные научные коллективы, научные группы, основанные на принципах гибкого проективного финансирования, центры перспективных исследований и т.д. Результаты, накопленные научным направлением, складываются из результатов нескольких научных коллективов, как формальных, в виде научных школ и проектных коллективов, так и неформальных «невидимых колледжей». Экспертные оценки количественных характеристик дают нам представление о работе эффективных научных школ за 10 лет [5].

Все вышерассмотренные количественные характеристики дают нам возможность разработать подход к оценке научных заявок, подаваемых в различные фонды РФ. В данном случае по каждому научному направлению, представленному в классификаторе этого конкретного научного фонда, определяется необходимый уровень конкурентоспособности, чтобы на предварительном этапе экспертизы отсеивать автоматическим образом часть заявок. В данной статье мы предлагаем оценивать в первую очередь научный задел поданных заявок в зависимости от фазы научного направления, по которому эта заявка подана.

Предлагаемый подход

В рамках данного исследования было проведено обобщение рассмотренных выше подходов и разработана модель жизненного цикла научного направления на основе интеграции объектно-ориентированных, наукометрических и экспертных методов. Использование предложенного комплексного подхода для анализа научных направлений дает ряд преимуществ. Благодаря объектно-ориентированным методам моделирования появляется возможность впервые учесть преемственность, взаимосвязи и сложные взаимозависимости между различными научными направлениями, оценивать и сравнивать между собой различные научные направления. Экспертные методы позволяют впервые представить фазы жизненного цикла научного направления как соотношение объемов различных видов научных результатов; географических, возрастных и квалификационных характеристик научных коллективов и отдельных исследователей; ресурсы и технологии организаций и установить границы этих соотношений. Наукометрические и статистические методы позволяют уточнить установленные границы соотношений и подтвердить адекватность и точность предложенных моделей.

Для оценки научных направлений была построена иерархическая система показателей на основе определения значимости факторов на каждой фазе жизненного цикла, шкал и критериев. К основным факторам, характеризующим стадии жизненного цикла научных направлений, относятся: Научный результат, Научный коллектив, Персона, Организация, Событие.

Модель оценки заявки может быть представлена как

Ψа = <M, S>,

где в качестве носителя M выступает множество пар, каждая пара содержит показатель Ki и множество его возможных значений {pi1, …, pit}, M = {(K i, {pi1, …, p it })}; сигнатура S определяет множество отношений в виде взвешенной окрестности единичного радиуса Г(Ki) = {(Kj, wij)}, где нормированные веса определяют относительную значимость wij показателя K j при формировании показателя

Показатели, сгруппированные на самом верхнем уровне иерархии, называются факторами Fi. К общим факторам оценки заявки в данной работе предлагается отнести, в соответствии с моделью жизненного цикла научного направления, Научный результат, Научный коллектив, Персону, Организацию, Событие. Показатели, сгруппированные на более низких уровнях иерархии, называются критериями.

Указанные характеристики имеют различную степень важности для разных фаз жизненного цикла научного направления. Сама заявка – это вектор, координаты которого равны абсолютному значению критериев оценки. На множестве таких наборов (k1, k2, …, km) определена функция u (k1, k2, …, km), которая называется функцией полезности.

Относительная значимость каждого критерия обычно определяется при помощи весов. Для минимизации погрешности предлагается использовать метод анализа иерархий, предложенный Т. Саати и основанный на парных сравнениях [2, 7, 8].

После выявления суждений о важности наличия тех или иных свойств и возможного повышения их индекса согласованности, необходимо определить вид самой функции полезности. Для включения в функцию потребительских ограничений – пороговых значений показателей, авторы предлагают использовать модифицированную функцию Стоуна:

и

,

где fimin – потребительские ограничения на значения i-го фактора, kijmin – потребительские ограничения на значения j-го показателя в рамках i-го фактора, vi – относительная ценность i-го фактора для потребителя (вес i-го фактора), wij – относительная ценность j-го показателя при формировании оценки i-го фактора.

В качестве потребительских ограничений выступают требования к допустимому диапазону значений оценок показателей или факторов оценки заявки. В этой связи нужно задать набор потребительских ограничений, на конкретные показатели или на итоговые значения факторов. В силу различий в метриках измерения различных факторов, необходимо нормировать значения еще до задания ограничений, исходя из классической шкалы Саати [1, 9], либо ее модификации [2, 8]. Соответственно, после нормирования потребительские ограничения на значения критериев или факторов будут иметь вид

R1: fi ≥ fimin и R2: kij ≥ kijmin.

В рассматриваемом m-мерном пространстве каждое ограничение вида R1 задает область, внутри которой находятся допустимые решения. Ограничения вида R2 представляют собой поверхности, которые пересекают поверхности безразличия, отсекая области от всего множества допустимых решений со стороны начала координат.

На основе метода анализа иерархий Т. Саати получены экспертные оценки суждений о показателях оценки заявки, определена значимость показателей и проведено согласование иерархии показателей. Декомпозиция указанных факторов приводит, согласно методу анализа иерархий Т. Саати, к набору критериев, оцениваемых по соответствующим шкалам. Шкалы измерения соответствуют относительным объемным соотношениям на разных фазах жизненного цикла и составляют пятибалльную шкалу [0, 1, 2, 3, 4], где значение 4 показывает наибольшее значение, а 0 – наименьшее. Указанные тренды были выделены статистическим путем.

На каждой фазе жизненного цикла факторы и критерии обладают разной значимостью. Экспертным путем, по методу Т. Саати была определена значимость каждого фактора и каждого критерия на всех фазах жизненного цикла научного направления. Для разных областей знаний – прикладных и фундаментальных, присутствуют различия. Например, фазы жизненного цикла имеют разную длительность, рост патентов в прикладных науках начинается уже на фазе роста.

В данном случае мы приводим иерархическую систему оценивания для прикладных исследований в области ИКТ (рис. 1). Следует отметить, что значимость Научного результата на первых трех фазах жизненного цикла является наибольшей и составляет 0,65–0,48–0,34 соответственно, и только на четвертой фазе самой значимой сущностью становится Персона и ее значимость достигает 0,34 по сравнению со значимостью Научного результата – 0,23.

Рис. 1. Соотношение весов факторов верхнего уровня иерархии

Таблица 1

Иерархическая система оценки

В табл. 1 значимость показателей представлена более подробно.

Задачей эксперта является рассмотрение заявок, соотнесение их с российским и мировым уровнем исследования, сравнение заявок между собой.

Результаты исследования и их обсуждение

Для апробации предложенного подхода был проведен ряд исследований в области направления Computer Science.

На первом шаге была проведена идентификация научных направлений, сопоставление классификаторов и уточнены соответствия между научными направлениями, выделяемыми в российской и международной науке. Для этого был взят классификатор РФФИ от 2015 года.

На втором шаге были определены тренды публикационной активности в рамках каждого научного направления с помощью аналитической надстройки Web of Science, использующей статистические характеристики за период времени 1996–2015. На основе выделенных трендов были определены фазы научных направлений для мировой науки.

На третьем шаге были определены тренды для тех же научных направлений на основе российских научных публикаций. В информационной системе РИНЦ нет аналитической настройки, подобной Web of Science, поэтому для определения трендов была проделана сложная работа.

Вначале была проведена кластеризация российских научных публикаций (2006–2015 гг.) по соответствующим ключевым словам, затем проведена классификация. В результате были определены тренды некоторых научных направлений.

На четвертом шаге были сопоставлены тренды российских мировых публикаций научных направлений и выявлены фазы научных направлений.

На пятом шаге были установлены пороги – минимальный уровень конкурентоспособности для заявок по каждому научному направлению.

На шестом шаге вычислялась целевая функция для каждого научного направления. Для апробации подхода по классификатору РРФИ из области 07. Инфокоммуникационные технологии и вычислительные системы были выбраны следующие:

- 07-321 Средства создания и поддержки электронных библиотек и электронных изданий,

- 07-336 Фундаментальные проблемы организации электронного документооборота,

- 07-913 Теоретические основы электронных образовательных систем, сетей и услуг.

Эти научные направления напрямую сопоставимы с Information Science Library Science, Electronic Document Management System и Education Educational Research по версии Web of Science (рис. 2).

Анализ показывает, что все три направления с точки зрения публикаций в Web of Science находятся в разных фазах – стабилизации, насыщения и роста.

С точки зрения российских публикаций, на графиках отражен только рост, что связано с особенностями становления РИНЦ. Такой рост публикаций характерен для любого научного направления из классификатора РФФИ. Эта БД появилась только в 2005 и каждый год все больше журналов в ней индексируются.

Поэтому фазу научного направления в данном случае можно определить только экспертным путем, сопоставлением с мировыми трендами. Результаты отражены в табл. 3.

Веса показателей Организация и События на порядок ниже остальных, поэтому их можно учитывать только при прочих равных и в общем случае ими можно пренебречь. Для остальных показателей необходимо установить пороговое значение показателей для того, чтобы заявка была конкурентоспособной.

На фазе роста научного направления рациональной является поддержка коллективов с большим количеством отечественных молодых исследователей для максимально быстрого развития направления. На фазе стабилизации происходит завершение формирования отечественных научных школ, которые должны обеспечить трансфер знаний в технологии. На фазе насыщения нужно получить наибольшую пользу для отечественной науки из сложившихся научных школ, обеспечить коммуникации в области науки, технологий и инноваций, создав условия для развития наукоемкого бизнеса.

Научный результат. На фазе роста имеет самое большое значение, но сами количественные показатели могут быть достаточно скромными ввиду того, что тематика исследования еще очень нова. Определяется совокупно для всех членов заявленного коллектива из расчета 10 человек за предшествующие 5 лет.

Научный коллектив. Состав исследователей на разных фазах жизни научного направления для наибольшей эффективности должен различаться. На фазе роста это исследовательский коллектив, на фазе зрелости – это научная школа (научная группа), как правило имеющая значительную часть общих публикаций, защиты диссертаций, общие патенты. На фазе насыщения очень важно наличие в коллективе представителей инженерно-производственных консорциумов и высокотехнологичного бизнеса для трансфера инноваций.

Персона. Одним из самых значимых показателей для руководителя научного коллектива является индекс Хирша (рис. 3). По данным за 2015, 22 % руководителей по направлению математика, информатика и науки о системах имели индекс Хирша по версии РИНЦ не более4, около 40 % – в диапазона от 5 до 9 , и 25 % – от 10 до 14 [1].

В табл. 4 представлены рекомендуемые пороговые значения для научных направлений Средства создания и поддержки электронных библиотек и электронных изданий, Фундаментальные проблемы организации электронного документооборота, Теоретические основы электронных образовательных систем, сетей и услуг (классификатор РФФИ). Пороговые значения для публикаций определены по версии РИНЦ по наукометрическим данным для каждого направления. Превышение представленных показателей по версии РИНЦ увеличивает значение показателя до 3. Наличие публикаций, индексируемых в международных БД Web of Science, Scopus, PubMed и т.д., увеличивает значение показателей до 4. Наличие индекса Хирша по версии Web of Science (Scopus) также увеличивает значение соответствующего показателя до 4.

Пороговые значения означают, что если по одному из показателей конкурсная заявка не достигает порогового значения, то она может не участвовать в дальнейшем конкурсе, как не обладающая должной конкурентоспособностью.

Заключение

Данный комплексный подход, созданный на основе интеграции статистических, наукометрических и экспертных методов, может использоваться не только для оценки научного задела. Его можно применить и для предварительного сравнения и рейтингования заявок. Для этого можно выбрать метод смещенного идеала, среднегеометрического расстояния и т.д.

Также с использованием рассмотренного подхода можно предварительно оценивать и качество планируемых результатов, когда за основу берется таблица требований по достижению значений показателей результативности заявки. Как правило, планируемая результативность определяется количеством публикаций, количеством патентов, числом диссертационных защит и т.д. В этом случае строится прогноз для научного направления, вычисляется средне-взвешенное значение показателей и сравнивается с представленным в заявке.

Работа поддержана грантом РФФИ № 15-07-08742.

Библиографическая ссылка