Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

ASSESSMENT OF LABOUR INPUT OF RESEARCH WORKS: SOME RESULTS OF RATIONING OF SCIENTIFIC WORK

Durnev R.A. 1 Zhdanenko I.V. 1
1 FGBU Institute of Civil Defense (FC)
1612 KB
Results of an expert assessment of standard norms of duration (labor input) of stages of research works are given in the third article of this series and coefficients of increase in labor input of works.
scientific results
expert assessment
stages of research works
coefficients of increase in labor input of works
average sizes

В предыдущей статье [1] был определен следующий порядок оценки трудоемкости НИОКР в области безопасности жизнедеятельности:

• установление требований к качеству выходных научных результатов (НР);

• оценка трудоемкости этапов НИОКР с учетом значений коэффициентов увеличения трудоемкости работ (КУТР), зависящих от указанных требований;

• оценка трудоемкости НИОКР в целом.

Исходными данными такой оценки являются типовые нормы продолжительности (трудоемкости) этапов НИОКР и значения КУТР.

При определении типовых норм научного труда учитывалось то, что в настоящее время существуют оценки трудоемкости (продолжительности) этапов НИОКР [2]. Однако их использование напрямую не целесообразно в связи со значительным разбросом, связанным с разными периодами получения оценок, отличием в опыте и квалификации специалистов, проводивших оценки, спецификой научных исследований для разных отраслей наук.

Значительные затруднения также вызывает оценивание путем прямого наблюдения за таким творческим процессом, как научные исследования.

Представляется некорректным и использование данных по трудоемкости выполнения НИОКР за прошлые годы, т.к. до недавнего времени осуществлялось сметное финансирование научно-исследовательских учреждений (НИУ), а не решаемых научных задач. Поэтому трудоемкость работ не определялась, максимальное и минимальное количество НИОКР, выполняемых НИУ, ничем не ограничивалось.

Существенные сложности возникают и в процессе установления зависимостей затрат научного труда от характеристик создаваемой мелкосерийной аварийно-спасательной техники и технологий, для которых не характерно непрерывное развитие типоразмерных рядов.

Поэтому для оценки времени выполнения этапов НИОКР в области безопасности жизнедеятельности проводился экспертный опрос. Его целью было получение оптимистической (минимальной – tmin) и пессимистической (максимальной – tmax) оценок времени выполнения данных этапов.

При планировании экспертного опроса учитывалось, что в общем случае опоздание в сроках выполнения работ более вероятно, чем выполнение работ раньше намеченных сроков. Поэтому с учетом рекомендаций [3] принято, что распределение продолжительности работ может быть аппроксимировано β-распределением с положительной асимметрией. Формулы для определения ожидаемой продолжительности работ (tож) и дисперсии (σ) зависимости от вышеуказанных оценок приведены в [4].

Экспертный опрос проводился в трех научно-исследовательских и двух образовательных учреждениях МЧС России. Всего участвовало тридцать экспертов, в качестве которых выступали сотрудники, имеющие опыт планирования, руководства или участия в научно-исследовательской деятельности. В водной части анкеты экспертного опроса говорилось, что «оценки специалистов должны основываться, прежде всего, на личном опыте участия в выполнении подобных этапов различных НИОКР. Если такое участие было неоднократным, то, наверное, можно оценить и минимальное время, которое на это понадобилось, и вспомнить о максимальном времени, за которое удалось провести какую-то, наверное, сложную работу. Если такого опыта нет – то можно дать оценки исходя из идеализированного представления о рассматриваемых этапах» [5].

Экспертов просили не привязываться к современной практике «мелкотемья» и ограничений по срокам выполнения большинства работ в один год. Очевидно, что для некоторых научных тем получение качественных результатов потребует большего времени. В то же время, рекомендовалось не принимать и противоположную точку зрения и пытаться «искусственно» завысить оценку времени выполнения
этапов.

Фрагмент анкеты экспертного опроса № 1 представлен на рис. 1. 

durnev1.tif

Рис. 1. Фрагмент заполненной анкеты экспертного опроса по оценке минимальной и максимальной продолжительности НИОКР

Рассматриваемые в анкете этапы относились к типовой (средней, наиболее вероятной, часто встречающейся) НИОКР прикладного (в основном, технического) характера. В то же время, в различных предметных областях науки и техники существуют специфичные виды научно-исследовательских и опытно-конструкторских работ, продолжительность и трудоемкость выполнения которых существенно различаются. В сфере ответственности МЧС России предлагались к рассмотрению виды НИОКР, указанные в [6].

В случае, если эксперт считал, что продолжительность (трудоемкость) рассматриваемых этапов для вышеуказанных видов НИОКР будет существенно отличаться от аналогичных этапов типовой работы, то ему предлагалось дать соответствующие оценки. Однако подавляющее большинство экспертов придерживались мнения о том, что трудоемкость рассматриваемых этапов не сильно различается для указанных типов НИОКР.

Кроме того, экспертам в дополнении к 20 типовым этапам НИОКР предлагалось, при необходимости, указать дополнительные этапы, являющиеся, по их мнению, существенными с точки зрения трудоемкости, или удалить избыточные этапы. Но и в этом случае эксперты были единодушны в том, что предложенные им этапы являются представительными и достаточными для оценки продолжительности и трудоемкости НИОКР.

Для установления групповых оценок по экспертам отдельных организаций и по всей экспертной группе в целом использовались следующие средние величины:

• среднее взвешенное;

• среднее арифметическое;

• среднее геометрическое;

• медиана;

• среднее гармоническое.

Необходимость применения различных типов средних величин обусловлена требованиями к минимизации разброса ответов экспертов, т.е. получению максимально согласованных групповых оценок.

Кроме того, использование, например, только одних средних арифметических оценок не вполне корректно, т.к. они являются наилучшими (состоятельными, несмещенными и эффективными) оценками математического ожидания в основном для нормального распределения [7]. При этом достоверная информация о виде распределения ответов экспертов отсутствовала. В этой связи и было принято решение об использование кортежа средних величин.

Смысл определения веса для средних взвешенных оценок заключался в следующем. Если расстояние между экспертными оценками минимального и максимального времени выполнения этапа было значительным, то предполагалось, что данный специалист не в полной мере компетентен в вопросах планирования и реализации научно-исследовательской деятельности, т.к. его оценки имеют большой разброс. В этой связи в соответствии с формулами, приведенными в [4], значение дисперсии имело высокое значение и вес такого эксперта не был существенным. В противном случае, при незначительном расстоянии между tmin и tmax – эксперт считался более компетентным и его мнению придавался больший вес.

Формулы для расчета среднего арифметического, среднего геометрического и среднего гармонического соответственно приведены ниже:

durnev1.wmf;

durnev2.wmf; (1)

durnev3.wmf.

Групповые экспертные оценки продолжительности этапов НИОКР с применением указанных средних величин представлены в табл. 1.

Разброс значений средних величин для различных этапов рассчитывался, как

durnev4.wmf (2)

и составил от 53 % до 89 % для этапов, а также 73 % и 75 % для НИОКР и потребного количества исполнителей соответственно.

Из табл. 1 видно, что существует значительный разброс значений средних величин продолжительности этапов и НИОКР в целом, и в особенности – количества исполнителей – от 3 до 12 человек.

Таблица 1

Групповые экспертные оценки продолжительности этапов НИОКР с применением различных средних величин

Этапы НИОКР

Групповые оценки продолжительности этапов НИОКР (дней)

с использованием

Разброс значений средних величин, %

среднего взвешенного

среднего арифметического

среднего геометрического

медианы

среднего гармонического

1. Уяснение цели и задач НИОКР, требо­ва­ний к научным и практическим результатам

12,68

61,71

31,45

29,00

19,35

79

2. Формулирование проблемы, научных задач, предмета, объекта, границ исследований

18,54

64,60

35,41

36,00

22,92

71

3. Обоснование схемы решения проблемы, задач, разработка замысла и рабочей программы

18,49

67,64

48,22

51,00

36,47

73

4. Анализ состояния задела, рынка научно-технической продукции, патентный поиск

32,00

100,19

65,89

61,00

46,50

68

5. Доработка, адаптация существу­ющего научно-методического аппарата

49,74

140,04

85,14

76,00

63,99

64

6. Разработка нового научно-методического аппарата

114,36

363,00

206,68

168,00

146,73

68

7. Разработка методики сбора и обработки исходных данных для использования в аппарате

28,87

106,65

71,31

66,00

51,43

73

8. Сбор и обработка исходных данных

56,38

219,62

141,37

112,00

85,06

74

9. Разработка специального про­грам­много обеспечения на базе аппарата

117,97

289,67

219,96

223,00

165,14

59

10. Проведение расчетов с исполь­зованием прикладных программ, специального программного обеспечения

27,30

146,79

75,18

64,00

47,96

81

11. Разработка методики прове­дения наблюдений, машинных, лабораторных и натурных экспериментов, испытаний

34,46

130,52

90,42

109,00

59,11

74

12. Проведение машинных экспериментов

61,50

118,81

77,63

67,00

56,08

53

13. Проведение наблюдений, лабора­тор­ных и натурных экспериментов, испытаний

35,14

315,39

206,84

222,00

112,50

89

14. Разработка методики проведения экспертных опросов

21,95

92,79

57,05

56,50

37,00

76

15. Проведение экспертных опросов

15,15

141,80

75,62

78,00

44,66

89

16. Обработка результатов наблюдений, экс­периментов, испытаний, экспертных опросов

42,67

119,31

71,60

63,00

51,69

64

17. Оценка технико- или социально-эко­но­ми­ческой эффективности научных и прак­тических результатов

15,98

95,14

59,44

57,00

38,84

83

18. Подготовка отчетных материалов, оформ­ление научно-технической про­дукции

36,89

121,65

79,43

80,00

57,77

70

19. Сдача научно-технической продукции заказчику

17,78

70,37

37,42

34,50

27,38

75

20. Оформление документации на внедрение научно-технической продукции

12,10

98,63

44,32

36,00

24,40

88

Для НИОКР в целом

770,0

2864,4

1780,4

1689,0

1195,0

73

Потребное количество исполнителей, чел.

3

12

7

7

5

75

Примечание. Расчет потребного количества исполнителей НИОКР проводился для специалистов средней квалификации (опыт научно-исследовательской деятельности не менее 10 лет) и исходя из среднего количества рабочих дней в году (247).

Кроме того, значительный разброс характерен и для групповых оценок экспертов различных учреждений, в особенности для средних взвешенных значений (рис. 2):

dur2.wmf

Рис. 2. Средние взвешенные и средние геометрические оценки времени выполнения НИОКР в целом

Для оценки разброса значений, полученных от экспертов различных НИУ, рассчитывался коэффициент вариации:

durnev5.wmf, (3)

где Kвар – коэффициент вариации; СКО(tож) – среднее квадратическое отклонение оценок ожидаемого времени выполнения этапа, дней; МО(tож) – математическое ожидание продолжительность выполнения этапа, дней.

Результаты расчета коэффициента вариации представлены в табл. 2.

Таблица 2

Значения коэффициентов вариации средних величин для различных этапов НИОКР

Этапы НИОКР
(в соотв. с табл. 1)

Коэффициенты вариации (%) для

среднего взвешенного

среднего арифметического

среднего геометрического

медианы

среднего гармонического

1

47

72

80

76

65

2

76

76

57

31

69

3

129

55

45

48

53

4

103

46

35

26

51

5

32

81

51

66

24

6

27

35

35

68

32

7

140

35

37

34

41

8

81

36

17

46

46

9

29

27

24

23

29

10

127

84

50

91

50

11

207

44

51

49

70

12

66

50

36

20

43

13

351

50

42

37

69

14

103

41

35

34

42

15

175

50

50

52

68

16

41

49

38

35

35

17

121

29

20

36

44

18

81

53

43

44

37

19

86

103

58

35

42

20

48

88

59

69

37

Для оценки времени выполнения НИОКР

60

19

22

24

25

Для принятия решений о выборе типа средней величины, обеспечивающей минимизацию разброса ответов экспертов, т.е. получение максимально согласованных групповых оценок, определялся суммарный (по этапам) коэффициент вариации (рис. 3). Анализ данных на рис. 3 свидетельствует о том, минимальное значение коэффициента вариации соответствует средним геометрическим величинам.

durnev3.tif

Рис. 3. Суммарный (по этапам) коэффициент вариации для различных типов средних величин

В этой связи типовые нормы продолжительности этапов НИОКР выбирались с учетом данной средней величины (табл. 1, столбец 4). Из данных, показанных в столбце 4 табл. 1, видно, что наибольшую продолжительность имеют такие этапы НИОКР, как «Разработка нового научно-методического аппарата», «Разработка специального программного обеспечения на базе аппарата» и «Проведение наблюдений, лабораторных и натурных экспериментов, испытаний», наименьшую – «Уяснение цели и задач НИОКР, требований к научным и практическим результатам», «Формулирование проблемы, научных задач, предмета, объекта, границ исследований», и «Сдача научно-технической продукции заказчику».

Во второй части экспертного опроса оценивалось влияние различных факторов на продолжительность (трудоемкость) НИОКР. Рассматривались такие группы факторов, влияющих на увеличение продолжительности выполнения НИОКР, как уровень научных результатов (или качество научно-технической продукции (НТП), и наличие научно-технического задела (НТЗ) по решаемой проблеме [8-10]. Каждая из этих групп содержала ряд факторов, в той или иной мере влияющих на трудоемкость и продолжительность НИОКР. Для оценки степени этого влияния первоначально планировалось использование шкалы метода анализа иерархий, предложенной в работе [11]. Однако количественные значения этой шкалы принадлежат к порядковой (бальной) шкале, поэтому не позволяют судить о расстоянии от одного значения до другого. Например, если один фактор получил значение 1 балл, а другой – 9 баллов, это не значит, что трудоемкость во втором случае больше в 9 раз трудоемкости, связанной с учетом первого фактора.

В этой связи дополнительно проводился анализ влияния различных факторов на изменение исходной трудоемкости научных работ. Для этого использовались оценки, приведенные в [12,13] и обобщенные в [2].

В [12] увеличение трудоемкости оценивалось с точки зрения масштаба (уровня) научной проблемы и располагалось в границах от 2,0 до 7,5 раз со средним значением 3,6. В книге [13] те же величины в зависимости от сложности работ принадлежат диапазону [2,7 ; 7,5] со средним значением 3,5 раза. Очевидно, что указанные оценки достаточно близки друг к другу, несмотря на различные области прикладных научных исследований (военно-научные исследования и исследования в области радиоэлектроники). В этой связи предложена следующая шкала для оценки влияния факторов на трудоемкость различных научных работ:

Количественные значения шкалы влияния

Лингвистические значения шкалы влияния

1,0

Практически не влияет на продолжительность

2,0

Слабо влияет на продолжительность

3,5

В существенной мере влияет на продолжительность

5,0

Сильно влияет на продолжительность

7,5 и более

Очень сильно влияет на продолжительность

Рис. 4. Шкала оценки влияния факторов на продолжительность НИОКР

Интервалы между соседними значениями данной шкалы выбраны неравномерными и увеличиваются при повышении степени влияния на продолжительность работ (в лингвистических значениях). Это сделано в связи с тем, что по оценкам специалистов значительное увеличение трудоемкости (продолжительности) прикладных научных исследований менее вероятно, чем несущественное увеличение.

Упрощенный порядок экспертной оценки влияния различных факторов на продолжительность (трудоемкость) НИОКР приведен на рис. 5. 

durnev5.tif

Рис. 5. Порядок экспертной оценки влияния различных факторов
на продолжительность НИОКР [14]

Обработка результатов экспертного опроса выполнялась с использованием вышеуказанных типов средних величин. Для выбора наиболее приемлемой с точки зрения минимизации разброса оценок (максимизации согласованности мнений) определялся суммарный (по факторам) коэффициент вариации для данных типов:

durnev6.tif

Рис. 6. Суммарный (по факторам) коэффициент вариации для различных типов средних величин

Из рис. 6 видно, что минимальное значение данного коэффициента соответствует средним взвешенным величинам, для которых наблюдается самое высокое единодушие экспертов различных организаций. В этой связи оценки КУТР для различных факторов, влияющих на увеличение трудоемкости НИОКР, выбирались с учетом данной средней вели-
чины:

Таблица 3

Средневзвешенные оценки КУТР

Фактор

Уровни фактора

КУТР, раз

прототипы и аналоги реальных объектов и процессов

существуют близкие прототипы и аналоги реальных процессов и объектов

2,44

не существуют близкие прототипы и аналоги реальных процессов и объектов

5,59

доработка, уточнение, адаптация существующего научно-методического аппарата (НМА)

адаптация существующих методов и методик к решаемым задачам

2,31

уточнение, усовершенствование существующих методов и методик

3,87

разработка новых методов и методик

разработка новых методик на основе уточнения существующих методов

3,78

разработка новых методов на основе уточнения существующей теории

5,74

полнота и качество исходных данных

объем (полнота) и качество исходных данных приемлемые с точки зрения требований к выходным результатам и возможностей НМА

2,64

объем (полнота) и качество исходных данных неприемлемые с точки зрения требований к выходным результатам и возможностей НМА

6,08

разработка специального программного обеспечения (СПО)

существующее СПО соответствует особенностям НМА

2,40

существующее СПО не соответствует особенностям НМА

5,31

наблюдения, машинные, лабораторные и натурные эксперименты, испытания

требуется краткосрочное проведение локальных наблюдений, экспериментов, испытаний

2,68

требуется длительное проведение масштабных наблюдений, экспериментов, испытаний

6,21

экспертный опрос

экспертные опросы проводятся в один этап (тур)

2,17

экспертные опросы проводятся в несколько этапов (туров)

4,39

инновационный уровень научно-технической продукции

низкий инновационный уровень

2,25

высокий инновационный уровень

5,20

степень улучшения состояния дел в сфере ответственности МЧС России

несущественная степень улучшения состояния дел

1,81

существенная степень улучшения состояния дел

4,70

Из данной таблицы видно, что в наибольшей степени трудоемкость (продолжительность) работ увеличивается в следующих случаях:

• необходимости длительного проведения масштабных наблюдений, экспериментов, испытаний;

• неприемлемых с точки зрения требований к выходным результатам и возможностей НМА объема (полноты) и качества исходных данных;

• необходимости разработки новых методов на основе уточнения существующей теории.

Таким образом, приведены результаты экспертного опроса по оценке типовых норм продолжительности (трудоемкости) этапов НИОКР и значений коэффициентов увеличения трудоемкости работ.

В заключительной статье этой серии будет приведен пример расчета трудоемкости условных научно-исследовательских работ в области безопасности жизнедеятельности.