При решении задач, связанных с определением приоритетных направлений развития крупных производственных компаний, определением «слабых» мест, технологических и организационных барьеров хозяйственной деятельности, важное значение имеет мнение наиболее квалифицированных экспертов. В хозяйстве автоматики и телемеханики ОАО «Российские железные дороги» метод экспертных оценок получил в последнее время широкое распространение и доказал свою эффективность [1; 2].
В настоящее время одной из ключевых инициатив стратегии развития хозяйства железнодорожной автоматики и телемеханики до 2030 года является разработка, внедрение и автоматизация технологии управления активами хозяйства. Реализация данной инициативы предполагает широкое применение различных автоматизированных информационных систем (АИС). При этом наибольшие проблемы возникают из-за низкой достоверности данных в этих системах, ошибок и искажения исходной статистической информации. Для устранения указанной проблемы, определения перечня первоочередных мер по повышению эффективности функционирования АИС применение метода экспертных оценок представляется весьма результативным.
Целью исследования является определение с помощью метода экспертных оценок в короткие сроки наиболее слабых мест в работе автоматизированных информационных систем хозяйства автоматики и телемеханики, что в дальнейшем будет способствовать их скорейшему информационному совершенствованию.
Материалы и методы исследования
Для оценки уровня доверия к информации в автоматизированных системах хозяйства автоматики и телемеханики, а также оценки причин ошибок и искажений достоверности информации можно выделить несколько факторов, от которых напрямую, согласно мнению экспертов, зависят статистические показатели безопасности и надёжности технических средств ЖАТ.
К таким факторам относятся:
- скрытие инцидента – С1;
- ошибка систем диагностирования – С2;
- несоответствие данных в смежных информационных системах – С3;
- малозначительность инцидента – С4;
- ограниченность во времени для полноценного анализа инцидента – С5;
- недостаточная квалификация технологического штата – С6;
- сбои в программном обеспечении систем – С7.
Рецензирование значимости факторов (критериев оценки) проводится при помощи экспертных методик [3].
Рассмотрим основные этапы и результаты применения экспертной процедуры.
Подбор экспертной группы осуществлялся из специалистов, которые имеют высокую профессиональную компетенцию в области железнодорожной автоматики и телемеханики (ЖАТ), значительный практический опыт работы. Работа с экспертами выполнялась в условиях конфиденциальности.
В экспертную группу для проведения анкетирования были включены следующие специалисты в области ЖАТ одной из железных дорог ОАО «РЖД»: начальник службы автоматики и телемеханики железной дороги, доцент кафедры профильного высшего учебного заведения, заместитель начальника дистанции СЦБ, ведущий технолог отдела технической эксплуатации службы автоматики и телемеханики, заместитель начальника сектора центра диагностики и мониторинга. Качественный состав экспертной группы определяет высокий уровень объективности оценки.
Задачей сформированной экспертной группы являлось ранжирование (распределение) приведённых критериев оценки причин ошибок и искажений достоверности информации в автоматизированных системах по степени их значимости.
Этапу распределения предшествовала организация теоретического обучения специалистов экспертной группы по материалу, определяющему особенности работы автоматизированных систем сбора и анализа информации.
Распределение критериев оценки выполнялось в соответствии с сеткой с семью градациями значений оценки причин ошибок и искажения достоверности информации в автоматизированных системах, в связи с тем что классический инструмент ранжирования в формате пятибалльной системы рецензирования для рассматриваемой задачи малоинформативен, не обеспечивает требуемую точность рецензирования уровня качества. При этом применение градаций от девяти и выше не рекомендуется практикующими психологами, так как это приводит к дезориентации экспертов и снижению качества эксперимента [4].
Экспертам были рекомендованы шкалы оценивания по семи степеням:
- r1 – очень низкий;
- r2 – низкий;
- r3 – ниже среднего;
- r4 – средний;
- r5 – выше среднего;
- r6 – высокий;
- r7 – максимально высокий.
Приспособить выбранный способ ранжирования с семью ступенями до характерной пятибалльной системы возможно, применяя методы трансформации. На рисунке 1 приведены разновидности методов трансформации [4] систем оценивания.
Рисунок 1 демонстративно поясняет снижение показателя при трансформации от оценки с большим или меньшим значением.
Рис. 1. Разновидности трансформации в пятибалльную систему оценивания
Таблица 1
Распределение эффективности метода экспертной оценки
|
Эксперт №1 |
Эксперт №2 |
Эксперт №3 |
Эксперт №4 |
Эксперт №5 |
∑R |
|
|
С1 |
1 |
3 |
1 |
2 |
2 |
9 |
|
С2 |
4 |
3 |
5 |
4 |
5 |
21 |
|
С3 |
3 |
2 |
3 |
2 |
4 |
14 |
|
С4 |
5 |
5 |
6 |
6 |
5 |
27 |
|
С5 |
5 |
4 |
5 |
4 |
5 |
23 |
|
С6 |
7 |
7 |
7 |
6 |
6 |
33 |
|
С7 |
1 |
2 |
2 |
1 |
1 |
7 |
Результаты исследования и их обсуждение
Результаты распределения показателей обстоятельств искажений в информации и ошибок в ней, оцененной по семибалльной шкале пятью специалистами-экспертами в области железнодорожной автоматики и телемеханики, сведены в таблицу 1.
Для обработки и подробного рассмотрения результатов выполненного экспертного метода проведено оценивание порядка сбалансированности позиций специалистов-экспертов.
При экспертной оценке применялся общеизвестный коэффициент конкордации, подтверждающий высокую взаимосвязь мнений специалистов-экспертов. Смысл применения дисперсионного коэффициента: при согласованности мнений значение коэффициента конкордации стремится к единице, если имеются противоречия – коэффициент стремится к нулю. Математическое округление дисперсионного коэффициента до значения единицы позволит определить согласованность позиций выбранных специалистов-экспертов [5]. Уточнение ценности анализа коэффициента конкордации должно выполняться с применением частотного распределения применяемых показателей. На основании таблицы 1 рассмотрены суммы рангов ri по каждой строке (как случайные величины).
Выполним анализ согласованности мнений специалистов-экспертов.
Анализ математического ожидания случайной величины ri рассчитывается по формуле:
, (1)
где d – численность экспертов;
m – число показателей качества;
ris – сумма значений, внесённых в каждую строку таблицы 1.
Таким образом, в нашем случае математическое ожидание r = .
Сумма разности квадратов ) (ri – r):
. (2)
Наличие в таблице 1 связанных рангов вызывает необходимость расчёта коэффициента конкордации:
, (3)
где j – число связанных рангов для каждого эксперта.
Величина Tj рассчитывается по формуле:
, (4)
где n – количество связок (или видов повторяющихся балльных оценок) во всех оценках k-го специалиста-эксперта;
tj – число компонентов в n-связке, k-го специалиста-эксперта.
Оценки специалистов-экспертов включают связанные ранги. На основании формулы (4) рассчитаем величины Tj для n = 5 специалистов-экспертов. Tj = 72, отсюда коэффициент конкордации W = 0,834.
Полученный результат даёт величину коэффициента конкордации, приближенную к единице, что свидетельствует о согласованности позиций экспертов по рассматриваемой проблеме. Исходя из суммы величин, полученной в строках таблицы 1, необходимо вычислить максимальный вес конкретного показателя качества метода ранжирования.
Исходя из выполненного распределения критериев экспертных оценок, делаем выводы:
1. Показатель «сбои в программной части систем» имеет предельно низкий уровень значимости.
2. Показатель «скрытие инцидента» не превышает низкого уровня значимости.
3. Показатель «несоответствие данных в смежных информационных системах» находится ниже среднего уровня значимости.
4. Показатели «неважность инцидента», «ограниченность во времени для полноценного оценивания инцидента» и «ошибка систем диагностирования» находятся в границах выше среднего уровень значимости.
5. Показатель «недостаточная квалификация технологического штата» имеет максимально высокий уровень значимости.
Наглядное представление распределения рангов критериев оценки представлено в виде диаграммы (рис. 2).
Согласно построенной диаграмме с точки зрения специалистов-экспертов к критериям оценки с первостепенной важностью относятся: С4, С6, С5, С2. Уменьшение уровня воздействия рассматриваемых критериев на величину эффективности изменяется по квадратичному полиному. На данный факт указывает показатель коэффициента достоверности аппроксимации (R2), который отражает уровень соответствия системы заданным показателям. Приближение показателя R2 к единице указывает на точность описания моделью имеющихся данных.
По построенной диаграмме можно сделать вывод о том, что распределение рангов экспертных оценок имеет нелинейный характер, присутствует резкое снижение показателей рангов. По мнению специалистов-экспертов, значительное влияние на возникновение ошибок и искажения достоверности информации оказывают рассматриваемые критерии С6, С5, С4, С2, С3. Ранги С1 и С7 малосущественны и практически не влияют на проблему.
Для более качественной оценки уровня согласованности позиций специалистов-экспертов применена вербально-числовая шкала, рекомендованная Марголиным [3; 6; 7] (табл. 2).
Рис. 2. Распределение рангов критериев оценки
Таблица 2
Оценка уровня согласованности позиций специалистов-экспертов
|
Показатель W |
Значение уровня согласованности позиций специалистов-экспертов |
|
0 ≤ W ≤ 0,1 |
Отсутствует |
|
0,1 ≤ W ≤ 0,3 |
Очень слабая |
|
0,3 ≤ W ≤ 0,5 |
Слабая |
|
0,5 ≤ W ≤ 0,7 |
Умеренная |
|
0,7 ≤ W ≤ 0,9 |
Высокая |
|
0,9 ≤ W ≤ 1,0 |
Очень высокая |
Делаем вывод о высоком уровне согласованности позиций специалистов-экспертов по рассматриваемой проблеме.
Для установления веса оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа специалистов-экспертов (m/d) и количества объектов (n/m). При числе объектов m ≥ 7 оценку веса коэффициента конкордации произведём по параметру χ2. Величина Wm(m-1) имеет χ2-распределение с v = m-1 степенями свободы.
При наличии связанных рангов χ2-распределение с v = m – 1 степенями свободы имеет величина:
(5)
Для проведённых экспертных оценок показатель χ2 = 4,9.
Для уровня значимости случайной величины, принятого равным α=0,005 (то есть критическое значение уровня значимости составляет 0,5%), для числа степеней свободы К = 6 значение числа χ2=1,000.
Так как 1,000 < 4,9, то гипотеза о согласии специалистов-экспертов в распределении рангов допускается. Можно утверждать, что с вероятностью выше 0,995 позиции экспертной группы согласованы.
Заключение
По итогам проведения экспертных оценок можно выделить основные выводы:
- информации, предоставляемой автоматизированными информационными системами хозяйства железнодорожной автоматики и телемеханики ОАО «РЖД», доверяют все специалисты, участвующие в экспертных оценках с максимально высоким уровнем;
- более достоверная информация предоставляется в системе АС АНПШ, а наименее достоверная – в системе ЕК АСУИ;
- наиболее существенными считаются ошибки, связанные с показателями надёжности работы устройств; наименее существенными – с технологией обслуживания устройств;
- скрытие инцидента в АИС возможно с очень низкой вероятностью, однако эксперты не исключают возможности возникновения подобных случаев;
- ошибки систем диагностирования устройств ЖАТ относительно часто влияют на уровень достоверности информации с вероятностью выше среднего;
- несоответствие между собой данных в различных АИС существенно влияет на искажения статистической информации;
- нехватка времени для полноценного анализа инцидентов существенно влияет на искажения данных;
- недостаточная квалификация технологического штата является основной причиной наличия недостоверной информации и ошибочных данных в АИС ОАО «РЖД»;
- сбои программных средств АИС не являются существенной причиной искажения информации;
- ручной ввод данных в АИС часто является причиной ошибки или искажения информации.
Полученные результаты позволяют разработать адресные меры, направленные на улучшение качества и повышение эффективности работы автоматизированных и информационно-аналитических систем на железнодорожном транспорте.
Библиографическая ссылка
Горелик А.В., Шерстюков О.С. АНАЛИЗ УРОВНЯ ДОСТОВЕРНОСТИ ИНФОРМАЦИИ В АВТОМАТИЗИРОВАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ ХОЗЯЙСТВА АВТОМАТИКИ И ТЕЛЕМЕХАНИКИ НА ОСНОВЕ МЕТОДА ЭКСПЕРТНЫХ ОЦЕНОК // Современные наукоемкие технологии. – 2022. – № 5-2. – С. 179-183;URL: https://top-technologies.ru/ru/article/view?id=39167 (дата обращения: 25.04.2024).