Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

PREDICTIVE ANALYSIS OF CRITICAL EVENTS INDICATORS USING A RECURRENT NEURAL NETWORK WITH A TRANSFORMER

Polezhaev M.N. 1 Finogeev A.A. 1
1 Penza State University
Annotation. The purpose of the work is a predictive and comparative analysis of time series of accident rates and influencing factors to detect correlations between their segments in the past and predict the emergence of similar patterns and combinations that lead to risks of critical events in the future. Analysis of accident rates and the causes of their occurrence can be performed on the basis of a study of data presented in the form of a set of time series. The article discusses the use of deep learning methods and neural networks for forecasting and comparative analysis of future combinations of time series patterns. As a method of predictive analysis, it is proposed to use an approach using a recurrent neural network model, complemented by a transformer architecture. The transformer attention mechanism can effectively predict long time series of accident rates and influencing factors. Time series are formed based on data that is extracted from photo radar photo and video recording systems in the road transport environment. The results of the research are a model of a recurrent neural network with a transformer, a methodology for its synthesis and deep learning using the example of big data on recorded passages of vehicles and violations of speed limits on sections of highways. The study was supported by a grant from the Russian Science Foundation (project no. 20-71-10087).
road safety
recurrent neural network
transformer
attention mechanism
time series
time series forecasting
accident rates

Во всем мире развитие дорожно-транспортной инфраструктуры вместе с ростом количества транспортных средств в последние годы ставит на первое место необходимость обеспечения безопасности на дорогах. Дорожно-транспортные происшествия (ДТП) являются серьезной проблемой, которая влечет за собой материальные и финансовые потери, но, что более важно, связаны с причинением вреда здоровью человека и потерями человеческих жизней. Одним из аспектов повышения эффективности мероприятий по обеспечению безопасности дорожного движения является выявление и анализ влияния различных факторов на показатели аварийности. Снижение числа ДТП посредством прогноза рисков инцидентов в зависимости от сочетания и изменения факторов влияния является целью проактивного управления безопасностью на дорогах. Изменения значений показателей аварийности и факторов влияния можно представить в виде временных рядов. Тогда задача прогноза рисков ДТП по сочетанию факторов и значениям их показателей сводится к выявлению схожих паттернов во временных рядах методом сравнительного анализа и прогнозированию появления похожих паттернов и их сочетаний. Традиционные методы анализа и прогнозирования временных рядов, основанные на статистических и математических моделях, имеют ограничения в отношении работы с большими данными и скрытыми закономерностями, которые влияют на динамику показателей аварийности. В качестве эффективного инструментария для анализа временных рядов и их прогнозирования последнее время используются методы интеллектуального анализа и глубокого машинного обучения нейронных сетей.

Краткий обзор состояния исследований

Для поиска и определения «скрытых» закономерностей в больших данных применяются методы статистического, сравнительного и интеллектуального анализа, модели нейронных сетей и методы машинного обучения. Статистический анализ временных рядов применяется для обнаружения пропусков, аномальных отклонений, трендов, сезонных колебаний, случайных отклонений, для расчета различных показателей. Для прогнозирования рядов применяются методы авторегрессионного интегрированного скользящего среднего (ARIMA), модель экспоненциального сглаживания, структурные модели, модель дерева регрессии и т.д. В последнее время для анализа и прогноза временных рядов используются методы глубокого машинного обучения с использованием моделей нейронных сетей обобщенной регрессии (GRNN) [1], нейронных сетей эхо состояний (ESN) [2], рекуррентных нейронных сетей (RNN) [3], сверточных нейронных сетей (CNN) [4] и трансформеров (TSF) [5]. Сети RNN эффективны для извлечения скрытой информации из временных рядов. Недостатком классической модели RNN является проблема затухающего градиента при анализе больших данных. Для решения проблемы разработаны модели с долгой краткосрочной памятью (LSTM) [6] и с управляемым рекуррентным вентилем (GRU) [7]. Однако для исследования долгосрочных корреляций в спектре временных рядов необходима более сложная и устойчивая модель. В последнее время наблюдается тенденция применения моделей трансформеров [8, 9] в различных задачах искусственного интеллекта. Проблема трансформеров заключается в ограниченных возможностях для представления последовательных отношений. Поэтому интересным подходом представляется интеграция модели RNN с моделью трансформера [10].

Целью исследования является развитие проактивного подхода к мониторингу и анализу возможных причин критических событий на объектах распределенной инфраструктуры на основе предиктивного анализа больших данных для выявления корреляционных связей между временными рядами характеристик событий и показателей возможных факторов влияния. Результатом проведенной работы является прогностическая оценка рисков критических событий на различных участках в зависимости от оценки состояния дорожно-транспортной инфраструктуры в совокупности с другими факторами. Задачи исследования связаны с разработкой нового подхода к прогнозированию временных рядов показателей инцидентов и оценки рисков влияния совокупности факторов и метода определения прогнозных моментов времени с превышением допустимого уровня рисков возникновения критических событий на участках дорог. Объектами исследований являются распределенная дорожно-транспортная инфраструктура, участники дорожного движения и эксплуатационное состояние дорожной инфраструктуры.

Материалы и методы исследования

Информация о транспортных и пешеходных потоках, ДТП и нарушениях правил дорожного движения (ПДД) собирается различными сенсорными устройствами, включая камеры видеонаблюдения, фоторадарные комплексы фото- и видеофиксации, детекторы движения и т.д. Данные о возможных факторах влияния, таких как погодные условия, видимость, освещенность, эксплуатационное состояние дорог, можно получить с дорожных погодных станций, детекторов состояния дорожного покрытия, камер видеонаблюдения, мобильных дорожных лабораторий, с метеорологических сервисов и т.д. Динамика изменения показателей дорожных инцидентов и возможных факторов влияния может быть представлена в виде набора временных рядов. Исследование сегментов временных рядов разных показателей в одинаковые временные интервалы позволяет обнаружить корреляции между фактами дорожных инцидентов и факторами влияния. Для уточнения корреляционных связей применяется метод сравнительного анализа паттернов рядов результирующих показателей аварийности и нарушений с паттернами рядов показателей факторов влияния. Целью анализа является выделение схожих и повторяющихся паттернов при попарном сравнении временных рядов. Примерами водных данных являются характеристики транспортных потоков, данные о проездах и скоростях транспортных средств (ТС), данные о нарушениях и ДТП, характеристики метеорологических условий (температура, давление, видимость, освещенность, сила ветра, осадки и т.п.), показатели эксплуатационного состояния дорожного покрытия. В качестве результирующих показателей выбраны количество ДТП и нарушений ПДД на участках дорог. Для исследования корреляций между рядами применялись ранее разработанные методы статистического анализа [11], бенчмаркинг-анализа [12], интеллектуального анализа и нечеткой логики [13], предиктивного анализа временных рядов [14].

Метод предиктивного анализа спектра временных рядов, синтезированных по данным показателей аварийности, нарушений и факторов влияния в дорожной среде, базируется на технологии глубокого машинного обучения для интегрированной модели рекуррентной нейронной сети (RNN) и модели трансформера в качестве механизма внимания. Эффективность такой модели подтверждается при работе с большими данными при увеличении времени обучения.

missing image file

Рис. 1. Кодирующий а) и декодирующий б) слои трансформера

Для решения задачи прогнозирования необходимы подготовленные ряды данных. Процедура подготовки включает сбор, фильтрацию, нормализацию данных и представление их последовательности в виде временного ряда. Особое внимание уделяется заполнению пропусков в данных. Пропуски возникают в случае сбоя в работе устройства или сетевого оборудования. Также на этапе подготовки выполняется обнаружение аномалий и дубликатов. Работа с аномалиями и дубликатами сводится к восстановлению пропусков в данных, который основан на алгоритме k – ближайших соседей. Далее синтезируется модель RNN c архитектурой трансформера и выполняется настройка кодирующих и декодирующих слоев трансформера (рис. 1).

Следующим этапом является обучение модели на подготовленных данных. Данные делятся на обучающую и тестовую выборки, определяется функция потерь и выбирается оптимизатор. В ходе обучения настраиваются весовые коэффициенты на каждом слое методом градиентного спуска с целью минимизации функции потерь. После обучения выполняется оценка модели на тестовой выборке. В завершение выполняется визуализация прогнозируемого сегмента и сравнение с фактическим рядом. Если результаты прогноза не устраивают, то выполняется корректировка модели для повышения точности. Настройка включает изменение базовых параметров и структура модели (весовых коэффициентов, функции потерь, числа слоев, количества нейронов в слое).

Результаты исследования и их обсуждение

Для синтеза временных рядов получены данные с фоторадарных комплексов фото и видеофиксации дорожных событий, таких как проезды ТС, нарушения ПДД, показатели ДТП. Информация о показателях относится к большим данным. Например, число проездов за месяц по участкам дорог Пензенской области, зафиксированных шестью устройствами, составило 40843 ТС с 6856 нарушениями ограничений скорости (табл. 1).

Более интенсивный трафик наблюдается на трассах федерального значения. Например, данные о проездах, скоростях и нарушениях скоростного режима представляют более миллиона записей за 1 месяц работы 5 комплексов на участках дороги М5 «Урал» в Самарской области (1036, 1043, 1044, 1107, 1154 км), включая 2713 фактов превышения более чем на 20 км/ч и 214 фактов превышения на 40 км/ч (рис. 2).

Предварительная обработка выполняется по каждому показателю с целью представления в виде табличных данных (табл. 2).

По данным синтезируется временной ряд для обучения нейронной сети (рис. 3).

Для синтеза временного ряда факторов влияния выгружены метеорологические данные с сайта https://www.worldweatheronline.com. Временные ряды синтезированы для показателей: средней температуры (avgtempC), температуры точки росы (DewPointC), температуры охлаждения ветром (WindChillC), высоты снежного покрова (totalSnow_cm), длительности светлого времени (sunHour), скорости ветра (windspeedKmph), видимости (visibility) и влажности (humidity).

Методика предиктивного анализа включает следующие этапы:

1. Подготовка данных. На данном шаге выполняется предварительная обработка табличных данных, полученных в результате выгрузки с комплексов фото- и видеофиксации с целью синтеза наборов для временных рядов прогнозируемых показателей, представляющих собой сумму синусоиды и случайных шумов.

Таблица 1

Пример сводных данных о проездах и нарушениях

Номер устрой ства

Дата (месяц, год)

Время работы комплекса

Фактическая фиксация нарушений комплексом %

 

Кол-во нарушений

% количества нарушений от числа проездов

KD0168

июн. 23

77,36

77,58

13362

3575

26,7549768

KD0171

июн. 23

98,33

98,54

8009

426

5,319016107

KD0172

июн. 23

97,99

98,19

7824

986

12,60224949

KD0173

июн. 23

4,17

100

113

21

18,5840708

KD0175

июн. 23

97,99

98,19

6578

783

11,90331408

KD0176

июн. 23

54,72

54,76

4957

1065

21,48476901

missing image file

Рис. 2. Результаты кластеризации ТС по скоростям и нарушениям на пяти участках

Таблица 2

Фрагмент с данными о скоростях ТС

Дата

Время

Ограни-

чение

Скорость

Номер ТС

Место фиксации

16.05.2023

11:27

60

50

о722рс58

Пензенская область, р.п. Колышлей.

В сторону Пензы, 55-й км дороги г. Тамбов – г. Пенза – г. Сердобск – р.п. Беково

16.05.2023

11:27

60

60

м789вн163

Пензенская область, р.п. Колышлей.

В сторону Пензы, 55-й км дороги г. Тамбов – г. Пенза – г. Сердобск – р.п. Беково

16.05.2023

11:27

60

65

р736хк58

Пензенская область, р.п. Колышлей.

В сторону Беково, 55-й км дороги г. Тамбов – г. Пенза – г. Сердобск – р.п. Беково

16.05.2023

11:26

60

71

о229тм58

Пензенская область, р.п. Колышлей.

В сторону Беково, 55-й км дороги г. Тамбов – г. Пенза – г. Сердобск – р.п. Беково

missing image file

Рис. 3. Фрагмент временного ряда показателя скорости

2. Формирование выборок данных. Подготовленные наборы данных разбиваются на обучающую и тестовую выборки в соотношении 70 % на 30 %. Также методом скользящего окна создаются сегменты ряда для обучающих выборок.

3. Синтез рекуррентной нейронной сети Basic RNN с помощью пакета TensorFlow и библиотеки Keras. Для работы с нашими данными выбрана модель LSTM.

4. Интеграция с трансформером. К модели добавляются слои трансформера с использованием функции layer_self_attention для настройки способности модели к анализу долгосрочных зависимостей в больших данных.

5. Компиляция модели рекуррентной сети с трансформером. В процессе компиляции выполняется установка функции потерь (loss function) в виде среднеквадратичного отклонения (Mean Squared Error) и выбирается оптимизатор (Adam) для ее обучения.

6. Обучение модели. В процессе обучения задается число эпох обучения и размер пакета (batch size).

7. Прогнозирование временного ряда с использованием функции predict, визуализация результатов и сравнение с тестовым рядом для оценки точности.

Заключение

Растущее использование сенсорных устройств и средств мобильной связи привело к росту больших объемов сенсорных данных различного вида, которые необходимо обрабатывать для обнаружения и анализа «скрытых» зависимостей с целью прогнозирования рисков дорожных инцидентов и оценки влияния факторов их появления. В процессе исследований разработана модель рекуррентной нейронной сети с архитектурой трансформера. Благодаря слою внимания в трансформере выполняется параллельная обработка информации, что позволяет после обучения модели выявлять общие паттерны и прогнозировать временные ряды показателей инцидентов. Основным ограничением модели трансформера является необходимость большой обучающей выборки, что делает ее более затратной в плане вычислений. Также недостатком является относительно большое время обучения модели и число эпох, выделенных на обучение. Поэтому целью в ходе дальнейших исследований предполагается доработать модель в плане компенсации данных ограничений.