Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

THE USE OF BUILT-IN SMARTPHONE SENSORS DATA TO DETECT AND ANALYZE VIOLATIONS OF THE EVENNESS OF PUBLIC CAR ROADS

Vasilev M.D. 1 Degtyarev A.V. 1 Chekurov A.Yu. 1
1 North-Eastern Federal University named after M.K. Ammosov
The development of digital technologies has led to significant progress in road surface quality monitoring studies. Finding solutions to automate the detection of road irregularities is a pressing agenda. While the use of up-to-date technologies at the start of implementation is expensive and not easily accessible, end-of-life solutions are ineffective and do not meet new challenges. The study is devoted to the analysis of methods and tools for the development of an integrated system for detecting road surface defects. Achieving the goal is associated with the use of currently available technologies, in combination with intelligent data processing algorithms. The paper presents a report demonstrating the ability to obtain accurate data from built-in sensors of modern smartphones for subsequent processing and application purposes. One of the features of this work is the formation from dynamic geographic information map of the current state of the roads through the mass collection of data from personal electronic devices. In the event of successful testing, the proposed solution will not only allow for efficient planning of infrastructure operations but will also be useful for road safety. This work is initiated and supported by project education laboratory Spark Lab.
road surface
permafrost
road roughness recognition
monitoring
accelerometer
dynamic map
software application
data analysis
mobile application

Состояние транспортной системы играет ключевую роль в социально-экономическом развитии страны. Качество автомобильных дорог в условиях криолитозоны может стать серьезным вызовом и сдерживающим фактором для интеграционных процессов в регионах. Деградация вечной мерзлоты, обусловленная перепадами и постепенным ростом температуры грунтов, ускоряет процесс деформации дорожного полотна [1]. По различным оценкам, всего через два-три года после завершения строительных или ремонтных работ качество дорог начинает ухудшаться, а в течение последующих пяти лет происходит утрата потребительских свойств. В связи с тем, что значительная часть территории России находится в зоне вечной мерзлоты, соответствие дорог нормативным требованиям в этих регионах было и остается актуальным вопросом. Особо выделяется проблема сохранения качества дорог внутри муниципальных образований, где чаще происходит техногенная деформация многолетних мерзлых грунтов.

Мониторинг состояния дорожного покрытия для выявления проблемных участков является одной из важных задач при техническом обслуживании улиц и автодорог. Основными методами оценки эксплуатационного состояния дорожного полотна являются субъективные и объективные подходы [2]. К этим методам относятся визуальный осмотр и применение специальных передвижных лабораторий. Основным недостатком этих способов является недостаточный объем информации, в первом случае, ограниченный человеческим фактором, а во втором – доступностью дорогостоящего оборудования.

Современные подходы по распознаванию дефектов дорожного полотна основаны на построении алгоритмов для анализа массива данных, получаемых с различных электронных устройств. Это могут быть отдельные датчики или устройства, совмещающие несколько сенсоров, например смартфоны [3, 4]. Одним из перспективных направлений по оценке качества дорожного покрытия является совместное использование технологии измерения проекции кажущегося ускорения (акселерометра) и технологии определения местоположения. В ряде работ предлагается применение методов машинного обучения и использования нейронных сетей для распознавания и классификации дефектов дорожного покрытия по полученным изображениям [5, 6].

Способом получения актуальной и открытой информации о состоянии дорог может быть создание автоматизированной системы, основанной на агрегации технических и программных средств. При этом эффективным каналом для сбора информации могут стать все участники дорожного движения.

Целью данной работы является анализ возможности обнаружения неровностей автодорог при помощи набора исходных данных датчиков смартфонов. В последующем рассматриваемую технологию планируется использовать для разработки системы, включающей базу данных и комплекс прикладного программного обеспечения, позволяющей формировать динамическую геоинформационную карту актуального состояния дорожного покрытия. Для достижения цели поставлены две основные задачи: 1) изучение методов извлечения диагностических параметров и алгоритмов их обработки, применяемых для оценки состояния автодорог; 2) проведение экспериментальных замеров по обнаружению неровностей дорожного покрытия на заранее выбранных участках.

Анализ методов исследования

В течение последних десятилетий было проведено большое количество исследований с целью найти решения для автоматизированной оценки состояния дорог, используя новейшие доступные технологии. Все предлагаемые решения имеют схожую архитектуру, основанную на датчиках и вычислительном блоке, способном обрабатывать данные.

Автоматизированное решение считается практичным, если оно может работать во время движения транспортного средства со скоростью выше практического уровня (более 30 км/ч), необходимого для преодоления больших расстояний. В качестве одного из самых доступных способов могут быть использованы устройства носимой электроники [7]. Дополнительной особенностью такого подхода является возможность мониторинга влияния езды по неровной поверхности на физиологию человека.

Основным решением для системного мониторинга качества дорог является использование акселерометров, GPS и беспроводных технологий. Важную роль при этом играет программная часть системы, включающая разные алгоритмы распознавания неровностей. В работе [8] рассмотрен сравнительный анализ применения алгоритмов Z-THRESH, Z-DIFF, G-ZERO, STDEV (Z) для определения состояния дорог. Признаками, которыми классифицируются измерения, являются параметры, превышающие определенные пороговые значения индекса шероховатости IRI. Результаты нескольких последовательных измерений можно использовать для идентификации типов выбоин по размеру.

Предлагаемая в [8] система VIMS (Интеллектуальная система мониторинга транспортных средств) представляет из себя классическое решение, где в обычный автомобиль устанавливаются акселерометр, микрофон, GPS и ноутбук. Авторы отмечают преимущество такой системы перед остальными по эксплуатационным затратам и оптимальным временем на анализ полученных данных. Одной из проблем является точное сопоставление данных акселерометра и GPS, так как здесь это два разных устройства.

В [9] был предложен подход, который включает использование многомерного генетического алгоритма (GALGO) для идентификации дорожных неровностей в виде лежачих полицейских. Данные, полученные от датчиков, собирались через равные промежутки времени и обрабатывались с помощью алгоритмов машинного обучения. Более 14 тыс. наборов данных, полученных из 10 уникальных участков на скорости не менее 20 км/ч, были использованы для обучения и тестирования. Рассмотренный подход имеет исследовательскую ценность для построения модели обнаружения конкретных видов неровностей. Распознавание более широкого круга дефектов дорожного покрытия требует усложнения алгоритмов и моделей. Для этого необходимо увеличить объемы исследуемых участков и частоту появления элементов, что влечет извлечение большего количества фактических данных для машинного обучения.

В работе [10] предполагается использование устройства – профилометра с ультразвуковым излучателем. Для обнаружения поверхностных дефектов автодорог такое устройство закрепляется на транспортное средство и при скорости движения 20–60 км/ч записываются ультразвуковые данные. Применение вейвлет-преобразования и анализа вейвлет-спектров позволяет определить нарушение неровности дорог.

Автор статьи [11] интерпретировал данные с мобильного устройства благодаря алгоритму скользящего окна. Этот метод позволяет выявить и различить мелкие неровности покрытия на дороге. Важно не только выявить даже самые мелкие неровности, но и решить проблему, связанную со сценарием, когда пользователь не полностью закрепил свое устройство в транспортном средстве. Метод, предложенный в [12], решает эту проблему путем фильтрации шума, через шумовой порог, чтобы их мобильное приложение могло игнорировать результаты, вызванные дрожанием телефона.

Алгоритм и инструменты

Распознавание неровности на дороге предполагает, что акселерометр устройства получает сигнал при отклонении от состояния покоя график по трем координатам (x, y, z). Амплитуда колебания прямо пропорциональна отклонению устройства, что дает нам точные данные его динамики. Таким образом, наличие динамики в акселерометре дает нам понять размер и длину неровности. Полученные данные поступают на удаленный сервер, обрабатываются и записываются в базу данных. Параллельно с этим из системы глобального позиционирования извлекаются данные о местоположении устройства и тоже вносятся в базу данных. Синхронизация всех параметров позволяет получить точные координаты месторасположения неровности по двум координатам на карте.

Данные с сенсоров были собраны при помощи разных устройств на платформе Android и смартфонов с операционной системой iOS. Программный код реализован в среде программирования Android Studio на статически типизированном языке Kotlin. В качестве тестовых аппаратов были выбраны пять смартфонов разных моделей, условно называемые «устройствами номер 1, 2, …».

При разработке прототипа приложения был использован язык программирования NET (C#), поскольку она поддерживает несколько языков, кроссплатформенная, имеет мощную библиотеку классов, разнообразие технологий, а также имеет высокую производительность (рис. 1).

Анализ данных, полученных от акселерометра

Для проверки корректности работы датчиков устройств и последующего написания алгоритма обработки данных необходимо провести анализ исходных показателей. Для этого были проведены тесты акселерометра непосредственно на проезжем участке дороги с явными дефектами на ней. Всего на трех участках с разным количеством выбоин были проведены до 18 заездов для каждого из пяти устройств.

Измерения проводились при помощи приложений Physics Toolbox Suite и Accelerometer на частоте 10 Гц. Для распознавания неровностей экспериментально подбирались определенные уровни отклонений и ставились ограничения по амплитуде колебаний и по скорости транспортного средства.

По участку дороги с представленной выбоиной (рис. 2) было совершено всего 18 заездов со скоростью 30 км/ч. На 12 секунде от начала записи был зафиксирован наезд на неровность.

Для того чтобы положение устройства в пространстве не имело влияния на выходные данные, был вычислен тангенс всех трех плоскостей X, Y и Z. Как можно заметить по диаграмме средних измерений (рис. 3), акселерометр среагировал корректно, на двенадцатой секунде амплитуда дала разницу больше чем в 0,5 m/c2 меньше чем за две секунды.

missing image file

Рис. 1. Схема разрабатываемой системы

missing image file

Рис. 2. Тестируемая неровность

missing image file

Рис. 3. Средние значения показателей с устройств на участке № 1

missing image file

Рис. 4. Средние значения показателей с устройства № 2 в вертикальном положении

Измерение данных на всех участках проводилось в двух положениях, вертикальном и горизонтальном, для каждого устройства. На рис. 4 и 5 представлены диаграммы средних значений данных с одного устройства в разных положениях. Скорость при измерениях была одинаковой и составляла примерно 30 км/ч. Исходя из полученных данных можно сделать вывод, что положение телефона в пространстве особо не влияет на показатели акселерометра при фиксации неровности. Погрешность измерений в разрезе между разными устройствами минимальна.

Далее представлен сравнительный анализ результатов, полученных с двух различных устройств, работающих на разных операционных системах iOS и Android (рис. 6 и 7). Измерения проводились одновременно, в одном движущемся транспорте. Результат показывает, что тип операционной системы не имеет существенного влияния на итоговый вывод данных. Необходимо отметить и отсутствие значимой погрешности при использовании разных утилит. Тест на устройствах проводился через разные приложения доступные для данных операционных систем. Данное исследование было дополнено экспериментом с двумя устройствами разных моделей, но работающих на одинаковой версии ОС.

missing image file

Рис. 5. Средние значения показателей с устройства № 2 в горизонтальном положении

missing image file

Рис. 6. Тестовые показатели с устройства на ОС iOS, участок № 3

missing image file

Рис. 7. Тестовые показатели с устройства на ОС Android, участок № 3

Заключение

Тематика распознавания неровностей дорожного покрытия широко исследована в современной научной литературе, существует множество методов, благодаря которым можно решить вопрос оптимизации данного процесса.

Опираясь на полученные данные тестов акселерометра, можно сделать вывод, что смартфон способен корректно распознать неровности дороги. В работе представлены результаты исследования в зависимости от технических и программных средств. В качестве особого случая стоит отметить, что смартфон не всегда будет зафиксирован в неподвижном состоянии внутри движущегося транспортного средства пользователя, что является серьезной помехой при разработке корректного алгоритма распознавания неровностей дороги. На данном этапе разработки мы находимся в процессе решения данной проблемы.

Удовлетворительные предварительные результаты исследования позволили нам начать разработку удобного и общедоступного прикладного программного обеспечения для мониторинга неровностей на проезжих участках дорог. В качестве архитектуры используется Clean Architecture, как самый популярный и наиболее подходящий для сложных систем. Общий принцип работы прототипа приложения выглядит следующим образом: приложение собирает данные с акселерометра и GPS датчика и передает для обработки на удаленный сервер, где формируется база данных. На данный момент результаты парсинга визуализируются в виде точек на карте мобильного приложения.