Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

AN OVERVIEW OF MODERN VISION SYSTEMS USED IN THE TRANSPORT INDUSTRY

Sun Kh. 1 Zhuang S. 1 Kostrov A.A. 2
1 Baltic State Technical University “Voenmeh” D.F. Ustinov
2 Chelyabinsk Institute of Railway – branch of Ural State University of Railway Transport
The purpose of the work is to summarize the existing vision systems, classifying them according to various parameters, to consider the sensors used in the systems, their principle of operation, advantages and disadvantages. The emergence of the latest algorithms for processing video signals received from sensors installed on vehicles and infrastructure elements, as well as the improvement of the element base of modern sensors, led to the development of unmanned technologies and the possibility of using vision systems in transport. The article classifies the existing vision systems and summarizes their structure, principle of operation, advantages and disadvantages. Depending on the installation location, sensors located on rolling stock, on transport infrastructure and on employee equipment are considered. Examples of installation, operation and purpose of various vision systems are given, as well as the procedure for installing sensors depending on the target and the required obstacle detection range. The advantages and disadvantages of radars, lidars, video cameras and stereo cameras are considered. Only the combined use of several types of sensors makes it possible to compensate for the disadvantages that manifest themselves when using each of them separately. This ensures the best quality of the received signal with the ability to transmit control actions after its processing. So, depending on the marking of the roadway, the system controls the steering mechanism, and an obstacle in the way leads to a decrease in speed or a stop of the vehicle.
vision systems
camera
sensor
lidar
radar

Введение

Активное развитие искусственного интеллекта, нейросетей, а также систем беспилотного вождения транспортных средств невозможно без активного развития систем технического зрения (СТЗ) и внедрения их как в конструкцию транспортных средств, так и в транспортную инфраструктуру. Россия не является первопроходцем во внедрении таких систем, они активно используются в транспортных комплексах иностранных государств [1]. В долгосрочной перспективе системы технического зрения станут неотъемлемым узлом в составе интеллектуальных роботизированных транспортных средств. Их задачей является обеспечение безопасности движения, снижение напряженности транспортного трафика и уменьшение вероятности аварийных ситуаций. А создание цифровых двойников объектов инфраструктуры и подвижного состава позволяет перейти к ремонту «по состоянию», с учетом сбора большого объема данных [2].

Цель обзора – обобщение информации о существующих системах технического зрения, классификация их по различным параметрам, рассмотрение применяемых в системах датчиков, их принципа действия, преимуществ и недостатков, а также анализ места установки датчиков и направления их видимости с целью выбора оптимальных СТЗ для различных видов транспорта.

Материалы и методы исследования

В качестве предметов исследования рассматриваются места установки и различные типы датчиков технического зрения. В процессе подготовки обзора было проанализировано более 30 материалов (статей, патентов, презентаций, законов и подзаконных актов), вышедших в 2007–2024 гг., 15 из которых легли в основу данного обзора. В результате были определены наиболее часто применяемые типы датчиков, рассмотрены места их установки. По результатам обзора сделан вывод о необходимости использования одновременно нескольких типов датчиков для более точного обнаружения объектов.

Результаты исследования и их обсуждение

Системы технического зрения можно классифицировать по множеству критериев. Основными из них являются:

− место установки;

− направленность камеры;

− принцип работы;

− дальность видимости.

По месту установки камеры СТЗ можно подразделять на три вида: системы, расположенные на транспортном средстве (передвижная), на транспортной инфраструктуре (статическая) и закрепленная на униформе работника транспортного комплекса (мобильная). Оптимальное место установки напрямую зависит от тех задач, которые предстоит выполнять данной СТЗ и определяется в совокупности с направленностью камеры. На основе систем технического зрения можно реализовать мониторинг транспортной инфраструктуры, контроль соблюдения мер транспортной безопасности, выявление препятствий и контроль исправности транспортных средств [3].

При установке камеры на транспортное средство она, как правило, направлена на инфраструктуру для выявления препятствий, мешающих движению подвижной единицы. Такие СТЗ применяются в беспилотных системах управления транспортными средствами. Они могут не только выявлять препятствия для движения и останавливать транспортное средство, но и определять расстояния до препятствия и контролировать разметку на автодороге для реализации управляющих воздействий на рулевую и тормозную системы автомобиля. Аналогичные системы применяются для беспилотного вождения скоростных поездов. Применение таких систем технического зрения является оправданным, когда дальность определения препятствия и скорость реакции системы превышает показатели, водителя-оператора транспортного средства. При этом наиболее сложными условиями эксплуатации таких систем являются негативные погодные явления (дождь, туман, метель), а также темное время суток. Именно в этих условиях системы технического зрения многократно превосходят возможности человека [4].

Вторая категория камер, устанавливаемых на транспортных средствах, это камеры, направленные на наиболее ответственные элементы, узлы и агрегаты транспортного средства (как правило, механические). Задачей данной СТЗ является выявление предотказного состояния узла ТС и передача информации об этом оператору или в систему верхнего уровня. Сюда можно отнести камеры, направленные на силовые агрегаты (двигатели, генераторы) локомотивов, токоприемники высокоскоростных поездов, якорные системы на судах.

Системы технического зрения с направлением камеры на оператора-водителя транспортного средства необходимы для выявления нетипичного состояния оператора транспортного средства, в том числе для исключения работы в состоянии алкогольного, наркотического опьянения, а также выявления проблем со здоровьем которые могут отрицательно сказаться на безопасности движения. Системы контролируют состояние водителя на междугородних автобусах, выявляя преддремотное состояние водителя. Аналогичные системы используются для контроля водителей в России и крупных европейских городах [5]. Система контроля Ctrl@Vision 50 осуществляет проверки психоэмоционального состояния машинистов на железнодорожном транспорте.

Системы технического зрения, расположенные на объектах транспортной инфраструктуры, могут быть направлены на транспортные средства или на другие элементы инфраструктуры, в том числе на элементы инфраструктуры, не попадающие в поле зрения из-за особенностей профиля трассы или наличия искусственных сооружений в зоне видимости оператора транспортного средства [6].

Считывание номеров подвижных единиц, контроль их исправного состояния, определение отрицательной динамики – вот лишь малая часть функций, реализуемых системами технического зрения. Например, считывание номеров автомобилей при заходе их на платные участки трасс или на территорию определенных объектов (аэропортов, вокзалов и т.д.). Аналогично считываются номера вагонов, определяются их ходовые качества и исправность при прибытии поезда на крупные железнодорожные станции для оптимизации технологических процессов обработки вагонов на этих станциях [7].

При контроле искусственных сооружений СТЗ осуществляет мониторинг состояния этих объектов, например деформацию дорожного полотна (железнодорожного пути), и определяет возможность проследования по ним транспортных средств, а также контролирует неблагоприятные явления, которые могут нести угрозу безопасности движения (сход лавин, камнепадов, селей в гористой местности).

Кроме того, в автоматизированном режиме может контролироваться наличие посторонних людей в зоне транспортной безопасности с выдачей громкоговорящего голосового оповещения о необходимости покинуть зону ТБ и передачей видеоинформации силам транспортной безопасности для устранения нарушений в соответствии с федеральным законом 16-ФЗ «О транспортной безопасности» [8].

Мобильная система технического зрения – камера, закрепленная на униформе или головном уборе работника транспортной отрасли, она позволяет зафиксировать факт нарушения безопасности движения или факт брака при производстве технологического процесса. Контрольный кадр с необходимой информацией можно сохранить и отправить для фиксации факта с указанием даты, времени, местоположения работника и названием производимой технологической операции. Это придает фиксации нарушения юридическую силу и в дальнейшем может использоваться в процессе разбирательства [9].

Дальность видимости СТЗ напрямую зависит от применяемых в качестве датчиков устройств – приемников сигнала. Для определения необходимого для системы технического зрения оборудования необходимо определиться с тем, какая дальность видимости необходима для конкретной СТЗ. Так, для систем с высокой дальностью видимости оптимальным является использование камер с высоким фокусным расстоянием. Для средней зоны видимости оптимальным является применение камер в сочетании с тепловизорами, а для ближней зоны наилучшим будет применение видеокамер и датчиков – лидаров.

На эффективность работы систем технического зрения оказывают влияние множество факторов: уровень освещенности, погодные условия, угол обзора (для СТЗ беспилотных автомобилей он должен составлять 360º) и время реакции, которое не должно быть больше, чем у водителя транспортного средства.

При этом основными элементами, осуществляющими детектирование, являются следующие виды датчиков: лидары, радары, стереокамеры.

LiDAR – технология определения расстояния до объекта при помощи использования лазерных импульсов. Принципом работы данного устройства является посылка лазерного импульса в направлении цели, который будет отражаться от ее поверхности. Отраженный луч обнаруживается датчиком лидара. Измеряя время, затраченное на преодоление расстояния до препятствия и обратно, делается вывод о расстоянии от лидара до препятствия.

Компонентами технологии LiDAR являются: лазер, который вырабатывает импульсный луч; сканер, который направляет этот луч в область интереса (пространство перед подвижной единицей). Оптический элемент, который собирает отраженный свет на детекторе для дальнейшего его преобразования в электрический сигнал, а также расчета расстояния и создания 3D-модели объекта.

Преимуществом технологии LiDAR является высокая точность и разрешение, работа в условиях низкой освещенности, получение трехмерных данных, широкий диапазон применения. Недостатки: высокая стоимость, чувствительность к погодным условиям (туман, дождь), ограниченный диапазон обнаружения для небольших или темных объектов.

Радар – система радиообнаружения и определения дальности с использованием радиоволн для определения местоположения, скорости и других характеристик объектов. Принципом работы данного устройства является излучение радиоволны при помощи направленной передающей антенны в определенном направлении. Отраженный от препятствия луч возвращается к радару и воспринимается приемной антенной. Анализируя принятый сигнал, радар может определять целый ряд показателей:

− дальность до препятствия по времени от момента излучения сигнала до момента его возвращения;

− скорость движения препятствия по изменению частоты отраженного сигнала;

− размер и форму препятствия по интенсивности и форме отраженного сигнала.

Основным преимуществом радаров является возможность «видеть» сквозь непрозрачные среды (туман, дождь, снег), работа в любое время суток, при любой освещенности, возможность измерения дальности, скорости и направления движения. При этом радар имеет ограниченную точность определения формы и размера объектов, высокую стоимость, сложность обработки сигнала в условиях помех [10].

Видеокамеры и стереокамеры выступают в качестве «глаз», которые позволяют воспринимать окружающую среду. Принцип действия того и другого типа камер схож, однако есть и различия в их функционале. Видеокамеры захватывают изображение в режиме реального времени, передавая его на процессор для анализа. Могут использоваться монокулярные (стандартные) и широкоугольные камеры. Широкоугольные обеспечивают более полное представление об окружающей обстановке, но с меньшей детализацией удаленных объектов. Основные задачи: распознавание объектов, выявление пешеходов, сигнальных и дорожных знаков, показаний светофоров, других транспортных средств, разметки и препятствий. Сопоставив получаемое изображение с картами и данными GPS, добавляется функция определения координат местоположения транспортного средства с привязкой к кадру изображения. Анализ изменений в видеопотоке, совмещенный с изменением координат GPS, может применяться для определения скорости движения окружающих объектов и собственной скорости.

В стереокамерах используются две или более камеры, расположенные на небольшом расстоянии друг от друга, подобно человеческим глазам. Анализируя различия между изображениями, получаемыми каждой камерой, система вычисляет глубину и создает трехмерную модель пространства. Применение такого типа камер позволяет не только выявлять элементы дорожной инфраструктуры (дорожные знаки, разметка), но и определять расстояние до этих объектов [11].

Видеокамеры и стереокамеры, как правило, используются совместно для достижения максимальной эффективности. Видеокамеры обеспечивают широкий угол обзора и высокую частоту кадров, позволяя быстро реагировать на изменения в дорожной ситуации, а стереокамеры предоставляют точную информацию о глубине, что важно для маневрирования, безопасного обгона и объезда препятствий.

Для обработки данных с камер используются алгоритмы компьютерного зрения и искусственного интеллекта. Качество работы системы зависит от разрешения камер, скорости обработки данных, точности алгоритмов и погодных условий. Основной целью применения систем технического зрения на транспорте является увеличение безопасности движения и уменьшение человеческого фактора, наряду с оптимизацией численности обслуживающего персонала и водителей-операторов транспортных средств. Так, в зависимости от разметки дорожного полотна, система осуществляет управление рулевым механизмом, а возникшее препятствие в пути приводит к уменьшению скорости или остановке транспортного средства.

В соответствии с ГОСТ Р 70059 от 2022 г., в зависимости от выполняемых функций, систему управления подвижным составом классифицируют по пяти уровням автоматизации. Нулевой, первый и второй уровни предполагают отсутствие, частичную или условную автоматизацию. На третьем уровне автоматизации оператор находится в кабине управления, но остановку при внезапном возникновении препятствия или при подаче сигнала остановки реализует бортовое оборудование. На четвертом уровне автоматизации водитель-оператор в кабине отсутствует. Таким образом, на третьем и четвертом уровне автоматизации систем предполагается наличие на борту подвижной единицы датчиков, которые бы фиксировали отсутствие препятствий на пути следования транспортного средства [12].

Отдельной категорией систем технического зрения, применяемых на транспорте, являются системы, обеспечивающие транспортную безопасность объекта (под объектом в данном случае подразумевается элемент транспортной инфраструктуры или транспортное средство). Система видеослежения может использоваться для выявления оставленных без присмотра (брошенных) вещей в помещениях железнодорожных вокзалов, автовокзалов, аэропортов или внутри транспортных средств (в вагонах поездов, междугородних автобусах). При помощи распределенных камер видеонаблюдения и систем технического зрения выявляются оставленные в залах ожидания коробки, сумки, пакеты, которые могут являться взрывными устройствами [13].

Для охраны от актов незаконного вмешательства протяженных участков железных дорог применяются системы технического зрения с различными типами датчиков. Они образуют радарно-оптический комплекс, который позволяет обнаруживать посторонних лиц на железнодорожных путях, выявлять направление и скорость их передвижения. Совместное использование видеокамер и тепловизоров позволяет выявить нарушителей с камуфляжем даже в полной темноте. Своевременное выявление нарушителей позволяет заранее информировать (подать сигнал тревоги) подразделению транспортной безопасности, отвечающему за охрану данного участка железной дороги. Данные системы могут использоваться для охраны как однопутных, так и двухпутных участков железных дорог [14, 15].

Данные системы технического зрения позволяют в долгосрочной перспективе уменьшить затраты на охрану протяженных участков железных дорог, исключить человеческий фактор (сговор нарушителей и наблюдающего персонала), а также обеспечить фиксацию всех действий ответственных работников подразделений транспортной безопасности.

Заключение

Современными системами технического зрения оборудуются различные типы подвижных единиц (локомотивы, автомобили), а также инфраструктура транспорта. Различные типы датчиков, устанавливаемые для контроля над транспортными средствами и окружающей ситуацией, обладают как преимуществами, так и недостатками. Использование в качестве датчиков радаров, лидаров, видеокамер и стереокамер позволяет получать наиболее полную информацию о транспортном средстве и окружающей обстановке.

Системы технического зрения на транспорте решают широкий круг задач: слежение за свободностью пути, исправностью систем и механизмов транспортных средств, самочувствием персонала, правильностью выполнения технологических процессов, а также соблюдение требований транспортной безопасности с целью предотвращения актов незаконного вмешательства в работу транспортной отрасли.

Проанализировав достоинства и недостатки различных типов датчиков технического зрения, можно сделать вывод, что только комплексное использование всех видов датчиков на транспортном средстве позволяет в полной мере получать информацию о наличии препятствий в пути следования для передачи этой информации в систему управления.