Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

ANALYSIS OF APPROACHES TO AUTONOMOUS VEHICLE CONTROL

Nikitenko M.S. 1 Kizilov S.A. 1 Khudonogov D.Yu. 1
1 The Federal Research Center of Coal and Coal Chemistry of Siberian Branch of the RAS
The article considers references of approaches and technologies to autonomous dump trucks control according to international reports and open literature source data. Applied methods of control from the side of performing small autonomous area with small autonomous vehicle park working in specific conditions are analyzed. Advantages, drawbacks, technologic limits of using three dimensions scanning technical equipment for estimating road environment around dump trucks are examined. Also more advanced approaches of navigation and positioning autonomous dump trucks based on satellite navigation methods is described. An alternative approach to control realization simplifying hardware of environment estimating system and reduce volume of processing data due to apply non classic methods of using machine vision combined with active highlighting the way with light markers is considered. Machine vision system highlights only contrast light markers from general environment and adapt changes of its shape during realization of this method. Proposed technical decisions allow perform small autonomous area with small autonomous vehicle park in areas that have erratic or absent satellite navigation signal.
autonomous vehicle
dump truck
automated control system
intelligent system
machine vision
pathway

Карьерные самосвалы являются наиболее распространенной транспортной машиной при проведении горных работ. По данным доклада [1], к основным производителям машин с грузоподъемностью более 100 т относятся «БЕЛАЗ» [2], «Liebherr» [3], «Komatsu» [4], «Hitachi Construction Machinery Co., Ltd» [5], «Caterpillar» под брендом «Cat» [6] и Xuzhou Construction Machinery Group Co., Ltd. (XCMG) [7]. Объем рынка карьерных самосвалов по данным из открытой части “Dump Trucks Global Market Report 2022” [8] в 2021 г. составил 44,28 млрд долл. США, в 2022 г. он должен вырасти до 48,71 млрд долл., а к 2026 г. до 66,63 млрд. При этом, опираясь на данные отчета [9], известно, что в 2021 г. продажи карьерных самосвалов, оснащенных системами автономного управления, составили 2,6 млрд долл. США и также показывают тренд роста, в 2022 г. объем продаж должен вплотную приблизиться к 3 млрд долл.. По данным портала “Mining dot com” на май 2022 г. в мире эксплуатируются 1068 автономных карьерных самосвалов [10]. Большая часть автономных машин развернута в Австралии и Канаде, 86,5 % от общего мирового их количества произведены «Cat» и «Komatsu» [10].

Причина роста интереса к автономным карьерным самосвалам – достижение технологией состояния, когда она дает возможность крупным компаниям извлекать прибыль от ее применения. По данным «Komatsu» [4] их система Front Runner Autonomous Haulage System (AHS) [11] позволяет снижать стоимость перевозки на величину вплоть до 15 %, при этом сводя аварийность на участке, где она используется, до нуля. Большая часть из производителей карьерных самосвалов либо уже предлагает свои системы для автономной работы производимой техники, либо занимается разработкой и внедрением подобных систем. В компании Komatsu по данным пресс-релиза [12] уже 15 лет занимаются внедрением автономного карьерного транспорта, к сентябрю 2021 г. было перевезено более 4 млрд т груза, а флот грузовиков превысил отметку в 400 единиц. Известно, что разрабатывают свой автономный карьерный транспорт и в компаниях «Hitachi» [13], «Liebherr». С 2017 г. эти производители поставляют свои грузовики с автономной системой вождения на базе технических решений, разрабатываемых компанией Hexagon, а с 2021 г. начали создание системы автономного управления флотом грузовиков нового поколения [14]. Лидером считается «Cat», который на 2022 г. произвел флот автономных грузовиков более чем из 500 ед., за 9 лет проехавших более 200 млн км и перевозивших более 5 млрд т грузов на 23 различных объектах [15]. БЕЛАЗ с 2019 г. проводит испытания своей системы автономного вождения на базе 130-тонных грузовиков в Хакасии [16]. Производители из Китая широко не анонсируют в открытых источниках разработку автономных систем, но очевидно, что подобные работы в стране ведутся.

Исходя из вышеизложенного следует вывод, что разработка технологий автономной перевозки грузов становится более чем актуальной в мире и имеет значительные перспективы в свете прогноза роста их рынка сбыта в ближайшие несколько лет. По данным из отчета Autonomous Mining Equipment And Vehicles Global Market Report [9], рынок беспилотных карьерных грузовиков увеличится к 2026 г. в полтора раза до более чем 4 млрд долл. в год.

Все крупные игроки рынка, поставляющие автономные транспортные карьерные самосвалы, предлагают не просто отдельный роботизированный автомобиль, а совокупность решений, включающих флот автономных грузовиков, системы связи, диспетчерские системы, пункты управления и пр. Подобные системы есть у всех представленных выше компаний, они являются комплексными и законченными решениями. Однако заказчикам добывающего сектора не всегда требуется развертывание масштабного флота автономных самосвалов на одном месторождении, исходя из целесообразности и нормативных требований.

Автономные перевозки технологически основываются на двух ключевых блоках –программный комплекс управления флотом грузовиков и сами автономные грузовики с диспетчерским пунктом и системами связи [17].

Как правило, программы управления флотом грузовиков представляют собой мощные базы данных, собирающие информацию о координатах, скорости, направлении, фазах начала погрузки и разгрузки, техническом состоянии и еще множестве параметров, сопоставляют эти данные, обеспечивают диспетчеризацию процесса движения и предотвращают столкновения пилотируемого и беспилотного транспорта [11, 15, 16]. Такие сложные системы необходимы при использовании десятков автономных машин, работающих совместно с управляемыми человеком транспортными средствами. Программное обеспечение качественно и полно описано, достигло определенной степени совершенства у всех разработчиков и обеспечивает безаварийную работу на протяжении многих лет [11, 15].

Более сложной системой является сам автономный грузовик. Его успешная работа зависит от взаимодействия со значительным количеством датчиков, микроконтроллеров, компьютеров и других систем [16].

Для разработки программно-аппаратных комплексов, позволяющих обеспечивать автономное движение одиночных или малых групп транспорта на закрытых промышленных площадках (карьеры, рудники и т.п.), необходимо провести обзор способов и устройств, позволяющих видеть алгоритмам управления, что происходит вокруг машины, то есть должна быть система, заменяющая зрение водителя [17, 18], и способов позволяющих позиционироваться на местности и двигаться по заданному маршруту [17].

В статье рассматривается альтернативный способ реализации управления малыми группами автономных транспортных средств в сравнении с общепринятыми подходами к автоматизированному ориентированию в пространстве и движению по маршруту с выделением ключевых для этого технологий, подсистем и технических решений, упрощающих и удешевляющих процесс технологической интеграции.

Материалы и методы исследования

Способы и технологии оценки дорожной ситуации, применяемые на современном карьерном транспорте, обеспечивающие автономное движение транспортных средств

Компания «Cat» в качестве устройства оценки обстановки полагается только на лидары (Lidar) – устройства, в простом своем исполнении способные послать в сторону объекта лазерный импульс, принимать его отраженный сигнал, измерять время между отправленным и принятым импульсом и рассчитывать расстояние до объекта [18, 19]. Для формирования пространственной картины перед автономным самосвалом используются более продвинутые устройства, компания «Cat» заявляет, что лидары, устанавливаемые на их самосвалы, делают более миллиона измерений за секунду в широком поле зрения перед собой, формируя объемную картину, представляющую собой облако точек с расстояниями до каждой из них [18]. Несмотря на высококачественные лидар-сканеры, представители компании констатировали, что в первое время из-за природных явлений (пыль и пр.) автономные самосвалы могли останавливаться до 200 раз за один день. Однако путем совершенствования алгоритмов обработки данных, получаемых с лидаров, количество ложных срабатываний удалось практически свести к нулю [18].

Несколько другой подход использовали инженеры компании «Hitachi», разработав достаточно прогрессивную систему диспетчеризации движения, исключающую пересечение маршрутов автономных транспортных средств. Они отказались от использования лидара во фронтальной проекции самосвала как средства для оценки обстановки и установили радар миллиметрового диапазона для обнаружения препятствий, при этом лидар задействовали для контроля ближней зоны по бортам самосвала [17]. Применив такие инженерные решения, компании «Hitachi» удалось обойти проблемы с ошибками в работе лидара из-за влияния различных природных факторов. Однако по той причине, что испытания технических решений завершились только в 2017 г., а коммерческие поставки начались после 2019 г. [20], на сегодняшний день еще нет такой впечатляющей статистики безотказной работы системы, как у систем от «Cat» и «Komatsu».

Системы оценки дорожной ситуации, используемые «Liebherr» и «БЕЛАЗ», в открытых источниках описаны слабо. Как указано ранее, известно, что компания «Liebherr» сотрудничает в области автономного вождения с одним из мировых лидеров в этой отрасли «Hexagon», продвигающей системы нейроморфного зрения – распознавания расстояний и форм объектов, снятых стереоскопической видеокамерой машинного зрения с помощью нейронной сети [21]. Данный подход позволяет скомпенсировать ошибки, возможные при работе лидара и машинного зрения по отдельности, так как стереоскопическое машинное зрение позволяет так же получать данные об удаленности объекта, в отличие от более часто используемого моноскопического [22]. Исходя из видеообзоров, сделанных самой компанией Hexagon, техника, оснащаемая ПАК автономного вождения имеет на борту комбинацию из радара, лидара и видеокамеры стереоскопического зрения [23]. «БЕЛАЗ» разрабатывает свою систему автономного вождения совместно с компанией «Цифра роботикс» [24]. По данным источника [25], для оценки дорожной ситуации «БЕЛАЗ» использовал самую широкую номенклатуру датчиков во фронтальной проекции грузовика: два 2D лидара, один 3D лидар, массив из четырех радаров, восьми ультразвуковых датчиков расстояния и видеокамеры машинного зрения. «БЕЛАЗ» – единственный из производителей карьерных самосвалов, кто заявил применение ультразвуковых датчиков измерения расстояния в своем автономном грузовике для помощи в оценке дорожной ситуации [25].

Согласно вышеописанному, сделан вывод о том, что производители карьерного транспорта используют наиболее распространенные способы оценки дорожной ситуации на своих автономных самосвалах. При этом у каждого из способов наравне с преимуществами есть недостатки, рассматриваемые ниже, которые могут быть критичными в случае кейса с незначительным парком автономных транспортных средств, работающих в специфических условиях.

Радар позволяет оценить дистанцию как до удаленных, так и для близко расположенных объектов, независимо от погодных условий, но не пригоден для идентификации объектов из-за низкого разрешения [26]. Лидар-сканер может обеспечивать обзор в секторе вплоть до 360°, имеет высокую разрешающую способность, работает на малой и большой дальности, при этом чувствителен к различным природным явлениям (пыль, туман, снег) и не работает с объектами, имеющими низкую отражающую способность [26]. Ультразвуковые сенсоры хорошо работают только на коротких дистанциях, имеют низкую разрешающую способность, просты по конструкции, имеют низкую стоимость и высокую скорость работы, не требуют сложного программного обеспечения [26]. Машинное зрение на основе видеокамер позволяет хорошо контролировать дорожную ситуацию и оценивать световые сигналы с дорожной разметкой [26].

Комбинирование нескольких технологий позволяет нивелировать часть недостатков каждой из применяемой в одной связке технологии, но крайне чувствительно к программному обеспечению, так как получаемые от разных источников данные неоднородны и требуют продвинутых алгоритмов для их правильного анализа [26].

Требования и ограничения к системе оценки дорожной ситуации автономных самосвалов на основе применяемых технологий

Рассмотрев технологию управления автономными самосвалами от компании «Hitachi» [17], можно выделить одну особенность – у грузовиков нет систем, позволяющих идентифицировать объекты в передней полусфере, только радары миллиметрового диапазона. Лидары используются только для распознавания края технологической дороги. Из источника [17] также известно, что «Hitachi» разработало и использует систему разграничения доступа на технологическую дорогу, аналогичную применяемым на железной дороге. Два этих факта позволяют считать технологические дороги достаточно детерминированной средой, где вероятность внезапного появления хаотично перемещающихся на разных скоростях объектов практически сведена к нулю. Соответственно, система оценки дорожной ситуации может иметь только базовый функционал для оценки наличия препятствия на пути автомобиля в виде выпавшего из кузова впереди идущего автомобиля части груза или серьезного повреждения дорожного полотна (колейность, вывалы с борта, провалы в дорожном полотне).

К ограничениям, осложняющим работу систем оценки дорожной ситуации, можно отнести природные явления: пыль, дождь, туман [18, 26].

Важной проблемой и ограничением к применению автономных грузовиков также является сложность программного и аппаратного обеспечения, требуемого для автономной работы. Для примера, «БЕЛАЗ» по разным причинам не повторил технологии «CAT» и оснастил свой продукт практически всеми применяемыми устройствами для обнаружения и распознавания препятствий [25].

Исходя из вышеописанного, можно сделать общий вывод о том, что системе контроля за дорожной обстановкой при правильно настроенной диспетчеризации движения на участке, достаточно уметь выявлять статичные препятствия по ходу движения автомобиля (независимо от направления движения) и возможное внезапное появление крупных объектов с заранее известного направления.

Средства навигации и позиционирования, применяемые в автономных карьерных самосвалах

Помимо определения дорожной ситуации вокруг автономного самосвала, важно понимать, где он находится и в каком направлении ему необходимо двигаться. Все производители карьерных самосвалов взяли за основу системы спутниковой навигации [13–15, 17]. В открытой печати указывается, что используется только система GPS, ни один производитель прямо не заявляет, что применяет комбинированные системы навигации ГЛОНАСС/Gps/Baidu. Если подробно рассмотреть схему размещения антенн GPS на схеме размещения датчиков автономного «БЕЛАЗ», опубликованной в источнике [25], то можно увидеть две антенны приема сигналов со спутников системы GPS, расположенных на значительном удалении друг от друга (на ширину грузовика) поперек хода движения. Данный способ размещения антенн говорит о возможности системы спутниковой навигации определять не только скорость движения и местоположение грузовика, но и положение оси (ориентацию). Такое же расположение приемных антенн сигналов со спутников системы GPS можно видеть и на карьерных самосвалах других производителей. Фактически никто из поставщиков автономной карьерной техники официально не заявляет, что применяет для навигации и ориентирования на местности какие-либо технологии, кроме спутниковой навигации.

Результаты исследования и их обсуждение

Альтернативная система контроля дорожной обстановки и позиционирования

Как видно из вышеописанного, системы оценки дорожной обстановки сложны как в программном, так и в аппаратном плане. Либо необходимо использовать лидары и обрабатывать огромный массив информации, выделяя из него необходимую, либо использовать пул систем, определяющих наличие препятствий, работающих на разных принципах, соответственно, испытывая проблемы в согласованной работе этих устройств [26].

Авторы предлагают для оценки дорожной ситуации упростить работу системы машинного зрения, основанного на распознавании видеоизображения. Система машинного зрения дополняется устройством активной подсветки пространства перед видеокамерой проектором световых маркеров на поверхность дорожного полотна. Алгоритмически система машинного зрения выделяет из общей сцены только контрастные световые маркеры и обрабатывает изменение их формы. Проекция световых маркеров на дорожное полотно является объектом с заранее известными характеристиками (расстояние между маркерами, цвет, форма, расстояние до камеры, расстояние до крайних точек автомобиля). Световой маркер при попадании на поверхность деформируется, отображая форму поверхности, на которую проецировался. Сопоставляя форму светового маркера, полученного с видеокамеры и эталонного образца в памяти системы машинного зрения, делается вывод о дорожной обстановке в секторе поле зрения автономного грузовика. Данный подход позволяет определять изменение рельефа дорожного полотна (продольный и поперечный уклон, колейность, наличие статических препятствий), отслеживать появление, скорость и направление движущихся объектов. На базе данной технологии могут быть развернуты стационарные станции вдоль маршрута автономного транспортного средства, позволяющие создать сеть опорных точек для удаленного отслеживания дорожной ситуации в зоне своей ответственности.

В зонах неустойчивого или отсутствующего приема сигналов систем спутниковой навигации, с помощью проекции световых маркеров с опорных станций задается маршрут, при котором автономное транспортное средство способно определять свое положение на нем. Подобная реализация навигации позволяет осуществлять переброску грузовиков с одного автономного участка на другой, оборудованный системой опорных станций без внесения изменения в его программное обеспечение, по существу перегнав на требуемый участок и активировав режим автономного вождения.

Заключение

Современные системы автономного управления карьерным транспортом достигли определенной степени совершенства и надежности, но по своей сути они являются сложнейшими программно-аппаратными комплексами с высоким порогом входа. К препятствиям можно отнести стоимость от 100 тыс. долл. за комплект на одну машину [25], настройку автономного участка, ориентированность его на конкретного производителя техники, сложность перестройки маршрута, который невозможно изменить без участия компании, построившей участок автономной техники, длительное время развертывания.

Применение технологии автономного участка на основе световых маркеров позволяет избежать ряда проблем и существенно снизить порог для запуска на предприятии автономного участка. Система не требует установки базовых станций для точного спутникового позиционирования, установка возможна на любой самосвал с электронным управлением газом и рулевым управлением независимо от вендора, обученные работники предприятия могут самостоятельно модифицировать маршрут движения и перебрасывать машины с одного участка на другой.

Исследование выполнено в рамках КНТП, утвержденной Распоряжением Правительства Российской Федерации от 11.05.2022 г. № 1144-р. по мероприятию «Разработка системы управления автономными транспортными средствами на основе проецируемой траектории движения» (Соглашение от 28.09.2022 № 075-15-2022-1199).