Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

АВТОМАТИЗАЦИЯ ОПРЕДЕЛЕНИЯ ОСАДКИ СУДНА МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ

Cоколов C.C. 1 Ивановский А.Н. 2
1 Государственный университет морского и речного флота имени адмирала С.О. Макарова
2 Керченский государственный морской технологический университет
Осадка – вертикальное расстояние, измеренное от верхней кромки киля посредине судна до соответствующей грузовой ватерлинии. Существующие технические решения не позволяют производить высокоточные измерения осадки в условиях морского волнения. В данной работе предложен альтернативный способ определения осадки судна, основанный на обработке видеоизображения методами машинного обучения. Для детекции и локализации цифр марок углубления использована нейронная сеть YOLOv5, для сегментации водной поверхности использована нейронная сеть U-Net. Полученные первичные результаты показывают эффективность данного подхода. Цели данной работы – предложить способ определения осадки судна, основанный на алгоритмах машинного обучения и компьютерного зрения, а также обосновать его эффективность. К преимуществам данного способа стоит отнести отсутствие необходимости в архитектурных изменения корпуса судна, его универсальности для судов любого типа, обеспечение высокоточных измерений при любых погодных условиях, а также сравнительно низкую стоимость внедрения и эксплуатации. На судах навалочного типа знание осадки необходимо для обеспечения безопасности судна на протяжении всей грузовой операции, определения массы груза, а следовательно, напрямую влияет на экономическую эффективность судна. Средства определения осадки крайне важны на таких судах, однако из-за высокой стоимости оборудования и сравнительно небольшого выигрыша в точности судовладельцы предпочитают идти на компромисс с грузоотправителем и учитывают погрешности определения массы груза при расчете фрахта.
драфт сюрвей
осадка судна
сегментация
детекция
YOLO
U-Net
машинное обучение
1. Пат. 2668003 Российская Федерация, B 63 B 39/12, Устройство для измерения осадки плавучего средства на волнении / Алексеев С.В., Поляшов А.А., Кичко С.А.; заявитель и патентообладатель Российская Федерация, от имени которой выступает министерство промышленности и торговли Российской Федерации. № 2017137943/17; заявл. 31.10.2017; опубл. 25.09.2018.
2. Заявка 2018100528 Российская Федерация, МПК В63В 39/12 (2006.01). Способ определения осадки судна / Дорошенко С.Ю. (РФ), Дубинко Т.Ю (РФ), Ольховик Е.О. (РФ), Тхоржевская Н.О. (РФ); патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования «Государственный университет морского и речного флота имени адмирала С.О. Макарова»; заявл. 09.01.2018; опубл. 28.02.2019, Бюл. № 7; RU 2680944 C1. 8 с.
3. Боков П.А., Кравченя П.Д. Экспериментальный анализ точности и производительности разновидностей архитектур YOLO для задач компьютерного зрения // Программные продукты и системы / Software & Systems. 2020. Т. 33. № 4. С. 635–640.
4. Задача нахождения объектов на изображении. 2018. [Электронный ресурс]. URL: https://neerc.ifmo.ru/wiki/index.php?title=Задача_нахождения_объектов_на_изображении (дата обращения: 10.06.2021).
5. Ивановский А.Н., Марковкина Н.Н., Черный С.Г. Выделение марки углубления на изображении с использованием алгоритмов компьютерного зрения // Морские интеллектуальные технологии. 2021. № 1–2 (51). С. 102–107.
6. Ивановский А.Н. Улучшение точности измерения массы груза по осадкам с применением современных информационных технологий. Образование, наука и молодежь – 2020: сборник трудов по материалам II научно-практической конференции студентов и курсантов. 2020. С. 21–24.
7. Gu H.W., Zhang W., Xu W.H. Digital Measurement System for Ship Draft Survey. Applied Mechanics & Materials. 2013. Vol. 333–335. P. 312–316. DOI: 10.4028/www.scientifi c.net/amm.333-335.312.
8. Черный С.Г., Жиленков А.А. Увеличение степени отказоустойчивости в программно-аппаратных системах сетевого управления на примере мягкого облачного хранилища // Научно-техническая информация. Серия 2: Информационные процессы и системы. 2020. № 1. С. 28–35.
9. Tsujii T., Yoshida H., Iiguni Y. Automatic draft reading based on image processing. Optical Engineering. 2016. № 55 (10). P. 104–104. DOI: 10.1117/1.OE.55.10.104104.
10. Wang, Zhong, Peibei Shi, Chao Wu. A Ship Draft Line Detection Method Based on Image Processing and Deep Learning. Journal of Physics: Conference Series. Vol. 1575. No. 1. IOP Publishing. 2020. P. 1–6.
11. X. Ran, C. Shi, J. Chen, S. Ying, K. Guan. Draft line detection based on image processing for ship draft survey. 2nd Int. Congr. Comput. Appl. and Comput. Sci. 2012. Vol. 2. P. 39–44.
12. Scene Text Localization & Recognition Resources 2018. [Электронный ресурс]. URL: https://github.com/chongyangtao/Awesome-Scene-Text-Recognition (дата обращения: 08.06.2021).
13. Вынгра А.В., Черный С.Г., Новак Б.П., Ерофеев П.А. Разработка компонентов системы управления нейро-структурного регулятора для контроля энергетических процессов // Системы управления и обработки информации. 2020. № 4 (51). С. 27–37.
14. Вынгра А.В., Черный С.Г. Идентификация настройки пи-регулятора на платформе нейросетевой структуры // Датчики и системы. 2020. № 8 (250). С. 20–26.

Осадкой именуется вертикальное расстояние, измеренное от верхней кромки киля посредине судна до соответствующей грузовой ватерлинии. Определение осадки судна является неотъемлемой процедурой при эксплуатации судна. Для снятия осадки разработано множество способов [1–3], однако каждый из них обладает своими ограничениями, ввиду которых такие методы так и не получили повсеместного применения. К таким трудностям относятся низкая точность при волнении, как при использовании методами, основанными на определении разности высот антенн GPS/GMSSB [2], а также сложность при установке и эксплуатации, например при использовании гидростатических датчиков [1, 4–6].

Степень востребованности знания осадки на разных судах так же отличается. Для судов-контейнеровозов, наливных, пассажирских судов знание осадки нужно в основном для планирования перехода в узкостях и каналах, а потому установка громоздких высокоточных систем определения осадки не оправдана.

Цель исследования – применение процесса автоматизации для определения осадки судна методами машинного обучения.

В данном исследовании разрабатывается модель авторегрессионной остаточной U-сети (AR-Runet) для прогнозирования зависящего от времени динамического потока для сложной двумерной морской (водной) системы с каналами связи. В исследовательской модели система идентифицирует характеристики судов и особые отметки. Здесь стратегия авторегрессии относится к использованию выходных данных предыдущего времени в качестве данных нейронной сети для прогнозирования выходных данных текущего времени, а не к изменению сетевой архитектуры. Было доказано, что стратегия остаточного обучения является эффективным решением для упрощения обучения сетей с достаточно глубокой архитектурой. Для этого к традиционной архитектуре U-net была добавлена уровневая глубокая остаточная единица, в результате чего была разработана новая остаточная архитектура U-net со значительно улучшенной производительностью для моделирования сложных отображений. Результаты показывают, что после того, как стратегия авторегрессии была обработана до входных и зависящих от времени выходных данных, точность предсказания метода значительно увеличилась, что превосходит другие доступные методы для задачи. В связи с этим в недавнем прошлом исследователи представили различные методы автоматической сегментации образов на морской поверхности. В отличие от традиционных методов обработки изображений, в исследованиях также использовались контролируемые методы. Некоторые из примеров – модели на основе форм и атласов.

Общая структура подсистемы для определения осадки судна. На каждом судне по бортам нанесено шесть марок углубления (рис. 1), которые представляют собой набор арабских или римских цифр, расположенных одна над другой на равных расстояниях. Осадка на каждой позиции определяется как точка пересечения марки углубления с водной поверхностью. Зная значения осадки на каждой из позиций, определяется средняя осадка судна (Mean of Mean), которая в дальнейшем и используется для определения текущей загрузки судна. В мировой практике замеры осадок на оконечностях производятся с лодки или катера совместно драфт-сюрвейером и грузовым помощником судна. На переходном этапе также можно проводить видеосъемку с катера, используя электронный стабилизатор с цифровой камерой. В дальнейшем, для полной автоматизации произведения замеров, предлагается использовать цифровую камеру, прикрепленную на беспилотный летательный аппарат (БПЛА), оснащенный системой автономной навигации.

Вне зависимости от способа получения видеозаписей марок углубления, видео передается на центральный компьютер, где подвергается обработке алгоритмами машинного обучения. В частности, сначала определяется положение цифр марки углубления, производится построение координатной шкалы, позволяющей сопоставить масштаб изображения с реальными размерами цифр [7, 8]. Затем производится сегментация водной поверхности, в окрестности точки пересечения с координатной шкалой строится ватерлиния и уже по ординате полученной точки пересечения определяется действительное значение осадки на каждом кадре. Функциональная схема алгоритма обработки видео представлена на рис. 2.

Doc23.pdf

Рис. 1. Положение марок углубления и их вид

Doc24.pdf

Рис. 2. Алгоритм обработки видеозаписей марки углубления

Выбор длительности видео обоснован экспериментально, путем обработки видео различной длины методами линейной фильтрации. Так, показано, что видео длительностью в одну минуту, соответствует массиву из 1800 значений осадки при 30 кадрах в секунду, достаточно, чтобы достичь точности в 0,5 мм при волнении, что уже значительно превосходит большинство альтернативных методов. Дальнейшее повышение точности возможно за счет увеличения точности единичных измерений, а также совершенствования цифровых фильтров, применяемых для обработки данных. В данной статье основное внимание будет уделено обработке изображений, а также получению дискретного значения осадки на каждом кадре.

Разработке модели управления БПЛА и цифровым фильтрам, применяемым для обработки массивов данных, будут посвящены последующие работы.

Обнаружение цифр марок углубления на изображении. В работах [5, 9–11] предложены способы определения цифр марок углубления при помощи методов компьютерного зрения. Такие методы эффективны при благоприятных условиях съемки и освещения, однако зачастую условия эксплуатации судна далеки от идеальных. Поэтому для успешного применения алгоритмов компьютерного зрения требуется их тщательная настройка в каждом отдельном случае. К такой настройке относится удаление шумов, подбор параметров бинаризации, настройка и оценка качества работы дескрипторов.

Помимо временных затрат, определение осадки таким способом требует высокой квалификации грузового офицера в вопросе алгоритмов компьютерного зрения. Очевидно, что в реальных условиях эксплуатации судна использование классических методов компьютерного зрения нецелесообразно.

При выборе алгоритмов мы руководствовались результатами International Conference on Document Analysis and Recognition (ICDAR Competition on Robust Reading) 2015 г. [8], а также публикациями из списка [12], однако многие из представленных методов больше подходят для распознавания заранее подготовленного большого объема текста, а также не исключают возможности дополнительной настройки человеком. Наша задача состоит в определении всего десяти различных цифр и буквы «М», при этом определение координат цифр так же важно, как и их идентификация.

Исходя из причин, описанных выше, было принято решение работать с изображениями с точки зрения детекции объектов, а не поиска текста. Для решения данной задачи существует ряд методов [4], большинство из которых предполагает применение искусственных нейронных сетей к изображению или видеоряду. Опираясь на результаты эффективности различных нейросетей в других задач обнаружения объектов на изображении, а также учитывая, что для определения осадки судна необходимо обрабатывать большие массивы изображений (до 10800 изображений за один драфт сюрвей) в реальном времени, было принято решение использовать нейросети архитектуры YOLO, в частности YOLO v5. К неоспоримым достоинствам данной нейросети стоит отнести скорость её работы (до 60 кадров в секунду), малые размеры (до 250 Мб), а также низкие требования к вычислительной мощности.

Для обучения нейронной сети была собрана база данных из 32 видео марок углубления с судов, находящихся на рейде Керченского пролива, а также балкеров мирового флота. Нейросеть обучалась распознавать 11 классов, среди которых десять цифр и буква «М». Для этого было размечено 750 изображений, на которых было выделено 6430 аннотаций. В качестве средства маркировки изображений использовался сервис «Roboflow». Для аугментации данных использовалось три вида аффинных преобразований (сдвиг, растяжение, поворот), а также зашумление изображений, в результате чего исходную выборку удалось расширить до 3750 изображений. Если оценивать точность определения без этих цифр, то она составит 93,9 %, а следовательно, высокоточная детекция цифр на изображении вполне реальна, и для дальнейшего улучшения качества работы нейросети необходимо увеличение доли редко встречающихся классов в тренировочной выборке. График зависимости метрики mAP от количества эпох, а также результаты точности определения цифр различных классов представлены на рис. 3.

Пример работы YOLO v5 на тестовом изображении приведен на рис. 4.

Doc25.pdf

Рис. 3. Оценка точности YOLO v5 совокупная и по классам

Doc26.pdf

Рис. 4. Пример определения цифр марки углубления на зашумленном изображении

Определение ватерлинии. После построения координатной шкалы, привязанной к цифрам марки углубления, нам необходимо определить точку пересечения марки углубления с ватерлинией. Иными словами, перед нами стоит задача определения границы водной поверхности. Для определения границ существует множество способов, в частности, классическими являются операторы Кенни, Собеля, Прюитта, Шарра, Робертса. Как и многие другие алгоритмы компьютерного зрения, данный набор детекторов требует тщательной настройки параметров степени размытия изображений и параметров двойной пороговой фильтрации. В зависимости от настройки, условий шума на изображениях, условий освещения, детекторы могут находить как чрезмерное, так и недостаточное количество границ на изображении.

В качестве замены предлагается использовать сверточные нейронные сети. Обычно для задач сегментации применяются нейронные сети семейств R-CNN, FCN, а также U-Net и ASPP. В нашем случае было принято использовать нейронную сеть типа U-Net, поскольку она наилучшим образом подходит для разделения изображения на два класса. На нейронной сети также подается изображение размерами 640х360 пикселей, на выходе мы получаем изображение-маску, где пиксели отнесены к одному из двух классов (рис. 5).

Получение конечного значения осадки судна. Зная расположение цифр марок углубления и их реальные размеры на корпусе судна (высота каждой буквы 0.1 м), мы можем построить координатную шкалу. В качестве опорных точек берутся цифры, находящиеся рядом с «М». Так, например, если рядом с «М» находится «8», то центр прямоугольника с буквой соответствует значению осадки в 8,05 метра. Далее мы сверяем порядок расположения цифр на всем изображении. Это нужно, чтобы выявить ошибочно определенные цифры и восполнить пробелы, если некоторые цифры не обнаружены вовсе [13, 14]. По центрам прямоугольников, используя метод наименьших квадратов, мы можем построить координатную прямую. По ней мы можем определить масштаб изображения и предельную точность каждого конкретного измерения. Пример такого построения показан на рис. 6. В показанном случае один пиксель изображения соответствует 3,5 мм, что также является предельной точностью данного измерения.

Для полной автоматизации определения осадки судна в перспективе предполагается интеграция данной технологии с автономным беспилотным летательным аппаратом.

Doc27.pdf

Рис. 5. Сегментация водной поверхности при помощи U-Net

Doc28.pdf

Рис. 6. Построение координатной прямой на изображении

Заключение

Идея применения технологий технического зрения к задаче определения осадки судна возникла еще в 2011 г. и параллельно развивалась несколькими группами исследователей. Тем не менее методы, основанные на классических алгоритмах компьютерного зрения, сильно подвержены влиянию шума, наличию бликов на изображении, требуют тонкой настройки перед применением и тщательного контроля со стороны человека во время работы.


Библиографическая ссылка

Cоколов C.C., Ивановский А.Н. АВТОМАТИЗАЦИЯ ОПРЕДЕЛЕНИЯ ОСАДКИ СУДНА МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ // Современные наукоемкие технологии. – 2021. – № 7. – С. 67-72;
URL: https://top-technologies.ru/ru/article/view?id=38754 (дата обращения: 19.04.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674