Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

Системы распознавания потенциально опасных объектов с интроскопов играют важную роль в обеспечении транспортной безопасности. На текущий момент досмотр багажей происходит с помощью рентгенотелевизионных установок. Рентгенотелевизионные установки (далее – РТУ), или интроскопы, это наиболее удобные и востребованные технические средства для досмотра посылок, грузов, багажа с помощью рентгеновского излучения. Принцип работы интроскопа основан на рентгеноструктурном анализе. При прохождении контроля безопасности пассажиры должны пропустить через интроскоп свой багаж на предмет содержания в нем потенциально опасных объектов. За счет дифракционного рассеивания излучения, получаемого при использовании источников ионизирующего излучения, создается проекция внутренней структуры объекта.

В цветном режиме предметы в багаже маркируются четырьмя цветами: органические вещества – оранжевым, неорганические материалы – синим, смешанные материалы – зеленым, предметы или материалы с неопределенными свойствами – черным (или красным). К последним, как правило, относятся предметы, непроницаемые для рентгеновского излучения. Таким образом, опасные предметы на рентгеновском изображении будут иметь характерные контуры и плотность. При обнаружении любого подозрительного предмета сотрудники службы безопасности предпринимают необходимые действия, такие как досмотр багажа и задержание пассажира.

На данный момент обнаружение опасных предметов в видеопотоке с интроскопа сопряжено с рядом проблем. Первая связана с тем, что, если в багаже много предметов, они могут перекрывать друг друга на рентгеновском изображении, что затрудняет их идентификацию. Кроме этого, пассажиры могут специально маскировать опасные предметы. Другая проблема связана с тем, что однородные по плотности материалы могут выглядеть одинаково на рентгеновском изображении, даже если они совершенно разные по своему назначению. Обычные досмотровые РТУ не могут отделить взрывчатые вещества от безопасных веществ, так как они могут иметь схожую плотность и структуру. Кроме этого, по-прежнему важную роль играет человеческий фактор. Сотрудник службы безопасности может устать за свою рабочую смену, отвлечься или просто не обладать достаточным опытом и в связи с этим допустить ошибку при досмотре багажа.

Проблемы существующего подхода к досмотру багажа привели к общему заключению специалистов по обеспечению безопасности во всем мире о том, что успех в обнаружении опасных веществ возможен только на основе использования комбинации разных технологий. Стратегической целью развития Федеральной таможенной службы является формирование к 2030 г. качественно новой, насыщенной «искусственным интеллектом», быстро перенастраиваемой, информационно связанной с внутренними и внешними партнерами, «умной» таможенной службы, незаметной для законопослушного бизнеса и результативной для государства [1]. Как следствие, ближайшие перспективы в усовершенствовании технических средств обеспечения безопасности будут связаны с внедрением в практику комплексных систем, использующих технологии искусственного интеллекта.

Таким образом, возникает научно-техническая задача, которая заключается в разработке интеллектуальной системы поддержки принятия решений (далее – ИСППР) по обнаружению потенциально опасных объектов в видеопотоке с интроскопа. В рамках данной статьи авторы определяют концепцию будущей разрабатываемой интеллектуальной системы.

Классификация опасных предметов

На данный момент принято выделять следующие классы опасных предметов: оружие, боеприпасы, патроны к оружию, взрывчатые вещества, взрывные устройства и элементы взрывных устройств.

Класс «оружие» включает в себя как огнестрельные изделия, так и холодное оружие. Как правило, точнее всего на изображении определяется огнестрельное оружие из-за его специфической формы и материала, который подсвечивается синим цветом. Пример изображения пистолета на рентгеновском снимке приведен на рис. 1.

Рис. 1. Рентгеновское изображение пистолета

Холодное оружие тоже обычно не вызывает проблем при обнаружении в связи с часто специфичной, узнаваемой формой. Кроме этого, из-за высокого содержания металла они хорошо видимы на рентгеновских снимках.

Сложнее дело обстоит с распознаванием взрывных устройств и взрывчатых веществ. К последним обычно относятся тротил [2, с. 20], пластит [2, с. 24], гексоген [2, с. 22], тэн [2, с. 22], порох [2, с. 34], эластит [2, с. 24], а также аммиачная селитра [2, с. 26]. Пример изображения тротила на рентгеновском снимке приведен на рис. 2. Взрывчатые вещества отличаются по плотности от других органических веществ, и, соответственно, на рентгене они будут иметь более темный оттенок.

Рис. 2. Рентгеновское изображение тротила

Можно выделить два класса взрывных устройств – это военные (промышленные) и самодельные. К военным обычно относят гранаты и мины. Их легко определить в связи с часто специфичной, узнаваемой формой. Пример изображения гранат на рентгеновском снимке приведен на рис. 3.

Рис. 3. Рентгеновское изображение гранат

Самодельные взрывные устройства считаются более сложными в обнаружении, поскольку могут варьироваться по форме, размеру и материалам, используемым для их сборки. При этом обычно террористы проносят взрывные устройства в разборном виде по компонентам, спрятанным или интегрированным в повседневные объекты и в разных емкостях (например, сумках), что значительно усложняет их обнаружение.

Таким образом, поиск и идентификация взрывных устройств и оружия остается одним из наиболее сложных и ответственных этапов в системах обеспечения безопасности. Совмещение высокотехнологичных методов сканирования, продвинутых алгоритмов искусственного интеллекта и высококвалифицированного персонала может существенно повысить эффективность обнаружения взрывных устройств и таким образом снизить уровень потенциальной угрозы в общественных пространствах и на транспортных узлах.

Описание функционала разрабатываемой интеллектуальной системы

На рис. 4 приведена структурная модель в виде схемы спроектированной ИСППР по обнаружению потенциально опасных объектов в видеопотоке с интроскопа.

Приведенная схема отражает модули создаваемой системы. Далее представлено более подробное описание их назначения и функциональных возможностей.

Управление работой интроскопа осуществляется через специальное программное обеспечение, установленное на системном блоке. Разрабатываемая система будет функционировать на отдельном ноутбуке. Видеопоток на ноутбук передается через HDMI-интерфейс с помощью устройства видеозахвата. Во-первых, предварительная обработка включает в себя отслеживание появления багажа на ленте интроскопа. Это позволит обрабатывать лишь только ту часть видеопотока, на котором есть багаж. Во-вторых, может потребоваться улучшение качества видеопотока за счет устранения шума и коррекции яркости и контраста для обеспечения четкости получаемых изображений объектов.

Обработанный видеопоток поступает на вход модуля детектирования опасных предметов, который представляет собой мультиверсионную нейросетевую модель. Для задачи детектирования исследуются популярные на сегодняшний день классы моделей детектирования объектов: YOLO [3], EfficientDet [4], M2Det [5], FreeAnchor [6]. Модели, которые покажут наилучшие результаты, лягут в основу функционирования спроектированной интеллектуальной системы. Результатом работы каждой модели в случае наличия опасных предметов является перечень классов объектов с их координатами на кадрах.

Рис. 4. Схема интеллектуальной системы

Формально мультиверсионную нейросетевую модель можно описать следующим образом с использованием списка моделей, где N – количество моделей.

М = (М1, …, МN), N ≥ 1.

При создании модуля детектирования авторы придерживались основных положений методологии мультиверсионного программирования [7, p. 18]; единственное исключение составляет поддержка одноверсионной модели, исходя из практических соображений. Функционирование нейросетевых моделей распараллеливается, условием останова считается завершение всех версий с получением результатов. Для этого необходимо, чтобы каждая нейросетевая модель функционировала в конкурентной среде времени выполнения, которая поддерживает механизм барьерной синхронизации. Используемый алгоритм мультиверсионного голосования является частью модуля принятия решений. Авторы при прототипировании системы использовали алгоритм голосования абсолютным большинством. Однако в дальнейшем будут исследоваться голосование согласованным большинством, голосование нечетким согласованным большинством, а также медианное голосование.

Таким образом, полученная информация обрабатывается модулем принятия решений. Если степень уверенности обнаруженного опасного объекта выше указанного порогового значения, система информирует оператора о наличии в багаже опасного предмета с помощью звукового сигнала. Также оператор через интерфейс пользователя будет видеть результаты работы модуля обнаружения опасных предметов (рис. 5).

Рис. 5. Пример визуализации обнаруженного опасного объекта

Информация по обнаруженным опасным объектам далее сохраняется в базу данных и будет включать в себя изображение багажа с обнаруженными опасными предметами, дату и время проноса опасного предмета, его класс и координаты на кадре.

Одна из особенностей задачи детектирования опасных предметов заключается в широком спектре объектов, которые нужно идентифицировать как потенциально опасные. Разнообразие форм и материалов добавляет дополнительные сложности при автоматизации процесса обнаружения, поскольку собрать исчерпывающий набор данных для качественного обучения модели невозможно. В связи с этим в системе предусмотрена функция дообучения модели на новых данных с изображениями опасных предметов, которые система не смогла выявить. Для этого оператор должен разметить изображения таких объектов. Данный функционал также реализуется через интерфейс пользователя. Размеченные данные далее также сохраняются в базе. На основе этих данных выполняется дообучение системы.

Отличительной особенностью разрабатываемой системы от существующих на рынке решений будет возможность отслеживания случаев проноса неопасных предметов, из которых можно собрать самодельное взрывное устройство (источники питания, изолента, клей, провода, сверла и т.д.). Отслеживать данные случаи будет модуль принятия решений, который сохраняет в памяти информацию о содержимом багажа, уже пронесенного через интроскоп. Получая данные о проверке нового багажа от модуля обнаружения, модуль принятия решений должен сопоставлять содержимое багажей и выдавать соответствующее предупреждение.

Вычислительный эксперимент

В рамках данной статьи проведено исследование модели YOLO для задачи детектирования опасных предметов. YOLO является одной из самых эффективных архитектур для решения задачи детектирования объектов. На данный момент последней версией алгоритма данного семейства является YOLOv8. Первый эксперимент проводился на открытом наборе данных, который был скомбинирован из набора данных X-ray FSOD [8] и SIXray [9].

X-ray FSOD содержит порядка 12000 рентгеновских снимка, куда входят 20 категорий из более чем 40000 общих запрещенных предметов: складной нож, прямой нож, ножницы, канцелярский нож, швейцарский нож, ноутбук, зарядка 1, зарядка 2, телефон, пластиковая бутылка, стеклянная бутылка, баллон, зонт, батарея, обувь с металлическими вставками, металлическая банка, металлическая кружка, кусачки для ногтей, алкоголь.

Таблица 1

Значение метрик на тестовой части модели YOLOv8

Таблица 2

Значение метрик на тестовой части модели YOLOv8

Набор данных SIXray используется частично. Полностью он содержит более 1000000 рентгеновских изображений, полученных с нескольких станций метро. Авторы воспользовались фрагментом из порядка 8000 изображений.

В данном наборе данных шесть общих категорий запрещенных предметов. Список категорий SIXray: пистолет, нож, гаечный ключ, плоскогубцы, ножницы, молоток.

В итоге из объединенного набора данных были выбраны изображения с пистолетами и ножами. Полученный набор данных содержит 18585 изображений. Из них 14868 (80 %) изображений были отобраны для обучения модели, оставшиеся 3717 (20 %) использовались для тестирования модели. Модель обучалась в течение 100 эпох. Для обучения модели был выбран мини-пакетный режим обучения. Размер мини-пакета был выбран равным 32. Результаты обучения модели YOLOv8 на тестовой части приведены в табл. 1.

Исходя из полученных результатов можно сделать следующие выводы. Для класса «нож» получены достаточно высокие значения по отслеживаемым метрикам. Для класса «пистолет» значение Precision сохраняется на довольно высоком уровне (0,974), при этом значение Recall получилось ниже (0,834). Это указывает на то, что модель пропускает некоторые изображения пистолетов, но при этом само обнаружение объектов класса «пистолет» производится с высокой точностью. Значения метрик AP50 и AP50-95 для класса «пистолет» также получились ниже.

Второй эксперимент проводился на собственных данных. Для этой цели был организован пронос муляжей опасных предметов через интроскоп на железнодорожном вокзале. Опасные предметы включали в себя: оружие (пистолет, автомат, ружье, карабин), взрывные устройства (граната, мина), компоненты взрывных устройств (взрыватель) и взрывчатое вещество (тротил). Данные были получены с двух проекций. В итоге было получено 160 изображений. Из них 120 изображений были отобраны для обучения моделей, оставшиеся 40 использовались для тестирования моделей. Так как данных для обучения было мало, применялась техника аугментации для увеличения объема выборки. В качестве преобразований были выбраны операции: вращение, отражение, изменение размера, обрезка, изменение контраста и яркости, а также гамма-преобразование. В результате применения аугментации объем выборки был увеличен до 1250 изображений. Модель обучалась в течение 300 эпох. Для обучения модели был выбран мини-пакетный режим обучения. Размер мини-пакета был выбран равным 32.

Результаты обучения модели YOLOv8 на тестовой части приведены в табл. 2.

Отсюда можно сделать следующие выводы. На тестовой части класс «оружие» показывает снижение значений показателей recall, AP50, AP50-95 (так же, как и для первого набора данных). Это можно связать с рядом причин. Во-первых, на тестовых изображениях могут быть сценарии, в которых пистолеты находятся на сложном фоне, схожем по цвету с другими объектами. Во-вторых, пистолеты могут быть изображены под разными углами, в разных позах или в частично перекрытых сценариях на тестовой выборке. В-третьих, разные виды оружия в тестовой и обучающей частях. Для остальных классов получены достаточно высокие значения показателей.

Заключение

Комплексная задача обнаружения потенциально опасных предметов в видеопотоке интроскопа, особенно с учетом определения предметов, которые в совокупности могут стать ингредиентами для создания взрывчатых устройств или других опасных объектов, требует тщательно продуманного и технологически обоснованного подхода. Разработка интеллектуальной системы поддержки принятия решений, которая обеспечивает не только высокоточное обнаружение угроз, но и способность анализировать и сохранять данные для дальнейшего сравнения и анализа содержимого багажа, является ключевым элементом в обеспечении безопасности транспортных узлов и других публичных пространств.

В данной статье описана возможная структурная модель ИСППР, выбранная для прототипирования программно-аппаратного комплекса. Основными, то есть ключевыми для решаемой задачи элементами такой системы должны стать модуль детектирования опасных предметов, модуль принятия решений и база данных для хранения результатов детектирования опасных предметов.

В работе также выполнено исследование модели YOLOv8 для решения поставленной задачи обнаружения опасных предметов в видеопотоке с интроскопа. Обучение модели выполнялось на двух наборах данных. Первый набор является открытым и включает себя два класса – «пистолет» и «нож». Второй набор данных был собран авторами статьи и включал в себя «оружие», «взрывное устройство», «взрывчатые вещества» и «компоненты взрывных устройств». Для рассматриваемых наборов данных модель YOLOv8 показывает в целом достаточно высокие показатели. Таким образом, в рамках дальнейшего исследования стоит задача сбора единого набора данных, который будет включать в себя все рассматриваемые классы опасных объектов и исследование на данном наборе различных моделей детектирования объектов для формирования мультиверсионной нейросетевой модели.