Введение

Таможенный досмотр является одной из наиболее трудоемких форм таможенного контроля, предусмотренных ст. 328 Таможенного кодекса Евразийского экономического союза (ТК ЕАЭС) [1]. Для контроля содержимого грузовых помещений и упаковки без их вскрытия применяют инспекционно-досмотровые комплексы (ИДК): при просвечивании объекта ионизирующим излучением формируется теневое изображение, на котором материалы с высоким эффективным атомным номером и высокой плотностью отображаются иначе, чем легкие органические. Автоматизированный анализ такого изображения переносит часть типовых операций оценки с оператора в программный контур, тогда как юридически значимое решение остается за должностным лицом таможенного органа.

Инспекционно-досмотровые комплексы бесконтактного неразрушающего контроля крупногабаритных объектов с использованием рентгеновского излучения применяются для обнаружения незаконных скрытых вложений (например, наркотических средств, взрывчатых веществ, оружия, боеприпасов и др.) на таможенных, полицейских и иных пунктах пропуска и контроля [2–4]. Разработке методов обработки изображений ИДК посвящен значительный объем современных исследований [3, 5], что подтверждает актуальность настоящей работы.

На таможенной границе Российской Федерации эксплуатируются десятки стационарных и мобильных ИДК, однако анализ полученных снимков по-прежнему выполняется преимущественно оператором вручную. Ручной анализ имеет два ограничения. Во-первых, пропускная способность ограничена возможностями оператора. Во-вторых, качество решения зависит от квалификации, утомляемости и внимания конкретного специалиста. Стратегия развития таможенной службы Российской Федерации до 2030 г. [6] предусматривает создание интеллектуальных пунктов пропуска и потоковое (портальное) сканирование, при котором транспортные средства перемещаются под сканирующей рамкой сплошным потоком. Такой режим требует автоматического анализа снимков. В связи с этим ФТС России ведет разработку сервиса машинного анализа рентгеноскопических изображений ИДК [7].

Цель исследования – предложить и обосновать нейросетевую модель детекции запрещенных предметов на снимках ИДК и архитектуру информационной системы вокруг нее.

Материалы и методы исследования

При работе ИДК объект просвечивается рентгеновским или гамма-излучением, а детекторная линейка регистрирует прошедший (ослабленный) поток. Ослабление описывается законом Бугера – Ламберта – Бера: интенсивность прошедшего излучения зависит от энергии фотонов, плотности и эффективного атомного номера материала вдоль луча [8, 9]. Сопоставление ослабления на двух энергиях (двухэнергетический режим) позволяет оценить эффективный атомный номер и разделять органические и неорганические материалы; полученная оценка кодируется псевдоцветом. По принятой в отрасли конвенции органические вещества (к которым относятся многие взрывчатые и наркотические) отображаются в оранжево-желтой гамме, металлы – в синей, промежуточные материалы – в зеленой. Таким образом, псевдоцвет несет материаловедческую, а не декоративную информацию и должен учитываться при распознавании.

В дальнейшем изложении разграничиваются аппаратный детектор (детекторная линейка ИДК, регистрирующая излучение) и нейросетевой детектор объектов (программная модель, выполняющая обнаружение и классификацию предметов на сформированном изображении).

Формально задача сводится к детекции – совместному обнаружению и классификации объектов интереса: огнестрельного оружия, боеприпасов, ножей, инструментов, а также вложений с признаками опасных веществ. Особенностью таможенного применения является асимметрия цены ошибки: пропуск угрозы (ложноотрицательное решение) недопустим, тогда как ложное срабатывание приводит к дополнительному физическому досмотру. Поэтому рабочую точку модели (сочетание порогов уверенности и подавления, при котором принимается решение об обнаружении) смещают в сторону высокой полноты (recall), а не максимальной точности (precision); при этом скорость обработки должна соответствовать темпу потокового сканирования.

Рентгеновский снимок ИДК представляет собой проекцию: излучение проходит объект насквозь, и вклады всех вложений вдоль луча суммируются. Основную трудность создает перекрытие: запрещенный предмет нередко проецируется поверх другого груза и виден частично, а его контур и материаловедческие признаки искажаются наложением. Дополнительными факторами являются произвольные ориентация, масштаб и ракурс предметов, а также большой и переменный размер кадра.

Таблица 1

Общедоступные наборы данных рентгеновских изображений для детекции запрещенных предметов

Примечание: составлена авторами на основе источников [8, 10–12].

Совокупность этих факторов ограничивает применимость детекторов, разработанных для изображений видимого диапазона. Кроме того, потоки данных существенно несбалансированы: доля кадров с запрещенными вложениями составляет доли процента.

Развитие нейросетевых методов в данной области опирается на общедоступные эталонные наборы, характеристики которых приведены в табл. 1. Набор SIXray [10] содержит 1 059 231 изображение, при этом доля изображений, содержащих запрещенные предметы, составляет около 0,84 % (≈ 8,9 тыс. кадров), что воспроизводит реальный классовый дисбаланс. Набор OPIXray [11] ориентирован на исследование перекрытий: он содержит преимущественно режущие предметы (ножи различных типов) и размечен по трем уровням наложения. Набор PIDray охватывает различные сценарии и содержит как ограничивающие рамки, так и сегментные маски объектов; набор представлен в 2021 г., а его развернутое описание опубликовано в 2023 г. [12]. Перечисленные наборы задают общую систему координат для сравнения моделей, однако все они получены на зарубежной аппаратуре и не отражают в полной мере шумовые и геометрические характеристики конкретных российских ИДК.

Современное распознавание образов основано на сверточных нейронных сетях, которые в 2012 г. существенно превзошли классические методы классификации изображений [13]; теоретические основы глубокого обучения обобщены в [14]. Экстракцию признаков в актуальных моделях выполняют глубокие сети с остаточными связями (ResNet) [15] и масштабируемые архитектуры EfficientNet [16]: остаточные связи обеспечивают устойчивое обучение сетей большой глубины и формирование иерархии признаков – от границ и текстур до целостных объектов.

Нейросетевые детекторы объектов принято делить на два семейства. Двухэтапные детекторы (канонический представитель – Faster R-CNN [17]) сначала формируют области-кандидаты, а затем классифицируют их и уточняют рамки, обеспечивая высокую точность локализации при большей вычислительной стоимости. Одноэтапные детекторы (YOLO [18], RetinaNet с фокальной функцией потерь, снижающей дисбаланс между объектами и фоном [19]) предсказывают результат за один проход и работают быстрее, что важно для потокового режима; к трансформерным детекторам относится DETR [20].

Для оценки детекции используются: precision (доля верных обнаружений среди всех обнаружений), recall (доля обнаруженных объектов среди всех целевых), IoU (отношение площади пересечения предсказанной и эталонной рамок к площади их объединения), AP (площадь под кривой «точность – полнота» для отдельного класса при заданном пороге IoU) и mAP (усреднение AP по классам). Показатель mAP@0,5 вычисляется при пороге IoU = 0,5; mAP@[0,5:0,95] – усреднение по порогам IoU от 0,5 до 0,95 с шагом 0,05 (протокол COCO).

Предлагаемая информационная система обработки и анализа рентгеновских изображений реализуется в соответствии со схемой на рис. 1. Изображение, формируемое ИДК в потоковом режиме, поступает в модуль предобработки, где выполняются суммирование интенсивностей, формирование псевдоцветового представления по эффективному атомному номеру и нормализация. Параллельно функционирует модуль информационной безопасности, обеспечивающий контроль целостности поступающего изображения (проверку неизменности данных на основе криптографических хеш-функций) для исключения подмены или искажения снимка в тракте передачи. Экстрактор признаков на основе остаточной сверточной сети с модулем деокклюзионного внимания формирует иерархическое описание изображения, акцентируя признаки перекрытых объектов (рис. 2). Затем реализуется двухэтапная схема детекции: формирование областей-предложений с последующей классификацией, регрессией ограничивающих рамок и подавлением немаксимумов. Результатом являются локализованные и классифицированные запрещенные предметы, передаваемые оператору как рекомендация для принятия решения о физическом досмотре. Для обоснования рекомендаций применяется визуализация значимых областей методом Grad-CAM [21], формирующая тепловую карту вклада участков изображения в решение модели. Контур обратной связи возвращает подтвержденные результаты досмотра в систему для периодического дообучения моделей.

Модуль деокклюзионного внимания объединяет канальное и пространственное внимание и развивает подход, предложенный для набора OPIXray [11]: он усиливает признаки частично перекрытых предметов и подавляет фоновые наложения, повышая устойчивость детекции в условиях суммирования интенсивностей. Общая архитектура модели приведена на рис. 2.

Модельный набор данных и протокол эксперимента. Ввиду ограниченного доступа к реальным снимкам ИДК, отнесенным к информации ограниченного распространения, для оценки использован модельный (синтетический) набор данных, воспроизводящий структуру и статистические свойства эталонных наборов. Набор содержит 24 000 изображений шести классов запрещенных предметов (пистолет, нож, гаечный ключ, плоскогубцы, ножницы, молоток) и разделен на обучающую, валидационную и тестовую выборки в отношении 70/15/15 (16 800 / 3600 / 3600 изображений).

Изображения формировались наложением проекций объектов интереса на фоновые сцены грузов с моделированием суммирования интенсивностей по закону ослабления и псевдоцветового кодирования; воспроизведены характерный классовый дисбаланс и три уровня перекрытия. Для приближения к натурным условиям внесены аппаратные искажения, типичные для ИДК: дрейф нуля детекторов, неоднородность их чувствительности, квантовый шум при низких экспозициях, артефакты реконструкции на границах плотных объектов и разброс параметров источника.

Рис. 1. Схема информационной системы обработки и анализа рентгеновских изображений ИДК Примечание: составлен авторами по результатам данного исследования

Рис. 2. Архитектура нейросетевой модели детекции с деокклюзионным вниманием Примечание: составлен авторами по результатам данного исследования

Обучение выполнялось в среде PyTorch с использованием библиотеки детекции на графическом процессоре NVIDIA Tesla V100 (32 ГБ), режим вычислений FP32. Экстрактор признаков (ResNet-101) инициализировался весами, предобученными на наборе ImageNet. Оптимизатор – SGD (начальная скорость обучения 0,02, момент 0,9, регуляризация 1·10⁻⁴), размер батча 8, размер изображения 1333×800, 24 эпохи со ступенчатым снижением скорости обучения; применялись стандартные аугментации. Каждая конфигурация обучалась в пяти независимых запусках с различной инициализацией генератора случайных чисел; в таблицах приводятся средние значения и 95 %-ные доверительные интервалы (бутстреп по тестовой выборке). Статистическую значимость различий mAP оценивали парным бутстреп-критерием. С предложенной моделью сравнивались RetinaNet, YOLOv8, DETR и Faster R-CNN с экстрактором ResNet-101; все модели обучались с переносом предобученных весов на одинаковых выборках и в одинаковых условиях.

Результаты исследования и их обсуждение

Результаты сравнения архитектур на тестовой выборке (3600 изображений) приведены в табл. 2. Время обработки измерено на NVIDIA Tesla V100, FP32, при размере батча 1 и размере изображения 1333×800, после прогрева (warm-up) и с синхронизацией CUDA; в него включены стадии пред- и постобработки.

Предлагаемая модель обеспечила наилучшие показатели качества (mAP@0,5 = 0,921 ± 0,004; mAP@[0,5:0,95] = 0,642 ± 0,006). Прирост относительно двухэтапного базиса Faster R-CNN составил +0,015 по mAP@0,5 и +0,029 по mAP@[0,5:0,95] и статистически значим по парному бутстреп-критерию (p < 0,05).

Для проверки того, что прирост обусловлен именно обработкой перекрытых объектов, проведены абляция модуля деокклюзионного внимания и стратификация качества по уровням перекрытия (табл. 3).

Из табл. 3 следует, что вклад модуля внимания возрастает с усилением перекрытия: при сильном наложении прирост достигает +0,043, тогда как в отсутствие перекрытия он составляет +0,007. Это подтверждает, что преимущество предложенной модели обусловлено обработкой перекрытых объектов, а не равномерным масштабированием качества по всем условиям.

Поклассовое качество предложенной модели приведено в табл. 4.

Таблица 2

Результаты детекции запрещенных предметов различными архитектурами

Примечание: составлена авторами по результатам вычислительного эксперимента (пять запусков; ± – границы 95 %-ного доверительного интервала).

Таблица 3

Абляция модуля внимания и качество (mAP@0,5) по уровням перекрытия

Примечание: составлена авторами по результатам вычислительного эксперимента.

Таблица 4

Поклассовое качество предложенной модели (AP@0,5)

Примечание: составлена авторами по результатам вычислительного эксперимента.

Наибольшая точность достигается для компактных, контрастных по материалу объектов (огнестрельное оружие, металлический инструмент). Тонкие, легко перекрываемые предметы (ножницы) и недостаточно представленные классы (молоток) детектируются хуже, что согласуется с закономерностями, известными для эталонных наборов, и косвенно подтверждает адекватность модели.

Быстродействие предложенной модели составляет около 58 мс на кадр (≈ 17 кадров в секунду в указанных условиях). Для портального сканирования автомобилей, при котором кадры формируются по мере проезда, этого быстродействия достаточно. Для конвейерного досмотра багажа с высоким темпом ленты требуется более легкая одноэтапная модель или аппаратное ускорение вывода. Выбор архитектуры целесообразно привязывать к целевому сценарию, а не к максимальному значению mAP.

Ограничения исследования. Полученные оценки основаны на модельных данных, воспроизводящих характеристики ИДК, и не заменяют внешнюю валидацию. Перенос результатов с багажных эталонных наборов (SIXray, OPIXray, PIDray) на крупногабаритные таможенные ИДК ограничен различиями доменов по энергии излучения, геометрии съемки, размеру поля, типу груза, разрешению, псевдоцветовому кодированию и характеру шума. Поэтому практические рекомендации требуют последующей валидации на снимках отечественных ИДК.

Выводы

1. Предложена композитная нейросетевая модель детекции запрещенных предметов на снимках ИДК, в которой экстрактор признаков с остаточными связями дополнен модулем деокклюзионного внимания, а архитектура системы включает модули предобработки, контроля целостности изображения и интерпретируемости (Grad-CAM).

2. На модельном наборе данных (24 000 изображений, шесть классов, воспроизведение аппаратных шумов ИДК; усреднение по пяти запускам) модель обеспечила mAP@0,5 = 0,921 ± 0,004 и mAP@[0,5:0,95] = 0,642 ± 0,006, статистически значимо превзойдя базовые архитектуры.

3. Абляция и стратификация по уровням перекрытия показали, что преимущество модели обусловлено обработкой перекрытых объектов: прирост качества возрастает с усилением наложения (до +0,043 по mAP@0,5 при сильном перекрытии).

4. Быстродействие (≈ 58 мс/кадр) достаточно для портального сканирования автомобилей; для высокоскоростного конвейерного досмотра требуется более легкая модель или аппаратное ускорение вывода.

5. Нейросетевая детекция способна поддержать разбор снимков ИДК в темпе потока в качестве средства поддержки, а не замены оператора; практическое внедрение определяется прежде всего наличием репрезентативных размеченных выборок под отечественную номенклатуру угроз и конкретные типы ИДК, защищенного контура дообучения и регламентов использования рекомендаций модели.

В работе рассмотрена задача нейросетевой детекции запрещенных предметов на рентгеновских изображениях таможенного досмотра. Проанализированы нормативные основания применения ИДК и особенности таможенных снимков, охарактеризованы общедоступные наборы данных и современные архитектуры детекции, предложены модель с деокклюзионным вниманием и архитектура системы вокруг нее. Вычислительный эксперимент на модельных данных подтвердил преимущество предложенного подхода по метрикам mAP@0,5 = 0,921 и mAP@[0,5:0,95] = 0,642 при приемлемом быстродействии; при этом результаты требуют внешней валидации на снимках отечественных ИДК. Дальнейшая работа предполагает три направления: распознавание материалов по многоэнергетическим (а не только двухэнергетическим) данным; интеграцию модели в архитектуру интеллектуального пункта пропуска с увязкой на систему управления рисками; разработку требований к устойчивости моделей к состязательным воздействиям. Результаты применимы при развитии интеллектуальных технологий таможенного контроля в рамках реализации Стратегии развития таможенной службы Российской Федерации до 2030 г.