Введение

При повторном досмотре днище автомобиля можно сравнивать с его ранее зарегистрированным состоянием без посторонних предметов. Система выделяет участки для проверки, а оператор определяет причину различия. Такой режим применим в составе интегрированных систем безопасности [1]. Выделению предметов мешают изменения освещения, загрязнение и остаточные ошибки совмещения: каждый из этих факторов также создает различия между текущим изображением и эталоном.

Эталонный анализ днища на основе локальных признаков рассматривается в работе [2]. Влиянию освещения на сопоставление изображений движущегося автомобиля посвящена работа [3], а контролю подвагонного оборудования с использованием модели с памятью – работа [4]. Для промышленного обнаружения визуальных аномалий разработаны набор AutoVI [5] и методы PatchCore [6] и EfficientAD [7]. Набор MVTec AD 2 включает усложненные условия съемки [8]. Эти подходы различаются способом представления нормального состояния и объемом данных, необходимым для обучения.

В предлагаемом методе кандидатом называется прямоугольная область возможного изменения, выделенная по контурам или остаточной разности изображений. Кандидатов оценивает градиентный бустинг. Соседние и пересекающиеся области объединяются перед предъявлением оператору. Если объединение выполняется до оценки, меняются размер области и используемые признаки; при обратном порядке каждый исходный кандидат отбирается отдельно. Поэтому одна и та же последовательность операций может давать разные результаты для контурных и разностных областей.

Цель исследования – разработать метод эталонного выявления изменений на изображениях днища и проверить связь между источником кандидатов и порядком их оценки и объединения. На одном корпусе сопоставлены шесть конфигураций с одинаковым правилом формирования обучающей метки. Научный вклад работы состоит в установлении для этого корпуса различий в охвате, локализации и внешней площади срабатываний при совместном изменении источника кандидатов и порядка обработки. Исследование имеет пилотный характер; его результаты определяют варианты для последующей независимой проверки.

Материалы и методы исследования

Корпус и проверка. Исследованы 195 панорамных полутоновых кадров 12 физических автомобилей, полученных системой «Автодосмотр» ЦРПА.421423.027-01 производства АО «АЛГОНТ». В 149 положительных кадрах размечены 823 прямоугольные зоны размещения муляжей посторонних предметов; 46 отрицательных кадров не содержат таких размещений. Разметка описывает зоны размещения, а не точные маски предметов. Дубликаты и записи отсутствующих изображений исключены.

Банк сравнения содержит 245 чистых эталонов; метрики рассчитываются по 195 текущим кадрам. В архиве выделены 23 группы «автомобиль – сторона»: метка стороны задает внутримашинную подгруппу для выбора сопоставимого эталона. При обучении и проверке все подгруппы одной машины объединены; единица группировки – физический автомобиль.

В каждом из 12 разбиений оценщик обучается на кандидатах остальных автомобилей и проверяется на всех кадрах исключенной из обучения машины. Итоговые метрики рассчитываются по объединенным проверочным предсказаниям. Группировка по физическим автомобилям учитывает зависимость повторных наблюдений [9]. Чистые эталоны проверяемой машины доступны по условиям повторного досмотра; ее размеченные кандидаты в обучение оценщика не входят. Архитектура и рабочие пороги, однако, выбирались ретроспективно по тому же корпусу. Такое использование данных может завышать итоговые оценки [10], поэтому данная проверка не является независимым внешним испытанием уже зафиксированного метода.

Сравнение построено по схеме 3×2: три источника кандидатов (контуры, остаточная разность, их комбинация) и два порядка обработки (объединение до оценки или после нее). Во всех шести конфигурациях фиксирована обучающая цель: отношение площади пересечения кандидата с размеченной зоной к площади их объединения (IoU) не ниже 0,5. Порог балла 0,6 задает общую рабочую точку; частоты срабатываний оцениваются отдельно.

При отказе штатного совмещения в расчете метрик используется пустой набор детекций. Сам кадр и все его размеченные зоны остаются в знаменателях, поэтому отказ не исключает трудный пример из оценки. В системе досмотра этому событию должен соответствовать отдельный статус, требующий ручного просмотра изображения.

Эталон и совмещение. Эталон из той же внутримашинной группы выбирается по структурному хешу пространственно-ориентационного распределения контуров. Отсутствие посторонних предметов на эталоне подтверждается при включении в банк.

Совмещение приводит изображения к общей системе координат [11]. После локального контрастно-ограниченного выравнивания гистограммы на уменьшенных в 6 раз кадрах вычисляются до 3000 ORB-признаков [12], распределенных по сетке 4×8. Соответствия FLANN-LSH фильтруются по расстоянию дескрипторов, отношению расстояний и устойчивым оценкам смещений.

Поле смещений строится по средним в занятых ячейках сетки 20×7; угловые опоры задаются медианным глобальным сдвигом. Линейная интерполяция и кубическое растяжение формируют обратную координатную карту в плоскости изображения. Критерий приема – не менее 250 соответствий; повторные соответствия одной опорной точке сохраняются.

Рис. 1. Текущий кадр, совмещенный эталон, разностная карта, бинарная маска и ее наложение. Зеленые рамки – разметка; красные пиксели – промежуточная маска Примечание: составлен авторами по результатам данного исследования

Кандидаты. Для яркости текущего кадра I(x), совмещенного эталона TW(x) и области сравнения Ω остаточная разность с компенсацией среднего аддитивного сдвига b равна

. (1)

Здесь |Ω| – число пикселей. Разность до взятия модуля вычисляется в расширенном числовом типе. К неотрицательной карте D(x) применяются четыре эрозии ядром 5×5, затем обнуляются значения ниже 40 уровней восьмибитной яркости. Модуль сохраняет отклонения обоих знаков после компенсации среднего сдвига. Локальные тени, блики и ошибки совмещения могут сохраняться в промежуточных представлениях, показанных на рис. 1.

Контуры выделяются на изображениях половинного размера после открытия, сглаживания и детектора Canny. Хотя бы одна сторона прямоугольника должна превышать 20 пикселей, каждая – быть не больше трети соответствующего размера кадра. Контурная новизна определяется локальным поиском максимального перекрытия:

, (2)

где Γ – пиксели текущего контура, ST – утолщенная опора эталона, Δ – допустимые смещения δ. Окно 30×30 и толщины границ 2 и 10 пикселей заданы в полуразмерных координатах. При равном перекрытии выбирается меньшее смещение; прошедший контур задает прямоугольник-кандидат.

Разностные кандидаты – восьмисвязные компоненты ненулевой карты площадью не менее 128 пикселей, со сторонами прямоугольника не менее 8 пикселей и его площадью не более 10 % кадра. В комбинированном источнике контуры включаются первыми; разностный прямоугольник добавляется при IoU < 0,90 со всеми принятыми.

Оценка и объединение. Кандидат расширяется в 1,5 раза. Вектор оценщика содержит контурную новизну, среднюю разность, долю ненулевых пикселей разности, единицу минус сходство, логарифмически нормированную площадь, нормированное число компонент и отношение ширины к сумме сторон. В используемом семимерном представлении новизна совпадает с единицей минус сходство, а число компонент до слияния постоянно. Таким образом, семь входных значений не являются семью независимыми признаками: до слияния изменяются не более пяти различающихся сигналов.

Применяется HistGradientBoostingClassifier: скорость обучения 0,05, до 140 итераций и 7 листьев, минимум 20 примеров в листе, L2 = 1, начальное состояние генератора 0; веса классов балансируются. Метка положительна при IoU ≥ 0,5 хотя бы с одной зоной. Ранняя остановка scikit-learn 1.5.2 использует внутреннее разбиение кандидатов обучающих автомобилей без группировки; удержанная машина в нем не участвует.

При позднем слиянии кандидаты, прошедшие порог оценщика, доводятся до размера не менее 40×40 пикселей, транзитивно объединяются с нулевым зазором и обрезаются по границам кадра. При раннем слиянии объединение выполняется до оценки, а признаки исходных кандидатов усредняются с весами по площади. Следовательно, сравниваемые схемы различаются порядком операций и способом получения признаков объединенной области. Балл классификатора используется для отбора; итоговые области после постобработки далее называются детекциями.

Метрики. Метрики согласованы с разметкой и уровнем решения [13]. Для кадра i обозначим объединения детекций и разметки через Pi и Gi, отдельную зону – Gij, область кадра – Ωi. Доля покрытия зоны:

. (3)

При N = 823 зонах и n = 195 кадрах охват зон A, среднее покрытие C и средняя площадь срабатываний вне разметки B равны

, (4)

. (5)

A и C усредняются по размеченным зонам, B – по всем 195 кадрам, включая отрицательные. Перекрывающиеся площади учитываются один раз. Зона входит в охват A, если ее пересечение с выделенными областями имеет положительную площадь; касание границ не учитывается. Показатель B описывает среднюю долю кадра, выделенную за пределами разметки. Для характеристики локализации и частоты тревог используются дополнительные показатели.

Детекции сопоставляются с размеченными зонами при IoU ≥ 0,5. Каждой детекции и каждой зоне допускается не более одного соответствия. Сначала максимизируется число допустимых пар, затем их суммарный IoU. По числу сопоставленных и несопоставленных областей рассчитываются точность, полнота и их гармоническое среднее F1. Отдельно подсчитываются полностью ложные области – детекции, не имеющие с разметкой пересечения положительной площади. Их число не совпадает с числом ложноположительных детекций при IoU ≥ 0,5: область может частично пересекать разметку и не достигать этого порога. Также рассчитываются среднее число полностью ложных областей на кадр и доля отрицательных кадров хотя бы с одной тревогой.

Для дополнительного описания соотношения охвата, покрытия и внешней площади используется безразмерный индекс с экспертно заданными весами

. (6)

Основные выводы опираются на A, C, F1 и B по отдельности: более высокие значения первых трех показателей и более низкое значение B считаются предпочтительными. Конфигурация недоминируема, если среди проверенных вариантов нет другого, который был бы не хуже по всем четырем показателям и лучше хотя бы по одному. MQ служит вспомогательной сводной характеристикой; его веса не определялись по измерениям работы оператора. Время обработки и число полностью ложных областей анализируются отдельно.

Для каждого ограничения рассматриваются сохраненные результаты при порогах от 0,1 до 1,0 с шагом 0,1. Из допустимых точек выбирается точка с наибольшим A; при равенстве A предпочтение отдается меньшему значению ограничиваемого показателя, затем более высокому порогу. По отдельности задаются пределы для B, доли отрицательных кадров с тревогой, числа полностью ложных областей на кадр и общей площади выделений. Интерполяция между порогами не выполняется. Выбор сделан ретроспективно; общий верхний предел не означает равенства фактической нагрузки у сравниваемых конфигураций.

Для фиксированных предсказаний выполнен парный процентильный бутстреп по 12 автомобилям: 2000 выборок с возвращением, начальное состояние генератора 42. Кадры одного автомобиля в каждой перевыборке сохраняются вместе [14]. Интервалы уровня 95 % характеризуют межавтомобильную вариабельность при фиксированных предсказаниях. Они не учитывают повторное обучение и выбор конфигурации; малое число автомобилей ограничивает точность оценки неопределенности [15]. Поправка на весь выполненный поиск конфигураций и порогов не применялась. Для воспроизведения проверки необходимо сохранять состав разбиений, предсказания, параметры и версии программного окружения [16].

Результаты исследования и их обсуждение

К1–К6 – конфигурации одного метода, различающиеся источником кандидатов и порядком операций (табл. 1): К1 – контуры, объединение до оценки; К2 – контуры, оценка до объединения; К3 – контуры и разность, объединение до оценки; К4 – контуры и разность, оценка до объединения; К5 – разность, объединение до оценки; К6 – разность, оценка до объединения. Основной исследуемый вариант – К4.

Таблица 1

Пилотная групповая проверка по автомобилям при пороге 0,6

Примечание: составлена авторами на основе полученных данных в ходе исследования.

Каждая строка: 195 кадров, 823 зоны, 12 автомобилей; F1 при IoU ≥ 0,5. В столбце «Ложные области» указано суммарное число полностью ложных детекций; MQ – вспомогательный безразмерный индекс.

Таблица 2

Рабочие точки при ограничениях на срабатывания

Примечание: составлена авторами на основе полученных данных в ходе исследования.

Пределы применяются отдельно; пороги выбраны ретроспективно.

При пороге 0,6 К4 охватил 505 зон против 322 у К1: прирост составил 183 зоны, или 22,236 п. п. F1 увеличился с 0,184 до 0,346, а B – с 2,621 до 3,620 %. Число полностью ложных областей в обеих конфигурациях равно 271. Комбинированный вариант К3 с ранним объединением уступил К1 по охвату. Следовательно, добавление разностных кандидатов само по себе не обеспечило улучшения этого показателя.

Контурный К2 превосходит К1 по A, B, C и F1. При таком же порядке операций комбинированный К4 охватывает еще 95 зон, или 11,543 п. п., и повышает F1 с 0,231 до 0,346. При этом B возрастает на 1,094 п. п. По сравнению с К3 у К4 также выше охват, покрытие и F1, но больше внешняя площадь; по всем четырем критериям К4 не доминирует К3.

Разностный К5 дает F1 = 0,395, B = 0,697 % и 82 полностью ложные области при охвате 324 зон. Раннее объединение К5 предпочтительнее позднего К6 по A, B, C и F1. Среди шести конфигураций недоминируемы К2, К4 и К5.

Таблица 2 сопоставляет К1 и К4 при одинаковых верхних пределах срабатываний: эта пара характеризует суммарный эффект добавления разностных кандидатов и переноса оценки перед объединением.

При каждом из четырех рассмотренных ограничений К4 сохраняет прирост охвата относительно К1. В точках с близкой общей площадью выделений – 4,725 и 4,792 % – охвачены 484 и 375 зон соответственно. Разница составляет 109 зон, или 13,244 п. п. Это сравнение относится к выбранным точкам К1 и К4; результаты К2 и К5 в табл. 1 приведены при общем пороге 0,6.

Для разности К4−К1 при пороге 0,6 интервалы уровня 95 % составляют: A – [17,316; 28,269] п. п.; C – [11,886; 24,836] п. п.; F1 – [0,1261; 0,1989]. Прирост A и F1 положителен у всех 12 автомобилей. Интервал B [−0,198; 2,118] п. п. включает ноль; это не устанавливает эквивалентность конфигураций по внешней площади.

Таблица 3

Чувствительность К4 к размеру разметки

Примечание: составлена авторами на основе полученных данных в ходе исследования. Предсказания фиксированы.

Рис. 2. Примеры обработки положительного и отрицательного кадров и влияния совмещения. Слева – разностные карты, справа – наложение промежуточной маски. Зеленые рамки – разметка; красные пиксели – маска Примечание: составлен авторами по результатам данного исследования

Для пары К4–К1 дополнительно рассчитаны номинальные p-значения по направлениям изменения A и F1. В условной модели независимых знаков с вероятностью положительного изменения 1/2 двусторонний критерий знаков для 12 положительных различий дает p = 0,000488 для каждого показателя. После поправки Холма на эти два показателя p = 0,000977. Расчет оценивает согласованность направления изменений по автомобилям и не является тестом разности совокупного F1. Обучающие части групповой проверки перекрываются, поэтому независимость знаков не гарантирована [17]. Ретроспективный выбор сравниваемой пары и порогов также не учтен: приведенные p-значения не следует трактовать как подтверждение превосходства процедуры обучения на новых данных.

В табл. 3 оценена чувствительность метрик к масштабированию разметки при фиксированных предсказаниях.

При покрытии не менее 25 % зоны К4 имеет 480 контактов (58,3 %), К2 – 373 (45,3 %), К1 – 287 (34,9 %): прирост сохраняется при содержательном перекрытии разметки. Строгие точность и полнота К4 равны 0,359 и 0,334; средний IoU сопоставленных пар – 0,695. Тревоги есть на 60,9 % отрицательных кадров; 271 полностью ложная область дает 1,39 на кадр всего корпуса.

Изменение MQ менее 0,5 при заметных изменениях F1 и C показывает необходимость совместного анализа свертки и ее компонентов. Примеры остаточных различий и влияния совмещения приведены на рис. 2.

Таблица 4

Сопоставление с нейросетевыми методами при общем пределе B*

Примечание: составлена авторами на основе полученных данных в ходе исследования. 195 кадров, 823 зоны, 12 автомобилей; F1 при IoU ≥ 0,5. Ложные области – полностью ложные детекции.

Сравнение с нейросетевыми методами. Нейросетевой контроль включает PatchCore [6] и EfficientAD-S [7]. Для проверки используются те же 195 текущих кадров и банк из 245 чистых эталонов. Нормальные эталоны проверяемого автомобиля доступны всем методам как данные предварительной регистрации; текущие проверочные кадры не включаются в обучение сетей или их банк признаков. PatchCore использует Wide-ResNet-50-2, признаки второго и третьего блоков и подвыборку 10 % банка. EfficientAD-S обучается на нормальных эталонах. Собственный оценщик дополнительно использует разметку кандидатов обучающих автомобилей; условия обучения методов тем самым различаются и учитываются при интерпретации результатов.

Чтобы сохранить локальные детали панорамы, нейросетевые методы обрабатывают окна 512×512 пикселей с шагом 384 пикселя; каждое окно приводится к 256×256 пикселям. Полутоновое изображение повторяется в трех каналах. Карты оценок возвращаются в исходные координаты, в пересечениях окон усредняются; дополненные участки за границами кадра исключаются. Из бинарной карты выделяются восьмисвязные компоненты площадью не менее 128 пикселей; их прямоугольники доводятся до размера не менее 40×40 пикселей, объединяются с нулевым зазором и обрезаются по кадру. Версии реализаций, контрольные суммы весов и правила нормирования карт фиксируются вместе с результатами.

Рабочую точку каждого нейросетевого метода выбирают по максимуму A при B ≤ B*; предел B* равен неокругленному значению B конфигурации К4 при пороге 0,6 (в табл. 4 – 3,620 %). Пороги перебираются по 101 равномерной точке нормированного диапазона оценок, а при равном A выбирается меньшее B. Подбор на этом корпусе является ретроспективным. Таблица 4 сопоставляет результаты при общем верхнем пределе, а не при равной фактической внешней площади.

В рассматриваемых точках К4 охватывает больше зон, но уступает обоим нейросетевым вариантам по F1 и внешней площади. Поэтому преимущество метода относится к охвату при данном ограничении, а не к совокупности всех показателей. Сравнение на том же корпусе не заменяет испытание с заранее зафиксированными настройками на новых автомобилях.

Время обработки. Для К4 на 46 отрицательных кадрах выполнены три прохода (138 замеров); два разогревочных кадра и предварительная загрузка эталонов исключены из измерений. При одном пороге среднее время формирования и оценки кандидатов составляет 1,5367 с, медиана – 1,5276 с, 95-й процентиль – 1,8590 с. Эти значения относятся к одному этапу и не являются временем полного цикла досмотра.

Использована платформа Windows 11 с процессором AMD Ryzen 9 7950X (32 логических процессора). Рабочие пулы и OpenCV ограничены четырьмя потоками. Такое ограничение задает воспроизводимый бюджет вычислений; из числа доступных логических процессоров нельзя непосредственно вывести ускорение при снятии ограничения.

Полный цикл отсчитывается от начала регистрации проезда до готовности результата на экране оператора. Он включает получение и сборку панорамы, выбор и получение эталона, предобработку, совмещение, формирование и оценку кандидатов, их объединение и подготовку отображения. Время принятия решения оператором учитывается отдельно. Алгоритмическая задержка отсчитывается от готовности полной панорамы до готовности результата.

В табл. 5 приведен хронометраж при четырех потоках и последовательной обработке панорам. Серия включает по три прохода для каждого из 195 кадров: 447 измерений положительных и 138 отрицательных примеров. Загрузка программного окружения выполняется до начала серии; банк эталонов подготовлен заранее. Длительности суммарных интервалов регистрируются непосредственно для каждого прохода; медианы и 95-е процентили этапов не складываются.

Таблица 5

Длительность этапов и полного цикла К4

Примечание: составлена авторами на основе полученных данных в ходе исследования. 585 проходов, 195 различных кадров, 4 потока. Суммарные строки перекрываются с перечисленными этапами и повторно не складываются.

Для положительных кадров средняя алгоритмическая задержка составляет 2,767 с, для отрицательных – 2,532 с. По всем кадрам среднее время полного цикла равно 7,194 с, а 95-й процентиль – 8,689 с. Эти оценки относятся к указанной платформе и режиму получения панорам; их перенос на другую скорость проезда, разрешение или вычислительную конфигурацию требует отдельного измерения.

Порядок обработки дал разные результаты для трех источников кандидатов. У контурного варианта К2 по сравнению с К1 улучшились A, C и F1 и уменьшилось B. У комбинированного К4 по сравнению с К3 выросли охват, покрытие и F1, но увеличилась площадь срабатываний вне разметки. Для разностных кандидатов раннее объединение К5 оказалось предпочтительнее позднего К6 по всем четырем основным показателям. Эти наблюдения относятся к реализованным схемам, включая усреднение признаков при раннем слиянии; они не изолируют эффект простой перестановки двух неизменных операций.

К4 дал наибольший охват среди шести конфигураций при пороге 0,6, а К5 – наибольший F1 и наименьшую внешнюю площадь. Выбор между ними зависит от требований к пропускам и площади изображения, которую необходимо проверить оператору. При этом охват A означает любое пересечение положительной площади с зоной размещения. Для К4 строгие точность и полнота составили 0,359 и 0,334, а тревоги возникли на 60,9 % отрицательных кадров. Таким образом, достигнутый охват не следует отождествлять с вероятностью правильного распознавания предмета или с готовностью к автономному досмотру.

Пилотный характер исследования обусловлен ретроспективным выбором архитектуры и порогов, малым числом автомобилей и зональной разметкой. Группировка по автомобилям исключает прямое обучение оценщика на проверяемой машине, но не устраняет влияние выбора метода по итогам того же корпуса. Бутстреп по фиксированным предсказаниям и номинальные критерии знаков не учитывают неопределенность всей процедуры разработки. Прямоугольные зоны размещения муляжей также не позволяют оценивать точность сегментации реальных предметов по их границам.

Внешнюю проверку следует выполнять на новых автомобилях и проездах после фиксации источника кандидатов, предобработки, числа итераций, правил объединения и порогов. Для предварительной настройки пригодна вложенная групповая схема: все решения принимаются внутри обучающих автомобилей, а исключенный автомобиль используется только для итоговой оценки. Разбиение для ранней остановки также должно учитывать автомобиль. В отдельном испытании необходимо измерить время и ошибки оператора, частоту отказов совмещения и поведение системы при изменении условий съемки.

В эксплуатации нужен проверенный и обновляемый банк эталонов. Отказ совмещения должен направлять изображение на ручной просмотр и не считаться подтверждением отсутствия предмета. Хранение исходных предсказаний и версий программного окружения позволяет повторить расчет метрик после изменения порогов или уточнения разметки [16].

Заключение

Предложен метод выявления изменений на изображениях днища при повторном досмотре автомобиля с зарегистрированным эталоном. Метод сочетает локальное совмещение, выделение прямоугольных кандидатов по контурам и остаточной разности, их оценку градиентным бустингом и геометрическое объединение. Результатом служат области изображения для проверки оператором.

В пилотной ретроспективной проверке на 195 кадрах 12 автомобилей комбинированная конфигурация К4 с оценкой до объединения охватила 505 из 823 зон, или 61,361 %, при F1 = 0,346 и внешней площади 3,620 %. Преимущество перед внутренними контурными контролями выражается в большем охвате и F1: у К2 получены 410 зон и 0,231, у К1 – 322 зоны и 0,184. При близкой общей площади выделений К4 охватил 484 зоны против 375 у К1. Разностный К5 обеспечил более высокое значение F1 = 0,395 и меньшую внешнюю площадь 0,697 %, но охватил 324 зоны.

Практическое преимущество предложенного решения состоит в возможности выбирать конфигурацию по требуемому соотношению охвата и локализации: в исследованном корпусе К4 соответствует приоритету охвата, К5 – локализации с меньшей внешней площадью. Один порядок обработки не оказался лучшим для всех источников кандидатов. Результаты ограничены рассмотренным корпусом и ретроспективной настройкой; применимость к новым автомобилям и влияние на работу оператора должны быть установлены независимыми испытаниями.