Scientific journal

Modern high technologies

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

В последнее время наблюдается повышение интереса к задачам распознавания образов в информатике, космосе, биомедицине и других приложениях. Об актуальности этого научного направления свидетельствует создание Национального комитета при Президиуме РАН по распознаванию образов и анализу изображений (НК РОАИ) [1]. Исследования по распознаванию образов приобретают крупномасштабный и международный характер в виде проводимых российских и международных конкурсов. Одним из перспективных направлений в области распознавания образов являются разработка, исследование и практическое применение характеристик, инвариантных к различным группам преобразований, что подчеркивается рядом актуальных современных публикаций [2–4].

В плоском случае инвариантами к операции поворота изображения некоторого объекта являются: площадь и длина контура изображения, отношение максимального и минимального расстояний от центра до границы объекта и другие особенности. В работах [5, 6] предложен и исследован способ сравнения профилей летательных объектов по габаритным параметрам. В сочетании с методами выделения объектов на фоне алгоритм может быть использован, например, для оценки относительного положения и распознавания движущихся объектов.

Представляет интерес направление, связанное с выделением инвариантов к яркостным и аффинным преобразованиям, что увеличивает вероятность получения правильного решения при распознавании образов.

В работах [7, 8] были предложены инвариантные моменты для бинарных и полутоновых изображений. Теоретическая и экспериментальная проверка инвариантности была выполнена, например, в работах [9, 10]. Отмечается, что на практике изображения зашумлены и нестабильны. В таких условиях уместно говорить о «псевдоинвариантах», которые чувствительны к деформациям и шумам, но являются инвариантами при отсутствии возмущающих факторов. Для создания классов образов необходимо иметь представительный набор графических изображений, составляющих обучающую выборку.

В настоящей работе исследуются свойства инвариантов изображений, в том числе анализируется их устойчивость к аффинным и яркостным преобразованиям. Обобщаются результаты практических исследований, проведенных автором и его коллегами применительно к задачам распознавания лиц, печатных символов и ригидных объектов на снимках ДЗЗ в ИПС им. А.К. Айламазяна РАН, ФИЦ ИУ РАН и РУДН в разное время.

Материалы и методы исследования

Теория алгебраических инвариантов работает с функциями классов, которые остаются неизменными даже при координатных трансформациях, и позволяет дать математическое обоснование инвариантных особенностей. Приведем некоторые определения применительно к графическим объектам [10–12].

Определение 1. Инвариантом называется функционал I(F), определенный на изображении F таким образом, что I(F) = I(D(F)) для пространства всех допустимых преобразований D, причем I(F1), I(F2) должны быть «достаточно различны» для разных изображений F1 и F2. Наиболее ценными дескрипторами служат геометрические и яркостные инварианты.

Определение 2. Моментами изображения f(x, y) называются отображения кусочно-непрерывной функции в полиномиальный базис, , где P – множество многочленов, определенных на компактном носителе ; l, m – неотрицательные целые; r = l + m является порядком момента.

Определение 3. Инвариантными моментами называются дескрипторы M1(f), ..., Mn(f), построенные на основе степенных моментов, которые описывают математическую модель изображения f(x, y) и являются инвариантами к его аффинным преобразованиям.

Примером служат инвариантные моменты, представленные в работе [7]. Вследствие дискретности цифровых изображений применение аффинных преобразований может приводить к частичной или полной потере свойств инвариантности (флуктуации моментов). Поэтому применительно к реальным изображениям следует говорить о «субинвариантах».

Определение 4. Субинвариантными моментами цифрового изображения F называются моменты M(F), величины которых могут меняться при выполнении аффинных преобразований. При этом они не должны превышать установленные допустимые величины отклонений Δ, приемлемые для решения задачи классификации.

В дальнейшем для удобства, там, где это не оговорено особо, будем называть инвариантные и субинвариантные моменты просто моментами.

Применение геометрических инвариантов в виде моментов не требует совмещений и масштабирования объектов, но они чувствительны к изменениям яркости.

Пусть дана функция f(x, y), а также моменты порядка не выше чем p + q, которые определены как:

.

Если функция f(x, y) является кусочно-непрерывной и имеет нулевые значения только на ограниченной части образа, то существуют моменты μ_pq всех порядков, которые взаимно однозначно ее определяют.

Центральные моменты для цифрового изображения определяются следующим образом [8]:

, (1)

где , – это «центр тяжести» изображения.

Нормализованные центральные моменты определяются так:

, .

Центральные моменты позволяют найти семь инвариантных моментов (табл. 1). В работе [9] выполнен анализ чувствительности инвариантных моментов.

Таблица 1

Моменты и их чувствительности

Точность измерения координат точек объекта обозначим величиной δ, . Пусть – возможные изменения (флуктуации) переменных , вызванные ошибками измерений. С учетом этих ошибок центральный момент μ11 будет вычислен как:

Отсюда следует, что чувствительность μ11 к изменениям данных пропорциональна или равна δ2. Результаты исследований теоретической чувствительности моментов представлены в табл. 1. Нетрудно убедиться в том, что моменты для полутоновых объектов чувствительны к изменениям освещенности. Нестабильность может привести к снижению показателей качества распознавания. Рассмотрим подходы к устранению этого недостатка.

Один из распространенных подходов связан с отказом от полутоновых изображений путем перехода к бинарным изображениям на основе пороговой фильтрации. Однако при этом может быть потеряна часть информации.

Другой подход связан с введением нормирования изображений, препятствующего изменениям яркостных представлений одного и того же объекта. Пусть яркостные характеристики изображения подвергаются линейному преобразованию .

Подставим модифицированную яркость пикселей в формулу (1):

. (2)

Для удобства перенумеруем все пиксели изображения по порядку:

.

Тогда получим:

.

Откуда:

.

Центральные моменты, вычисленные по этим формулам, будут инвариантны к линейным преобразованиям яркости. В случае когда имеет место только мультипликативное изменение яркости, нормализация моментов не представляет затруднений. Однако на практике информация о параметрах яркостных преобразований часто является априори неизвестной. В табл. 1 представлена чувствительность 2D-инвариантных моментов к изменениям масштаба в δ раз и яркости изображения в k раз.

В качестве δ можно использовать величину, характеризующую размер изображения: . С ее помощью можно построить моменты, инвариантные к масштабированию бинарных изображений [9].

Результаты исследования и их обсуждение

Экспериментальные исследования проводились для объектов разной природы, включая фотографии лиц, буквы алфавита и профили самолетов. При этом в качестве признаков использовались инвариантные моменты, а в качестве классификаторов для распознавания объектов применялись метрики Евклида и Евклида–Махаланобиса.

Распознавание лиц метрикой Евклида

Для проведения серии экспериментов по распознаванию лиц был применен метод инвариантных моментов в сочетании с метрикой Евклида. В качестве объектов исследования использованы фотографии из открытой базы данных – 30 человек с разрешением 320x420 пикселей. Рассмотрим примеры распознавания лиц в условиях, когда они могут быть представлены в различных ракурсах. В табл. 2 представлены некоторые образцы фотографий.

Целесообразно осуществить переход от цветных изображений к полутоновому виду, воспользовавшись следующей формулой: . Без потери общности положим, что изображения в базах данных приведены к одному масштабу.

В табл. 3 представлены инвариантные моменты для первых образцов (первого столбца) табл. 2.

В табл. 4 представлены расстояния Евклида между экземплярами, причем первый момент ввиду большой абсолютной величины в расчет не брался.

Точность распознавания с применением метрики Евклида составила около 80 %.

Таблица 2

Фрагмент базы данных с фотографиями

С целью расширения исследований и повышения достоверности решалась задача распознавания образов с применением метрик на существенно большем числе экземпляров. При этом допускались изменения в расположении лица на фотографии, наклоны головы, небольшие повороты, плохая освещенность.

Распознавание лиц с применением расстояния Евклида–Махаланобиса

Классы распознаваемых объектов могут пересекаться по установленной мере близости. С целью улучшения качества распознавания была введена мера Махаланобиса [11].

Таблица 3

Значения моментов для первого столбца

Таблица 4

Расстояния Евклида между образами

Определение 5. Расстоянием Махаланобиса между двумя векторами и в пространстве Rp называют функцию вида:

, (3)

где S – матрица ковариации; является нормой x.

Все точки с одним и тем же расстоянием, имеющим норму , удовлетворяют равенству . Заметим, что если матрица ковариации S в функции является единичной, то расстояние Махаланобиса становится равным расстоянию Евклида.

Для задачи классификации (принятие решения о принадлежности вектора классу) вводится расстояние Махаланобиса между вектором x и центром класса , которое определяется как .

Метрика Махаланобиса обладает тем недостатком, что не может быть применена в случае обращения в нуль хотя бы одного элемента главной диагонали матрицы S, поэтому на практике используют ее модификации.

Определение 6. Расстоянием Евклида–Махаланобиса между двумя векторами и в пространстве Rp называется функция вида [11]:

(4)

где E – единичная матрица. Метрика Евклида–Махаланобиса (4) устраняет недостаток метрики Махаланобиса (3), поскольку элементы ее главной диагонали всегда больше нуля.

Была проведена серия экспериментов, для которой использованы фотографии 168 человек с разрешением 180х200 пикселей из открытой базы данных [12], общим размером 3360 изображений. При этом 150 человек представлены вариантами лиц с незначительной мимикой и 18 человек – с сильными эмоциями.

В табл. 5 приведены примеры нескольких классов и тестовые примеры лиц людей с незначительными изменениями мимики. В таблице 6 приведены примеры фотографий плохого качества, на которых представлены люди с незначительным изменением мимики.

Применение метрики Евклида–Махаланобиса обеспечивает хорошее качество распознавания при небольших яркостных флуктуациях, она хорошо справляется с такими усложняющими распознавание факторами, как закрытые глаза, мимика (улыбки, гримасы и т.п.), наличие поворотов и наклонов головы. Точность распознавания с применением метрики Махаланобиса для первой группы составила 93,33 %, для второй – 89 %.

Распознавание букв алфавита метрикой Евклида

В подходе [13] предлагается выделять до 80 геометрических признаков с последующей статистической обработкой результатов и принятием наиболее вероятного решения. Заметим, что и статистические методы обеспечивают лишь 50–80 %-ное распознавание для рукописного текста. Работы по практическому распознаванию букв и текстов на их основе по-прежнему являются актуальными, о чем свидетельствуют многочисленные публикации и доклады на конференциях по распознаванию образов.

Подход к распознаванию символов с применением моментов является достаточно популярным. Укажем, например, работу [14], в которой рассматривается алгоритм формирования признаков и решающих правил распознавания символов на основе инвариантных моментов на базе модели описания бинарного растрового изображения.

Таблица 5

Примеры фотографий людей с незначительным изменением эмоций

Таблица 6

Примеры фотографий, на которых представлены лица людей с сильными эмоциями

В табл. 7 показаны буквы и соответствующие этим буквам значения критерия. Распознавание букв алфавита проводилось на примере шрифта Times New Roman. За эталон были взяты заглавные буквы от «А» до «Я». Кегль равнялся 80 pt, а максимальный размер поля, на котором могли рассматриваться обрабатываемые буквы, – 300x300 точек.

При написании букв крупным кеглем появляется эффект «бахромы». Здесь целесообразен переход к бинарному изображению, реализуемый пороговой фильтрацией.

Для малой буквы «А» (кегль = 50 pt) мера равна 0,70065, для большой – 0,72302 (кегль = 180 pt). Форма интерфейса для распознавания букв представлена на рис. 1.

В левой верхней части формы расположено рабочее поле размером 300х300 пикселей, что достаточно для распознавания буквы размером до 200 pt. Три числа вверху справа (3518 86482 90000) соответствуют количеству черных пикселей, нечерных пикселей и общему количеству пикселей. Форма содержит значения инвариантных моментов для данной буквы и аддитивную меру близости.

Точность распознавания в соответствии с аддитивной мерой достаточно высока и составляет примерно 90 %. Для повышения точности распознавания следует применить преобразования, связанные с утоньшением и устранением «бахромы». Логические методы выполнения подобных преобразований хорошо описаны в работе [15].

Распознавание летательных аппаратов (ЛА) по контурам

Задача классификации ЛА по габаритным параметрам в большинстве практически важных случаев может быть сведена к исследованию контура (проекции) [6].

Таблица 7

Мера Евклида для букв алфавита (фрагмент)

Рис. 1. Интерфейс для распознавания букв

Рис. 2. Профили самолетов

Таблица 8

Значения инвариантных моментов для контуров самолетов

Таблица 9

Расстояния для тестовой выборки

В табл. 8 указаны инвариантные моменты из обучающей выборки.

Процесс идентификации летательного аппарата заключается в сравнении отдельных элементов или полных наборов инвариантных моментов исследуемого и эталонных изображений. В табл. 9 приведены классифицирующие расстояния для некоторых тестируемых типов ЛА.

Видно, что обе метрики правильно классифицируют тестируемые образцы.

Измерение расстояний при условии корректного выделения силуэта позволяет идентифицировать образцы с точностью свыше 90 %.

Заключение

Применение инвариантов в качестве признаков изображений в общем случае дает неплохие результаты по распознаванию объектов различной природы за счет некоторой устойчивости к небольшим флуктуациям и искажениям изображений. Это могут быть фотографии, символы, объекты ДЗЗ и др. Для распознавания образов возможно применение различных метрик и классификаторов. Этап выделения признаков является определяющим для эффективной классификации образов. Инварианты в качестве признаков осуществляют существенное сжатие информации о классах, однако способны в некоторых пределах обеспечивать устойчивость к возмущениям среды в задачах распознавания. Для реальных динамических изображений с целочисленными значениями координат моменты могут флуктуировать из-за геометрических искажений. При распознавании фотографий адекватной мерой является расстояние Махаланобиса и Евклида–Махаланобиса. Разработанную систему целесообразно использовать для классификации фотографий с изображениями лиц в сложных условиях: измененная мимика (улыбка и т.п.), повороты и/или наклоны головы, небольшие яркостные изменения (в пределах 20 %).

Работа выполнена при частичной финансовой поддержке проектов РФФИ № 20-07-00022 А «Разработка и исследование методов распознавания образов на основе инвариантов к яркостным и геометрическим преобразованиям в системах технического зрения беспилотных летательных аппаратов»; № 18-29-03011 мк «Исследование и разработка новых методов и технологий для задач интеллектуального анализа и оптимизации обработки больших потоков данных дистанционного зондирования Земли».