Человеческое лицо является сложной многомерной структурой, которая может передавать много различной информации о человеке, включая выражение, эмоции, особенности лица. Эффективный анализ особенностей, связанных с лицевой информацией, является сложной научной задачей, которая требует много времени, усилий и методологии интерпретации полученных данных. Основными проблемами успешной системы распознавания и обнаружения лиц являются условия освещения, масштаб, заслонение, положение, фон, выражение и т.д.
В нашей исследовательской работе применены алгоритмы машинного обучения для распознавания лиц на цифровых изображениях [1]. На входе будет использоваться камера для захвата изображений, например, сотрудников, входящих в офис или здание, на которой применяются некоторые передовые техники обработки изображений, такие как корректировка контраста, уменьшение шума с помощью двустороннего фильтра, эквализация гистограммы изображения, а затем применяется алгоритм Хаара для обнаружения отдельных лиц, которые будут использоваться в качестве входных данных для системы распознавания лиц [2].
Вдобавок ко всему вышеперечисленному будет использована техника смешивания изображений (Image Blending technique) [3]. Она будет применена заранее к обучающим (шаблонным) изображениям лиц, затем измененные входные изображения будут сравниваться с улучшенными обучающими изображениями с помощью алгоритма бинарных шаблонов, чтобы получить улучшенные коды LBP для распознавания лиц, таким образом, точность распознавания лиц будет улучшена по сравнению с традиционными кодами LBP без нашего метода.
1. Предлагаемая методология
Первый предлагаемый подход к улучшению заключается в применении метода корректировки контраста к нашим входным изображениям лица, как определено в уравнении (1). Мы протестировали этот метод с различными альфа и бета, чтобы выбрать то значение, которое дает наилучший результат точности обнаружения и распознавания, а именно 1,5 (α) и 0,0 (β).
(1)
Во втором подходе мы сравнили эффекты этих трех типов фильтров: Гауссова фильтра размытия, медианного фильтра и двустороннего фильтра на показатели точности нашей системы распознавания лиц [4]. Мы выбрали фильтр, который дает наилучший результат в нашем случае, а именно двусторонний фильтр, как определено в уравнении
, (2)
где W(x, y) – весовая функция фильтра, I(x, y) – пиксель окрестности входного изображения лица, а знаменатель – нормировка весовой функции, и F(x, y) – результат двустороннего фильтра, примененного к 2N + 1 окрестности. Теперь мы определили CF (x, y) в уравнении (3) как функцию для уменьшения шума и контроля эффектов контраста во входных изображениях, где g(x, y) в уравнении (3) – контрастное изображение, а F(x, y) – применяемый фильтр.
(3)
Пиксели результирующего изображения, полученные из вышеприведенного уравнения, нормируются с помощью метода выравнивания гистограммы изображения, определенного в уравнении (4), чтобы окончательно решить проблемы глобального освещения в обработанных изображениях лица.
(4)
где H’ – это нормализованное кумулятивное распределение с максимальным значением 255. Наконец, мы применили алгоритм LBP к нашим обнаруженным изображениям лица для извлечения и сравнения характеристик [5]. Первый оператор LBP использует фиксированное 3X3 окно окрестности.
Более формальное описание оператора LBP может быть дано следующим уравнением:
(5)
где (Xc, Yc) – значение оттенков (уровня) серого центрального пикселя с, ip и ic является интенсивностью соседнего пикселя, а p – окружающие пиксели в окружности радиусом r, и S(X) – знаковая функция, определенная в уравнении (6), она используется для порогового ограничения фиксированной 3X3.
(6)
Рис. 1. Принципиальный алгоритм распознавания лиц
Рис. 2. Результаты показателей точности
В нашем подходе мы продемонстрировали эффект от использования уравнений (1)–(4) для улучшения общего качества входных изображений лиц, чтобы повысить точность алгоритма распознавания, как показано на рис. 1, где в качестве входного потока выступают фотографии с наличием в них изображения лиц.
При рассмотрении каждого окна 3 × 3 соседних пикселей результирующих изображений из уравнений (3), (4), проблемы шума, освещенности, резкости и разрешения были сильно смягчены. После применения уравнений (1)–(4) к исходным входным изображениям мы получили улучшенные высококачественные изображения с помощью нашего метода, который лучше подчеркивает особенности изображения и позволяет получить более точные гистограммы для сравнения изображений лица, что приводит к улучшению LBP-кодов, позволяя повысить общую точность распознавания лиц [6].
2. Экспериментальные исследования
В этой научной статье мы представляем эффективный и действенный подход, использующий передовые методы обработки изображений для повышения точности распознавания лиц на основе алгоритма локальных бинарных паттернов. В этом разделе мы приведем результаты экспериментов из двух взаимосвязанных частей для демонстрации нашего метода.
В первой части метода каскадный классификатор LBP используется для многократного обнаружения и отслеживания лиц. Сначала мы получаем лица с камеры в реальном масштабе времени или используем цифровое изображение образа и применяем алгоритм каскадного классификатора LBP для обнаружения лиц. Чтобы повысить точность алгоритма обнаружения лиц LBP до уровня алгоритма обнаружения лиц с каскадным классификатором Хаара [7] или даже лучше, при сохранении скорости, мы воспользовались методами обработки изображений, определенными в уравнениях (1)–(4).
Результат нашего эксперимента для этой части представлен на рис. 2. Используя наш подход, мы смогли улучшить показатель точности обнаружения лиц, который является неотъемлемой частью общего показателя точности распознавания лиц, и в то же время уменьшить количество ложноположительных и ложноотрицательных результатов.
В этом исследовании алгоритм классификатора Хаара используется для обнаружения лиц на изображении. Алгоритм Хаара состоит из четырех этапов: интегральное изображение, Хаароподобные признаки, каскадный классификатор, в котором входные изображения лиц сначала представляются в виде интегральных изображений для вычисления Хаароподобных характеристик, а для оптимизации и выбора характеристик используется AdaBoost [8]. Затем полученный набор выбранных характеристик пропускается через каскадный классификатор для определения лиц на изображении.
Помимо алгоритма классификатора Хаара, для обнаружения лиц на изображении также используется предложенный нами улучшенный метод LBP. Сравнивая два метода, можно сделать вывод, что предлагаемый метод превосходит алгоритм Хаара для обнаружения лиц. На рис. 2 для обнаружения лиц с использованием алгоритма Хаара, оригинального LBP и улучшенного LBP с помощью нашего метода сравниваются на наборе данных из 226 изображений, и во всех случаях предлагаемый подход дает лучший результат.
3. Линейное смешивание демонстрационных изображений
После процедуры обнаружения лица мы используем алгоритм LBP с помощью предлагаемых методов обработки изображений, определенных в уравнениях (1)–(4), для лучшего извлечения деталей с изображения, с целью сравнения и распознавания человеческих лиц.
Рис. 3. Модельный пример смешивания двух разных изображений
Во второй части методики, перед применением алгоритма LBP для распознавания обнаруженных лиц на фотографиях, мы применили технику смешивания изображений на наших обучающих наборах данных. Смешивание изображений – это линейная интерполяция [9], часто используемая для смешивания двух изображений f0 и f1, как показано на рис. 3, для улучшения визуального качества изображений путем минимизации эффектов изменения интенсивности. Линейное смешивание определяется уравнением (7), где (α) и (1-α) – доли смешивания, используемые в средневзвешенном значении каждого компонента каждого пикселя.
(7)
В представленной работе мы создали три различных набора данных, каждый из которых содержит различные ориентации и состояния лиц, ограниченные 181×181 пикселями: набор данных [I], набор данных [II] и набор данных [III]. В наборе данных [I] не применялось смешивание изображений, в наборе данных [II] применялось линейное смешивание 1,0 альфа (α), а в наборе данных [III] – линейное смешивание 0,5 альфа (α). Мы протестировали улучшенный алгоритм распознавания лиц LBP на этих трех наборах данных и выбрали тот, который дает наилучший результат точности распознавания лиц в нашей системе, а именно набор [III].
В табл. 1 приведена качественная оценка работы оригинального алгоритма LBP, который был запущен на нашем наборе данных [I], наборе данных без какой-либо обработки изображений. В нашей оценке мы использовали следующие метрики: Ложные отрицания, Неизвестные лица и Ложное распознавание [3]. Нами рассчитан коэффициент распознавания лиц следующим образом:
Коэффициент распознавания лиц = = (Общее количество лиц – общее количество ложных распознаваний) / (Общее количество лиц) × 100 %.
Таблица 1
Показана оценка качества оригинального оператора LBP с использованием набора данных [I]
|
Всего лиц |
Ложноотрицательные |
Неизвестные лица |
Ложное распознавание |
|
354 |
17 |
1 |
33 |
|
358 |
7 |
3 |
25 |
|
362 |
26 |
0 |
38 |
|
418 |
6 |
4 |
48 |
|
370 |
11 |
5 |
34 |
Таблица 2
Оценка качества улучшенного алгоритма LBP с использованием набора данных [III]
|
Всего лиц |
Ложноотрицательные |
Неизвестные лица |
Ложное распознавание |
|
765 |
1 |
4 |
1 |
|
772 |
0 |
9 |
0 |
|
763 |
0 |
12 |
0 |
|
761 |
0 |
8 |
1 |
|
762 |
2 |
4 |
0 |
Кроме того, в табл. 3 точность распознавания лиц предложенным нами методом сравнивается с тремя другими существующими методами в контролируемой среде соответственно.
Таблица 3
Сравнение методов по точности распознавания лиц
|
Метод |
Точность, в % |
|
LBP + SVM + PSO |
96,52 |
|
Original LBP |
89,4 |
|
DCP + LBP + SVM |
97,6 |
|
Предложенный метод |
98,9 |
Результаты, приведенные в табл. 3, показывают, что исследуемый метод, по сравнению с другими, оказывается надежным для применения в реальной среде, а новизна заключается в сочетании алгоритма LBP с новыми методами обработки изображений, такими как регулировка контраста, двусторонний фильтр, выравнивание гистограммы и смешивание изображений как для входных изображений, так и для обучающих изображений, что является скорее дополнительным вкладом в улучшение LBP [4].
Заключение
В заключение следует отметить, что представленный в статье метод позволяет повысить точность распознавания лиц на основе алгоритма локальных бинарных паттернов. Результаты экспериментов подтверждают улучшение показателей точности обнаружения лиц в сравнении со стандартным алгоритмом. Таким образом, предлагаемый метод является значительным улучшением и расширением метода LBP, позволяя получить более надежные результаты в контролируемой реальной среде с использованием передовых подходов к обработке изображений. Полученные результаты подтверждают высокую надежность и эффективность представленного решения, что может быть полезным для выполнения различных практических задач в области компьютерного зрения и распознавания образов.
Дальнейшие исследования и разработки на основе данного метода могут быть направлены на распознавание лиц в условиях низкой освещенности, измененных условий визуального окружения и повышения скорости обработки изображений.