Изображения являются источником информации во многих областях человеческой деятельности. Именно поэтому вопросы повышения их информативности всегда находились в центре внимания специалистов, занимающихся разработкой средств и методов обработки изображений. Одним из методов повышения информативности изображений является их сегментация. Сегментация решает задачу выделения фрагментов изображения с близкими яркостями (в случае монохромных изображений) или цветами (для полноцветных изображений). Устранение излишних подробностей на изображении, происходящее при его сегментации, способствует его лучшему восприятию и анализу смысла содержимого, то есть повышает информативность изображения.
Предложено много методов и алгоритмов для сегментации полутоновых изображений в градациях серого цвета [1]. Одним из широко используемых подходов для сегментации таких изображений является применение кластеризации. В свою очередь, для кластеризации предложено много методов, среди которых наибольшей популярностью пользуются модификации метода k-средних. Кластеризация, основанная на методе k-средних, обладает существенным недостатком – для её реализации требуется априорное знание количества выделяемых кластеров. В [2] нами предложен метод кластеризации, свободный от упомянутого недостатка, который и был использован для сегментации полутоновых изображений как в градациях серого цвета [2], так в полноцветном представлении [3].
В этих работах продемонстрирована возможность сегментации изображений с помощью кластеризации, реализуемой за счёт применения рекуррентной нейронной сети. Вопросы информативности получаемых сегментированных изображений не обсуждались.
Целью настоящей работы является исследование возможности применения многошаговой сегментации, основанной на нейросетевом алгоритме кластеризации, для повышения информативности цветных изображений.
Кластеризация в рекуррентной нейронной сети
Метод кластеризации, используемый в наших исследованиях для сегментации изображения, базируется на рассмотренной в [4] модели нейронной сети, использующей одномерные отображения. В работе показано, что если весовая функция W(ζ) синапсов нейрона ζ обладает свойствами δ-функции Дирака, то в такой сети возможно возникновение одномерного отображения входного значения сигнала нейрона на его активационной функции. Там же указано, что для реализации одномерного отображения в простейшем случае можно использовать нейрон с обратной связью. Во всех случаях функционирование такой сети сводится к одномерным отображениям значений входных сигналов.
Для кластеризации множества M-мерных данных такой рекуррентной нейронной сетью в состав входного слоя сети включают M-нейронов. Каждый нейрон обрабатывает все значения какого-то одного из M-признаков, характеризующих вектор данных из исходного множества [4]. Отдельное значение одного такого признака является входным сигналом для нейрона. В рассматриваемой нами рекуррентной сети для каждого входного нейрона вводится локальная обратная связь, связывающая выход нейрона с его входом (рис. 1).
Рис. 1. Структура нейронной сети
Эта обратная связь реализует процесс одномерного отображения величины x входного сигнала на активационной функции нейрона, которая описывается выражением
(1)
где α – коэффициент наклона, α > 0; β – величина смещения; µ – коэффициент увеличения, µ > 0. Одномерное отображение величины x входного сигнала на активационной функции описывается итерационным соотношением xn+1 = f(xn), где n = 1, 2, 3, … – номер итерации. После нескольких итераций отображаемая величина сигнала достигает устойчивой неподвижной точки x*, определяемой из нелинейного уравнения f(x*) = x*.
В численных расчётах значение x* определяется с некоторой заданной точностью ε. В процессе отображения множества значений входного сигнала в пределах заданной точности ε выделяются группы близких значений, достигающих устойчивой точки за одно и то же количество итераций. Такие группы и составляют один кластер.
Многошаговая сегментация изображения
Процесс сегментации изображения, основанный на кластеризации в такой нейронной сети, состоит из нескольких шагов [2]. На первом шаге сегментируется исходное изображение. Для этого значения яркости пикселей изображения подаются на вход описанной рекуррентной нейронной сети. После их отображения на активационной функции нейрона во всём диапазоне величин яркости выделяются кластеры значений, достигающие устойчивой точки за одно и то же число итераций. В каждом таком кластере выполняется усреднение всех величин яркостей, попавших в него, и всем пикселам, оказавшимся в данном кластере, присваивается это вычисленное среднее значение. Далее, на втором шаге, нейронная сеть использует результаты предыдущего шага в качестве новых входных значений. Процесс повторяется многократно и завершается тогда, когда энтропия изображения, полученного на очередном шаге кластеризации яркостей, перестаёт меняться.
Сегментация полноцветного изображения
На практике алгоритмы сегментации полноцветных изображений применяются в разных задачах, например, для анализа качества продукции, определения площади наводнения, прогнозирования урожайности, распознавания лесных пожаров, вычисления высоты прилива с помощью аэрофотоснимков, распознавания печатного и рукописного текста.
Обычно изображения, полученные с помощью цифровых камер и сканеров, представлены в цветовом пространстве RGB. В этом пространстве любой цвет является результатом смешивания трёх компонентов – базовых цветов разной яркости. Очевидно, что в таком случае достаточно выполнить кластеризацию каждого из цветовых компонентов, а затем смешать их для получения результирующего цвета в сегментированном изображении так, как это требует модель пространства RGB.
Помимо пространства RGB, для представления полноцветного изображения в телевещании и хранении/обработке видеоданных используют модель YUV, и близкие к ней YCbCr, YPbPr, YDbDr, YIQ. Основополагающим принципом для всех этих моделей является то, что яркостный компонент изображения – составляющая Y – несёт основную информацию об изображении. Компонент Y является взвешенной суммой цветовых компонентов RGB-модели, учитывающей особенности человеческого цветовосприятия. Две другие составляющие, отвечающие за цвет, менее информативны. Таким образом, в случае использования YUV (и близких к нему) возможны два варианта сегментации изображения. По первому достаточно кластеризовать основной яркостный компонент Y, не затрагивая менее информативные цветоразностные компоненты U и V, и затем образовать сегментированное изображение из кластеризованного и некластеризованных компонентов. Второй вариант предполагает кластеризацию как яркостного, так и цветоразностных компонентов с последующей визуализацией на их основе сегментированного изображения. Для такой визуализации при использовании цифровой техники потребуется возврат к цветовой модели RGB. При этом возврате соотношения значений базовых цветовых компонентов могут существенно отличаться от исходных в изображении до сегментации. Действительно, формулы преобразования из YUV в RGB имеют вид:
R = Y + 1,13983∙(V – 128);
G = Y – 0,39465∙(U – 128) – 0,58060∙(V – 128);
B = Y + 2,03211∙(U – 128).
Здесь R, G и B ‒ значения, соответственно, красного, зелёного и синего компонентов модели RGB. Входящие в формулы величины Y, U и V после сегментации изменят свои значения, что приведёт после преобразования к изменениям R, G и B по отношению к их исходным значениям. Иными словами, сегментированное изображение будет представлено в псевдоцветах, не совпадающих с естественными цветами в исходном изображении. Изменённые цветовая палитра и цветовой контраст существенным образом меняют и порог цветоразличения, что может дать дополнительную информацию при анализе изображения.
Таким образом, сегментация полноцветных изображений открывает возможность увеличения информативности изображений.
Экспериментальные результаты
С целью проверки возможности использования сегментации для повышения информативности полноцветных изображений нами был проведён ряд экспериментов. Для их осуществления использовалась программа сегментации изображений, реализующая описанный выше алгоритм, в которой программная модель нейронной сети, изображённой на рис. 1, использовалась в качестве модуля для кластеризации цветовых компонентов изображения. Параметры α, β и µ нейронов сети рассчитывались по методике, приведённой в работе [2]. Входной слой сети содержал 3 нейрона, на каждом из которых кластеризовались значения одного из компонентов полноцветного изображения, представленного в модели пространства YUV.
На рис. 2, 3 представлены финальные результаты сегментации полноцветных изображений в YUV пространстве. На исходном изображении рис. 2, а, видно, что пламя горелки имеет некоторую внутреннюю структуру, но элементы этой структуры практически неразделимы; слои разной светимости плавно переходят друг в друга. Совершенно иной характер имеет сегментированное изображение (рис. 2, б). За счёт сегментации изображение представлено в псевдоцветах, что позволяет различить области с близкими оптическими свойствами и, при необходимости, произвести требуемые измерения размеров нужных областей. Кроме того, можно отметить, что на сегментированном изображении область пламени горелки имеет визуально заметно большие размеры, чем на исходном изображении.
На исходном изображении рис. 3, а, сложно говорить о какой-то внутренней его структуре. Ситуация резко меняется при рассмотрении сегментированного изображения рис. 3, б. На нём отчётливо видны области с одинаковыми оптическими характеристиками, выделенные псевдоцветами. Эти области, скорее всего, можно отождествить с изофотами, проявившимися в воде и на сферической мине.
На рис. 4 представлены аэрофотоснимки земной поверхности с лесными пожарами.
На исходных рис. 4, а, в видны только облака дыма, закрывающие область пожаров. На сегментированных изображениях появляется дополнительная информация. В правой части рис. 4, б на фоне облака сплошного дыма проявляется область пурпурного цвета, указывающая на оптическую аномалию участка земной поверхности, расположенной под этим облаком. Вероятнее всего, такой аномалией может быть горящий очаг пожара, скрытый дымом. Хотя очаг может увеличивать плотность облачности, но из-за слабой контрастности фотосъёмки это изменение не проявляется на исходном изображении. Сегментация меняет естественную палитру и проявляет слабоконтрастный участок изображения за счёт псевдоцветности.
Примечательно, что изменение масштаба изображения в целом сохраняет обнаруженную особенность сегментации. На увеличенном фрагменте исходного изображения участка поверхности (рис. 4, в) не просматриваются какие-либо аномалии. На сегментированном изображении (рис. 4, г) возможный очаг пожара в виде области жёлтого цвета проявляется на том же месте, что и на не увеличенном изображении.
Заметим, что в общем случае палитра псевдоцветов зависит от естественной палитры исходного изображения. Например, на рис. 4 предполагаемый очаг пожара показан пурпурным или жёлтым цветом для разных палитр исходных изображений. Тем не менее, что важнее для практических задач, локализация аномалий сохраняется.
На рис. 5 представлены спутниковые снимки земной поверхности с лесными пожарами. Как и в случае аэрофотосъёмки, на исходном изображении облако дыма скрывает возможные очаги пожара (рис. 5, а). Сегментированное изображение (рис. 5, б) показывает на задымленном участке наличие областей с различными оптическими свойствами, указывающими, вероятнее всего, на различные стадии пожара (области жёлтого и пурпурного цвета). Как и в предыдущем случае, выявление слабоконтрастных областей обуславливается наличием псевдоцветов в сегментированном изображении.
а 
б
Рис. 2. Многошаговая сегментация изображения газовой горелки: а – исходное изображение, взятое из [5]; б – финальное сегментированное изображение для случая кластеризации всех компонентов модели YUV
а 
б
Рис. 3. Многошаговая сегментация изображения корабельной мины: а – исходное изображение, взятое из [6]; б – финальное сегментированное изображение для случая кластеризации всех компонентов модели YUV
а 
б
в 
г
Рис. 4. Многошаговая сегментация аэрофотоснимка земной поверхности: а – исходное изображение участка земной поверхности; б – сегментированное изображение участка земной поверхности; в – увеличенный фрагмент изображения участка земной поверхности; г – сегментированный фрагмент изображения участка земной поверхности
а 
б
Рис. 5. Многошаговая сегментация спутникового снимка земной поверхности: а – исходное изображение участка земной поверхности, взятое из [7]; б – сегментированное изображение участка земной поверхности
Выводы
1. Рекуррентная нейронная сеть позволяет выполнять многошаговую кластеризацию компонентов полноцветных изображений и формировать из них сегментированное полноцветное изображение.
2. Многошаговая сегментация изображений, представленных в YUV пространстве, приводит к изменению исходной цветовой гаммы, и, как следствие, к повышению информативности получаемых изображений.
3. В проделанных нами экспериментах обнаружено, что многошаговая сегментация изображений в YUV цветовом пространстве позволяет выявлять области возможной локализации очагов пожаров на аэрофото- и спутниковых снимках лесных пожаров.
4. Выполненная в экспериментах сегментация изображения пламени горелки и водной среды позволяет проявлять внутреннюю структуру процесса горения и визуализировать изофоты освещённости воды и изофоты на объектах, помещённых в ней.