Scientific journal
Modern high technologies
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

SYNTHESIS METHOD OF IMPROVED IMAGE BY SERIES OF REMOTE SENSING IMAGES

Kurakin A.V. 1 Abramov N.S. 2 Karpesh S.V. 2 Khachumov V.M. 2, 3
1 MIREA – Russian Technological University
2 Aylamazyan Program System Institute of RAS
3 Federal Research Center «Computer Science and Control» of RAS
The paper considers the task of synthesizing images from a series of images of remote sensing of the Earth using an artificial neural network. The relevance of the work is due to the need to obtain clearer images delivered by means of technical vision in order to ensure a qualitative analysis. The paper analyzes the sources and proposes a new unified method for solving problem of improving the quality of images. The proposed software synthesizes the final images using source data with different quality defects and the same spatial coordinates. The program evaluates the quality of the markup of a series of images without reference samples and creates «heat maps». Next, sections with maximum or equal quality are selected – from images of a series of images. Based on the markup, a mask is created that can be presented in two ways: either by the alpha channel, and the worst fragments in the source images are marked as transparent areas, or by black marking in the binary mask. Thus, a new image with improved quality is synthesized. The resulting masks can then be used in other specialized programs for high-quality image synthesis using seamless stitching technology.
image synthesis
image enhancement
software
artificial neural network
remote sensing images

Типовыми задачами синтеза изображений являются улучшение качества последовательности исходных изображений и конструирование нового изображения из выделенных элементов [1]. Известны постановки задач, в которых требуется создание правдоподобных, но в реальности несуществующих изображений из псевдослучайного шума [2]. Следует выделить синтез изображений, выполняемый путем применения методов масштабирования, относящихся к группе суперразрешений (Super resolution), как по серии изображений [3], так и с применением искусственных нейронных сетей (ИНС) [4] при наличии единственного изображения. Тем не менее задача улучшения качества изображений продолжает оставаться актуальной.

Целью настоящего исследования является разработка метода синтеза изображений из набора снимков дистанционного зондирования Земли (ДЗЗ) путем нейросетевой оценки и отбора фрагментов изображений с максимальным качеством.

Материалы и методы исследования

Повышение качества изображений ДЗЗ является актуальной задачей, решение которой в настоящей работе достигается путем поиска и интеграции лучших фрагментов модельных изображений [5], полученных разными методами интерполяции. При синтезе изображений из фрагментов могут возникнуть проблемы из-за несовпадения масштабов, яркости, наклонов и сдвига изображений. Такая ситуация возникает, например, при построении панорам из группы снимков или построении HDR-фотографий (High Dynamic Range). Существуют программы для решения этой задачи, в том числе свободно распространяемые. Так, программа «Enblend-enfuse» предназначена для «сшивания» отдельных перекрывающихся изображений формата PNG и TIFF по маске с применением многомерного сплайна Берта – Адельсона, а программа «Enblend» делает переход между склеиваемыми изображениями незаметным, выбирая изменяемую по ширине границу перехода и смешивая изображения с учетом контраста [6]. Ряд программ и библиотек с открытым кодом для оценки качества изображений, находящихся в свободном доступе, представлен в таблице.

Для поиска лучших перекрывающихся областей в группе снимков предлагается использовать «тепловые карты» оценок качества изображений, вычисляя маски для последующего синтеза. Выбрана следующая структура двухслойной ИНС: первый слой – 130 нейронов, второй слой – четыре нейрона для оценки качества (плохое, среднее, хорошее, отличное).

Качество синтеза можно улучшать путем увеличения количества классов и размера обучающей выборки разработанной ИНС, построенной на основе работ [7, 8] и системы «NetBeans», снабженной текстовым и графическим пользовательскими интерфейсами. Для планирования и иллюстрации расположения и взаимодействий классов в программе применялся унифицированный язык разметки «UML 2.0» [9]. UML-диаграмма разработанных компонентов представлена на рис. 1.

За разметку снимков стандартными методами оценки качества (методом среднего квадратичного отклонения, СКО) отвечает компонент «PrepareLearnData». Набор изображений в формате PNG и файл pairs.json служат для передачи данных между компонентами программного комплекса. Компонент «ZoomQualityA» необходим для работы ИНС и оценки качества изображений. Компоненты «gui.MainWindow» и «QualityImageMapDrawing» используются для отладки и работы с обучающей выборкой.

Библиотеки и программы для оценки качества изображений

Название, web-сайт

Методы

Примечание

«Image Quality Assessment (IQA)», www.sourceforge.net/p/iqa/wiki/Home

MS-SSIM, SIMM, MSE, PSNR

анализ изображений и видео

«Image Quality Assessment (IQA)», www.github.com/dresa/photo-quality

stddev, linear regression, RandomForest

исследование качества изображения, нет API

«deepIQA», www.github.com/dmaniry/deepIQA

Deep CNN (15-слойные сверточные сети)

исследование сверточных сетей, часть кода не опубликована

«A no reference image quality assessment CNN», www.github.com/Adnan1011/NR-IQA-CNN

Deep CNN

исследование сверточных сетей

«No-Reference Quality Assessment of Contrast-Distorted Images using Contrast Enhancement», www.github.com/mtobeiyf/CEIQ

контраст (Contrast-Distorted), SSIM

использует корреляцию контраста с SSIM

kur1.tif

Рис. 1. Диаграмма компонентов ПО

kur2.tif

Рис. 2. Синтез изображений с разметкой, произведенной ИНС

Возможности синтеза демонстрируются на примере создания двух вариантов одного изображения с внесенными искажениями и последующей их интеграции. Процесс разметки качества нейронной сетью и результат синтеза представлены на рис. 2.

На рис. 2 показаны

1. А – два исходных изображения с разными искаженными областями.

2. Б – оценки качества исходных изображений в виде тепловой карты.

3. В – преобразованные изображения с удаленными худшими фрагментами.

4. Г – синтезированное изображение из элементов В, содержащее лучшие элементы из исходных.

Результаты исследования и их обсуждение

Обучающая выборка для ИНС состояла из пяти изображений размером 2419*1613 пикселей, полученных с сайта ГК РОСКОСМОС [10]. Результаты объективной оценки качества изображения были сохранены в текстовом файле формата Json.

На следующем этапе на основе json-файла и изображения строились входные и выходные вектора, пригодные для обучения сети. Было получено 226500 обучающих векторов, которые занимали 477 Мб памяти (в формате 64-битных чисел с плавающей точкой).

Проведено несколько экспериментов обучения ИНС с разной нормой обучения (0,1; 0,2 и 0,7) и разным количеством слоев (3, 4, 5). Обучающая выборка состояла из фрагментов изображений (окно 16*16) в оттенках серого. После настройки весов нейронных сетей были построены гистограммы весовых коэффициентов. Сеть обучалась на протяжении 15 эпох, на каждой эпохе уменьшалась ошибка. Лучшим оказался трехслойный персептрон, полученный на 15 эпохе, со средним квадратическим отклонением, равным 0,168. Программе потребовалось 3 ГБ оперативной памяти, а для сохранения настроек сети в файл – 1,2 МБ. Обучение велось в течение 7 ч на компьютере с процессором AMD FX(tm)-4170, 4 ГГц.

С помощью разработанной программы получено множество обучающих выборок и эталонных оценок качества методом СКО. Программа «Neuroph Studio» была использована для ручной проверки статистических данных и характеристик нейронных сетей.

На рис. 3 показано распределение весов для обученной на 15 эпохах трехслойной сети.

Для проверки работы нейронной сети оценивались изображения как из обучающей выборки, так и не присутствующие в ней. Оценки были представлены тепловыми картами участков размером 16×16 с хорошим и плохим качеством. Темным местам на картах соответствует большее СКО. Результаты работы ИНС, а также СКО, полученные на изображениях из обучающей выборки, представлены на рис. 4.

На рис. 4 введены следующие обозначения:

А, Б – оценки качества исходного изображения с помощью ИНС;

В, Г – исходные снимки: В – вулкана, Г – прибрежного города;

Д – тепловая карта СКО изображения В, интерполированного билинейным методом;

Е – тепловая карта СКО изображения Г, интерполированного линейным методом;

Ж – тепловая карта оценок ИНС изображения В, интерполированного билинейным методом;

З – тепловая карта оценок ИНС изображения Г, интерполированного линейным методом.

Как показали эксперименты, ИНС высоко оценивает качество исходных изображений, не содержащих искажения. Было выбрано три файла серии изображений, с неравномерно распределенными дефектами интерполяций нескольких видов. После синтеза было проведено измерение качества СКО использованной серии изображений и синтезированного изображения (средняя оценка на все изображение). СКО искусственно искаженных изображений составило: 0,0129, 0,0148, 0,0214; СКО синтезированного изображения составило: 0,0092; СКО синтезированного изображения с применением «Enblend-enfuse» для обработки масок составило: 0,0083.

kur3.tif

Рис. 3. Гистограмма весов ИНС, обученной в течение 15 эпох

kur4.tif

Рис. 4. Оценка качества изображений с применением ИНС и СКО

Разработанная программа может проводить синтез изображения по серии изображений с разными дефектами качества и одинаковыми пространственными координатами (требуются несмещенные изображения). Программа оценивает качество каждого снимка, создает «тепловые карты» качества на каждое изображение. Далее выбираются участки с максимальным либо равным качеством между всеми изображениями из серии, остальные участки размечаются к удалению. На основе разметки создается маска, которая может быть представлена в двух видах: либо альфа-каналом (помечаются худшие фрагменты на исходных изображениях как прозрачные участки, используется PNG-формат), либо отмечаются черным цветом в черно-белой маске. В дальнейшем полученные маски можно объединять посредством сторонних программ, например «Enblend-enfuse», либо использовать встроенную в разработанную программу функцию синтеза изображений по альфа-каналу (применяются прозрачные маски).

Заключение

Разработаны метод и программное обеспечение для синтеза изображения по отобранным фрагментам серии снимков. Программа спроектирована с учетом возможности замены применяемых библиотек машинного обучения, что позволяет, при необходимости использования специальных аппаратных средств, заменить библиотеку на новую версию с поддержкой распределенных вычислений.

Работа выполнена при финансовой поддержке Программы фундаментальных исследований Президиума РАН «Перспективные физико-химические технологии специального назначения» (проект «Разработка и исследование методов и технологии высокопроизводительного сжатия целевой информации, передаваемой по каналам космической связи в интересах национальной безопасности Российской Федерации») и при финансовой поддержке РФФИ в рамках научных проектов № 18-29-03011 мк и № 17-29-07003 офи_м.