Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 1,021

МЕТОД СИНТЕЗА УЛУЧШЕННОГО ИЗОБРАЖЕНИЯ ПО СЕРИИ СНИМКОВ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ

Куракин А.В. 1 Абрамов Н.С. 2 Карпеш С.В. 2 Хачумов В.М. 2, 3
1 ФГБОУ ВО «МИРЭА – Российский технологический университет»
2 ФГБУН «ИПС им. А.К. Айламазяна» РАН
3 ФИЦ «Информатика и управление» РАН
В работе рассматривается задача синтеза изображений по серии снимков дистанционного зондирования Земли с применением искусственной нейронной сети. Актуальность работы обусловлена необходимостью получения более четких снимков, доставляемых средствами технического зрения, в целях обеспечения качественного анализа. В работе проведен анализ источников и предложен новый унифицированный метод решения задачи улучшения качества снимков. Предлагаемое программное обеспечение осуществляет синтез итоговых изображений, используя для этого исходные данные с разными дефектами качества и одинаковыми пространственными координатами. Программа производит оценку качества разметки серии изображений без эталонных образцов и создает «тепловые карты». Далее выбираются участки с максимальным либо равным качеством – из снимков серии изображений. На основе разметки создается маска, которая может быть представлена в двух видах: либо альфа-каналом, при этом помечаются худшие фрагменты на исходных изображениях как прозрачные участки, либо разметкой черным цветом в бинарной маске. Таким образом синтезируется новое изображение с улучшенным качеством. Полученные маски в дальнейшем можно применять в других специализированных программах для качественного синтеза изображений по технологии бесшовного сшивания.
синтез изображений
улучшение изображения
программное обеспечение
искусственная нейронная сеть
снимки ДЗЗ
1. Mordvintsev A., Olah C., Tyka M. Inceptionism: Going Deeper into Neural Networks. Google AI Blog. 2015. [Electronic resource]. URL: https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html (date of access: 12.09.2019).
2. Лемпицкий В. Синтез изображений с помощью глубоких нейросетей. Лекция в Яндексе // Блог компании Яндекс. 2016. [Электронный ресурс]. URL: https://www.habr.com/company/yandex/blog/314508/ (дата обращения: 12.09.2019).
3. Elham Karimi, Kaveh Kangarloo, Shahram javadi. A survey on super-resolution methods for image reconstruction. International Journal of Computer Applications. 2014. Vol. 90. Issue 3. P. 32–39.
4. Radu Timofte, Eirikur Agustsson, Luc Van Gool, and others. NTIRE 2017 Challenge on Single Image Super-Resolution: Methods and Results. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2017. P. 1110–1122. [Electronic resource]. URL: http://www.vision.ee.ethz.ch/~timofter/publications/Timofte-CVPRW-2017.pdf (date of access: 12.09.2019).
5. Куракин А.В. Применение искусственной нейронной сети для оценки качества и синтеза улучшенных космических снимков // Авиакосмическое приборостроение. 2018. № 7. С. 44–52.
6. Enblend/Enfuse – combine images with no seams. [Electronic resource]. URL: http://enblend.sourceforge.net/ (date of access: 12.09.2019).
7. Sebastian Bosse, Dominique Maniry, Klaus-Robert M?ller, Thomas Wiegand, Fellow, Wojciech Samek. Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment. arXiv preprint arXiv: 1612.01697. [Electronic resource]. URL: http://arxiv.org/abs/1612.01697 (date of access: 12.09.2019).
8. Sebastian Bosse, Dominique Maniry, Thomas Wiegand, Wojciech Samek. A deep neural network for image quality assessment». 2016 IEEE International Conference on Image Processing (ICIP). September 25–28, 2016. Phoenix, Arizona, USA: Phoenix Convention Center. P. 3773–3777. [Electronic resource]. URL: https://ieeexplore.ieee.org/document/7533065/ (date of access: 12.09.2019).
9. UML 2.0 Unified Modeling Language: Superstructure. [Electronic resource]. URL: www.omg.org/spec/UML/2.0/Superstructure/PDF (date of access: 12.09.2019).
10. Виды Земли с борта МКС – Госкорпорация «Роскосмос». 2012. [Электронный ресурс]. URL: https://www.roscosmos.ru/366/ (дата обращения: 12.09.2019).

Типовыми задачами синтеза изображений являются улучшение качества последовательности исходных изображений и конструирование нового изображения из выделенных элементов [1]. Известны постановки задач, в которых требуется создание правдоподобных, но в реальности несуществующих изображений из псевдослучайного шума [2]. Следует выделить синтез изображений, выполняемый путем применения методов масштабирования, относящихся к группе суперразрешений (Super resolution), как по серии изображений [3], так и с применением искусственных нейронных сетей (ИНС) [4] при наличии единственного изображения. Тем не менее задача улучшения качества изображений продолжает оставаться актуальной.

Целью настоящего исследования является разработка метода синтеза изображений из набора снимков дистанционного зондирования Земли (ДЗЗ) путем нейросетевой оценки и отбора фрагментов изображений с максимальным качеством.

Материалы и методы исследования

Повышение качества изображений ДЗЗ является актуальной задачей, решение которой в настоящей работе достигается путем поиска и интеграции лучших фрагментов модельных изображений [5], полученных разными методами интерполяции. При синтезе изображений из фрагментов могут возникнуть проблемы из-за несовпадения масштабов, яркости, наклонов и сдвига изображений. Такая ситуация возникает, например, при построении панорам из группы снимков или построении HDR-фотографий (High Dynamic Range). Существуют программы для решения этой задачи, в том числе свободно распространяемые. Так, программа «Enblend-enfuse» предназначена для «сшивания» отдельных перекрывающихся изображений формата PNG и TIFF по маске с применением многомерного сплайна Берта – Адельсона, а программа «Enblend» делает переход между склеиваемыми изображениями незаметным, выбирая изменяемую по ширине границу перехода и смешивая изображения с учетом контраста [6]. Ряд программ и библиотек с открытым кодом для оценки качества изображений, находящихся в свободном доступе, представлен в таблице.

Для поиска лучших перекрывающихся областей в группе снимков предлагается использовать «тепловые карты» оценок качества изображений, вычисляя маски для последующего синтеза. Выбрана следующая структура двухслойной ИНС: первый слой – 130 нейронов, второй слой – четыре нейрона для оценки качества (плохое, среднее, хорошее, отличное).

Качество синтеза можно улучшать путем увеличения количества классов и размера обучающей выборки разработанной ИНС, построенной на основе работ [7, 8] и системы «NetBeans», снабженной текстовым и графическим пользовательскими интерфейсами. Для планирования и иллюстрации расположения и взаимодействий классов в программе применялся унифицированный язык разметки «UML 2.0» [9]. UML-диаграмма разработанных компонентов представлена на рис. 1.

За разметку снимков стандартными методами оценки качества (методом среднего квадратичного отклонения, СКО) отвечает компонент «PrepareLearnData». Набор изображений в формате PNG и файл pairs.json служат для передачи данных между компонентами программного комплекса. Компонент «ZoomQualityA» необходим для работы ИНС и оценки качества изображений. Компоненты «gui.MainWindow» и «QualityImageMapDrawing» используются для отладки и работы с обучающей выборкой.

Библиотеки и программы для оценки качества изображений

Название, web-сайт

Методы

Примечание

«Image Quality Assessment (IQA)», www.sourceforge.net/p/iqa/wiki/Home

MS-SSIM, SIMM, MSE, PSNR

анализ изображений и видео

«Image Quality Assessment (IQA)», www.github.com/dresa/photo-quality

stddev, linear regression, RandomForest

исследование качества изображения, нет API

«deepIQA», www.github.com/dmaniry/deepIQA

Deep CNN (15-слойные сверточные сети)

исследование сверточных сетей, часть кода не опубликована

«A no reference image quality assessment CNN», www.github.com/Adnan1011/NR-IQA-CNN

Deep CNN

исследование сверточных сетей

«No-Reference Quality Assessment of Contrast-Distorted Images using Contrast Enhancement», www.github.com/mtobeiyf/CEIQ

контраст (Contrast-Distorted), SSIM

использует корреляцию контраста с SSIM

kur1.tif

Рис. 1. Диаграмма компонентов ПО

kur2.tif

Рис. 2. Синтез изображений с разметкой, произведенной ИНС

Возможности синтеза демонстрируются на примере создания двух вариантов одного изображения с внесенными искажениями и последующей их интеграции. Процесс разметки качества нейронной сетью и результат синтеза представлены на рис. 2.

На рис. 2 показаны

1. А – два исходных изображения с разными искаженными областями.

2. Б – оценки качества исходных изображений в виде тепловой карты.

3. В – преобразованные изображения с удаленными худшими фрагментами.

4. Г – синтезированное изображение из элементов В, содержащее лучшие элементы из исходных.

Результаты исследования и их обсуждение

Обучающая выборка для ИНС состояла из пяти изображений размером 2419*1613 пикселей, полученных с сайта ГК РОСКОСМОС [10]. Результаты объективной оценки качества изображения были сохранены в текстовом файле формата Json.

На следующем этапе на основе json-файла и изображения строились входные и выходные вектора, пригодные для обучения сети. Было получено 226500 обучающих векторов, которые занимали 477 Мб памяти (в формате 64-битных чисел с плавающей точкой).

Проведено несколько экспериментов обучения ИНС с разной нормой обучения (0,1; 0,2 и 0,7) и разным количеством слоев (3, 4, 5). Обучающая выборка состояла из фрагментов изображений (окно 16*16) в оттенках серого. После настройки весов нейронных сетей были построены гистограммы весовых коэффициентов. Сеть обучалась на протяжении 15 эпох, на каждой эпохе уменьшалась ошибка. Лучшим оказался трехслойный персептрон, полученный на 15 эпохе, со средним квадратическим отклонением, равным 0,168. Программе потребовалось 3 ГБ оперативной памяти, а для сохранения настроек сети в файл – 1,2 МБ. Обучение велось в течение 7 ч на компьютере с процессором AMD FX(tm)-4170, 4 ГГц.

С помощью разработанной программы получено множество обучающих выборок и эталонных оценок качества методом СКО. Программа «Neuroph Studio» была использована для ручной проверки статистических данных и характеристик нейронных сетей.

На рис. 3 показано распределение весов для обученной на 15 эпохах трехслойной сети.

Для проверки работы нейронной сети оценивались изображения как из обучающей выборки, так и не присутствующие в ней. Оценки были представлены тепловыми картами участков размером 16×16 с хорошим и плохим качеством. Темным местам на картах соответствует большее СКО. Результаты работы ИНС, а также СКО, полученные на изображениях из обучающей выборки, представлены на рис. 4.

На рис. 4 введены следующие обозначения:

А, Б – оценки качества исходного изображения с помощью ИНС;

В, Г – исходные снимки: В – вулкана, Г – прибрежного города;

Д – тепловая карта СКО изображения В, интерполированного билинейным методом;

Е – тепловая карта СКО изображения Г, интерполированного линейным методом;

Ж – тепловая карта оценок ИНС изображения В, интерполированного билинейным методом;

З – тепловая карта оценок ИНС изображения Г, интерполированного линейным методом.

Как показали эксперименты, ИНС высоко оценивает качество исходных изображений, не содержащих искажения. Было выбрано три файла серии изображений, с неравномерно распределенными дефектами интерполяций нескольких видов. После синтеза было проведено измерение качества СКО использованной серии изображений и синтезированного изображения (средняя оценка на все изображение). СКО искусственно искаженных изображений составило: 0,0129, 0,0148, 0,0214; СКО синтезированного изображения составило: 0,0092; СКО синтезированного изображения с применением «Enblend-enfuse» для обработки масок составило: 0,0083.

kur3.tif

Рис. 3. Гистограмма весов ИНС, обученной в течение 15 эпох

kur4.tif

Рис. 4. Оценка качества изображений с применением ИНС и СКО

Разработанная программа может проводить синтез изображения по серии изображений с разными дефектами качества и одинаковыми пространственными координатами (требуются несмещенные изображения). Программа оценивает качество каждого снимка, создает «тепловые карты» качества на каждое изображение. Далее выбираются участки с максимальным либо равным качеством между всеми изображениями из серии, остальные участки размечаются к удалению. На основе разметки создается маска, которая может быть представлена в двух видах: либо альфа-каналом (помечаются худшие фрагменты на исходных изображениях как прозрачные участки, используется PNG-формат), либо отмечаются черным цветом в черно-белой маске. В дальнейшем полученные маски можно объединять посредством сторонних программ, например «Enblend-enfuse», либо использовать встроенную в разработанную программу функцию синтеза изображений по альфа-каналу (применяются прозрачные маски).

Заключение

Разработаны метод и программное обеспечение для синтеза изображения по отобранным фрагментам серии снимков. Программа спроектирована с учетом возможности замены применяемых библиотек машинного обучения, что позволяет, при необходимости использования специальных аппаратных средств, заменить библиотеку на новую версию с поддержкой распределенных вычислений.

Работа выполнена при финансовой поддержке Программы фундаментальных исследований Президиума РАН «Перспективные физико-химические технологии специального назначения» (проект «Разработка и исследование методов и технологии высокопроизводительного сжатия целевой информации, передаваемой по каналам космической связи в интересах национальной безопасности Российской Федерации») и при финансовой поддержке РФФИ в рамках научных проектов № 18-29-03011 мк и № 17-29-07003 офи_м.


Библиографическая ссылка

Куракин А.В., Абрамов Н.С., Карпеш С.В., Хачумов В.М. МЕТОД СИНТЕЗА УЛУЧШЕННОГО ИЗОБРАЖЕНИЯ ПО СЕРИИ СНИМКОВ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ // Современные наукоемкие технологии. – 2019. – № 10-2. – С. 268-272;
URL: http://top-technologies.ru/ru/article/view?id=37735 (дата обращения: 18.05.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074