Одним из необходимых условий принятия эффективных решений при управлении сложными территориальными объектами является своевременная выработка опережающих управленческих решений на базе прогнозных оценок состояния исследуемого объекта [1]. Актуальной задачей, имеющей важное экономическое и социальное значение, является предупреждение негативных последствий паводков в период весеннего половодья [2]. Ключевые трудности при решении задач прогнозирования прохождения паводка связаны со сложностью сбора исходных данных и недостаточной изученностью механизмов, определяющих динамику изменения уровней воды на различных участках [3].
Решение обозначенной задачи достигается за счет внедрения проектно-ориентированных цифровых инфраструктур пространственных данных (ИПД), при этом процесс формирования архитектуры систем данного класса должен быть основан на положении о том, что для оптимизации процессов хранения и эффективного использования пространственных данных, ИПД должна содержать связанные за счет программных интерфейсов подсистемы хранения, анализа и синтеза, визуализации и распространения пространственных данных [4]. Роль компонента, выполняющего последние две функции, традиционно возлагается на геопортальные системы, относящиеся к классу распределенных веб-систем и, следовательно, наследующие их характерные особенности [5].
Данная публикация посвящена решению научной проблемы обеспечения информационной поддержки в области принятия управленческих решений при прогнозировании уровней воды в период весеннего половодья посредством разработки, внедрения и использования проектно-ориентированных геопортальных систем.
Материалы и методы исследования
Обеспечение информационной поддержки принятия взвешенных управленческих решений в области организации устойчивого развития территорий и прогнозирования стихийных процессов возможно посредством внедрения геопортальных систем для визуализации результатов машинного анализа [6] с целью предоставления графических веб-интерфейсов для мониторинга развития чрезвычайных ситуаций [7].
При решении задачи разработки расширенного алгоритма построения цифровой карты затоплений на основе анализа данных дистанционного зондирования Земли (ДЗЗ) и цифровой модели рельефа в качестве объекта исследования выбраны тестовые полигоны бассейнов рек Печора и Волхов. С позиции геосистемного подхода, состояние и свойства каждой территориальной единицы определяются: особенностями ее взаимодействия с соседними объектами того же иерархического уровня, характеристиками вмещающей геопространственной системы более высокого уровня иерархии, а также взаимодействием объектов более низкого уровня иерархии, из которых состоит анализируемая территория [3].
Исходя из этого, можно сформулировать гипотезу о том, что точность классификации земель на базе данных ДЗЗ можно увеличить, если классифицирующая модель будет учитывать и анализировать не только свойства конкретной территории, но и характерные черты геосистем, с которыми она взаимодействует и, в частности, в которые она входит. С позиции геосистемного подхода на свойства территории оказывает значительное влияние вмещающая геосистема (окрестность). Информативным источником сведений о ней являются данные ДЗЗ. Не только данные ДЗЗ определенного масштаба могут характеризовать геосистемы разного уровня иерархии: эту роль с успехом можно возложить и на цифровые модели рельефа, метеорологические данные. Для эффективного решения обозначенной задачи необходимо собрать данные об исследуемом тестовом полигоне за несколько лет наблюдений. Рекомендуется применение съемки Sentinel-2 в даты максимального разлива рек и съемка территории во время межени. Для анализа выбраны каналы красного, зеленого и ближнего инфракрасного диапазона. Эти диапазоны наиболее информативны при анализе растительного покрова, внешней видимой части ландшафтной оболочки. Для уточнения модели использованы данные о рельефе территории. Предварительную обработку рекомендуется осуществлять в ПО программного пакета SNAP 7.0.
Разработанная модель глубокого обучения FloodNET, решающая задачу прогнозирования устойчивости территории к затоплению, имеет два входа (рис. 1). На первый вход подаются данные об анализируемой точке территории во время межени – ее спектральные характеристики, данные о высоте и другие собранные данные на предыдущем этапе. На второй вход подается трехмерная матрица, характеризующая в тех же условиях окрестность со стороной N пикселей при определенном пространственном разрешении данных. Геоинформационная модель вмещающей геосистемы строится на основе представленных выше слоев.
Для формирования целевых данных, которые будут использованы при обучении модели FloodNET для прогнозирования восприимчивости территории к затоплению, использована космическая съемка территории в период половодья. Сначала на базе данных Sentinel-2 был рассчитан NDWI – Normalized difference water index. Спроектированная модель позволила достичь точности в 92 % при решении описанной выше задачи, причем комплексное использование всех слоев, подготовленных ранее, позволило повысить точность на 8 % относительно показателей, достигнутых при использовании только традиционных материалов космической съемки. Гибкая настройка гиперпараметров модели FloodNET обеспечила изначальный прирост точности на 6 %.
Рис. 1. Модель прогнозирования восприимчивости территории к затоплениям
Кроме самой модели, в директории spatial_prediction_model представлены хелперы, позволяющие подготовить данные для машинного обучения, обучить модель, а также сгенерировать тайлы для визуализации на геопортале. Дополнительно разработана нейросетевая модель, позволяющая осуществлять прогноз уровня воды на основе исторических наблюдений о метеоданных и сборе информации об изменении уровней воды. Данные предоставлены для тестового полигона территории бассейна реки Волхов на территории Новгородской области.
Для решения задачи прогнозирования уровней воды на основе метеоданных необходимо собрать данные за несколько лет (минимум 5 лет). Прогноз осуществляется отдельно для каждого тестового полигона. В созданной системе реализован модуль, позволяющий получать прогнозные метеоданные посредством API сервиса OpenWeather [8]. В рамках созданной подсистемы администрирования реализованы графические интерфейсы, позволяющие актуализировать существующие метеоданные и данные об уровнях воды.
Прогноз уровней воды осуществляется посредством модели, описание которой дано ниже. В панели администрирования можно настроить степени свободы созданной модели: критерий ЧС для уровня воды, активировано ли обучение для полигона, учитываемый прогнозный период (максимум 7 дней), учитываемый ближайший исторический период (например 14 дней), учитываемый дальний исторический период (100 дней).
Модель реализована в виде воркера: алгоритм автоматически подхватывает исторические метеоданные и сведения об уровнях воды по API геопортала (необходимо в коде скорректировать URL доступа к порталу), нормализует и стандартизирует их, переобучает модель на основе новой информации, делает предикт на прогнозный период и отправляет данные обратно на геопортал по API с целью записи актуального прогноза в БД.
Далее представлено детальное описание модели, апробированной на тестовом полигоне «Волхов». Численная информация об изменении уровня воды представлена за 2011–2020 гг. (10 лет). Для решения задачи обучения модели собраны метеоданные, описанные выше. Ретроспективные данные об уровне воды и метеоусловиях Новгородской области были экспортированы из разнородных источников. Проведено восстановление пропусков данных на основе алгоритмов интерполяции. Данные собраны в тензор, для которого первое измерение представляет собой время с интервалом дискретизации в одни сутки, а второе измерение – учитываемый при прогнозировании показатель.
Одной из проблем исходных данных является то, что факт превышения уровня воды порогового критерия опасного явления (ОЯ) представляет собой редкое событие (rare event), которое фиксируется значительно реже факта нахождения воды в границах нормы. По этой причине исходные данные пока являются непригодными для анализа глубокой нейросетевой моделью. Чтобы решить обозначенную проблему, была проведена аугментация исходных данных. Таким образом, число обучающих тензоров для опасных явлений было расширено до количества, сопоставимого с остальными наблюдениями. Для усиления устойчивости модели проведена стандартизация исходных данных, при которой центрирование и масштабирование произведены независимо для каждого показателя путем вычисления соответствующей статистики по выборкам в обучающем наборе. Математическое ожидание и стандартное отклонение были сохранены для обратного преобразования стандартизированных данных в исходные.
Для анализа подготовленных на предыдущем этапе данных с целью прогнозирования во времени уровня воды разработана модель, представленная на рис. 2.
Рис. 2. Модель прогнозирования уровня воды
Предложенная модель имеет три входа. Проектирование формата принимаемых данных основано на гипотезе о том, что информативными паттернами предикта половодья является характер метеоусловий: 1) за продолжительный период с момента межени и характеризующий зимний сезон, 2) за близлежащий период наблюдений, описывающий предшествующие текущей дате условия, 3) прогнозные данные.
Таким образом, с обозначенной позиции модель характеризуется тремя степенями свободы: длины учитываемого исторического периода, ближнего периода и прогнозного периода. Перечисленные три временных мультивариантных ряда анализируются юнитами модели, основанными на операции одномерной свертки. Возможно использование как классических сверточных слоев, так и свертки разделенной в глубину, предложенной инженерами Google. Для повышения устойчивости модели модули выделения иерархических признаков дополнены слоями пакетной нормализации, линейной ректификации и субдескретизации посредством операции выборки максимального элемента.
Выходы трех описанных юнитов объединяются в вектор и подвергаются анализу двумя финализирующими модулями, основанными на полносвязных слоях, дополненных активационными функциями линейной ректификации и прореживания. Выход модели решает задачу регрессии и производит оценку градиентов изменения уровня воды, которые затем переводятся в прогнозные значения уровней. Результат работы мягкого нейросетевого метода корректируется в соответствии с собранными историческими наблюдениями. Прогноз носит экспериментальный и рекомендательный характер. Представленная модель имеет множество степеней свободы – таких как глубина модулей выделения признаков, мощность слоев. Необходимо обоснованно подходить к подбору гиперпараметров модели, для одновременного поддержания необходимой емкости модели и решения проблемы переобучения.
Результаты исследования и их обсуждение
Разработанная система представляет собой геопортальное приложение, позволяющее визуализировать электронную карту прогнозируемой устойчивости территории к затоплению. Концепция проекта основана на гипотезе о том, что задача прогнозирования уровней воды в период весеннего половодья может быть эффективно решена при проработке трех опорных точек: 1) при условии составления информативной геосистемной модели территории (на базе данных ДЗЗ, климатических и метеоданных и др.); 2) разработке глубокой нейросетевой модели для анализа данных о геосистемной модели территории; 3) внедрении геопортальных систем для визуализации результатов машинного анализа с целью обеспечения информационной поддержки принятия взвешенных управленческих решений в области организации устойчивого развития территорий и прогнозирования стихийных процессов.
В системе реализована функциональная возможность редактирования метеоданных об анализируемой географической области, реализована функция актуализации погоды при помощи API сторонних сервисов (на примере OpenWeatherMap API), а также графические интерфейсы для актуализации данных об изменении уровня воды на анализируемом участке. Обозначенные исторические данные используются модулем прогнозирования для предсказания уровня воды. В рамках геопортальной системы реализована панель администрирования, позволяющая осуществлять редактирование реестра стратегических объектов, визуализируемых на электронной карте. Еще одним компонентом системы является модуль краудсорсингового редактирования карты, позволяющий на свободной основе актуализировать данные об исследуемой территории, сообщать о чрезвычайной ситуации.
Далее представлен перечень ключевых вариантов использования системы: 1) визуализация территории на электронной карте с возможностью послойного отображения объектов разных категорий, в том числе территории, подверженной затоплению; 2) просмотр атрибутивной информации об объектах на электронной карте; 3) актуализация реестра объектов электронной карты посредством подсистемы администрирования; 4) модуль актуализации исторических метеоданных и данных об уровне воды; 5) воркер прогнозирования уровня воды для анализируемого полигона, перманентно обучающийся на собранных данных и актуализирующий прогнозную информацию; 6) краудсорсинговое добавление объекта на карту с возможностью отправки оповещений.
Процесс добавления объектов на электронную карту начинается с интерфейсов редактирования перечня категорий объектов геопортала, представленных на рисунке. Объекты любой категории можно добавлять посредством графических интерфейсов, позволяющих выбрать положение объекта на электронной карте и дать его текстовое описание. Для повышения быстродействия электронной карты и улучшения наглядности интерфейсов внедрен модуль кластеризации близлежащих маркеров. При клике на маркер появляется всплывающий блок с его текстовым описанием.
В системе реализована функция краудсорсинг-добавления оповещений о чрезвычайной ситуации (ЧС), позволяющая пользователям геопортала отправить сигнал о чрезвычайном происшествии с выбором места ЧС на электронной карте. Данные становятся доступными другим пользователям геопортала в категории «Отметки о ЧС».
В системе реализована функция автоматического построения оценочной карты потенциала территории к затоплению на основе данных SRTM о цифровой модели рельефа. Пример цифровой карты затоплений на основе анализа цифровой модели рельефа для Тулуна (Иркутская область) представлен на рис. 3.
Рис. 3. Цифровая карта затоплений на основе анализа цифровой модели рельефа
Данный алгоритм имеет ограничения и оценивает потенциал территории к затоплению на основе цифровой модели рельефа (ЦМР). Так же он подходит для равнинных территорий и наследует от данных погрешность по высоте в 1 м.
Заключение
Геопортальная система, реализованная для решения задачи прогнозирования уровней подъема воды в период половодья, позволяет визуализировать электронную карту устойчивости территории к затоплению и собирать данные о метеоусловиях анализируемой территории с целью выявления закономерностей, влияющих на колебания уровня воды.
Решение включает в себя следующие модули: 1) визуализация территории на электронной карте с возможностью послойного отображения объектов разных категорий, в том числе территории, подверженной затоплению; 2) просмотр атрибутивной информации о стратегических объектах на электронной карте и их расположение относительно мест затопления; 3) актуализация реестра объектов электронной карты посредством подсистемы администрирования; 4) актуализация исторических метеоданных, данных о снеге и льде, данных об уровне воды; 5) прогнозирование вероятности весеннего половодья и ареала его распространения; 6) краудсорсинговое добавление объекта на карту с возможностью отправки оповещений.
Цифровое решение и алгоритмы анализа данных написаны на основе открытого программного обеспечения. Функционирование системы основано на гипотезе о том, что задача прогнозирования уровней воды в период весеннего половодья может быть эффективно решена при проработке трех опорных точек: 1) составление геосистемной модели территории; 2) разработка глубокой нейросетевой модели для анализа данных о геосистемной модели территории и метеоданных; 3) внедрение веб-системы для визуализации результатов машинного анализа с целью обеспечения информационной поддержки принятия управленческих решений.
Представленное в статье проектное решение «Прогнозирование уровней подъема воды в период половодья» признано победителем второго этапа Международного конкурса World AI&Data Challenge Агентства стратегических инициатив по продвижению новых проектов.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-37-70055.