Рост требований к характеристикам космических систем неизбежно вызывает пересмотр используемых технологий управления и приводит к необходимости создания научного задела в виде новых подходов, методов и технологий построения перспективного конкурентоспособного космического оборудования с использованием искусственного интеллекта (ИИ). В настоящей работе проводится обзор интеллектуальных методов обработки данных телеметрии и методов визуальной инспекции сложных технических систем. Обсуждаются и предлагаются основные направления применения искусственных технологий в космической технике, направленные на выявление аномалий, контроль и прогнозирование состояния аппаратуры датчиков.
Цель исследования – проведение аналитического обзора работ, посвященных интеллектуальным методам обработки данных телеметрии для оценки состояния датчиковой аппаратуры и методов визуальной инспекции сложных технических систем.
Материалы и методы исследования
1. Интеллектуальные методы обработки данных телеметрии
В исследовании [1] рассмотрены существующие методы анализа телеметрии, применяемые при организации полетов космических аппаратов (КА). Обоснована актуальность интеллектуализации методов решения задач, направленных на контроль состояния КА в управлении его полетами. Предложены методы автоматизации контролирующих процессов на базе специальных математических аппаратов. Исследованы стадии обработки, анализа телеметрии, определены места предлагаемых методов математического анализа в системе контроля. Указаны основные преимущества предложенного метода математического анализа телеметрии. Наибольшее внимание в работе уделено вейвлет-преобразованию сигналов как самому универсальному из рассмотренных методик. Описаны способы применения вейвлет-анализа при решении задач контроля и прогнозирования состояния КА.
В работе [2] осуществлен аналитический обзор актуальных областей применения ИИ в космической технике, в частности отмечается, что необходимо развитие технологий на базе нейронных сетей, позволяющих работать со спутниковыми данными, в том числе с данными дистанционного зондирования Земли (ДЗЗ). Применение экспертных систем реального времени и техник мультиагентного автономного контроля позволит увеличить ресурс и автономность КА. Наиболее важными ИИ-технологиями являются экспертные системы с разнородными способами представления знаний (в том числе с помощью нечетких правил, фреймов и пр.); искусственные нейронные сети (ИНС); методы эволюционных вычислений, в том числе генетически формируемые ИИ-модели; роевой интеллект; технологии извлечения знаний из Больших данных.
В публикации [3] описывается разработка и исследование способов, программных средств и алгоритмов оценки показателей жизнеспособности, надежности малых КА на основе интеллектуального исследования показателей телеметрии бортовой техники. Созданные программные методы и средства основываются на теории вероятности, теории надежности и математической статистики, используется булева алгебра, машинное обучение и обработка изображений. В комплекс созданной системы включены интегрированный программный модуль визуализации структурных схем надежности; программный модуль 2D- и 3D-визуализации результатов исследования; модули анализа данных телеметрии; модули логико-вероятностного анализа и оценки параметров надежности и жизнеспособности КА.
В исследовании [4] предлагается программный модуль интеллектуального анализа телеметрических данных и методы анализа состояния бортового оборудования малых спутников. Созданный диагностический модуль состоит из программных компонентов предварительной обработки данных, кластеризации и прогнозирования. Программные компоненты основаны на генетическом методе выбора признаков, методе динамической потоковой кластеризации, применяется нейронная самоорганизующаяся карта Кохонена. Вычислительные эксперименты и тестирование разработанных методов и программных средств выполнены на обработанных телеметрических данных и показали достаточно высокую эффективность и хорошие результаты.
Чтобы получить прогнозные оценки в работе [5], предлагается применение алгоритма Берга и байесовская сеть для вычисления вероятностей различных видов технических состояний на основе прогнозных данных. Описан программный модуль «BE SS», применяемый для интеллектуального телеметрического анализа и выбора потенциального состояния анализируемых устройств за счет кластеризации и прогнозной оценки среднего числа отклонений. На рис. 1 показана функциональная блок-схема модуля.
Блок предварительной обработки данных включает следующие компоненты: первый компонент предварительной обработки данных телеметрии, подготавливающий информацию, необходимую для компонента нейронной морфологической кластеризации; второй компонент предварительной обработки данных позволяет выбрать информативные признаки для потокового кластерного анализа с помощью разработанного генетического алгоритма.
Первые три компонента блока кластерного анализа выполняют следующие функции: формирование карты Кохонена на основе предварительно обработанных телеметрических данных анализируемого устройства; кластеризация данных визуального пространства путем пороговой сегментации карты межнейронных расстояний; кластеризация предварительно обработанного набора данных телеметрии путем маркировки точек данных.
Рис. 1. Блок-схема модуля анализа данных телеметрии
Четвертый компонент блока реализует потоковую динамическую кластеризацию данных на основе двухуровневого иерархического подхода (онлайн/офлайн) микро/ макрокластеризации. Блок прогнозирования выполняет оценку среднего числа отказов за фиксированный период времени.
В исследовании [6] предложен подход к учету состояний неопределенности контролируемых параметров в системах мониторинга технического состояния сложных технических объектов. Проведен анализ возникновения состояний неопределенности при функционировании сложных технических объектов, выделены основные причины снижения эффективности функционирования систем мониторинга технического состояния. Описаны основные понятия теории энтропийных потенциалов (ЭП), раскрыты способы их использования для работы с состояниями неопределенности. Представлена вероятностная модель аварийных сигналов в системе мониторинга. Моделирование систем мониторинга с использованием методов теории ЭП позволяет осуществить получение информационных (энтропийных) портретов состояний неопределенности, в результате анализа которых возможно осуществление прогнозирования случаев возникновений аварийных ситуаций. С помощью описанных определений и методов можно оценить изменение технического состояния отдельных составляющих сложных технических объектов по их «информационному следу».
В исследовании [7] рассматривается технология, опирающаяся на комплекс нейронных сетей, которые прогнозируют состояния объекта. Особенной чертой данной технологии является способность дообучения при анализе показателей в подвижной среде. Предлагаемый метод позволяет обрабатывать весь комплекс телеметрических показателей технического объекта при зашумленных и неполных входных параметрах. Это дает возможность уменьшить затраты на мониторинг поведения и состояния объекта управления.
Следует обратить внимание на описанный в публикации [8] метод контроля и диагностики радиоэлектроники, опирающийся на анализ и комплексирование данных, поступающих от датчиков магнитного поля, тепловых и климатических датчиков, сведений о напряжении в сети. Метод контроля и диагностики применяет карты Хотеллинга в сочетании с байесовским выводом и сеткой выбросов. В итоге строится трехмерная модель-образ состояния аппаратуры, позволяющая выполнять достоверную идентификацию состояния контролируемых объектов.
В работе [9] исследуется метод оперативного контроля средств связи и радиоэлектронного обеспечения полетов. Подготовительный этап совершается на Земле и состоит из подготовки начальных данных для осуществления процесса телеизмерений и комплектования бортового автоматизированного измерительного комплекса под решаемые цели. Далее производится 1-й этап телеизмерений с использованием бортового комплекса, в ходе проверки в полете. Если на этом этапе обнаруживается отказ или предотказное состояние средства связи или радиотехнического обеспечения, подается сигнал аварии в наземный автоматизированный измерительный комплекс. 2-й этап заключается в осуществлении идентификации отказов уже на Земле. Заключительный 3-й этап состоит из актуализации базы состояний автоматизированной системы контроля и формирования разных типов отчетов проведенного экспресс-контроля. Разработан внешний вид конструкции пульта для оператора автоматизированной системы контроля группы управления полетами.
В работе [10] проанализирована проблема обнаружения аномалий методами машинного обучения; описана программа поиска аномалий, опирающаяся на распределение Гаусса. Программа дает хороший результат по поиску аномалий, в том числе визуализирует результаты для удобного использования оператором. Пример результата работы программы представлен на рис. 2 (красными кружками выделены обнаруженные аномальные показания датчика температуры).
Рис. 2. Выделение аномалий в показаниях датчика температуры
Рис. 3. Структура модели прогнозирующей диагностики привода
В статье [11] предлагаются методы диагностики и прогнозирования технического состояния электродвигателя с использованием нечеткой логики и ИНС. Нечеткая логика определяет степень развития каждой ошибки. ИНС – состояние объекта в целом и количество исправных периодов работы привода двигателя. Сочетание передовых методик сокращает время обучения и повышает точность прогнозов. Предложенные методы позволяют диагностировать неисправности двигателя, функционирующего на разных скоростях. Структура прогнозирующей модели диагностики привода показана на рис. 3.
В работе [12] обсуждается технология проектирования системы мониторинга силовых трансформаторов и устройств электроснабжения, основанная на использовании сенсорных сетей, описывается создание байесовской сети для прогнозирования вероятности отказа. Сформулированы условия достижения максимальной диагностической эффективности с требуемой точностью. Предлагается система диагностики, позволяющая оценить влияние каждого параметра на точность прогноза отказов. Показана возможность расчета вероятностей отказов при недостатке информации методом экспертных оценок. Модель позволяет рассчитать вероятность безотказной работы трансформаторов, принять решение о необходимости повышения доступности обслуживающего персонала, о необходимости снижения нагрузки и т.д.
2. Методы визуальной инспекции сложных технических систем
Далее представлены результаты исследования методов визуальной инспекции сложных технических систем по видеозаписям и данным лазерного сканирования – на основе нейросетевой детекции и интеллектуальной сегментации дефектов, автоматизации оценки состава, параметров и критичности дефектов с учетом конструктивных особенностей анализируемых технических систем.
Искусственный интеллект уместно использовать в том числе и при решении задач автоматизации оценки состава, параметров и критичности дефектов с учетом конструктивных особенностей. Для таких задач характерны проблемы использования несбалансированных, малочисленных и слабо размеченных данных совместно с полностью размеченными данными. Например, в работе [13] представлен метод, в котором нейросетевая модель учится выявлять и локализовывать дефекты, где в процессе самообучения вырезаются случайные фрагменты снимков, затем эти фрагменты вставляются в произвольные места больших изображений. Такой способ организации обучения позволяет обойтись без дорогостоящей разметки данных. В процессе обучения нейронная сеть учится их находить, далее, обучившись, она находит реальные дефекты. В работе [14] для обнаружения вмятин на фюзеляже самолета применяется сверточная нейронная сеть класса Mask R-CNN [15]. Mask R-CNN позволяет обнаруживать несколько объектов на изображении, одновременно создавая маску сегментации для каждого экземпляра. В работе [16] содержится описание доработанного подхода. Реализация включает балансировку исходного набора данных путем добавления изображений без вмятин; повышение однородности данных за счет сосредоточения только на изображениях крыльев; исследование техник аугментации данных, а именно переворачиваний, поворотов и размытий; использование предварительного обученного классификатора в сочетании с Mask R-CNN.
В исследовании [17] предложена архитектура с двумя подсетями: подсеть сегментации, которая учится на метках на уровне пикселей, и подсеть классификации, которая учится на слабых метках уровня изображения. Представлена модель глубокого обучения для обнаружения поверхностных аномалий. Объединение обеих подсетей позволило смешивать полностью и слабо размеченные данные для достижения наилучших результатов с минимальным аннотированием изображений.
Для приложений контроля качества работа при ограниченном количестве образцов может кардинально менять эффективность работы нейронных сетей. В исследовании [18] сравниваются три подхода на основе машинного обучения, делается оценка качества их работы при разных объемах датасетов: метод k ближайших соседей, расстояние Махаланобиса и специализированный фреймворк PaDiM [19] для обнаружения и локализации аномалий в изображениях. PaDiM использует предварительно обученную сверточную нейронную сеть для встраивания патчей и многомерные гауссовские распределения для получения вероятностного представления нормального класса. Он также использует корреляции между различными семантическими уровнями сверточной нейронной сети для лучшей локализации аномалий. Имея всего 10 изображений на класс и менее чем за 2 с обучения, PaDiM достигает лучших результатов, чем большинство современных автоэнкодеров при работе с датасетом «MVTec AD» (MVTec Anomaly Detection) [20]. Такие результаты получены благодаря качественной аугментации данных.
В публикации [21] предложена архитектура PatchCore, эффективно работающая на основе патч-признаков. При работе с датасетом «MVTec AD» PatchCore достигает уровня выявления аномалий порядка 99,1 %, в два раза сокращая уровень ошибки при сравнении с ближайшим конкурентом. Архитектура позволяет эффективно работать при малых датасетах.
В исследовании [22] предложен способ визуальной инспекции процесса плавления лазером металлического порошка (при промышленной 3D-печати): выполняется обработка высокоскоростного видео, для чего используется ИИ-модель FlawNet, позволяющая выполнять измерения смещений между предсказанным и наблюдаемым состояниями. Продемонстрирована возможность обнаружения изменений в сверхплотных материалах с пористостью 0,1 % с ROC AUC 0,944, что свидетельствует о способности обнаруживать аномалии до начала значительного разрушения материала. Решение применимо к различным системам лазерной обработки и потенциально может быть адаптировано к ряду различных методов зондирования.
Сканеры обнаружения и определения дальности (LiDAR) могут собирать высококачественные наборы данных трехмерных облаков точек. В работе [23] представлена PointNet – сверточная нейронная сеть, адаптированная для обнаружения дефектов поверхности с использованием наборов данных в виде облаков точек, получаемых при сканировании поверхностей. PointNet устойчива к отсутствующим и поврежденным данным. В работе [24] представлен метод неконтролируемого обучения Metaformer, использующий метапараметры модели обучения для достижения способности к обнаружению очагов поражений. Метод сравнивается с современными методами детекции аномалий. Проведенное исследование показало высокую гибкость Metaformer в многоклассовой задаче.
Заключение
В настоящей работе проводится обзор интеллектуальных методов обработки данных телеметрии и методов визуальной инспекции сложных технических систем. Обсуждаются и предлагаются основные направления применения искусственных технологий в космической технике, направленные на выявление аномалий, контроля и прогнозирования состояния аппаратуры датчиков. Исследованы вопросы прогнозирования технического состояния сложных технических систем, рассмотрено прогнозирование на основе метода Берга и моделей искусственного интеллекта – байесовских сетей и нейросетевых комитетов, осуществляющих прогнозирование состояния объектов интереса в нестационарной среде. Представлены результаты исследования методов визуальной инспекции сложных технических систем по видеозаписям и данным лазерного сканирования – на основе нейросетевой детекции и интеллектуальной сегментации дефектов, автоматизации оценки состава, параметров и критичности дефектов с учетом конструктивных особенностей.
Исследование выполнено за счет гранта Российского научного фонда № 21-71-10056, https://rscf.ru/project/21-71-10056/.