Введение
Современные информационно-управляющие системы обладают развитыми технологическими возможностями для автоматизированного сбора и обработки сигналов в коротковолновом (КВ) диапазоне (3–30 МГц). Стратегической целью развития подобных систем является создание полностью автоматических комплексов радиомониторинга и радиоконтроля (КРМиРК), способных обнаруживать, классифицировать и идентифицировать источники сигналов в реальном времени, а в идеале – самостоятельно принимать решения по результатам их идентификации. Развитие технологий искусственного интеллекта формирует научные предпосылки для достижения данной цели, однако на практике в настоящее время создание такого рода комплексов остается трудно реализуемым из-за специфики задач по выявлению и анализу сигналов в КВ-диапазоне, а также ограничений на ресурсы, затрачиваемые на решение этих задач. В связи с этим роль оператора подобных комплексов достаточно высока, а его наличие является вынужденной необходимостью. Все это обуславливает актуальность научно-технической задачи совершенствования человеко-машинных интерфейсов КРМиРК.
Одной из ключевых проблем развития человеко-машинных интерфейсов является проблема обеспечения интероперабельности – свойства различных компонентов системы обмениваться достоверными данными для решения целевых задач. Cистемным исследованиям проблем интероперабельности посвящены работы С.И. Макаренко [1]. Вопросы обеспечения интероперабельности систем специального назначения, включая беспилотные летательные аппараты, находятся в центре внимания работ А.Я. Олейникова [2, 3]. В упомянутых и аналогичных исследованиях основное внимание уделяется вопросам технического характера: совместимость форматов данных, процедуры обработки данных; гармонизация протоколов, интерфейсов и процедур передачи и хранения данных; принципы работы измерительных приборов, анализаторов спектра и т.д. В работах С.В. Козлова проводится комплексный анализ основ интероперабельности с учетом эволюции ее предметной области [4]. Интегрированные системы управления рассматриваются как сложные организационно-технические системы (СОТС), а основной фокус исследований направлен на процессы СОТС.
В этих работах не рассматриваются вопросы создания высокоэффективных человеко-машинных интерфейсов для взаимодействия оператора системы с ее техническими компонентами, хотя человеческий фактор играет важнейшую роль в обеспечении эффективности беспилотных летательных аппаратов и дистанционно управляемых робототехнических систем, включая автоматизированные системы управления специального назначения. Именно человек, выступая в роли оператора или пользователя, решает задачу по контролю корректной работы системы в целом, а также обеспечению эффективности и результативности в процессе общего функционирования информационной подсистемы. На него возлагается ответственность за принятие окончательных решений, постановку задач по дальнейшей работе комплекса, ввод управляющих команд и работу системы в целом. В то же время пользователь, как любой человек, субъективен в ситуациях, связанных с восприятием и интерпретацией предоставленной информации, и поэтому склонен к принятию ошибочных решений и действий в нестандартных и сложных ситуациях [5]. Для снижения этих ошибок человеко-машинный интерфейс должен предоставлять пользователю достоверную и актуальную информацию в максимально удобной и доступной для понимания форме.
Общие проблемы и пути решения задач по созданию человеко-машинных интерфейсов достаточно хорошо изучены и представлены в научной литературе [6, 7]. Однако применительно к задачам КРМиРК проблема построения эффективных пользовательских интерфейсов проработана недостаточно. В научной литературе представлено большое количество публикаций, описывающих алгоритмы обработки сигналов радиоэфира, но при этом недостаточно исследованы вопросы оперативного и качественного предоставления оператору информации, а вопросы эффективности пользовательских интерфейсов зачастую сводятся к соблюдению требований по эргономике, описанных в ряде стандартов. Для построения эффективных КРИиРК выполнение данных требований оказывается недостаточным. Это объясняется спецификой решаемых задач и, в частности, задачей отображения радиосигналов во времени.
Целью исследования является анализ этих особенностей и путей повышения эффективности человеко-машинных интерфейсов КРМиРК, работающих в КВ-диапазоне в реальном времени.
Материалы и методы исследования
Оператор получает сведения о состоянии системы при помощи устройств индикации, которые преобразуют сигналы аппаратуры и передают их человеку с использованием визуальных, звуковых, тактильных и других каналов восприятия. Совокупность всех сигналов, которые отображаются на устройствах индикации, обрабатывается в сознании человека, в результате чего формируется образно-концептуальная модель – совокупность субъективных представлений пользователя о реальном и прогнозируемом состоянии процессов, о целях и способах достижения цели своей деятельности. Приведенное описание является отражением известной модели трансформации данных в знания, которую в 1989 г. предложил Аккоф (Russel Ackoff) [8]. В дальнейшем модель была адаптирована к задачам принятия управленческих решений в менеджменте, и в нее были введены дополнительные уровни: сигналы→данные→информация→знания→понимание→мудрость→решение [9, 10]. Эти модели отражают общий процесс трансформации данных в решения, но при этом они не дают представления о том, каким образом должен осуществляться процесс перехода из одного состояния в другое, а также какие методы и подходы целесообразно применять для осуществления этих переходов. В частности, при работе оператора КРМиРК необходимо акцентировать внимание на вопросах перехода от категории «знание» к категории «понимание», а категория «мудрость» может быть исключена из рассмотрения ввиду незначительности влияния на эффективность решения задачи идентификации сигнала.
На рис. 1 представлен вариант адаптации данной модели к задачам идентификации сигналов в КРМиРК, отражающий роль когнитивных свойств оператора КРМиРК и влияние человеко-машинного интерфейса на решение задачи идентификации сигнала.
Рис. 1. Модель принятия решений оператором КТКиРМ Источник: составлено авторами на основе [10]
Оператору недостаточно знать о наличии того или иного сигнала в частотном диапазоне его оперативной работы. Ему требуется понимание природы сигнала, для чего проводится классификация и идентификация источника на основе оперативной обработки сигнала. Именно эту задачу и должен решать пользовательский интерфейс – упрощать возможность перехода от общего знания о наличии сигнала к глубокому пониманию его природы и решению о том, какова может/должна быть реакция системы на появление сигнала на заданной частоте.
Одним из инструментов трансформации данных в информацию является визуализация. В КРМиРК визуализация осуществляется путем отображения на экране оператора графиков мгновенного спектра и спектрограмм.
График мгновенного спектра отражает амплитудные значения различных частотных компонент сигнала. Подготовка данных для отображения мгновенного спектра основана на применении преобразования Фурье для получения спектральных компонент сигнала:
При его программной реализации используются алгоритмы быстрого преобразования Фурье (БПФ), которые позволяют сокращать объемы необходимых вычислений [11]. В результате выполнения преобразования Фурье получается спектр сигнала, график которого отображает амплитуды каждой частотной компоненты.
Одной из задач, которые решаются в процессе отображения графиков мгновенного спектра, является проблема оптимизации сочетания разрешающей способности по частоте и ширины полосы, для которой проводится преобразование Фурье при построении графика. Высокая разрешающая способность позволяет определять различия между близкими частотными компонентами. Однако высокое разрешение увеличивает объем вычислений, что приводит к увеличению времени решения задачи. При разрешающей способности по частоте в 10 кГц на всю полосу КВ-диапазона потребуется 30000 вычислений значений Хk, но для получения информации, достаточной для надежной идентификации сигнала, следует использовать фильтры в 10 Гц и ниже, что требует минимум 3000000 вычислительных операций. Эти операции должны проводиться в режиме реального времени. В данном случае это означает, что все эти операции должны гарантированно завершаться в течение некоторого временного интервала. Для КРМиРК этот интервал может варьироваться от 1 с до 40 мс, что обеспечивает обновление визуального представления сигнала от 1 до 25 раз в секунду.
Типичной проблемой при работе с мгновенным спектром является «спектральная утечка», которая может приводить к неправильной интерпретации спектральной структуры сигнала [12]. Эффект утечки может быть ослаблен увеличением частоты отсчетов. Также для борьбы со спектральными утечками применяются методы оконной функции [13].
.
Использование этих методов неизбежно ведет к увеличению объема необходимых вычислений.
Спектрограмма является одним из основных инструментов, позволяющих оператору КРМиРК анализировать сигналы в выбранной полосе спектра. В основе ее построения лежит интуитивно понятное отображение зависимости частоты и амплитуды от времени [14].
Рис. 2. Отображение на экране сигнала с фильтрами различной частоты: а) 1кГц; б) 25 Гц; в) 1 Гц Источник: составлено авторами
Время в спектрограмме отображается по вертикальной оси, а амплитуда представлена цветом. Каждый отсчет спектрограммы соответствует одному частотному спектру, вычисленному по одному кадру данных во временной области.
Оператор анализирует сигнал в КВ-диапазоне с использованием частотных фильтров с шириной от 10 кГц до 1 Гц. Выбор частотного фильтра обуславливается спецификой задач, которые необходимо решить оператору. Для просмотра всей панорамы (3–30 МГц) обычно используется фильтр в 10 кГц. Для анализа единичных сигналов используются частотные фильтры в 25, 10 или 1 Гц.
На рис. 2 приведены спектрограммы одного и того же сигнала с фильтром 1 кГц и 25 Гц, а также графики среднего и максимального спектров с фильтром 1 Гц.
Из приведенных отображений видно, что фильтр в 1кГц позволяет лишь обнаружить наличие сигнала, а для получения информации о характере и типе сигнала требуется использование фильтров 25 Гц и ниже.
Результаты исследования и их обсуждение
В основе задач, которые решает оператор КРМиРК, лежит классификация сигнала и определение его частотно-временных характеристик. Актуальной при этом является проблема оптимизации использования имеющихся вычислительных ресурсов. Она может решаться как за счет использования эффективных методов и алгоритмов решения отдельных вычислительных задач, так и за счет оптимизации распределения решаемых задач между структурными элементами вычислительного комплекса.
В современных КРМиРК типичным является разделение на серверную и клиентскую часть, при этом достаточно часто используется принцип «тонкого клиента», при котором на автоматизированном рабочем месте (АРМ) оператора решается задача визуализации информации, а вся обработка данных осуществляется на сервере (рис. 3). В этом случае при работе с панорамой радиоэфира на основе спектрограммы сервер обрабатывает заданную оператором полосу радиоэфира на выбранном фильтре БПФ и формирует оперативную обстановку в виде изображений (jpeg-файлов), которые передаются на АРМ оператора.
Известным недостатком данной архитектуры является ограничение на число одновременно обрабатываемых клиентских запросов [15]. Вычислительные ресурсы сервера приходится распределять между задачами обработки данных для поиска и анализа радиосигналов в автоматическом режиме и задачами формирования изображений, объем которых растет пропорционально числу операторов. В итоге существенно ограничивается возможность оперативного применения фильтров контрастности и шумоподавления, так как для их использования серверу придется заново обработать весь массив данных и отправить их оператору. Перенос ряда задач на АРМ оператора позволил бы снизить вычислительную нагрузку на сервер и использовать освободившиеся мощности для повышения эффективности поиска и анализа радиосигналов в автоматическом режиме.
Реализация архитектуры КРМиРК по принципу «толстого клиента» позволяет снизить количество запросов на серверную часть, переведя всю обработку на сторону клиента (рис. 4).
Рис. 3. Типовая архитектура КРМиК Источник: составлено авторами
Рис. 4. Архитектура «толстого клиента» в КРКиРМ Источник: составлено авторами
Пользователь взаимодействует с системой через браузер. Вычислительные возможности современных браузеров постоянно растут, при этом растет доля «толстых» клиентских веб-приложений, построенных на базе технологий HTML5/JavaScript [16]. Следует отметить, что производительность подобных решений будет ниже по сравнению с решениями на более низкоуровневых языках программирования, таких как C++. В системах реального времени, к которым относится КРМиРК, это обстоятельство может стать решающим при выборе архитектуры программного обеспечения АРМ оператора. Для выполнения временны́х требований к реализации вычислений по отображению спектрограммы эти вычисления предлагается выполнять непосредственно на видеокарте АРМ оператора на основе технологии WebGL. При этом язык JavaScript используется исключительно для построения своего рода «моста» между графическим процессором (GPU) и источником данных – в данном случае серверной частью, что позволяет значительно увеличить скорость отображения и обновления данных.
Заключение
Идентификация сигнала является характерным примером формирования категории «понимание» в соответствии с моделью, представленной на рис. 1. Для понимания природы сигнала необходима совокупность знаний, при формировании которой требуется участие оператора с его когнитивными способностями. Современные технологии искусственного интеллекта могут решать подобные задачи с использованием методов распознавания образов и машинного обучения на основе нейронных сетей. Однако эти методы требуют дорогостоящих вычислительных ресурсов значительной мощности, что в некоторых условиях может стать критическим фактором. Кроме того, для обучения нейронных сетей требуется участие оператора, который сам должен понимать природу анализируемого сигнала на основе накопленных им знаний. Необходимым условием для этого является наличие эффективного интерфейса, который позволяет оператору проводить ручные измерения необходимых параметров с достаточной точностью и детализацией.
Предлагаемый подход к построению КРМиРК для работы в КВ-диапазоне был опробован при построении пилотной версии комплекса и показал свою эффективность. Серверная часть комплекса разрабатывается на языке программирования C++, а клиентская часть – с использованием языков программирования JavaScript и WebGL. В результате для создания эффективного человеко-машинного интерфейса в области спектрального анализа радиосигналов КВ-диапазона в реальном времени, решены следующие задачи:
‒ разработка desktop-приложений, работающих в мультиоконном режиме на базе существующих веб-технологий;
‒ выбор оптимального метода и формата передачи данных между серверной и клиентской частью с учетом сетевых ограничений и ресурсных ограничений, накладываемых на клиентский АРМ оператора;
‒ разработка алгоритма визуализации данных в графическом виде на базе GPU с использованием веб-технологий;
‒ интеграция разработанных приложений в рамках интероперабельного человеко-машинного интерфейса, позволяющего решать задачи спектрального анализа радиосигналов КВ-диапазона в реальном времени.