Введение

В современных системах управления сложными технологическими процессами оператор, управляющий процессом, является активным элементом контура управления. Особое внимание в последнее время уделяется интерфейсам «мозг – компьютер» (ИМК), которые позволяют напрямую передавать команды оператора от мозга к исполнительным устройствам, минуя традиционные каналы ввода. Среди различных типов ИМК особую значимость в задачах управления занимают асинхронные и синхронные системы, основанные на регистрации событийно-связанных потенциалов, в частности волн P300.

Существует множество различных систем регистрации когнитивных вызванных потенциалов (P300; MMN; CNV; GoNoGo; P50; N400; OddBall; TOVA (Test of Variables of Аttention); StroopTask; VCPT (Visual Continuous Performance Task)), однако P300 наиболее распространены [1–3].

Вызванные потенциалы, которыми являются потенциалы P300, формируются мозгом непроизвольно в ответ на стимулы, воспринимаемые оператором. На электроэнцефалограмме (ЭЭГ) оператора эти волны проявляются в виде участков определенной длительности с повышенным уровнем сигнала.

Одной из наиболее известных работ по реализации ИМК на основе эффекта P300 является исследование [2]. С момента опубликования этой работы прошло уже почти 40 лет, однако ИМК на основе волн P300 до сих пор не получили массового внедрения из-за трудностей в доработке данной технологии. Из-за перспективности использования таких ИМК в человеко-машинных интерфейсах, исследования по улучшению характеристик и повышению точности классификации являются актуальными и сейчас, что подтверждается публикациями [4, 5].

Формализацию процесса распознавания нейросигналов для повышения точности классификации и обеспечения устойчивости системы в условиях наличия шумов и индивидуальной вариабельности ЭЭГ наиболее удобно выполнять с использованием системного анализа [6, 7].

Современные подходы предобработки данных ЭЭГ предлагают использование пространственных фильтров, таких как CSP [8, 9]. Последние исследования показывают, что xDAWN превосходит CSP в задачах, связанных с обработкой P300, за счет лучшей адаптации к временной и пространственной структуре сигнала. Следует отметить, что xDAWN разработан специально для синхронных событий, в отличие от CSP, оптимизированного для анализа ритмов (асинхронные сигналы). Кроме того, xDAWN позволяет максимизировать отношение сигнал/шум и обеспечивать эффективное подавление спонтанной ЭЭГ-активности [10, 11].

В данном исследовании предложен подход, основанный на интеграции адаптивных автоматизированных систем с человеко-машинными интерфейсами типа ИМК, использующими регистрацию волн P300 для формирования управляющих сигналов или ввода текстовой информации в систему посредством обработки ЭЭГ сигналов.

Цель исследования – разработка программно-аппаратного комплекса и исследование его характеристик, включающих классификацию признаков, в рамках конкретной прикладной задачи – ввод текстовой информации в человеко-машинных интерфейсах посредством классификации ЭЭГ сигналов операторов.

Таким образом, исследование направлено на развитие методов обработки информации и адаптивного управления в человеко-машинных системах, что включает в себя системный анализ, статистическую обработку данных и интеллектуальную поддержку принятия решений.

Материалы и методы исследования

В человеко-машинном интерфейсе система передачи буквенно-цифровой информации от оператора к электронно-вычислительной машине (ЭВМ) предполагает портативное многоканальное устройство регистрации ЭЭГ сигналов оператора и программную реализацию предобработки, классификации, анализа данных.

Современное развитие технологий позволяет широкому кругу разработчиков, используя кроссплатформенные проекты открытого типа, создавать гибкие универсальные программно-аппаратные решения в области портативных ИМК. Такая программно-аппаратная часть портативного ИМК была разработана в нашей лаборатории на основе открытого проекта OpenBCI [12].

В данной работе использовались доработанные платы регистрации Cyton и Daisy, позволяющие проводить регистрацию 16 каналов ЭЭГ. Используя микроконтроллер PIC32MX250F128B, устройство регистрации проводит предварительную обработку регистрируемых сигналов, формирование пакетов и передачу данных на модуль радиоканала, который передает их на ЭВМ. Данные поступают в ЭВМ в режиме реального времени [13, 14].

Нейрогарнитура предполагала размещение электродов в разных локациях и позволяла применять как «сухие», так и «влажные» контакты при сопротивлении кожа – электрод не более 15 кОМ.

Использовали всего 8 каналов регистрации, электроды располагали в локациях Fz, Cz, Pz, Oz, P3, P4, PO7, PO8 по международной системе 10–20. Для каждого эксперимента мы получали по 20 выборок (10 выборок, содержащих волны P300 и 10 выборок, не относящихся к P300).

Существующие в настоящее время программные продукты открытого типа позволяют проводить различные виды предобработки данных, их классификацию, анализ и выдачу управляющих команд. Один из таких продуктов был использован в настоящем исследовании. Это программный комплекс OpenVibe [15, 16], который благодаря своей модульной структуре позволяет адаптировать его функционал под любые задачи нейрофизиологических исследований.

Чтобы осуществить связь аппаратной части регистрирующей аппаратуры и программного комплекса OpenVibe, было разработано программное обеспечение (ПО) на языке Python. Такое ПО позволило осуществить двухстороннее взаимодействие с аппаратурой регистрации (управлять настройками прибора и принимать регистрируемые данные), осуществлять парсинг пакетов данных и в режиме реального времени передавать регистрируемые данные в ПО OpenVibe, используя протокол межпрограммного взаимодействия (LSL).

Основываясь на модульной структуре ПО OpenVibe, была разработана методика проведения эксперимента в режиме онлайн, позволяющая в автоматизированном режиме осуществлять предъявление стимулов оператору, обработку и классификацию волн P300 из данных ЭЭГ и формировать вводимый текст на основе ранжирования уверенностей классификатора. Общая блок-схема разработанной методики показана на рис. 1.

В блоке «контроля эксперимента и отображения символов на экране» использовали систему «виртуальной клавиатуры». Оператору на экране ЭВМ показывалась матрица символов размером 6×6 элементов, представленная на рис. 2. Данный блок по определенному алгоритму производит подсвечивание (выделение символов более белым цветом) строк и столбцов таким образом, что единовременно подсвечена одна строка и один столбец. Целевой символ, на котором должен сконцентрироваться оператор, находится на перекрестии строки и столбца. Перебор строк и столбцов происходит таким образом, чтобы за один цикл перебора в перекрестии побывал каждый символ из таблицы. Перебор происходит случайным образом, но по определенному алгоритму. Временные интервалы подсветок ожиданий были установлены следующим образом: 2,5 с – ожидание без подсветки; 100 мс – подсветка строки и столбца; 75 мс – ожидание без подсветки; 100 мс – подсветка следующих строки и столбца и т. д. Подсветка символов проводилась таким образом, чтобы каждый символ из матрицы был подсвечен не менее 15 раз.

Рис. 1. Общая схема методики проведения экспериментов в режиме онлайн Примечание: составлен авторами по результатам данного исследования

Рис. 2. Англоязычная и русскоязычная матрицы символов для набора текста с использованием ИМК на основе P300 Примечание: составлен авторами по результатам данного исследования

Таким образом, используя разработанную методику, сформирована база записей ЭЭГ сигналов операторов, содержащая отклики мозга на предъявленные стимулы. Записи также содержали метки, указывающие на то, какой именно символ был подсвечен в определенный момент по временной шкале. Также записи содержали метки начала и конца предъявления стимулов. Данные метки нужны для формирования обучающей и валидационной выборок, которые подаются на вход классификатора. В качестве основного классификатора использовался классификатор, построенный на основе модели линейного дискриминантного анализа (LDA). Результаты классификаций сравнивались с истинным значением подсвеченного символа, усреднялись для каждых 10 вычислительных операций и переводились в процентное выражение уверенности классификатора.

В целях пространственной предобработки данных в данном исследовании применен модифицированный фильтр xDAWN, оптимизированный для работы с ограниченным числом каналов в портативных устройствах регистрации [17, 18].

Результаты исследования и их обсуждение

На рис. 3 представлен сценарий для офлайн-анализа данных ЭЭГ, записанных ранее.

Сценарий позволяет при помощи блока Generic Stream Reader читать данные ЭЭГ из файлов сформированной базы записей. Далее сценарий проводит фильтрацию сигналов в установленном частотном диапазоне 0,1–30 Гц, децимацию до 160 Гц.

Затем данные обрабатываются алгоритмом xDAWN, после чего достигается максимальное различие сегментов, содержащих P300 и не содержащих их. Затем происходит разделение данных и формирование двух векторов (содержащего сегменты P300 и не содержащего). Данные в каждом векторе проходят предварительную обработку, в результате которой они нарезаются на эпохи определенной длительности, идущие друг за другом с определенным интервалом. Начальная длина эпох 1 с, а интервал эпох – 0,0625 с.

Сценарий позволяет использовать предварительно обученные фильтры, выделять сигналы P300, проводить их классификацию и визуализировать работу P300 спеллера, но без подключения к реальному ЭЭГ регистратору.

Так как продолжительность волн Р300 имеет определенную длину во временном диапазоне, то эпохи, на которые происходит разбиение всего непрерывного сигнала, тоже должны иметь длину оптимальную для работы моделей, осуществляющих предобработку и классификацию признаков. Длины (продолжительности) эпох, так же как и интервалы между эпохами, являются переменными величинами, и их оптимальные значения для различных моделей предобработки и классификации тоже различны. Значения продолжительностей и интервалов влияют на точность классификации, и для разных моделей классификаторов они могут быть определены экспериментальным путем. Были проведены вычислительные эксперименты по определению оптимальных значений продолжительностей и интервалов эпох при формировании входных векторов.

Используя накопленную базу записей, все расчеты были проведены офлайн. Столбчатая диаграмма уверенностей классификатора, построенного на основе модели LDA при применении оптимизированных значений временных параметров предобработки, представлена на рис. 4.

Рис. 3. Сценарий офлайн-классификации P300 Примечание: составлен авторами по результатам данного исследования

Таблица 1

Параметры измерений

Рис. 4. Столбчатая диаграмма уверенностей классификатора на основе модели LDA с пространственным фильтром xDAWN Примечание: составлен авторами по результатам данного исследования

Таблица 2

Статистические показатели измерений

Примечание: составлена авторами на основе полученных данных в ходе исследования.

Параметры измерений приведены в табл. 1. Результаты метрологической обработки данных по всем испытаниям всех операторов приведены в табл. 2.

Таким образом, благодаря предобработке данных, основанной на оптимизации временных параметров следования друг за другом эпох, содержащих волны P300, удалось добиться увеличения уверенности классификатора по распознаванию символов в режиме онлайн до 84 %. При этом установлено, что наилучшими значениями показателей точности классификации обладал классификатор, построенный на основе модели LDA с предобработкой данных пространственным фильтром xDAWN.

Заключение

В работе были рассмотрены особенности практической реализации системы ввода текстовой информации в современных человеко-машинных интерфейсах с использованием разработанной регистрирующей аппаратуры ЭЭГ данных, разработанного ПО для межсистемного взаимодействия и стороннего открытого ПО OpenVibe.

Проведен вычислительный эксперимент по осуществлению различной предобработки сигналов во временной области перед осуществлением классификации. Основываясь на этом, проведено исследование по выявлению оптимальных временных параметров предобработки данных входных векторов, за счет чего обеспечивается адаптивность системы под конкретного оператора.

Выявленные оптимальные параметры предобработки, алгоритмы фильтрации и модели классификации позволили повысить уверенность классификатора по распознаванию символов в режиме онлайн до 84%.

Таким образом, предложенный программно-аппаратный комплекс ввода текстовой информации в современных человеко-машинных интерфейсах может рассматриваться как прототип, требующий дальнейшей проверки в реальных условиях.