В настоящее время в научном сообществе возрастает интерес к автоматизации когнитивной деятельности человека и созданию нейроморфных систем (систем, функционирующих по принципам человеческого мозга). Для создания подобных систем была предложена новая архитектура вычислительных средств, основанная на создании нейроморфных процессоров, а также разработана федеральная научно-техническая программа развития нейроморфных систем «Мозг: здоровье, интеллект, инновации». Академики РАН предложили 2 пути развития нейроморфных систем: «большой интеллект», позволяющий моделировать когнитивную деятельность человеческого мозга, и направление машинного обучения для создания малых автономных самообучающихся систем. Основными проблемами на пути развития нейроморфных систем стали:
- энергоэкономичность;
- масштабируемость;
- и взаимодействие с асинхронной динамической средой [1].
Особый интерес в развитии нейроморфных систем занимает проблема создания гибридных систем, которые получаются синтезом малых самообучающихся систем. При проектировании нейроморфных систем инженеры могут прибегать к операции делегирования части функций нейроморфных процессоров естественным нейронным процессорам (центральной нервной системе) биологических объектов с целью снижения затрат на развитие гибридных систем. В частности, для решения оптимизационных задач балансировки нагрузки, не требующих интенсивной нагрузки на вычислительную систему, функциональное ядро гибридных систем способно передать часть задач обработки данных естественным нейронным объектам, которые выполнят обработку данных за счет своих ресурсов и стратегий энергоэкономичности и масштабируемости. Полученные результаты вычислений будут переданы нейроморфным системам для последующей обработки. В таком понимании основная нагрузка гибридной системы ложится на организацию взаимодействия с асинхронной динамической средой. Со стороны естественных нейронных систем такое взаимодействие осуществляется через каналы восприятия биологических объектов, а повышенная энергоэкономичность достигается правильной стратегией балансировки нагрузки на каналы восприятия.
Задача балансировки вычислительной нагрузки может быть реализована системами виртуального адаптационного пространства. Под виртуальным адаптационным пространством (ВАП) следует понимать систему воспринимаемой смешанной реальности, созданной путем введения в каналы восприятия субъекта виртуальной реальности сенсорных данных для компенсации поврежденных каналов восприятия [2].
Мозг биологического объекта можно рассматривать как нейронный процессор, обрабатывающий сигналы, которые поступают с рецепторов каналов восприятия, и формирующий картину окружающего мира [3]. Следует отметить, что мозг биологического объекта не проверяет достоверность восприятия приходящего сигнала, что позволяет имитировать сигналы рецепторов и формировать виртуальное восприятие объектов, которое накладывается на существующую реальность. Такой феномен используется в кибернетических устройствах. Например, кибернетический глаз Argus II создает гальванический разряд на поверхности сетчатки глаза субъекта виртуальной реальности, который индуцирует импульс на поверхности сетчатки глаза и формирует оптическое восприятие светового пятна [4]. Альтернативным подходом реализации кибернетического зрения является технология создания виртуального адаптационного пространства, позволяющего создать виртуальное пространство, в которое погружены цифровые копии объектов окружающего мира, взаимодействие с которыми осуществляет субъект ВАП через каналы восприятия [5].
Известно, что мозг биологического объекта строит картину окружающего мира по совокупному восприятию информации, считанной с каналов восприятия биологического объекта. Причем в процессе распознания окружающих объектов мозг биологических объектов пытается выделить характерные признаки окружающих объектов, по которым мозг может быстро выделить контуры объектов и отделить одни объекты от других [6]. Таким образом, вычислительные системы способны имитировать когнитивную деятельность мозга биологических объектов по распознанию образов объектов путем построения и анализа ассоциативной карты характерных признаков объектов.
В статье представлен пример погружения суперпозиции объектов физического пространства в виртуальное адаптационное пространство и метод классификации объектов пространства по их ассоциативным признакам.
Цель исследования заключается в развитии метода классификации объектов виртуального адаптационного пространства путем интеграции карты ассоциаций объектов.
Задачи исследования:
- построение виртуального адаптационного пространства и выделение объектов виртуального пространства;
- построение карты ассоциаций объектов виртуального адаптационного пространства;
- классификация объектов виртуального адаптационного пространства с учетом карты ассоциаций объектов.
Материалы и методы исследования
На начальном этапе датчики виртуального адаптационного пространства собирают информацию об объектах, расположенных вокруг субъекта виртуального пространства. С помощью мультимедийных датчиков система виртуального адаптационного пространства извлекает фотоснимки окружающей местности для построения топологии виртуального пространства.
На рис. 1 представлены фотоматериалы фрагмента сельской инфраструктуры, собранные со стереопары, которая входит в состав мультимедийных датчиков системы виртуального адаптационного пространства. Стереопара состоит из пары видеокамер, которая используется для получения серии синхронных фотоснимков наблюдаемого объекта с разных точек наблюдения.
Рис. 1. Фотоснимки левой и правой части сцены объектов
В табл. 1 приведен список объектов сцены, погружаемых в виртуальное адаптационное пространство.
Таблица 1
Описание объектов сцены
|
№ |
Объект |
Положение |
|
1 |
Дерево |
Центр сцены |
|
2 |
Кустарники |
Левый край сцены |
|
3 |
Стена теплицы |
Левый край сцены |
|
4 |
Забор |
Правый край сцены |
|
5 |
Листва |
Верхний и нижний края сцены |
|
6 |
Травяной покров |
Нижний край сцены |
Согласно методу классификации объектов ВАП [5] для погружения объектов в виртуальное пространство производится предварительная обработка изображений. В ходе предварительной обработки изображение рассматривается как двумерный массив пикселей в цветовом пространстве RGB и описывается картежом из 3 элементов (r, g, b), где r, g, b – хранят значения интенсивности красного, зеленого и синего компонента цвета пикселя изображения. В цифровых устройствах под каждый из компонентов цвета выделяют 1 байт, соответственно, значения r, g, b варьируются от 0 до 255. Предварительная обработка изображения заключается в преобразовании цветового пространства RGB в цветовое пространство YCbCr, состоящее из трех компонент [7]:
– Y – интенсивность цвета пикселя;
– Cb – светимость синего цвета пикселя;
– Cr – светимость красного цвета пикселя.
Для построения виртуального адаптационного пространства используется обобщенная информация о цвете пикселей информации, получающаяся проекцией цветового пространства YCbCr на ось Y для формирования матрицы полутонов исходного изображения (grayscaled). Компонента Y вычисляется по формуле от трех аргументов f(R, G, B).
Y = f(R, G, B) = 0.299R + 0.587G + 0.114B. (1)
Согласно методу классификации объектов виртуального адаптационного пространства цветовая палитра преобразованного изображения равномерно разбивается по интервалам [Yi, Yi+1].
(2)
где Ymax – максимальное значение интенсивности пикселей матрицы полутонов изображения, Nb – константа, хранящая общее количество интервалов.
На рис. 2 представлен результат преобразования исходного изображения.
Рис. 2. Преобразование исходного изображения (слева – результат фильтра grayscaled, в центре – результат разбиения изображения на 3 интервала, справа – 4 интервала)
При использовании малого количества интервалов происходит сглаживание фрагментов изображения путем объединения однотонных объектов в единую область. Таким образом, объекты с близкими значениями оттенка серого цвета ассоциируются как единое целое. При увеличении количества интервалов на шкале цветовой палитры увеличивается детализация объектов изображения, меняется текстура объектов, увеличивается порог сегрегации связанных объектов сцены.
Известно, что при решении задачи распознавания окружающих объектов мозг биологических объектов использует информацию об обобщенных свойствах форм окружающих объектов, собранных на протяжении жизни биологического объекта. При этом известны многочисленные оптические иллюзии, возникающие при распознании суперпозиции объектов. Например, мозг биологического объекта способен воспринимать по-разному размер объекта в суперпозиции этого объекта с более мелкими объектами (эффект лунной иллюзии – восприятия более крупного размера лунного диска, вызванного пространственным расположением диска Луны в близком расположении линии горизонта и суперпозиции мелких объектов на линии горизонта). Также мозг биологического объекта способен по-разному интерпретировать насыщенность цвета однотонных объектов в зависимости от контекста окружающих объектов (иллюзия Эдварда Адельсона). Таким образом, суперпозиция окружающих объектов позволяет подчеркнуть характерные черты наблюдаемого объекта.
Для вычисления характерной величины окружающих объектов по отношению к наблюдаемому объекту система виртуального адаптационного пространства использует карту ассоциаций объекта. В состав карты ассоциации объекта входит информация об окружающих объектах и их характерных черт (например, расстояние между объектами или цвет окружающих объектов).
На рис. 3 показан пример построения неориентированного графа взаимосвязей между стволом дерева (выделенного красным) и центрами окружающих объектов (выделены синими крестами). Синими линиями отмечены маршруты между наблюдаемым объектом и окружающими объектами. Зеленым цветом обозначена граница наблюдаемого объекта виртуального адаптационного пространства (ствола дерева). Светло-зеленым прямоугольником отмечена габаритная коробка наблюдаемого объекта.
Рис. 3. Результат построения взаимосвязей между целевым объектом (красным) и окружающими объектами
По информации о пространственном расположении близлежащих объектов система виртуального адаптационного пространства выстраивает карту ассоциаций. Пространственное распределение соседних объектов описывается в полярной системе координат (СК), где центром СК является центр наблюдаемого объекта, а положение соседних объектов определяется радиус-вектором r и углом поворота α. Радиус-вектор r выходит из центра СК и оканчивается в центре соседнего объекта. Угол α определяется углом меду радиус-вектором и горизонтальной осью.
Карта ассоциаций представлена гистограммой распределения соседствующих объектов. При построении карты распределении строится полярная сетка, где пространство полярной СК равномерно разбито на N секторов по углу. В гистограмме распределения по оси X расположены сектора полярной сетки, по оси Y указаны средние значения расстояний до объектов, попавших в заданный сектор. Для получения инвариантности значений расстояний от положения наблюдаемого объекта величины расстояний преобразуются из абсолютных значений в относительные путем деления абсолютной величины на размер диагонали габаритной коробки наблюдаемого объекта. Для полученной гистограммы вычисляется значение среднеквадратического отклонения σ, которое и является характерным числом топологического соседства объектов виртуального адаптационного пространства.
(3)
Результаты исследования и их обсуждение
В результате исследования были построены ассоциативные карты для объектов сцены виртуального адаптационного пространства для разных снимков сцены окружающих объектов. На рис. 4 показаны графы ассоциаций одного и того же объекта сцены на разных снимках стереопары системы виртуального адаптационного пространства.
Рис. 4. Результат построения графа взаимосвязей между целевым объектом (красным) и окружающими объектами для разных точек наблюдения объекта
В табл. 2 представлены данные ассоциативных признаков объектов. В таблице поле Ni содержит номер сектора полярной сетки, разделенной на 10 секторов, rл – относительная величина среднего расстояния от центра наблюдаемого объекта до объектов, попавших в Ni сектор на левом фотоснимке (рис. 4), аналогично rп – величина среднего расстояния для правого фотоснимка (рис. 4).
Таблица 2
Ассоциативный слой наблюдаемого объекта
|
Ni |
rл |
rп |
|
1 |
0.214502 |
0.178727 |
|
2 |
0.462922 |
0.439191 |
|
3 |
0.38829 |
0.419084 |
|
4 |
0 |
0.41401 |
|
5 |
0.60392 |
0.305008 |
|
6 |
0.700335 |
0.523565 |
|
7 |
0.254514 |
0.411201 |
|
8 |
0.534888 |
0 |
|
9 |
0.352752 |
0 |
|
10 |
0.207922 |
0 |
Величина дисперсии целевых характеристик rл и rп для левого и правого фотоснимков равна σл = 0,206578 и σп = 0,211066 соответственно. Как видно из рис. 4, различные позиции наблюдения целевого объекта приводят к изменению ассоциативной карты объектов из-за пространственных свойств окружающих объектов (например, часть объектов может быть скрыта наблюдаемым объектом под одним углом наблюдения, но открыта под другим углом наблюдения). Тем не менее совокупная характеристика ассоциации объектов меняется незначительно.
Заключение
В статье был показан пример построения ассоциативного слоя виртуального адаптационного пространства. Ассоциативный слой виртуального адаптационного пространства позволил усовершенствовать метод классификации объектов виртуального адаптационного пространства, добавив помимо существующей количественной характеристики удаленности объектов виртуального пространства новую количественную характеристику, позволяющую оценить топологическую взаимосвязь близлежащих объектов виртуального адаптационного пространства.