В настоящее время традиционные стереоскопические программные комплексы фотограмметрической визуализации 3d изображений и ГИС системы являются полноэкранными, другими словами, изображение занимает весь экран монитора [1, 3]. Такого рода решения сложно применимы в системах автоматизированного мониторинга и управления, т.к. во время работы такого рода программ необходимо совмещение обработки основной информации в одном окне с использованием других окон со второстепенной (вспомогательной) информацией (справочная, изображение видеокамер и т.д.). Институтом проблем управления РАН, в качестве первого шага в разработке промышленных многооконных 3d систем был разработан и применен в программном комплексе «Талка-ГИС» способ создания стереоскопического интерфейса пользователя в многооконной среде Windows (патент RU 2380763, ИПУ РАН) [2, 4]. Тем не менее для предложенного интерфейса необходимо подготавливать высококачественное стереоскопическое отображение во всем окне визуализации без вычета частей, закрытых другими окнами (пример многооконного интерфейса изображен на рис. 1) [4].
Следствием такой реализации является использование ценных для систем автоматизированного управления и мониторинга аппаратных ресурсов компьютера. В связи с чем возникла задача разработки многооконного стереоскопического интерфейса с зависимостью между качеством отображаемой картинки и направлением взгляда пользователя, что обеспечит экономию вычислительных ресурсов [4]. Следует отметить, что разработкой такого рода систем занимаются такие мировые лидеры в области электроники, как:
- SONY;
- SAMSUNG;
- LG;
- MICROSOFT;
- и др.
Рис. 1. Пример интерактивного многооконного интерфейса при проведении горнодобывающих работ
Только направления исследования у них несколько другие, они направленны на улучшение качества отображения трехмерного изображения на одном экране для нескольких пользователей, располагающихся под разным углом к одному монитору/телевизору. В данной статье рассматривается решение описанной выше задачи для цели использования в системах автоматизированного мониторинга и управления. Методы решения задачи включают в себя следующие основные проблемы [6, 7, 4]:
- подготовка и отображение графического контента с учетом пространственного положения наблюдателя (как говорилось выше, данную задачу решают ведущие компании мира) и конфигурации окон на экране;
- определение трехмерных координат зрачков наблюдателя и направления их взгляда;
- преобразование отображения стереоскопической информации в реальном времени для улучшения восприятия пользователем;
- построение стереоскопического графического интерфейса пользователя;
- исследования по подготовке и отображению 3d контента с учетом пространственного положения наблюдателя и его пристального взгляда;
- разработка основных окон пользователя для решения всего спектра задач автоматизированного мониторинга и управления.
В тестовых программных продуктах, для повышения качества изображения в местах пристального взгляда пользователя используется тесселяция. Разработанный ИПУ РАН алгоритм тесселяции использует возможности пакетов Direct 3D и Open GL [8, 4]. Тесселяция проводится на соответствующей стадии между вершинным и геометрическим шейдорами с целью сглаживания изображения в области пристального взгляда с целью сглаживания изображения в области тесселяции для ликвидации пиксельности, вызываемой дискретностью сетки 3d модели визуализируемого объекта [9]. В созданных программных продуктах стадия тисселятора использует параметр тесселяции для дополнительного разбиения узла на несколько треугольников или квадратов. Все решения о разбиении принимаются программным комплексом на основе конфигурационных и тесселяционных параметров, передаваемых из оболочечного сервиса. Каждая вершина после стадии тесселяции передается в виде координат параметризации в шейдер областей [4, 1].
Проведенные исследования субъективной оценки повышения качества отображения изображения в заданной области экрана подтвердили визуальное улучшение восприятия у всех пятидесяти человек, принимавших участие в тестировании (пример различного качества изображения приведен на рис. 2).
Рис. 2. Пример отображения разного количества треугольников одной поверхности при тесселяции
В настоящий момент существует два основных метода распознавания глаз наблюдателя на изображениях (в том числе и на кадрах видеоматериалов) [10]:
- на базе формы (делится на методы: фиксируемых, простых деформируемых и сложных деформируемых форм);
- на базе внешнего вида.
Методы на базе фиксируемых форм используют характерные, типичные особенности анатомического строения глаз и лица человека, что не обеспечивает высокую точность определения координат глаз [5, 6]. В связи с последним обстоятельством данный метод не подходит для решения поставленной задачи.
Методы на базе простых деформируемых форм используют только распознавание лимба и зрачка, что позволяет определять положение глаза наблюдателя с точностью до 2 мм на удалении до 1,5 м от экрана, но данный метод достаточно медлителен и не позволяет обновлять экран чаще 25–30 кадров в секунду (рис. 3). В связи с этим данный метод тоже был отклонен [4].
В состав алгоритмов тестовых программ в итоге вошел метод на базе сложных деформируемых форм. Данный метод при определении координат использует следующие элементы:
- контуры век;
- внешний и внутренний углы глаза;
- положение точек изгиба контуров век;
- вертикальная и горизонтальная оси полувалов;
- эллипс лимба;
- эллипс зрачка;
- точка центра зрачка.
Данный метод позволяет, используя камеры с разрешением 1920×1280 (при проведении тестирований использовались камеры TSi-Ple2FP и TSi-Ple2VP производства компании SONY), определять положение зрачка наблюдателя с точностью до 2 мм с частотой обновления до 100 Гц на удалении наблюдателя на расстояние до 1,5 м от экрана [2, 4].
Рис. 3. Примеры определения направления взгляда наблюдателя
Следует отметить, что для экономии вычислительных ресурсов данный метод применяется во время работы программного средства при отображении стереоскопических 3d моделей. Во время работы программного комплекса без отображения 3d моделей либо в начале работы предложено использовать метод на базе внешнего вида.
Методы на базе внешнего вида основываются на модели, построенной непосредственно на внешнем виде области глаза. Концептуально они относятся к сопоставлению с шаблоном, строя модель небольшого участка изображения и выполняя обнаружение искомого элемента используя меру сходства. У данных методов есть внутренние проблемы, связанные с изменениями масштаба и поворота. В связи с чем его можно применять для первичной идентификации лица наблюдателя и его глаз, а также для слежения за их местоположением во время работы программного средства. Проведенные эксперименты показали, что данный метод позволяет локализовать место глаза с линейными размерами 4×3 мм с точностью до 5 мм в реальном времени с частотой определения до 100 Гц.
Тем не менее определение места положения глаз наблюдателя еще не дает нам возможности определить место пристального взгляда наблюдателя на экране монитора. Для решения этой задачи возможно использовать две группы методов:
- на основе рецессии (за счет нескольких источников ИК-подсветки ведется поиск блеска глаза и вычисляется центр пересечения координат линии взгляда с плоскостью изображения);
- на основе геометрической модели (точка взгляда вычисляется путем пересечения вектора направления взгляда с монитором).
Проведенные эксперименты показали, что максимальная точность распознавания точки пристального взгляда при втором методе определения лежит в области 10–15 мм и в 2–3 раза точнее первого, что говорит в пользу выбора второго метода [2, 3, 4].
Большая часть современных систем отображения стереоскопического 3d изображения предназначена для положения базы глаз наблюдателя строго горизонтально монитору. Тем не менее определение глаз позволяет использовать механизм подстройки стереоизображения под любой угол расположения базы глаз наблюдателя, что позволяет располагать мониторы в системе наблюдения произвольным образом.
Хотя, существует вопрос построения самого трехмерного эффекта, в данной статье мы его рассматривать не будем, т.к. данная задача уже давно решена и производителями видеокарт, мониторов и видеоигр.
Касаясь применения предложенного выше комплекса, хотелось бы отметить его потенциальную высокую эффективность в современных информационных комплексах по управлению и мониторингу за производством строительных работ на крупных площадных объектах.
Такого рода системы, используя стереоэффект, позволят наблюдателю получить более реалистичную картину происходящего, что повышает его внимание и позволяет проводить за монитором большее количество времени. Следует отметить, что возможность дискретного улучшения картинки в местах пристального взгляда существенно уменьшает требовательность системы к ресурсам компьютера, затрачиваемым на отображение интерфейса пользователю. Последний аспект, в свою очередь, позволяет использовать ценные ресурсы аппаратной части системы на другие задачи.
Тем не менее все вышесказанное относится к системам отображения 3d с помощью стандартных экранов. В настоящее время широко распространяются системы виртуальной реальности различного вида, представляющие из себя шлемы. В таких устройствах размещение систем контроля за пристальным взглядом крайне затруднительно, соответственно, для них необходимо использовать другие принципы экономии ресурсов, связанные с отслеживанием положения головы в целом и всего, что попадает на экран шлема.
Кроме того, отображение на одном мониторе и стерео и нестерео изображения достаточно затратно с точки зрения ресурсов системы т.к. монитор все равно будет работать в стереорежиме, а соответственно, видеокарта будет изготавливать картинку под оба глаза наблюдателя отдельно. Следует понимать, что на хранение двух копий одной сцены в памяти видеокарты необходимо выделять куда большее количество места. А параллельные вычисления вершин для пересчета качества отображения «на лету» могут вообще достигать нескольких десятков секунд. Кроме того, до конца не решен вопрос состыковки мест низкой и высокой детализации, в этих местах могут возникать разрывы изображения, что будет визуально ухудшать картинку [4].
Тем не менее предложенный способ построения стереоскопических интерфейсов может быть эффективно использован в системах обработки стереоскопических изображений, играх и презентациях. Кроме того, тестирование показало эффективность такого рода систем в таких задачах, как горнодобывающая промышленность (см. рис. 1, в качестве тестового образца система была поставлена на один из разрезов крупной угольнодобывающей промышленности, где сейчас проходит тестирование), строительство и эксплуатация дорог (визуальная часть в настоящий момент используется в ядре нейросетевой самообучающейся системы управления строительной техникой, проходящей тестирование на одной из площадок в Тульской области) и площадных сооружений, фотограмметрические обработки аэро- и космосъемки [4].
Несмотря на существующие, поднятые в статье недостатки, на данном этапе развития технологии 3d отображения решения, описанные в статье, позволят вывести приложения на новый уровень для пользователей, что повысит эффективность их применения и расширит круг задач в дальнейшем.
Библиографическая ссылка
Жигалов К.Ю. СОЗДАНИЕ И ИСПОЛЬЗОВАНИЕ ИНТЕРАКТИВНЫХ МНОГООКОННЫХ ГИС // Современные наукоемкие технологии. – 2017. – № 6. – С. 35-39;URL: https://top-technologies.ru/ru/article/view?id=36694 (дата обращения: 18.04.2024).