В настоящее время все большую популярность набирают технологии 3D-печати. По данным сайта tadviser.ru в 2016 г. глобальные продажи 3D-принтеров, а также материалов, программного обеспечения и сервисов для этого оборудования составили $13,2 млрд. Эксперты предсказали ему двукратный рост к 2020 г. Согласно материалам различных интернет-ресурсов рынок 3D-сканеров должен достичь отметки приблизительно в $5 млрд в 2020 г. и показать темпы роста годовой прибыли около 12 %.
На текущий момент трехмерное сканирование применяется в промышленности в задачах виртуального испытания предлагаемых конструкций и для составления документации по существующим объектам. В медицине в целом и в стоматологии в частности трехмерное сканирование облегчает протезирование. В архитектуре, строительстве и археологии с помощью данной технологии получают точные копии имеющихся объектов, что позволяет проводить ремонт и реставрацию в случае отсутствия официальной документации. А также задача распознавания образов, которая применима как в военной сфере для обнаружения техники противника, так и в повседневной жизни в активно разрабатываемых в данный момент автопилотах и системах идентификации по лицу [1]. И это далеко не все возможные сферы применения.
Рис. 1. Этапы составления единой трехмерной модели [1]
Характеристика процесса формирования модели
Основная сложность процесса сканирования заключается в том, что любой объект, как микро-, так и макроуровня, невозможно полностью отсканировать с одного ракурса. Результатом сканирования, проведенного с одного ракурса, является набор координат поверхности объекта относительно сканирующего устройства, однако итогом сканирования объекта должна выступать единая модель, для получения которой проводится слияние облаков точек, полученных с разных ракурсов, в единое облако, которое в результате триангуляции станет трехмерной моделью. Процесс слияния – сложная и ресурсоемкая математическая задача. Разработано множество методик сканирования, позволяющих снизить вычислительную сложность операции слияния.
В зависимости от типа задачи используется наиболее подходящая методика сканирования. При сканировании печатных плат используется подход со статичным положением высокоточных сканирующих модулей, покрывающих все возможные варианты взаимного расположения элементов на плате. Для сканирования макрообъектов могут использоваться методики, базирующиеся на системе маркеров и меток, позволяющих однозначно расположить результаты проведенного из разных точек пространства сканирования относительно друг друга.
Составление единой трехмерной модели на основе данных многоракурсного сканирования происходит в несколько этапов (рис. 1).
На первом этапе необходимо получить все фрагменты, которые будут участвовать в последующем объединении. Следующим шагом идет очистка данных от шума и побочной геометрии, к которой относятся лишние объекты либо элементы конструкции сканера. Этот шаг может выполняться как вручную, так и автоматически с помощью специальных алгоритмов. Третьим, и самым объемным, этапом является объединение облаков точек в единую модель. В зависимости от конструкции сканера решение данной задачи может быть обособленным либо использовать некоторую информацию, генерируемую в процессе сканирования. После слияния всех облаков точек в одно облако модель нуждается в постобработке. Заключаться такая обработка может как в сглаживании части точек на границах склейки, так и в закрытии «белых пятен» на скане различными интерполяционными методами. На последнем этапе итоговая 3D-модель конвертируется в необходимый формат, например STL, OBJ или COLLADA. Перечисленные форматы являются наиболее распространенными. Как следствие, представление итоговой 3D-модели с помощью одного из таких форматов позволяет утверждать, что модель будет прочитана практически любым программным обеспечением, связанным с трехмерной графикой.
Проблема полноты покрытия сканируемого пространства возникает во всех областях задачи сканирования. При увеличении сложности сканируемого объекта количество необходимых ракурсов съемки многократно увеличивается. Для полноценного воспроизведения объекта простой геометрической формы достаточно провести сканирование с нескольких ракурсов, однако если речь идет о сложном объекте с большим количеством деталей, то этого уже будет недостаточно. Рассмотрим упоминавшийся ранее пример с печатными платами. Чтобы всесторонне изучить плату с единственным элементом на ней и не пропустить никаких деталей, необходимо настроить сканер таким образом, чтобы съемка осуществлялась с четырех основных направлений, что обусловлено формой и расположением контактов элементов, монтируемых на печатные платы. Однако если рассматривать более сложные конструкции, то появляется проблема, что крупные элементы, расположенные на плате, могут частично или полностью заслонять от сканирующего устройства более мелкие элементы. Кроме того, с высокой точностью можно сканировать лишь относительно небольшие участки поверхности из-за ограниченной чувствительности аппаратных решений. Это приводит к необходимости проводить сканирование каждого элемента на плате с нескольких ракурсов, что, принимая во внимание количество элементов, значительно увеличивает количество сканов.
Таким образом, можно сделать вывод, что наиболее трудоемким и ресурсозатратным этапом при создании единого облака точек на основе данных многоракурсного трехмерного сканирования является совмещение нескольких сканов в единую модель.
Актуальность и цель исследования
В связи с активным расширением потребности рынка в технологии трехмерного сканирования возникает необходимость совершенствования технологии в аспекте доступности и быстродействия. Трехмерное сканирование уже значительно повысило качество контроля выхода годных деталей на конвейерах, упростило жизнь дизайнерам и позволило сделать первые шаги к действующим системам автопилотирования. В то же время решение ряда весьма важных задач, обрабатываемых существующими разработками, может быть значительно упрощено благодаря повышению эффективности применяемого инструментария.
Цель статьи: анализ существующих методов совмещения нескольких облаков точек и определение подходов к формированию единой модели, а также определение задач дальнейшего исследования.
Метод контактного сканирования
Самым точным и при этом самым старым является метод контактного сканирования [2]. Суть метода заключается в проведении по всей поверхности изучаемого объекта специальным сенсорным датчиком, который в зависимости от своего положения передает данные о контуре предмета. Самые первые устройства подобного типа нуждались в нанесении специальной маркерной сетки на объект, как показано на рис. 2. Расстояние между маркерами определялось типом рельефа: на изогнутых поверхностях маркеры расставлялись наиболее часто, а на ровных участках максимально отдалялись друг от друга. В более поздних моделях, в том числе – применяемых сейчас, необходимость использования маркерной сетки нивелировалась. По своей сути, данный метод не объединяет облака точек как таковые, а постоянно добавляет по одной точке в уже существующее облако [3].
Рис. 2. Процесс контактного сканирования
Основным недостатком метода контактного сканирования является необходимость точного проведения датчиком по всей поверхности изучаемого объекта. В случае относительно небольших предметов это не является проблемой. В то же время при необходимости отсканировать поверхность какого-либо крупного объекта (например, автомобиля) такое сканирование может занять длительное время. Помимо этого недостатка выделяют еще необходимость постоянного контакта с изучаемым предметом, что может негативно сказаться на археологических находках. Глобальным достоинством данного метода является отсутствие требования к освещению и текстуре объекта.
Из-за перечисленных недостатков метод контактного сканирования в настоящее время имеет очень ограниченную сферу использования. Наиболее востребован он в тех областях, где требуется абсолютная точность. Например, проверка стыкуемых поверхностей в авиации и космической отрасли, а также в процессе изготовления больших интегральных схем.
Все прочие технологии трехмерного сканирования, так или иначе, основаны на оптике, что неминуемо влечет за собой зависимость работы этих методов от освещения и текстуры объекта исследования. К оптическим системам сканирования относят, например, системы, работающие с лазерными дальномерами. В таких системах замеряется время между испусканием лазерного пучка и приемом его дефлектором. К оптическим системам относятся также фотограмметрические системы, использующие стереосъемку несколькими камерами, и системы с лазерной или светодиодной подсветкой, которые благодаря проекции простейших примитивов на объект могут определить расстояние по зафиксированному контуру. В дальнейшем при рассмотрении технологий совмещения нескольких облаков точек в единую трехмерную модель особое внимание будет уделено технологии совмещения, а не получения исходных данных.
Совмещение с применением геолокации
Наиболее «непопулярным» методом на данный момент является совмещение облаков точек по геолокации, изображенное на рис. 3.
Рис. 3. Схема сканирования с применением геолокации
Сама по себе идея выглядит очень привлекательно, так как, зная положение сканирующего устройства в пространстве, для сборки единой трехмерной модели было бы необходимо лишь сместить матрицу координат облака точек на вычисленные координаты (X;Y;Z) и повернуть относительно начала координат в соответствии с показаниями встроенного компаса. Ключевой проблемой стала точность геолокации: нет никакого смысла в сканировании, проводимом с точностью до миллиметров, если способ совмещения дает погрешность в пару метров в лучшем случае. При этом имеются проблемы с определением высоты, что тоже вносит свои корректировки, отсутствием сигнала в подвальных помещениях и серьезными помехами в крупных городах.
Несмотря на перечисленные недостатки, нельзя сказать, что геолокация абсолютно игнорируется современными методами совмещения нескольких облаков точек. Чаще всего она используется как вспомогательный инструмент для ориентировочного сопоставления данных, после чего запускаются более точные и эффективные, однако и более ресурсоемкие, методы.
Совмещение по совокупности положений сканера
Метод, осуществляющий сборку модели по строго заданной очередности прохода состояний и расстояний между ними, во многом напоминает метод контактного сканирования с маркерной сеткой, совмещенный с использованием данных геолокации. Так же как и при использовании геолокации, используются данные сканирования в строго определенных точках и информация о положении сканирующего устройства в момент получения данных. Бесспорным достоинством данного метода является время его работы. Итоговое облако создается в процессе сканирования без дополнительных затрат на совмещение, но это справедливо только для объектов простой формы и с размерами, не превышающими габариты установки.
Подобный алгоритм применяется в сканерах объектов с поворотным столом (рис. 4) либо системой перемещения по координатной сетке. В первом типе сканеров совмещение возможно благодаря строго заданному углу поворота стола, диктуемому режимом сканирования. Каждый последующий срез контура добавляется в облако с поворотом стола относительно предыдущего положения на угол δ, задаваемый алгоритмом работы в зависимости от точности, выбранной пользователем при начале сканирования. В сканерах, работающих с координатной сеткой, применяется перемещение сканирующего модуля по штангам с шагами, заданными пользователем. Данные технологии накладывают ограничение на размер сканируемых предметов, так как объект большего размера, чем установка, просто невозможно будет установить на платформу для исследования.
Рис. 4. Схема сканирования с использованием поворотного стола
В случае совпадения размеров сканируемого предмета и возможностей установки тоже могут возникнуть некоторые трудности. В частности, хоть точность шаговых двигателей и червячных механизмов гораздо выше, чем определение положения по геолокации, они обладают погрешностью, которая для данных механизмов накапливается на сотые доли процента от размера шага. Это вносит серьезную погрешность и может быть устранено только при проходе калибровочных отметок, что было выяснено при проведении собственного натурного эксперимента. Следовательно, при желании получить максимально точную модель объекта следует выбрать минимально возможный шаг сдвига механизма. Однако это приводит к увеличению количества шагов и, как следствие, к уменьшению соответствия размера шага заявленному значению.
Оптимально метод, осуществляющий сборку модели на основе строго заданной очередности прохода состояний и расстояний между ними, целесообразно использовать в задачах, не требующих высокой точности. К таким задачам можно отнести, например, перенос реальных объектов в виртуальную реальность в сфере развлечений, поскольку никакого особого влияния на результат небольшое несоответствие модели реальному объекту не повлечет. В задачах же, имеющих высокие требования к достоверности объекта, данный метод допустим к использованию, но лишь с условием последующей дополнительной обработки одним из более точных алгоритмов совмещения.
Совмещение по маркерам
Наиболее быструю сборку единой трехмерной модели на основе данных многоракурсного сканирования обеспечивает метод совмещения облаков точек по маркерам. В основе данного метода лежит предварительное расположение маркеров на объекте исследования, которые будут выступать в качестве опорных объектов. Простановка трех маркеров в области видимости двух устройств позволяет однозначно идентифицировать взаимное расположение сканирующих модулей относительно друг друга. Кроме того, несомненным достоинством данного метода является то, что размер маркера может изменяться в зависимости от задачи. Для работы с ландшафтом это могут быть крупные объекты специфической формы либо мощные излучатели. Для работы с микрообъектами маркер может представлять собой микроскопический элемент заданных форм, цветов, размеров. После снятия данных со всех ракурсов сканирования останется только вычислить положение начала координат для каждого облака точек относительно системы маркеров и путем сравнительно простых математических преобразований осуществить поворот осей координат и сдвиг по ним [4]. Сравнительно простыми эти математические преобразования являются не в силу вычислительной сложности, а скорее, по причине небольшого объема данных, к которому их необходимо будет применить.
С точки зрения совмещения нескольких облаков точек метод с маркерами, схема которого представлена на рис. 5, представляется идеальным, однако существует несколько аспектов, которые делают перечисленные достоинства не столь значительными.
Во-первых, необходимость размещения маркеров на объекте. Метки на объекте должны располагаться таким образом, чтобы в области видимости сканера постоянно находилось как минимум три маркера.
Рис. 5. Схема сканирования при использовании маркеров
Это накладывает ограничение как на размещение маркеров на объекте, так и на допустимые положения сканирующего модуля относительно объекта. Возможным выходом могло бы стать размещение неограниченного количества меток на всей поверхности предмета исследования, однако подобное решение приведет к уменьшению читаемости маркеров и усложнению расчета их взаимного расположения. Во-вторых, серьезной проблемой становится конструкция меток. Маркер должен заметно выделяться на объекте для фиксации сканирующим устройством. Применение навесных предметов определенной формы порождает проблему их крепления и распознавания. Чтобы распознать предмет определенной формы, необходимо сначала провести триангуляцию облака точек, а затем уже в полученной триангуляционной модели осуществлять поиск примитивов, что существенно повышает сложность вычислений. Маркеры в виде источников излучения могут «зашумлять» картину. Избежать этого можно, производя съемку с маркерами отдельно во включенном состоянии и отдельно – в выключенном, но это приведет к значительному увеличению объема информации. Третий вариант маркеров – использование объектов яркого контрастного цвета. Единственным недостатком подобного подхода может стать невозможность его использования для систем трехмерного сканирования, не содержащих в своем составе полихромную камеру.
Метод идентификации положения устройства относительно объекта по маркерам является одним из приоритетных для данной области, однако необходимость предварительной простановки меток существенно снижает его достоинства.
Совмещение по опорным объектам
Последним из рассматриваемых методов совмещения нескольких облаков точек в единую трехмерную модель является метод алгоритмического совмещения по опорным объектам, схема которого представлена на рис. 6.
Рис. 6. Схема сканирования с определением опорных объектов
Данный метод работает схожим образом с упоминавшейся модификацией метода, использующего маркеры определенной формы, только форма предмета-метки заранее неизвестна. Форма опорных объектов выбирается в зависимости от конфигурации контуров объекта исследования. Так, например, при сканировании какого-либо помещения в здании в качестве опорных объектов могут использоваться оконные и дверные проемы. При сканировании местности с растущими поблизости деревьями, выступающими в качестве опорных объектов, форма опорного объекта принимается за цилиндр, для того, чтобы не учитывать геометрию каждого отдельно взятого дерева [5]. Поскольку расположение этих объектов относительно сканирующего модуля однозначно характеризует его местоположение, они выступают в качестве маркеров естественного происхождения.
К недостаткам данного метода относится в первую очередь необходимость проведения предварительной триангуляции облака точек для поиска опорных объектов. Таким образом, вместо однократного вычисления триангуляционной модели, объем вычислений вырастает в N * k раз, где N – количество облаков точек для совмещения, k – отношение количества точек в облаке к общему количеству точек в итоговой модели. Во-вторых, следует обратить внимание на необходимость задания формы опорных объектов в зависимости от типа сканируемого объекта. Нельзя сказать, что это весьма серьезный недостаток, однако в ситуации, когда в сканируемом пространстве будут располагаться два цилиндрических объекта и один кубический объект, такая постановка вопроса может привести к некорректной работе метода. В-третьих, общая вычислительная сложность метода является достаточно высокой как в области поиска опорных объектов, так и в области последующего сравнения произвольных точек с целью определения корректности проведенного слияния.
Сравнительный анализ методов совмещения облаков точек
Для проведения сравнительного анализа методов совмещения нескольких облаков точек в одно необходимо определить критерии сравнения. Основным критерием для трехмерного сканирования является точность получаемой модели. Чуть менее важным пунктом является скорость совмещения облаков точек, так как в большинстве задач время обработки не играет ключевой роли. Помимо этого необходимо рассмотреть наличие необходимости предварительной подготовки к сканированию, что в ряде случаев может вызвать трудности, и диапазон допустимых к сканированию масштабов объектов. Метод совмещения облаков точек на основе определения опорных объектов дает наибольшую свободу пользователю в области выбора объекта исследования и общей гибкости алгоритма, что отражено в таблице.
Сравнительный анализ методов совмещения облаков точек
|
Высокая точность |
Отсутствует подготовка к сканированию |
Быстрый процесс совмещения |
Сканирование макрообъектов |
Сканирование микрообъектов |
|
|
Контактное сканирование |
+ |
+ |
+ |
– |
+ |
|
Использование геолокации |
– |
+ |
– |
+ |
– |
|
Сканирование с фиксированным шагом |
+ |
– |
– |
+ / – |
+ / – |
|
Совмещение по маркерам |
+ |
– |
+ |
+ |
+ / – |
|
Определение опорных объектов |
+ |
+ |
– |
+ |
+ / – |
Рис. 7. Сравнение времени создания единой трехмерной модели
Интересным представляется сопоставление временных затрат на реализацию различных методов, причем этапы в различных методах имеют также различную продолжительность (рис. 7).
Обобщая результаты проведенного анализа, необходимо отметить общую проблему всех рассмотренных методов и трехмерного сканирования в целом. Проблема заключается в возникновении так называемых «белых пятен» на итоговой модели. Их появление обусловлено тем, что объекты при сканировании с определенных ракурсов могут либо закрывать друг друга от сканера, либо, в силу своей сложной формы, загораживать некоторыми собственными элементами часть себя от сканера. Следовательно, на итоговой модели при достаточно равномерном распределении точек могут образовываться области либо не содержащие ни одной точки, либо содержащие слишком малое количество точек для достоверного воспроизведения объекта.
Наименьшие сложности вызывает эта проблема при использовании метода, работающего с маркерами, так как для ее решения нужно будет лишь снять еще одно облако точек с подходящей позиции. Учитывая наименьшую вычислительную сложность метода, что отражено на рис. 7 в качестве времени постобработки, сложность может возникнуть только в случае невидимости установленных меток с нового ракурса. Решается это добавлением маркеров в области видимости и пересъемкой сканов с соседних положений.
Рис. 8. Сравнение предельных размеров объектов сканирования
Кроме того, методы опорных объектов и совмещения по маркерам являются наиболее универсальными, так как могут работать не только на макрообъектах, но и на микроуровне при условии наличия мощной оптики. Результат сопоставления методов по предельным размерам объектов сканирования приведен на рис. 8.
Направления последующего исследования
Со временем многие объекты понемногу разрушаются. С каждым годом по всему миру приходит в негодность все больше памятников архитектуры и обычных жилых домов [6]. Развиваются технологии трехмерной печати биологическими материалами. Каждое развивающееся производство стремится обзавестись отделами прототипирования, владеющими технологиями трехмерного сканирования и печати. А все ресурсы, посвященные досугу, пестрят заголовками о разработке проектов, обеспечивающих полное погружение в виртуальную реальность. Все эти факторы стимулируют развитие и прогресс методов формирования единой трехмерной модели объекта на основе данных многоракурсного сканирования. Основной упор при разработке новых методов следует сделать на унификацию существующих решений, сокращение времени и ресурсоемкости проведения сканирования.
Направлением дальнейшего развития методов совмещения нескольких облаков точек в единую 3D-модель целесообразно принять разработку эффективных алгоритмов поиска опорных объектов на основе использования искусственных нейронных сетей. Такой подход обеспечит возможность определения опорных объектов на более раннем этапе по сравнению с действующими аналогами. Подобные алгоритмы позволят значительно сократить вычислительную сложность операции совмещения облаков точек и минимизировать участие оператора. В рамках исследований по реализации этого подхода необходимо решить следующие задачи:
1. Проанализировать существующие методы совмещения нескольких облаков точек в единую модель.
2. Разработать и проанализировать архитектуры нейронных сетей, характерных для задач распознавания образов.
3. Сформировать алгоритм и методику нахождения опорных объектов в исходных данных на базе искусственных нейронных сетей.
4. Проанализировать преимущества новой методики по сравнению с существующими.
Выводы
1. На основании проведенного анализа методов решения проблем совмещения нескольких облаков точек в одно и их недостатков наиболее универсальным следует признать метод совмещения на основе определения опорных объектов.
2. В качестве основного недостатка метода совмещения облаков точек через определение опорных объектов выделена высокая вычислительная сложность и чувствительность к выбору геометрических примитивов, фигурирующих в качестве опорных объектов. Высокая загрузка вычислительных ресурсов обусловливает несовершенство существующих методов и требует поиска путей сокращения этой нагрузки.
3. Сформулированы цели и задачи на последующее исследование, направленное на совершенствование методов получения единой 3D-модели на основе использования искусственных нейронных сетей. Предполагается, что совершенствование алгоритмов обработки результатов сканирования позволит снизить степень влияния недостатков методов построения единой 3D-модели.