Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,940

АВТОМАТИЧЕСКИЙ КОНТРОЛЬ НАНОСИМОЙ ТЕКСТУРЫ ПОВЕРХНОСТИ С ИСПОЛЬЗОВАНИЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Якимайнен Д.С. 1 Шамраев А.А. 1 Шевцов М.Ю. 2 Кариков Е.Б. 3
1 ФГАОУ ВО «Белгородский государственный национальный исследовательский университет»
2 ООО «АНТРЕЛ-Автоматизация»
3 ФГБОУ ВО «Белгородский государственный технологический университет имени В.Г. Шухова»
Эффективность систем контроля наносимых текстур по большей части характеризуется ручным трудом. Из-за ограниченных возможностей человеческого мозга и глаза по контролю актуальна разработка систем, основанных на автоматизированном замещении человеческого ресурса с помощью технического зрения и новейших технологий. В статье проведен обзор методологий построения систем контроля на базе технического зрения. Описана предметная область, заключающаяся в номенклатурном контроле нанесения текстуры на поверхность. Проведен анализ основных проблем предметной области, связанных с обработкой изображений текстур. Рассмотрены методы распознавания и проведено сравнение по критериям распознавания и классификации. В связи с узкоспециализированной направленностью и фактическим отсутствием отечественных аналогов предложено системное решение на базе использования линейной камеры в связке с нейросетью. За основу взята нейросетевая модель EfficientNetV2 с входным форматом кадра 480х480. Описан алгоритм аугментации и подготовки датасетов для обучения, извлекаемый с изображения линейной камеры. Предложен алгоритм автоматизации цикла работы решения на основе расчета центроидов евклидова пространства, вычисления принадлежности классу. Его применение также позволяет осуществлять автоматическое дообучение системы контроля путем использования данных псевдоклассов от kmeans++ кластеризации. Предложенное авторами решение протестировано в производственных циклах, полученные результаты свидетельствуют о пригодности предложенного подхода для организации автоматического контроля наносимой текстуры.
нанесение текстуры
классификация
нейросеть
техническое зрение
кластеризация
1. Funke C.M, Borowski J., Stosio K., Brendel W., Wallis T.S., Bethge M. Five points to check when comparing visual perception in humans and machines. Journal of Vision. 2021. Vol. 21. No. 3. P. 11-16.
2. Bergmann P., Fauser M., Sattlegger D., Steger C. MVTec AD — A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 9584-9592.
3. Toskala M., Mäkelä I., Markku M. Measurement of tissue paper. US Patent 10043256. 7 Aug 2018.
4. Steger C., Ulrich M. A Multi-view Camera Model for Line-Scan Cameras with Telecentric Lenses. Journal of Mathematical Imaging and Vision. 2022. Vol. 64. P. 105–130.
5. Макаренко Н.Г., Уртьев Ф.А. Распознавание текстур на цифровых изображениях методами вычислительной топологии // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 131-144.
6. Wang M., Gao L., Huang X., Jiang Y., Gao X. A Texture Classification Approach Based on the Integrated Optimization for Parameters and Features of Gabor Filter via Hybrid Ant Lion Optimizer. Applied Sciences. 2019. № 9. P. 2173-2186.
7. Answer R.M., Khan F.S., Van De Weijer J., Molinier M., Laaksonen J. Binary patterns encoded convolutional neural networks for texture recognition and remote sensing scene classification. ISPRS journal of photogrammetry and remote sensing. 2018. Vol. 138. P. 74-85.
8. Sushma L., Lakshmi K.P., An Analysis of Convolution Neural Network for Image Classification using Different Models. International Journal of Engineering Research & Technology (IJERT). 2020. Vol. 9. Issue 10. P. 629-636.
9. Tan M., Le Q. Efficientnetv2: Smaller models and faster training. International Conference on Machine Learning. 2021. P. 10096-10106.
10. Martins A., Duarte A., Dantas J. Neural networks applied to classification of data based on Mahalanobis metrics. In: Neural Networks. Proceedings of the International Joint Conference. Vol. 4. 2003. P. 3071–3076.
11. Wang B., Zhang S. A new locally adaptive K-nearest centroid neighbor classification based on the average distance. Connection Science. 2022. Vol. 34. P. 2084-2107.
12. Ramadevi J. Evaluation of enhanced subspace clustering validity using silhouette coefficient internal measure. Journal of Advanced Research in Dynamical and Control Systems. 2019. Vol. 11. № 1. P. 321-328.
13. Kim B., Natarajan Y., Munisamy S.D, Rajendran A., Sri Preethaa K.R., Lee D., Wadhwa G. Deep Learning Activation Layer-Based Wall Quality Recognition Using Conv2D ResNet Exponential Transfer Learning Model. Mathematics. 2022. Vol. 10. P. 3-19.

Основанная на потребностях современных технологических производств автоматизация отдельных модулей или процессов приобретает все большую значимость. При рассмотрении отдельных этапов производства, связанных с непрерывным визуальным контролем, можно отметить преобладающее применение ручного труда. Примером такого взаимодействия является процесс проверки поверхности на соответствие заданным характеристикам – цвету, рисунку, текстуре, детализации и отсутствию дефектов.

При анализе отдельных критериев описываемой предметной области обнаружено, что эффективность контроля в расчете на единицу рабочего персонала мала. Обусловлено это сценариями, когда контроль поверхности связан с большой площадью (более 300х2400 мм) и совершается на плоскости движимого конвейера. Текстурированная поверхность помещается на плоскость конвейерной ленты манипулятором, затем проходит проверку работником на соответствие контролируемым параметрам, например номенклатуре текстуры. Основная проблемная часть процесса контроля заключается в ограниченных параметрах работы человеческого глаза и мозга, связанное взаимодействие которых не способно единовременно обработать все захватываемое изображение полностью. Вследствие описанного человеческого фактора фиксируется довольно существенный процент ошибок, связанных с неспособностью точно распознать и произвести классификацию текстуры поверхности, особенно участков, схожих между собой и различающихся только некоторыми сегментами, цветовыми характеристиками или деталями [1].

Данная проблема решается путем перехода от ручного труда к автоматизированным системам, основанным на использовании технического зрения.

Целью исследования является повышение показателей эффективности контроля за нанесением текстурированного полотна, основанного на распознавании и классификации техническим зрением.

Материалы и методы исследования

Материалом исследования будет являться способ построения технического зрения. Анализ существующих производственных решений показывает, что техническое зрение в них основано в основном на организации программно-аппаратного комплекса из датчиков и камер, которые можно разделить на три категории.

1. Использование матричных камер – захват картинки осуществляется зонально, рабочая плоскость разделяется по принципу мультикамеры. При таком подходе камера стремится захватить изображение полотна на разных его участках, тем самым принимая в обработку максимальное количество деталей. Активно применяется такими компаниями, как MVTec [2].

2. Комплекс модульных устройств – связки световых датчиков, инфракрасных и ультразвуковых. Основная сфера использования заключается в применении для распознавания дефектов, контроля границ или поверхности. Классификация строится на перекрестном анализе выходных данных датчиков как с помощью стандартных математических методов анализа, так и с помощью нейросетевых технологий. Осуществляется, например, компанией Valmet [3].

3. Использование линейной камеры для захвата изображения – основные преимущества заключаются в считывании изображения построчно, тем самым извлекается максимальное количество деталей, накапливаемых в буфер и далее подвергающихся анализу [4].

Проводя сравнение материальной базы в рамах исследуемой технической сферы применения, важно отметить различающуюся специфику и недостатки. Первая организация имеет существенный недостаток в виде необходимости постоянной настройки изображения, параметров яркости, экспозиции и гаммы. Системы технического зрения могут генерировать существенные ошибки, связанные с искажением краев захватываемого изображения, а также со смазанностью, обусловленной движением наблюдаемой поверхности. Для получения качественного изображения часто требуется также предусматривать остановы и паузы в работе конвейера. В производственных условиях данные факторы все более причисляются к рудиментарным, так как необходимость в постоянной донастройке под неидеализированные условия (наличие помех, естественных воздействий) в итоге снижает показатели эффективности работы технологической линии.

Во второй организации, с использованием комплекса модульных устройств, основной недостаток заключается в узкой специализации и высокой стоимости под конкретное производство. Из-за того что использование сенсоров, как правило, рассчитано на воздействие на определенный материал, например на отражение спектра от типа поверхности или разницы в месте ее конца, единожды развернутая система при перенастройке потребует значительных вложений.

Произведя сравнение представленных категорий, авторы предложили вариант организации на базе линейной камеры с гибридным подходом по заимствованию датчиков, в основном связанных с освещением. Основная идея использования линейной камеры заключается в максимальном получении всех признаков захватываемого изображения полотна – при этом минимизируются ошибки, связанные с перемещением (частота забора изображения подстраивается под скорость конвейера), а также не требуются широкие настройки по цвету, формату, фокусу, не наблюдается искажений. Для организации освещения рабочей области достаточно лишь двух источников рассеянного света, тогда как при использовании матричной камеры необходимо сложное многомодульное решение. При необходимости линейную камеру также возможно настроить на связку с датчиками, к примеру активировать по фронту импульса от инфракрасного или оптического датчика, когда зафиксирован конец захватываемой камерой поверхности. Камера не накопит в своем буфере лишних данных, а получит лишь чистое изображение, которое в дальнейшем будет подвергнуто распознаванию и классификации.

Для выбора метода распознавания и классификации важно учитывать производственную специфику. Часто предприятия, на которых используется оценка качества нанесения текстурированного полотна, работают с заранее не известным числом классов и без режима простаивания, что требует особого подхода к организации – необходима разработка системы, обладающей принципом самообучения с минимальным вмешательством рабочего звена. Анализ производственных решений показал, что большинство систем являются узкоспециализированными, при этом отечественный рынок практически не обладает реальными эксплуатационными продуктами, вследствие чего дополнительно подчеркиваются новизна исследования и необходимость его разработки.

При применении метода распознавания текстур, основанного на методах вычислительной топологии [5], невозможно было осуществить корректное предсказание для ряда схожих между собой текстур практически одинаковой цветовой передачи, но незначительно различающихся сегментационными признаками (рис. 1).

Те же результаты показывали фильтр-алгоритмы [6], так как при наложении преобразований, связанных с шумом или изменением перспективы, алгоритм классификации склонял изображения одного класса к другим, при этом терялись мелкоразмерные отличительные признаки.

Предлагаемое применение паттернов и совокупного с ними уровневого анализа [7] также не удовлетворяет условиям цели исследования, так как проводить качественную сегментацию признаков по уровневым диаграммам сложно исходя из специфики – контроль за нанесением должен предусматривать неконтролируемое появление новых классов текстур поверхности, а следовательно, и постоянное формирование новых общих отличительных признаков. Данный процесс занимает значительное время по расчету, а также чувствителен к ложным ситуациям, когда общий паттерн оказывается рассчитанным для совершенно разных текстур.

missing image file

Рис. 1. Ошибки алгоритмов классификации – фильтры, паттерны

Современные методы распознавания подразумевают использование CNN (сверточных нейронных сетей) для распознавания, однако большинство из нейросетевых архитектур (ResNet50, ResNet152, VGG16, VGG19) [8] при сравнительном рассмотрении не подходят под специфику предметной области, поскольку требуют значительного времени для обучения, а также имеют малый размер входного кадра после проведения глубокой свертки (порядка 128х128). Это приводит к потере качества изображения, малому извлечению признаков и к дополнительным сложностям по контролю за переобучением нейросети.

Авторами предложено использовать архитектуру EfficientNetV2 B1 [9] с размером входного кадра 480х480 из-за ряда преимуществ ее архитектуры. Применение блока глубинной свертки 3*3 позволяет четко выделить параметры для обучения и ускорить параметр времени препроцессинга. Использование улучшенного комбинированного масштабирования по ширине, глубине и разрешению является основным преимуществом EfficientNetV2 в сравнении с другими архитектурами распознавания и стало ключом к максимальному приросту точности при минимизации вычислительной сложности – изменяя входной кадр, нейросеть позволяет сегментировать и выявить максимальное число признаков. В сравнении с ранее описанными топологическими и фильтрационными методами использование EfficientNetV2 дает возможность выделить отдельные признаки изображения неотрывно от общего представления кадра, например одинаковые узоры на текстуре мрамора, четко разделив их на разные классы по общему оттенку широкоформатного полотна.

Для обучения нейронной сети авторами предлагается использование алгоритма аугментации, описываемого последовательной моделью со случайными параметрами. Для этого в работе разрабатываемой системы предлагается разбиение изображения текстурированного полотна размером 5760х1920 пикселей на 12 фрагментов размером 960х960 с дальнейшим применением для 50% выборки поворотов, масштабирования, аддитивного гауссова шума и трансформации по перспективе с сохранением размерности, чтобы в результате получить датасет аугментированных изображений для каждого класса (рис. 2).

missing image file

Рис. 2. Аугментированный датасет

missing image file

Рис. 3. Схематично представленный алгоритм

Стандартная работа EfficientNetV2 основана на однозначном отнесении к одному из известных по весовой модели классу. Для построения автоматизированного решения с использованием обучения на ранее не известных изображениях текстур авторами предложен следующий алгоритм.

1. Нейронная сеть генерирует векторы предсказаний для валидационной выборки из нескольких десятков текстур путем снятия их с внутреннего слоя, предшествующего свертке Dense. Каждый вектор содержит в себе 1280 признаков.

2. Для массива векторов высчитываются математическое ожидание, представляющее собой некий центроид в евклидовом многомерном пространстве признаков, а также величина дисперсии. Расчет ведется по столбцам массива.

3. При работе системы для каждого изображения текстуры, полученного линейной камерой, генерируется вектор признаков из пункта 1, который в дальнейшем участвует в расчете евклидова расстояния [10] между объектами. Производимой расчет схож с используемым в алгоритме классификации k-nearest [11], однако учитывает наименьшие расстояния и сравнивает впоследствии с дисперсией. Если ни одна из дисперсий уже известных центроидов не превышает найденное евклидово расстояние (выполняется условие формулы 1), то вектор предсказаний для текстуры считается уникальным и текстура с вектором помещается в словарь неизвестных:

missing image file (1)

4. Среди неизвестных текстур применением алгоритма kmeans++ определяются кластеры, число которых рассчитывается по коэффициенту Силуэта [12]. Они представляют собой ранее не известные множества векторов предсказаний, но предварительно сгруппированные.

5. Кластеризированные предсказания, а также связанные с ними изображения догружаются как псевдоклассы на вход нейронной сети EfficientNetV2 в процессе ее обучения. Таким способом организуется полный цикл автоматического функционирования системы как в режиме обучения, так и в режиме распознавания. Схематично это представлено на рисунке 3.

Результаты исследования и их обсуждение

Рассмотрим результаты, позволяющие оценить достижение повышения показателей эффективности контроля за нанесением текстурированного полотна (рис. 4). На рисунке представлены два сценария тестирования – синтетический (верхняя половина рисунка) и реальный. По результатам синтетического теста скорость распознавания одного фрагмента из 15 составила порядка 4,5 мс, при этом все текстуры определились верно.

По данным ранее проведенных исследований с использованием фильтрационных методов преимущества для различных скорость распознавания текстур достигла от 11 до 25 мс на одно изображение [6], что является более низким показателем по сравнению с описанным в работе. Подобные результаты показывает сравнение и c нейросетевыми подходами, например решениями на базе ResNet, где подтверждение ускорения обнаружения (благодаря EfficientNet) в FLOPS схоже с представленными в источнике [13].

missing image file

Рис. 4. Результаты тестирования

Реальный тест, на котором было произведено распознавание линейной камерой вручную отобранной текстуры, правильно классифицировал текстуру на неизвестных участках. Таким образом, предложенный авторами статьи метод организации распознавания и классификации для автоматического контроля наносимой текстуры показывает свою пригодность для реальных задач.

Заключение

Предложенный метод автоматизированного контроля наносимой текстуры обеспечивает достаточную для интеграции в производственные линии эффективность выполнения. В настоящее время совместно с ООО «АНТРЕЛ-Автоматизация» проводятся работы по адаптации предложенного метода на предприятии МК «Кедр Столешницы». Полученные в работе результаты защищены свидетельством о государственной регистрации ПЭВМ 2022682176 «Программа для распознавания и классификации текстур столешниц» от 21.11.2022.


Библиографическая ссылка

Якимайнен Д.С., Шамраев А.А., Шевцов М.Ю., Кариков Е.Б. АВТОМАТИЧЕСКИЙ КОНТРОЛЬ НАНОСИМОЙ ТЕКСТУРЫ ПОВЕРХНОСТИ С ИСПОЛЬЗОВАНИЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ // Современные наукоемкие технологии. – 2023. – № 1. – С. 89-95;
URL: https://top-technologies.ru/ru/article/view?id=39502 (дата обращения: 08.12.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674