Введение
Проблема контроля качества колесных дисков давно является актуальной на предприятиях автомобилестроения. В настоящее время контроль дефектов колесных дисков осуществляется визуально представителями отдела технического контроля предприятия согласно стандартам [1, 2].
Развитие систем контроля качества продукции требует использования бесконтактных систем, среди которых активно развиваются системы для контроля поверхностных дефектов на базе оптико-электронных средств. Существующие производственные линии допускают внедрение систем технического зрения без изменения технологических операций.
Оптико-электронные системы решают ряд задач: определение геометрических параметров объектов по их изображению (или изображениям), распознавание нестационарных областей и оценка их параметров, колориметрия [3].
Разработка автоматизированной системы контроля на базе технологии технического зрения на производстве позволит:
1) повысить надежность отбраковки;
2) улучшить условия труда;
3) выполнять контроль продукции в ночное и вечернее время благодаря отсутствию человеческого фактора и усталости;
4) повысить контроль качества за счет непрерывного контроля продукции;
5) производить отбраковку в режиме реального времени, что даст возможность не допустить попадания дефектной продукции на последующие этапы производства.
Согласно ГОСТ Р 53824-2010, регламентируются требования к колесным автомобильным дискам, определяющие их функциональное назначение:
• посадочные полки обода, обращенные к шине, не должны иметь местных выступов, следов механических повреждений в виде выступов или впадин размером более 0,3 мм, на остальных поверхностях – более 0,5 мм;
• кромки вентильного отверстия должны быть притуплены с двух сторон;
• обод колеса для бескамерной шины должен быть герметичным [4].
Однако к основным дефектам колесных дисков относятся не только повреждение функциональных элементов и нарушение целостности изделия в целом (трещины, раковины, забоины), но также и косметические недостатки, такие как непрокрас, потеки краски. Они возникают на разных этапах производства, что следует учитывать при проектировании системы контроля.
Для решения задач классификации и детекции дефектов обработка изображений может выполняться как с применением традиционных алгоритмов распознавания образов, так и методами на основе технологии машинного обучения с использованием сверточных нейронных сетей [5]. Основная идея сверточной сети состоит в том, что обработка участка изображения должна осуществляться независимо от конкретного расположения этого участка [6, с. 12].
Однако для обучения нейронных сетей необходим большой объем данных, получение которых весьма трудоемко и может занять длительное время для обеспечения требуемой репрезентативности. Для решения данной проблемы целесообразно произвести предобучение на заранее созданных искусственных данных [7].
Применение нейронных сетей для распознавания и классификации дефектов является актуальной задачей на сегодняшний день. В работе [8] представлен обзор современных моделей обнаружения дефектов. В статье [9] рассматривается методика обучения нейронных сетей для задач распознавания дефектов стали. В [10] предлагается модель на основе глубокой сверточной искусственной нейронной сети для идентификации дефектов дорожного покрытия.
Цель исследования – повышение достоверности распознавания типовых дефектов автомобильных колесных дисков автоматической оптической системой контроля, использующей алгоритмы машинного обучения.
Для ее достижения определены задачи:
− разработать модель автоматизированной системы оптического контроля качества автомобильных колесных дисков;
− провести генерацию синтетических данных для обучения сверточной нейронной сети;
− провести симуляцию процесса контроля.
Материалы и методы исследования
При внедрении систем технического зрения целесообразно установить два поста контроля, которые дадут возможность отбраковывать дефекты после проведения сборки и после нанесения лакокрасочного покрытия. Тогда технологический процесс производства можно представить следующей схемой (рис. 1). В качестве объекта контроля приняты колесные диски с маркировкой 5,5Jx15 4x100 ЕТ40 60.13, то есть диаметром и шириной 15 и 5,5 дюймов соответственно, с вентиляционными вырубками с нанесенным черным грунтом без дополнительного защитного покрытия.
В качестве базовых элементов системы технического зрения были выбраны: блок камеры – SMARTEK Vision GCP1941C; объектив – Kowa LM8JC; блок освещения – Advanced Illumination BL2 6.1x6.1 inch. Сама система освещения представляет собой два закадровых источника рассеянного света с постоянной мощностью.
Для моделирования процесса контроля колесных дисков выбран кросс-платформен-ный программный продукт «Blender» с открытым исходным кодом [11, с. 7; 12, с. 29]. Разработана модель поста контроля, которая соответствует принятым параметрам диска, камеры и освещения.
Рис. 1. Процесс изготовления колесных дисков с включенными постами контроля
Рис. 2. Модели в среде «Blender»: a – модель корпуса поста контроля; б – геометрические параметры поста контроля; в – полигональная модель колесного диска
Для симуляции отражения света от стенок и отсутствия внешних факторов в процессе получения изображения был смоделирован корпус поста (рис. 2а), относительно которого позиционировались источники света, устанавливалась камера, а также сам объект контроля (рис. 2б). Полигональная модель дисков показана на рисунке 2в.
Генерация изображений колесных дисков проводилась с учетом параметров освещения, типа камеры, объектива, светоотражающих свойств материалов для изделий с различными дефектами или без дефектов.
Для получения изображений колесных дисков построено дерево узлов шейдеров.
а) 
б) 
Рис. 3. Симуляция в среде «Blender»: a – блок-схема алгоритма рендера изображений для синтетических данных; б – внешний вид системы контроля
В «Blender» оно используется для создания и настройки параметров, которые определяют внешний вид 3D-объектов. Сами шейдеры представляют собой набор инструкций, определяющих, как объект будет представлен на изображении. Помимо этого, шейдеры позволяют добавить на итоговые изображения различные эффекты, например блики на глянцевой поверхности, прозрачность, операции с текстурами.
Так, дерево узлов состоит из множества блоков, определяющих отображение объекта с учетом формы, освещения и материала. Основными операциями, реализуемыми шейдерами, является позиционирование текстуры, определение ее параметров и установка метода наложения на объект.
За позиционирование отвечает блок «Texture Coordinate», в данном случае текстура нормализована к камере. В «Principled BSDF» задаются свойства основной текстуры диска. В блоках «MIX Shader» происходит объединение текстур, затем полученный шейдер накладывается на 3D-модель в блоке «Matrial Output».
В результате была настроена модель симуляции освещения, текстур и шейдеров в среде «Blender», работу которой можно видеть на рисунке 3б. Алгоритм создания кадров представлен на рисунке 3а.
Для реализации задачи формирования изделий с дефектами на языке Python для «Blender» написан алгоритм наложения текстуры дефектов на модель колесного диска в произвольной области с заданными границами через определенную маску, обрезающую ровные края текстур. Сами изображения дефектов являются массивом данных для обучения машинного зрения «NEU Metal Surface Defects Database», который содержит в себе 1800 черно-белых изображений различных дефектов на металлических объектах. Перед получением кадра происходит изменение параметров в блоках дерева шейдеров, при этом его текстура становится прозрачной по отношению к текстуре дефекта с маской. Кроме того, ограничивается величина индекса преломления, что позволяет полностью отключить отражение света от рамы, оставляет видимым только сам дефект на черном фоне, который уже спозиционирован относительно камеры.
Затем массив дополнительных изображений преобразуется в файлы с разметкой, содержащей информацию о координатах объекта и его размерах, которые затем используются для обучения нейронной сети.
В результате были реализованы алгоритмы, позволяющие создавать обучающие выборки на основе ранее созданных моделей в формате, требуемом для корректного обучения модели, с учетом реальных параметров камеры, объектива и системы освещения. В результате общее число элементов составило 2724.
Рис. 4. Метрики обучения и результаты работы обученной модели Yolov8m
В качестве базовой архитектуры была выбрана нейронная сеть Yolov8m. Произведено обучение сети на решение задачи детекции при 50 циклах прогона всех данных.
Из графиков точности и полноты определения дефектов видно, что на всем процессе обучения модель оптимизирует собственные внутренние параметры, тем самым повышается качество детекции, а величины точности и полноты в конце обучения составляют 0,97 и 0,96 соответственно.
Более точное описание дает метрика mAP50, которая измеряет среднюю точность при пороге пересечения по объединению (IoU), равному 0,51 [13]. Это означает, что если перекрытие между предсказанным и действительным ограничивающим прямоугольником составляет более 50%, то обнаружение считается успешным. На 50 эпохе величина данной метрики равняется 0,98 (рис. 4а).
Полученная модель сверточной нейронной сети способна определять дефект на синтетических данных с достоверностью 98%. Пример распознавания дефектов алгоритмом на базе нейронной сети представлен на рисунке 4б.
Результаты исследования и их обсуждение
Проведенное исследование показало возможность генерации синтетических данных на основе разработанной в программном обеспечении «Blender» модели системы контроля дефектов колесных дисков. Полученная выборка кадров позволила произвести обучение и верификацию работы сверточной нейронной сети. Данный подход упрощает использование технологии машинного обучения при недостатке исходных данных.
Для промышленного использования полученная модель требует дообучения и верификации на реальных данных, поскольку при базовом обучении снижается достоверность определения дефектов на поверхности диска. Следует отметить, что установка на пост дополнительной камеры даст возможность дополнительно контролировать поверхность обода колеса, что позволит минимизировать возможность возникновения негерметичностей в местах сварных швов.
Заключение
Достоверность определения дефекта составила 98% на тестовой выборке, что подтверждает высокую эффективность детектирования объектов на синтетических данных и, следовательно, возможность применения данной технологии для предобучения моделей нейронных сетей в целях выполнения задач оптической дефектоскопии колесных дисков.
Предложенная методика позволяет упростить внедрение систем технического зрения в производство для замены субъективного визуального контроля качества продукции на автоматизированный.