Применение машинного зрения в технологии селективного лазерного сплавления

Данная статья рассматривает возможности использования методов машинного зрения для практического применения в современных лазерных технологиях, в частности, в технологиях селективного лазерного сплавления. В статье описывается созданная и внедренная в производство программная платформа машинного зрения, а также приводятся примеры решения задач машинного зрения и научной визуализации в контексте промышленной реализации инновационных лазерных технологий.

В авиастроении широко применяется математическое моделирование и разработка программного обеспечения для анализа и исследования физических процессов, связанных с созданием различных производственных технологий, в частности, авиационных двигателей. Исследования, посвященные различным аспектам проектирования элементов авиационных двигателей, проводятся многими авторами (см. [1-3]).

Элементы конструкций авиационных двигателей часто обладают сложной геометрической формой, изготовление которой с использованием традиционных методов механической обработки оказывается затруднительным, неэкономичным, а в некоторых случаях и вовсе невозможным.

Для решения этой проблемы может быть использована современная технология селективного лазерного сплавления (СЛС, selective laser melting, SLM), относящаяся к послойным аддитивным технологиям производства с использованием лазера. Суть метода заключается в том, что лазерное излучение нагревает слои мелкодисперсного металлического или керамического порошка, вызывая их плавление и последующее отвердение, что в результате приводит к созданию трехмерной детали сложной геометрической формы, недоступной для изготовления традиционными методами механообработки. В последние годы метод SLM активно изучается различными авторами (см. [4-7]), а различные варианты этой аддитивной технологии находят широкое применение.

В ходе промышленной реализации данной технологии возникла необходимость в совершенствовании визуального контроля, анализа и визуализации данных. Создание программного обеспечения для станков с числовым программным управлением (ЧПУ) все чаще сталкивается с задачами контроля и анализа, решаемыми методами машинного зрения. Применение методов машинного зрения в различных вариантах аддитивных технологий широко отражено в научной литературе, как в работах, посвященных частным задачам [8-10], так и в обзорах применяемых методов и алгоритмов [11-14].

Для реализации технологии SLM и других лазерных технологий нами была разработана специализированная платформа машинного зрения. Многие практические задачи, возникающие при разработке лазерных технологий, успешно решаются с помощью явных линейных алгоритмов. К таким задачам относятся: поиск QR-кода или штрих-кода, определение положения, количества и качества отверстий при перфорации материала, определение геометрии рабочего полотна, контроль качества шва, определение геометрии плоских изделий или изделий, изготовленных методом SLM.

Функция установления связи позволяет формировать связный направленный граф, по которому система будет передавать данные от источников к фильтрам и далее, по заданному пользователем маршруту. Единственным условием работоспособности данной конструкции является отсутствие циклов в графе решения.

Высокая степень абстракции в данной платформе снимает ограничения для разработчиков, предоставляя возможность создания собственных фильтров и обработчиков с последующей интеграцией в систему посредством API (Application Programming Interface). API представляет собой набор средств, позволяющих одной программе взаимодействовать с другой. Данный подход открывает доступ к широкому спектру задач машинного зрения для сторонних пользователей, включая технологов и исследователей, не обладающих навыками программирования.

Передача данных осуществляется через порты ввода-вывода с высокой степенью абстракции. Отсутствуют дополнительные требования ни к пользовательскому интерфейсу, ни к конкретной реализации. Каждый фильтр или обработчик выступает как объект, реализующий интерфейс IProcessing. Он получает данные для обработки из портов ввода, выполняет необходимые действия и передает результат через порт вывода по графу решения.

Такая архитектура позволяет использовать как собственные алгоритмы машинного зрения, так и сторонние библиотеки и фреймворки. В частности, в данной реализации были задействованы AForge.NET и OpenCV.

Алгоритмы в основе примененного метода

1. Коррекция радиальной дисторсии

В данной работе был реализован алгоритм коррекции радиальной дисторсии, возникающей при использовании широкоформатных объективов (см. рис. 1).

Для расчета новых координат пикселей используется формула, учитывающая дисторсию высших порядков.

В ходе реализации алгоритма координаты каждого пикселя преобразуются согласно данной формуле. Первоначально создавалось новое изображение, в котором каждый пиксель позиционировался по новым координатам. Однако этот подход часто приводил к появлению пустых областей на изображении из-за дискретности пространства координат.

Для устранения этой проблемы расчет производится обратным образом: для каждого пикселя на новом изображении определяется соответствующий ему пиксель на исходном изображении. Такой метод гарантирует, что каждый пиксель нового изображения получит цвет, соответствующий пикселю исходного изображения, если его координаты не выходят за пределы изображения.

Коэффициенты дисторсии подбираются таким образом, чтобы обеспечить выравнивание искривленных линий на исходном изображении.

Рисунок 1. Исправление дисторсии

2. Сравнение изображений

В данной работе реализовано несколько вариантов фильтров, предназначенных для выявления различий между двумя изображениями. Для цветных изображений разработаны фильтры, основанные на различных метриках для расчета цветового расстояния между пикселями. В частности, используются метрика Минковского и метрика Евклида с возможностью задания порогового значения расстояния для определения различных частей изображения. Эти фильтры используются в решении ряда задач, в том числе для бинаризации изображений с последующим анализом.

3. Реализация алгоритмов обнаружения углов на изображениях

В рамках данной работы была проведена реализация нескольких алгоритмов обнаружения углов на изображениях. Среди них: детектор Моравеца, детектор Харриса, SUSAN детектор и FAST детектор.

Кроме того, были реализованы различные фильтры для обработки изображений, включая сглаживание, цветовую фильтрацию, поворот, перевод в оттенки серого и другие.

Алгоритм детектора Моравеца:

Детектор Моравеца является одним из наиболее простых алгоритмов обнаружения углов. Он основан на анализе изменения яркости пикселей в окрестности исследуемой точки.

Алгоритм включает в себя следующие шаги:

• Вычисление изменения интенсивности для восьми направлений вокруг каждого пикселя.
• Построение карты вероятности углов на основе вычисленного изменения интенсивности.
• Отсечение пикселей с низкими значениями вероятности.
• Определение точных позиций углов путем поиска локальных максимумов функции отклика.

Оценка детекторов углов Харриса и SUSAN

Детектор Харриса признаётся наиболее эффективным методом обнаружения L-связных углов. Его ключевым преимуществом является инвариантность к поворотам, а также частичная инвариантность к аффинным изменениям интенсивности. Однако данный детектор чувствителен к шуму и зависит от масштаба изображения. Для преодоления последнего недостатка используется многомасштабный детектор Харриса.

В свою очередь, детектор SUSAN определяет углы путём сегментации круговых окрестностей на подобные и неподобные участки. Углы локализуются в точках, где относительная площадь подобных участков (similar USAN) достигает локального минимума ниже заданного порога. Для каждого пикселя рассматривается круговая область фиксированного радиуса, центр которой называется ядром. Значение интенсивности ядра запоминается, а остальные пиксели классифицируются как подобные или неподобные в зависимости от сходства значений интенсивности с ядром. В областях изображения без изменений подобные участки занимают практически всю площадь круговой области. На границах это отношение снижается до 50%, а на углах – приблизительно до 25%. Таким образом, углы определяются в точках с локальным минимумом относительной площади подобных участков (similar USAN) ниже заданного порога.

Для повышения устойчивости алгоритма SUSAN ближайшие к ядру пиксели получают более высокие весовые коэффициенты. Данный метод демонстрирует высокую точность обнаружения углов всех типов, но оказывается неустойчивым к размытию на изображениях.

Детектор FAST

Детектор FAST (Features from Accelerated Segment Test) анализирует окрестность точки-кандидата P, формируя окружность радиуса 1 пиксель из 16 дискретных точек с использованием алгоритма Брезенхема. Точка P классифицируется как угловая, если для неё выполняется одно из двух условий:

• Условие 1: Не менее N смежных точек на окружности имеют интенсивность, превышающую некое пороговое значение.
• Условие 2: Интенсивности всех точек на окружности меньше порогового значения.

Для предварительной проверки кандидатов на угловость сравниваются интенсивности в вертикальных и горизонтальных точках окружности (под номерами 1, 5, 9 и 13) с интенсивностью точки P. Если для трёх из этих точек выполняется условие IPi>IP+t или IPi<IP-t (где i=1,..,4), то проводится полный тест на все 16 точек окружности [17].

Решаемые задачи

Качество результатов распознавания объектов с помощью машинного зрения напрямую зависит от качества изображения, условий освещения и точности подбора параметров обработки. В настоящем исследовании рассматриваются задачи распознавания, возникающие в процессе разработки лазерных технологий.

Одним из примеров задач распознавания в промышленной сфере является определение положения листа в рабочей зоне станка. Листы могут располагаться в различных частях рабочей зоны, иметь различную форму и быть изготовленными из разных материалов. Поэтому первоначально предполагается поиск абстрактных объектов на изображении. Для этого можно использовать различные фильтры сравнения изображений.

Суть подхода заключается в следующем: получить изображение пустой рабочей зоны, затем получить новое изображение той же зоны с расположенным листом и определить его положение путем сравнения с исходным изображением.

Разработан и реализован алгоритм определения контуров объекта по предварительно найденным углам. Алгоритм основан на бинаризации изображения с помощью фильтров, упомянутых ранее, и определении набора углов. Начало обхода контура осуществляется с верхнего левого неиспользованного угла из набора определенных углов. Если верхний пиксель черный, то контур является внешним, и обход производится против часовой стрелки (рис. 2). Если же верхний пиксель белый, то контур является внутренним, и обход осуществляется по часовой стрелке (рис. 3). Таким образом, контуры разделяются на внешние и внутренние.

Рисунок 2. Алгоритм обхода при поиске границ (внутренняя граница).

Рисунок 3. Алгоритм обхода при поиске границ (внешняя граница).

Процесс обхода продолжается до достижения начальной точки, что свидетельствует о завершении замкнутого контура. Все пиксели, встреченные в ходе обхода и включённые в список углов, образуют выявленный контур. Иллюстрации найденных контуров представлены на рисунке 4.

Аналогичным образом осуществляется поиск и анализ отверстий при перфорации.

Рисунок 4. Найденные рабочие листы.

В технологии селективного лазерного спекания (SLM) для определения геометрии наплавляемого слоя используется аналогичный подход. Исходным изображением служит фотография предыдущего слоя, а результатом – фотография следующего сплавленного слоя (см. рис. 5).

Рисунок 5. Распознавание слоёв по кадру видеоряда в SLM технологии.

После установления геометрических параметров каждого слоя производится его сопоставление с предварительно рассчитанной геометрией. Результатом этого сравнения становится так называемая «карта слоев», на которую Subsequently наносятся данные температурной модели (см. рис. 6).

Рисунок 6. Наложение температурных данных на карту слоев изделия (один из видов представления).

Технологический специалист с помощью задания цветовой палитры, определения целевого температурного диапазона и использования направляемых разрезов способен оперативно выявлять критические зоны перегрева, являющиеся причиной появления дефектов в готовом изделии. Это позволяет ему принять своевременные меры по оптимизации технологического процесса производства.

Заключение

В ходе проведенных исследований была достигнута следующая цель:

1. Создание специализированной платформы машинного зрения, которая способствует упрощению решения широкого спектра задач в области машинного зрения и научной визуализации, направленных на реализацию лазерных технологий.
2. Решение ряда задач машинного зрения и научной визуализации в контексте промышленной реализации новых лазерных технологий, в частности, технологии SLM.
3. Обеспечение возможности видеорегистрации процессов в изолированных средах, определения контуров объектов на изображениях, анализа и обработки визуальных данных, а также формирования и представления картины распределения тепла в трехмерном объекте на основе данных численного эксперимента, полученных с использованием разработанной математической модели [18-20].
4. Реализация интеграции расчетных данных о геометрии изделия, данных, полученных посредством анализа видеоданных от средств визуального наблюдения, с данными теплового распределения. Предложенный подход позволяет упростить анализ технологического процесса для специалистов, способствует выявлению критических областей, таких как зоны перегрева и не расплавления, а также подбору оптимальных параметров процесса селективного лазерного сплавления.
5. Разработанные программные решения используются в технологическом оборудовании, применяемом на отечественных предприятиях, в частности, для изготовления лопаток турбин авиационных двигателей. Пример изделия сложной геометрии представлен на рис. 7.

Рисунок 7. Рельеф на поверхности изделия сложной геометрии.

Созданная программная платформа машинного зрения прошла испытания и внедрена в программные решения, используемые рядом отечественных высокотехнологичных промышленных предприятий.

Литература

1. Эзрохи Ю.А., Кизеев И.С. О задании характеристик компрессора при математическом моделировании авиационного газотурбинного двигателя // Труды МАИ. 2022. № 125. DOI: 10.34759/trd-2022-125-25
2. Черкасова М.В. Подходы к моделированию процесса осаждения продуктов эрозии на стенки газоразрядной камеры ионного двигателя // Труды МАИ. 2022. № 124. URL: https://trudymai.ru/published.php?ID=167003. DOI: 10.34759/trd-2022-124-08
3. Зайцева Н.И., Погарская Т.А. Разработка программного комплекса для анализа и оптимизации сборочного процесса в авиастроении // Труды МАИ. 2022. № 124. DOI: 10.34759/trd-2022-124-23
4. Ведяшкина А.В., Ринкявичус Б.С. и др. Оптико-электронный комплекс для исследования процессов тепло- и массообмена лазерным бесконтактным методом // Научная визуализация. 2019. Т. 11. № 3. C. 43-53
5. Rometsch P., Jia Q., Yang K., Wu X. Aluminum alloys for selective laser melting – towards improved performance // In book: Additive Manufacturing for the Aerospace Industry, 2019, pp. 301-325. DOI:10.1016/B978-0-12-814062-8.00016-9
6. Mazur M., Leary M. et al. Mechanical properties of Ti6Al4V and AlSi12Mg lattice structures manufactured by Selective Laser Melting (SLM) // In book: Laser Additive Manufacturing: Materials, Design, Technologies and Applications, 2016, pp. 119-161. DOI:10.1016/B978-0-08-100433-3.00005-1
7. Mirkoohi E., Seivers D., Garmestani H., Liang S. Heat Source Modeling in Selective Laser Melting // Materials, 2019, vol. 12 (13), pp. 2052. DOI:10.3390/ma12132052
8. Соколов С.М., Богуславский А.А., Фёдоров Н.Г., Виноградов П.В. Система технического зрения для информационного обеспечения автоматической посадки и движения по ВПП летательных аппаратов // Известия ЮФУ. Технические науки. 2015. № 1 (162). С. 96-109.
9. Kaushik S., Jain A., Chaudhary T., Chauhan N.R. Machine vision based automated inspection approach for clutch friction disc (CFD) // Materials Today: Proceedings. 2022, no. 62 (2), pp. 151-157. DOI:10.1016/j.matpr.2022.02.610
10. Степанов Д.Н. Методы и алгоритмы определения положения и ориентации беспилотного летательного аппарата с применением бортовых видеокамер // Программные продукты и системы. 2014. № 1. С. 150-157.
11. Краснобаев А.А. Обзор алгоритмов детектирования простых элементов изображения и анализ возможности их аппаратной реализации // Препринты ИПМ им. М.В. Келдыша. 2005. № 114. 20 с.
12. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. – М.: Радиотехника, 2008. – 176 с.
13. Рахматулин И. Нейросети, глубокое обучение, машинное зрение в сельском хозяйстве. Краткий обзор для 2021 года. DOI:10.24108/preprints-3112205
14. Иванов П.В., Бойков А.В. Преимущества применения программного комплекса LabView для создания систем машинного зрения // Записки Горного института. 2011. № 192. C. 216-218.
15. Болотова Ю.А., Друки А.А., Спицын В.Г. Методы и алгоритмы интеллектуальной обработки цифровых изображений. – Томск: Томский политехнический университет, 2016. – 208 c.
16. Smith S.M., Brady J.M. SUSAN—A New Approach to Low Level Image Processing // International Journal of Computer Vision, 1997, no. 23, pp. 45–78. DOI:10.1023/A:1007963824710
17. Rosten E., Drummond T. Machine Learning for High-Speed Corner Detection // Computer Vision – ECCV 2006, Lecture Notes in Computer Science, pp. 430–443. DOI:10.1007/11744023_34
18. Молотков А.А., Третьякова О.Н. О возможных подходах к визуализации процесса селективного лазерного сплавления // Научная визуализация. 2019. Т. 11. № 4. С. 1-12. DOI: 10.26583/sv.11.4.01
19. Лебёдкин И.Ф., Молотков А.А., Третьякова О.Н. Математическое моделирование сложного теплообмена при разработке лазерных SLM технологий // Труды МАИ. 2018. № 101.
20. Молотков А.А., Третьякова О.Н. Визуализация результатов моделирования процесса селективного лазерного сплавления // 29-я Международная конференция по компьютерной графике и машинному зрению GraphiCon 2019 (Брянск, 23-26 сентября 2019): сборник трудов. – Брянск: Брянский государственный технический университет, 2019. С. 78-81.

По материалам: Молотков А.А., Третьякова О.Н. Применение машинного зрения в лазерных технологиях // Труды МАИ. 2022. № 127.