Системы машинного обучения для роботизированного контроля в производстве: обзор

177
views

Использование машинного обучения (МО) для роботизированной инспекции получило стремительное развитие в условиях интеллектуального производства, обеспечивая автоматическое обнаружение и классификацию дефектов, а также оптимизацию процессов в реальном времени. В данном обзоре представлен анализ текущей ситуации и передовых методов контроля качества в интеллектуальном производстве.

Более 50 исследований, охватывающих автомобильную, аэрокосмическую, сборочную и общую обрабатывающую промышленность, демонстрируют техническую осуществимость использования машинного обучения для роботизированной инспекции в производстве. Точность обнаружения и классификации дефектов часто превышает 95%, при этом некоторые системы машинного зрения достигают 98–100% точности в контролируемых условиях. В системах машинного зрения преимущественно используются собственные архитектуры сверточных нейронных сетей (CNN), варианты YOLO или традиционные модели машинного зрения.

Однако 77% реализаций остаются на уровне прототипов или пилотных проектов, что указывает на систематические барьеры внедрения. В обзоре рассматриваются особенности систем машинного зрения и проблемы, с которыми эти технологии продолжают сталкиваться. Наконец, даются рекомендации по дальнейшим направлениям развития машинного обучения для роботизированной инспекции в производстве.

1. Введение

«Умное» производство использует данные в реальном времени и технологии, основанные на данных, такие как искусственный интеллект (ИИ), облачные технологии и промышленный интернет вещей (IIOT), для повышения эффективности и гибкости традиционных производственных систем. Оно использует данные с датчиков, оборудования и всей цепочки поставок для улучшения качества, оптимизации производства и реагирования в режиме реального времени на меняющиеся требования и условия на заводе, в сети поставок и на потребности клиентов. Производители находятся под давлением необходимости быстрой адаптации, и многие из них обращаются к технологиям «умного» производства для решения проблем, связанных с нехваткой рабочей силы, дефицитом квалифицированных кадров, а также геополитическими и логистическими проблемами.

Текущий интерес к интеллектуальному производству отражен в отчете «Состояние производства в 2025 году», подготовленном компанией Rockwell Automation [1]. Они проанализировали 1560 анкет, разосланных лицам, принимающим решения в производственных отраслях по всему миру. В общей сложности 95% респондентов сообщили, что они либо инвестировали, либо планируют инвестировать в машинное обучение (ML), генеративный искусственный интеллект (GenAI) или причинно-следственный искусственный интеллект (Causal AI) в производстве в течение следующих пяти лет. Среди респондентов 50% планируют использовать ИИ/ML в контроле качества (QC), 49% в кибербезопасности, 42% в оптимизации процессов, 37% в робототехнике и 36% в логистике.

Традиционное машинное зрение (МЗ), или МЗ на основе правил, на протяжении десятилетий является важным инструментом в производстве, облегчающим задачи контроля качества, такие как измерение, обнаружение дефектов, сортировка деталей или проверка сборки путем обнаружения и локализации деталей. Для решения этих задач МЗ промышленного уровня использует такие методы, какобнаружение краев, сопоставление шаблонов, анализ цвета, морфологические операции или стереоизображение. Традиционное МЗ предоставляет методы калибровки камеры [2, 3], используемые для коррекции искажений объектива и преобразования пикселей изображения в координаты реального мира. В приложениях 3D-зрения МЗ предоставляет методы стереокалибровки [4, 5], используемые для определения внутренних параметров каждой из двух камер и внешних параметров между двумя камерами. При использовании MV с роботизированными технологиями он предоставляет методы калибровки «Рука-Глаз» [6, 7, 8, 9, 10] или калибровки «Робот-Мир-Рука-Рука-Глаз» [11, 12], используемые для определения положения и ориентации системы координат, связанной с датчиком камеры, относительно системы координат, связанной с центром инструмента робота, а также положения и ориентации целевого объекта относительно датчика камеры. Эти два последних метода позволяют камере направлять робота в его рабочей зоне и выполнять задачи.

Традиционный метод оценки вариативности (MV) хорошо работает в задачах с ограниченной вариативностью, но не оправдывает ожиданий при обработке больших вариаций продукции или непредсказуемых дефектов. Тем не менее, недавние достижения в области искусственного интеллекта привели к появлению нового подхода: оценки вариативности с использованием глубокого обучения (DL), который предлагает большую гибкость и адаптивность в реальных приложениях. В отличие от традиционного метода оценки вариативности, оценка вариативности с использованием глубокого обучения значительно повышает точность в приложениях с большими вариациями продукции, приложениях с непредсказуемыми дефектами или в сложных условиях.

Интеграция машинного зрения с использованием DL-технологий значительно расширила возможности контроля качества. В отличие от систем контроля с фиксированной камерой, робототехника с визуальным управлением, также известная как системы «глаз в руке», может динамически адаптировать траекторию контроля вокруг объектов для навигации в ограниченных пространствах или сканирования вдоль неровных элементов. Эта гибкость дополнительно повышает эффективность контроля качества в системах с большой позиционной, размерной или визуальной изменчивостью. В этих случаях интегрированные алгоритмы машинного обучения оказывают двойное положительное влияние на эффективность контроля качества: они улучшают возможности обнаружения системы машинного зрения и одновременно предоставляют роботу возможность воспринимать и понимать окружающую среду, позволяя ему адаптироваться в режиме реального времени к изменениям и вариациям на производственной линии. Заинтересованный читатель может найти дополнительную информацию об управлении роботами на основе машинного зрения в производстве с использованием ML-технологий в [13, 14, 15, 16, 17, 18, 19, 20, 21].

Целью данного обзора литературы является получение информации о текущем состоянии дел и передовых методах контроля качества в интеллектуальном производстве, а также извлечение подробной информации о системах машинного зрения для роботизированной инспекции по следующим вопросам:

  • Контекст производства, например, отраслевой сектор или область применения, характеристики производственной среды (широкоформатное/малосерийное производство, конвейерная линия и т.д.), интеграция с существующими системами (Индустрия 4.0, Интернет вещей, коллаборативные роботы), эксплуатационные ограничения или требования, а также масштаб внедрения (прототип, пилотный проект, полномасштабное развертывание).

  • Реализация системы, включая подход к интеграции робота, используемую систему машинного зрения, тип и характеристики камер (2D, RGB-D, стерео), дополнительные используемые датчики (структурное освещение), подходы к слиянию данных и т. д.

  • Используемые подходы машинного обучения, такие как конкретные алгоритмы, методология обучения, методы предварительной обработки и расширения данных, методы извлечения признаков или архитектура модели.

  • Показатели производительности, такие как точность обнаружения/классификации, количество ложных срабатываний/отрицательных результатов (если таковые имеются), процент обнаруженных случаев, сравнение с базовым уровнем, скорость обработки или время вывода и т. д.

2. Подход к обзору

Для начала был проведен семантический поиск с использованием поисковой системы Elicit по 138 миллионам научных статей с помощью следующего запроса: «Образование на основе машинного обучения для роботизированной инспекции в производстве». Запрос выдал 500 наиболее релевантных статей, которые были отобраны по следующим критериям:

  • Включает ли исследование роботизированные системы, оснащенные возможностями компьютерного зрения, для выполнения задач по контролю качества?
  • Предназначено ли данное приложение для использования в производственных условиях, таких как производственные линии, контроль качества или сборочный контроль?
  • Включает ли данное исследование явно алгоритмы машинного обучения для обработки изображений, такие как глубокое обучение, нейронные сети (НС) или традиционные подходы к машинному обучению, вместо того, чтобы основываться исключительно на правилах или использовать только традиционную обработку изображений?
  • В каких областях проводятся исследования: инспекции, контроля качества, обнаружения дефектов или мониторинга?
  • В исследовании приводятся количественные или качественные результаты, подтвержденные эмпирическими данными?
  • Включает ли исследование интеграцию робототехники, а не фокусируется исключительно на компьютерном зрении без учета робототехники?
  • Это полноценная научная работа со значительным техническим содержанием, а не тезисы доклада на конференции, редакционная статья, статья с выражением собственного мнения или краткое сообщение?

Для извлечения данных, имеющих важное значение для данного обзора литературы, таких как сведения об используемых подходах машинного обучения, системах машинного зрения, приложениях контроля, показателях производительности, контексте производства или реализации системы, была использована большая языковая модель (LLM). В результате поиска и последующего отбора было выявлено 40 исследовательских работ, посвященных системам машинного зрения с использованием машинного обучения для роботизированного контроля в различных производственных условиях.

Данные, извлеченные из каждой из 40 публикаций, были вручную прочитаны и проверены авторами данного обзора на предмет согласованности и корректности, и еще 18 статей были отклонены на основании критериев отбора. Типичным критерием отклонения статей авторами было то, что тема была посвящена описанию использования машинного зрения для манипулирования роботами, а не его применению в контроле качества. Интересно, что ни одна из 22 статей, вошедших в окончательный список, не описывала использование систем машинного зрения для контроля качества в сварочных или аддитивных технологиях.

Второй семантический поиск был выполнен с использованием поисковой системы Elicit по следующему запросу: «Визуализация на основе машинного обучения для роботизированного контроля в сварке». После аналогичного процесса отбора и ручной проверки авторами было отобрано еще 18 научных работ по визуальной инспекции в роботизированной сварке.

Наконец, с помощью поисковой системы Google были отобраны еще 11 статей, описывающих использование визуального контроля с применением машинного обучения в аддитивном производстве.

На рисунке 1 представлена ​​диаграмма Санкей, иллюстрирующая процесс систематического отбора литературы.

Рисунок 1. Диаграмма Санкей, иллюстрирующая процесс систематического отбора литературы.

3. Результаты

3.1. Характеристики отобранных исследований

В ходе систематического обзора было выявлено 51 исследование, посвященное изучению современных роботизированных методов контроля с использованием машинного обучения в общем производстве [22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43], в процессах сварки [44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61] и в аддитивном производстве [62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72]. В таблице 1 представлены основные характеристики исследований, посвященных усовершенствованному с помощью машинного обучения контролю в общих производственных процессах.

Таблица 1. Основные характеристики исследований, посвященных усовершенствованному с помощью машинного обучения контролю качества в общем производстве.

Статья Отрасль
Техника машинного обучения
Система машинного зрения Заявление на проведение инспекции Масштаб развертывания
А. Вильялонга и др. [ 22 ] Общее производство YOLOv10 Мако Г192 Контроль качества Пилотная линия
А. Розелл
и др., 2023 [ 23 ]
Аэрокосмическая отрасль U-Net, VGG16, ResNet50 Не указан компоненты авиационных двигателей Развернутая система
Д. Ким
и др., 2023 [ 24 ]
Сборочное
производство
Разработанная нами сверточная нейронная сеть (CNN), ResNet50 Двойные камеры Качество сборки “штифт в отверстии” Пилотный/прототип
П. Дж. Раджеш и др., 2024 [ 25 ] Автомобильные (шестерни) РЧ Не указано Дефекты зубьев шестерни
(трещины, сколы,
износ)
Пилотный/
прототип
Дж. Чен и др., 2023 [ 26 ] Печать (чернильные пакеты) PSPNet Системы с одной и
несколькими камерами
Объем воздушных пузырьков в чернильных
мешках
Пилотное/полномасштабное
развертывание
Дж. Н.
Каригианнис
и др., 2021 г. [ 27 ]
Аэрокосмическая отрасль Сверточная нейронная сеть собственной разработки Не указано Флуоресцентный
капиллярный
контроль
Подтверждение концепции
А. Кирда и др., 2025 [ 28 ] Общее
производство
YOLOv5, VGG16,
ResNet
Не указано Обнаружение металлических краев Доказательство концепции
Ливэй Цзэн и др., 2025 г. [ 29 ] Промышленная
инспекция
YOLOv5 Не указано Обнаружение объектов в рабочем пространстве робота Прототип/пилотный образец
Л. Вариз и др., 2019 [ 30 ] производство HMI-консолей Сверточная нейронная сеть собственной разработки Мако Г125б Состояние кнопок, дефекты ЖК-дисплея Прототип/пилотный образец
М. Шалу и др., 2024 [ 31 ] Сборка деталей YOLOv8 Не указано Правильность сборки Прототип/пилотный образец
М. Хуссейн и др., 2022 г. [ 32 ] Логистика/склад Мобильная сеть камера смартфона Повреждение стеллажей для поддонов Прототип/пилотный образец
Н. Террас
и др., 2025 [ 33 ]
Продукты питания RetinaNet, RT-DETR, Faster RCNN, YOLO Не указано Сортировка
и качество продуктов питания
Пилотное/полномасштабное
развертывание
Н. Радж и др., 2024 [ 34 ] Общее
производство
Сверточная нейронная сеть собственной разработки Не указано Дефекты листового металла
(царапины, отклонения
в размерах )
Прототип/пилотный образец
О. Ардич и др., 2024 [ 35 ] Автомобильная промышленность Faster
R-CNN, SSD
Не указано Дефекты деталей двигателя Полное
развертывание
П. Бауэр и др., 2022 [ 36 ] Автомобильная промышленность Разработанные мной CNN, SVM,
MLP
3D-сенсор ZEISS
COMET
,
цифровая зеркальная камера Canon
Маркеры
для разметки листового металла
Прототип/пилотный образец
Р. Мюллер и др., 2019 [ 37 ] Аэрокосмическая отрасль Сверточная нейронная сеть собственной разработки. Лазерный линейный
датчик + RGB-камера
Качество заклепок Прототип/пилотный образец
С. Чжоу
и др., 2025 [ 38 ]
Упаковка из формованной целлюлозы R-CNN, PSPNet USB-камера Закупоренные
поры в сетчатых
фильтрах
Пилотное/полномасштабное
развертывание
С. Мартелли и др., 2018 [ 39 ] Аэрокосмическая отрасль Разработанные нами CNN, CNN + LSTM Микрокамера
в эндоскопе
Остаточная стоимость коробки передач Прототип/пилотный образец
С. Дешпанде и др., 2023 [ 40 ] Аэрокосмическая отрасль
(герметик)
БДН Не указано Качество клеевых точек Прототип
SKH Ли и др., 2025 [ 41 ] Аэрокосмическая отрасль ЭНН Не указано Качество отверстий
в композитных материалах
Прототип/пилотный образец
В. Тан и др., 2023 [ 42 ] Общее производство ДХО RGB-камера Трещины на
металлических
поверхностях
Прототип/пилотный образец
Я. Язид
и др., 2023 [ 43 ]
Общее производство YOLOv5 RGB-D
камера
Дефекты металлических деталей на
конвейере
Прототип/пилотный образец

В таблице 1 показано существенное разнообразие подходов в различных производственных секторах. Исследования охватывают автомобильную промышленность (14% найденных работ), аэрокосмическую отрасль (27%), сборочный цех (10%), общее производство (27%) и другие производственные сектора, включая пищевую промышленность, логистику/складирование, упаковку формованных деталей и т. д. (22%).

Большинство внедрений осталось на стадии прототипа или пилотного проекта — 77%, — и только 23% достигли полномасштабного промышленного внедрения. Это говорит о том, что, хотя технология и выглядит многообещающей, препятствия для ее широкого распространения сохраняются.

В таблице 2 представлены основные характеристики исследований, посвященных системам машинного зрения, усовершенствованным с помощью машинного обучения, для роботизированного контроля сварочных работ.

Таблица 2. Основные характеристики исследований, посвященных системам машинного зрения с использованием машинного обучения для роботизированного контроля сварочных работ.

Статья Основное приложение Техника машинного обучения Робот Процесс сварки Промышленный контекст
А. Фернандес и др., 2020 г. [ 44 ] Онлайн-
мониторинг
Разработанные нами CNN, CNN + LSTM АББ Дуговая сварка Не указано
C. Knaak et al., 2021 [ 45 ] Обнаружение дефектов в режиме реального времени Разработанные нами CNN, CNN + GRU,
ResNet50,
MobilNetV2,
InceptionV3
Не указано Лазерная сварка Автомобильная/
аэрокосмическая отрасль
C. Knaak et al.,
2021a [ 46 ]
Обнаружение неисправностей Разработанные нами CNN, CNN + GRU,
ResNet50,
MobilNetV2,
InceptionV3
Не указано Лазерная сварка Производство
C. Ся и др.,
2020 [ 47 ]
Государственное признание ResNet,
SVM
Не указано TIG-сварка в замочной скважине Производство
ДД Кумар и др., 2023 [ 48 ] Обнаружение пористости ST-MDL,
U-Net
Не указано Не указано Инфраструктура
Д. Буонджорно и др., 2022 г. [ 49 ] Классификация дефектов Разработанные мной CNN,
DT, SVM, KNN
Комау, Нью-Джерси, 220 Лазерная сварка Автомобильная промышленность
(аккумуляторы для электромобилей)
Х. Ли и др., 2023 [ 50 ] Обнаружение дефектов YOLOv5,
ResNet50
Не указано Дуговая сварка Производство автомобильных кронштейнов
М. Емельянова и др., 2024 [ 51 ] Распознавание дефектов поверхности Персептрон,
SVM
Не указано Сварка TIG производство труб
Маркус Шмитц и др., 2020 [ 52 ] Оценка качества ДХО Не указано Лазерная сварка Не указано
Н. Черкасов и др., 2023 [ 53 ] Обнаружение дефектов поверхности Сверточная нейронная сеть собственной разработки Fanuc ARC Mate Не указано Стальные конструкции
О. Карташов и др., 2022 [ 54 ] Контроль сварных швов трубопровода YOLOv5 Не указано Сварка плавлением Монтаж трубопровода
С. Каян и др., 2024 [ 55 ] Контроль качества Разработанные нами сверточные нейронные сети (CNN), AlexNet, ResNet18,
Inception-v3
Fanuc CRX-25ia Не указано Не указано
С. Чжан и др.,
2022 [ 56 ]
Распознавание дефектов в реальном времени Разработанные мной CNN, SVM, KNN Не указано Сварка TIG Автоматизация
Ван-Дой Труонг и др., 2025 г. [ 57 ] Многопроходный
мониторинг
YOLOv10 Не указано Многослойная многопроходная сварка Корпуса ядерного реактора высокого давления
В. Дай и др., 2021 [ 58 ] Контроль точечной сварки YOLOv3, SSD, Faster R-CNN, RetinaNet Фанук Контактная точечная
сварка
Автомобильная промышленность
X. Донг и др.,
2020 [ 59 ]
Проверка на наличие дефектов РЧ Не указано Не указано Аэрокосмическая отрасль
YJ Cruz et al., 2020 [ 60 ] Предварительный/послесварочный
контроль
Сверточная нейронная сеть собственной разработки Не указано Не указано сосуды высокого давления для сжиженного нефтяного газа
Юн Ши и др., 2023 г. [ 61 ] Обнаружение дефектов поверхности 1NN Не указано Не указано Промышленное
производство

Наибольшую долю исследований составил общий производственный сектор, на который пришлось приблизительно 33% найденных работ, за ним следует автомобильная промышленность (22%), а на другие специализированные сектора, включая аэрокосмическую отрасль, атомную энергетику, строительство трубопроводов, инфраструктуру и т. д., приходится 45% исследований.

Лазерная сварка была наиболее часто изучаемым процессом (22% исследований), за ней следовали аргонодуговая сварка (TIG) (17%), дуговая сварка (11%) и другие методы сварки, включая сварку плавлением, контактную точечную сварку или многослойную многопроходную сварку, на которые в общей сложности приходилось 17% исследований. В 33% исследований технология сварки не была указана.

Масштабы производства варьировались от высокопроизводительных производственных сред до специализированной проверки критически важных компонентов в аэрокосмической отрасли. В многочисленных исследованиях особое внимание уделялось возможностям контроля в режиме реального времени или в режиме прямой линии, что отвечало необходимости немедленной обратной связи по качеству в автоматизированных производственных линиях.

В таблице 3 представлены основные характеристики исследований, посвященных системам машинного зрения с использованием машинного обучения для контроля качества в процессах аддитивного производства.

Таблица 3. Ключевые характеристики исследований, посвященных системам машинного зрения с использованием машинного обучения для контроля качества в процессах аддитивного производства (АМ).

Статья Процесс аддитивного производства Материалы Подход машинного обучения Типы датчиков
А. Гайквад и др., 2022 [ 62 ] Лазерная порошковая плавка Металлы (предполагаемые) Разработанные мной CNN, SVM, MLP, RF, KNN Две коаксиальные высокоскоростные камеры,
тепловизионная съемка
А. Росси и др., 2021 [ 63 ] Сплавленная нить Не указано Разработанные нами CNN, AlexNet, ResNet50, BoW + SVM Цифровая камера
Б. Чжан и др., 2019 [ 64 ] Металл АМ CoCrMo Сверточная нейронная сеть собственной разработки Не указано
Д. Канниццаро ​​и др., 2022 г. [ 65 ] Спекание порошкового слоя Металлы U-Net Внеосевая камера
Э. Цинтави и др., 2024 [ 66 ] Экструзия материала с помощью шприца Ородисперсные
пленки с
варфарином
GoogleNet Камера (предполагаемая)
Ф. Каджи и др., 2022 [ 67 ] Лазерное прямое энергетическое осаждение методом подачи порошка Металлы RandLA-Net Лазерный линейный сканер
Х. Эльварфалли и др.,
2019 [ 68 ]
Лазерное спекание порошкового слоя (селективное лазерное плавление) Металлы АлексНет ИК-томография
Л. Лу и др., 2023 [ 69 ] Роботизированная технология аддитивного производства композитных полимеров, армированных волокнами. Композитный волокнисто-армированный полимер Faster R-CNN,
SSD,
YOLOv4
Не указано
Л. Сциме и др., 2020 [ 70 ] Порошковое спекание
(лазерное спекание, струйная печать связующим веществом и
электронно-лучевое спекание)
Не указано Сверточная нейронная сеть собственной разработки Не указано
В. Кламерт и др.,
2023 [ 67 ]
Лазерная порошковая плавка Полиамид
PA2200
Сверточная нейронная сеть собственной разработки Недорогая RGB-
камера
(Raspberry Pi)
З. Чен и др., 2025 [ 68 ] Лазерное прямое энергетическое осаждение Металлы Сверточная нейронная сеть собственной разработки Не указано

Исследования охватывали несколько процессов аддитивного производства: наиболее распространенным был метод послойного спекания порошка (PBF) с использованием лазера и электронного луча (пять исследований), за ним следовали метод направленного энергетического осаждения (DED) (два исследования), экструзия материала с использованием сплавления нитей или экструзия жидкого полимера с помощью шприца (два исследования), струйная печать связующего вещества (одно исследование) и другие процессы аддитивного производства (два исследования).

Системы машинного зрения значительно различались по типу датчиков, их расположению и способу интеграции. Преобладающей конфигурацией датчиков был мониторинг с помощью камер, установленных непосредственно в процессе работы, с использованием таких стратегий позиционирования, как коаксиальное крепление, выровненное по лазерному лучу, и внеосевое крепление над рабочей камерой.

3.2. Технологии и архитектуры машинного обучения

В настоящее время в системах машинного и глубокого обучения для контроля качества на производстве используются как традиционные методы машинного обучения, так и методы глубокого обучения.

В традиционном машинном обучении процессы обнаружения и классификации дефектов идентифицируют их путем сравнения набора их признаков, называемых векторами признаков, с набором признаков, характерных для классов известных дефектов. Процесс классификации ( рис. 2а ) включает предварительную обработку изображений, извлечение векторов признаков, передачу векторов признаков в механизм классификации и оценку результатов. Обучение осуществляется с использованием набора данных изображений известных дефектов, и, как правило, чем больше набор данных, тем точнее процесс классификации. Предварительная обработка изображений выполняется с использованием классических сверточных преобразований MV для их фильтрации, чтобы исключить несущественные признаки и оставить только те признаки, которые могут быть использованы для классификации.

Векторы признаков можно извлечь с помощью таких алгоритмов, как гистограмма градиентов (HOG), гистограмма бинарных шаблонов (HBP) и др. Векторы признаков для классификации по цвету могут включать статистические функции различных цветовых пространств, такие как гистограммы, асимметрия, энтропия и т. д. Векторы признаков для классификации по текстуре можно разделить на статистические (гистограммы, матрицы совместной встречаемости, локальные бинарные дескрипторы и т. д.), структурные (признаки границ, морфологические операции и т. д.), модельные (фракталы, случайные поля и т. д.) или трансформерные (спектральные, вейвлет-преобразователи, курвлет-преобразователи и т. д.).

Традиционные алгоритмы машинного обучения для классификации включают случайный лес (RF), машины опорных векторов (SVM), метод ближайшего соседа (1NN), метод k-ближайших соседей (KNN), дерево решений (DT), однослойные искусственные нейронные сети (ANN) и т. д. Традиционное машинное обучение хорошо работает с небольшими структурированными наборами данных, требует меньших вычислительных ресурсов и обеспечивает лучшую интерпретируемость при использовании с более простыми моделями, которые легче понять и объяснить. Их недостаток заключается в том, что они требуют от экспертов выбора и преобразования векторов признаков из исходных данных, могут испытывать трудности с массивными, сложными или неструктурированными наборами данных и могут неэффективно улавливать сложные закономерности в многомерных данных.

Рисунок 2. Процесс классификации производственных дефектов ( а ) для традиционных методов машинного обучения и ( б ) для методов глубокого обучения.

Методы глубокого обучения для обнаружения и классификации дефектов в основном используют сверточные нейронные сети (CNN) для автоматического изучения признаков из исходных пикселей, выходя за рамки традиционных методов, таких как HOG или HBP. Ключевые методы включают иерархическое извлечение признаков в сверточных слоях, обучение на больших размеченных наборах данных (контролируемое обучение) и использование трансферного обучения (тонкая настройка предварительно обученных моделей, таких как AlexNet, VGG) для повышения эффективности. Глубокое обучение автоматически изучает векторы признаков из исходных данных; производительность значительно улучшается при больших наборах данных, оно превосходно работает с неструктурированными данными и сложными шаблонами, а также лучше адаптируется к сложным крупномасштабным задачам. К его недостаткам относятся необходимость огромного количества размеченных данных для достижения хороших результатов, значительные вычислительные мощности, сложность интерпретации процесса принятия решений, а также сложность реализации и настройки.

Этапы процессов обнаружения и классификации дефектов с использованием сверточных нейронных сетей показаны на рисунке 2b .

Базовая структура сверточной нейронной сети (CNN) показана на рисунке 3. Архитектура CNN включает в себя восходящий экстрактор векторов признаков, также называемый «основой» или «телом» сети, и нисходящий классификатор, также называемый «головой» сети. Основа состоит из сверточных слоев, которые применяют сверточные операции к входным изображениям с использованием фильтров или ядер для обнаружения таких признаков, как края, текстуры и более сложные узоры. Они также преобразуют их в нелинейные значения с помощью своей функции активации, которая обычно представляет собой выпрямленный линейный блок (ReLU). Между сверточными слоями находятся слои пулинга, которые уменьшают размерность входных данных и сокращают количество параметров в сети. Полносвязные слои отвечают за прогнозирование на основе признаков, изученных предыдущими слоями, и могут использовать функции активации ReLU или SoftMax.

Рисунок 3. Базовая структура сверточной нейронной сети.

Сверточные нейронные сети, используемые в производственном контроле, можно разделить на четыре группы в зависимости от области применения:

  • Классические сверточные нейронные сети (CNN) присваивают изображению единую метку класса. К числу репрезентативных сетей, используемых в этом случае, относятся AlexNet, ResNet или VGGNet.
  • Сверточные нейронные сети (CNN) используются для обнаружения и локализации дефектов, которые идентифицируют и определяют местоположение дефектов с помощью ограничивающих рамок и присваивают каждому из них индивидуальные метки класса. К числу репрезентативных сетей, используемых для обнаружения и локализации дефектов, относятся R-CNN, Faster R-CNN или YOLO.
  • Сверточные нейронные сети (CNN) используются для семантической сегментации, присваивая метку класса каждому пикселю изображения. Они обеспечивают целостное понимание изображения, сегментируя его на значимые семантические области, без различения отдельных экземпляров объектов. К типичным сетям, используемым для семантической сегментации, относятся U-Net, FCN, DeepLab, PSP Net и SegNet.
  • Сверточные нейронные сети (CNN) для сегментации экземпляров дефектов сочетают в себе элементы обнаружения дефектов и семантической сегментации. Они идентифицируют и выделяют отдельные экземпляры дефектов на изображении на детальном пиксельном уровне и присваивают метки классов каждому идентифицированному дефекту. К типичным сетям, используемым для сегментации экземпляров, относятся Mask R-CNN, Cascade Mask R-CNN, SOLO или YOLACT.

Все четыре категории сверточных нейронных сетей (CNN) могут использоваться для обнаружения и классификации дефектов, но CNN для обнаружения и локализации дефектов, а также для сегментации образцов, обладают дополнительной функцией локализации дефектов на изображении.

Результаты статистического анализа выбранных статей, классифицированных по типу архитектуры CNN, используемой в системах машинного зрения в производстве, показаны на рисунке 4.

Рисунок 4. Сверточные нейронные сети (CNN) в системах визуального контроля для производства. Цифры указывают частоту использования. Традиционное машинное обучение: ссылки [25, 36, 47, 49, 51, 56, 59, 61, 62, 63]. Собственная разработка CNN: ссылки [24, 27, 30, 34, 36, 37, 39, 44, 45, 46, 49, 53, 55, 56, 60, 62, 63, 64, 70, 71, 72]. YOLO: ссылки. [22, 28, 29, 31, 33, 43, 50, 54, 57, 58, 69].U-Net: ссылки [23, 48, 65]. AlexNet: ссылки [54, 63, 67]. VGGNet: ссылки [23, 28, 32]. ResNet: ссылки [23, 24, 28, 45, 46, 47, 50, 55, 63]. RetinaNet: ссылки [33 , 58]. PSPNet: ссылки [26, 38]. R-CNN: ссылка [38]. Faster R-CNN: ссылки. [33, 34, 58, 69]. RT-DETR: ссылка [33]. ENN: ссылка [41]. DRL: ссылки [42, 52]. SSD: ссылки [35, 58, 69]. MobileNet: ссылки [32, 45, 46]. GoogleNet: ссылка [66]. Inception: ссылки [45, 47, 55]. ST-MDL: ссылка [49]. RandLA-Net: ссылка [67], BDN [40].

Самостоятельно разработанные CNN представляют собой наиболее часто используемые сетевые архитектуры в визуальном контроле, за которыми следуют YOLO, традиционное машинное обучение и ResNet. Самостоятельно разработанные CNN представляют собой комбинации CNN с сетью долговременной кратковременной памяти (LSTM) [39, 44], комбинацию CNN с сетью вентильных рекуррентных блоков (GRU) [45, 46] или были созданы с использованием библиотек Keras, TensorFlow и PyTorch [24, 71, 72].

Традиционное машинное обучение использовало классификационные механизмы, такие как RF [25, 59, 62], SVM [36, 47, 49, 51, 56, 62], персептрон [51], многослойный персептрон (MLP) [36, 62], DT [49], 1NN [61], KNN [49, 56] или комбинацию Bag of Words (BoW) и SVM [63].

3.3. Оценка модели машинного обучения

Способность модели машинного обучения правильно идентифицировать и классифицировать дефекты оценивалась на основе показателей точности, полноты, общей точности, F1-меры, пересечения над объединением, средней точности и средней точности.

Точность для класса i, П𝑖 представляет собой вероятность того, что дефект, классифицированный как дефект класса i , действительно относится к классу i  и рассчитывается как отношение числа дефектов, правильно классифицированных как дефекты класса i, к общему числу дефектов, классифицированных как дефекты класса i :

Отзыв по классу I, Р𝑖,— это вероятность того, что дефект будет отнесен к классу, к которому он принадлежит, и рассчитывается как отношение числа правильно классифицированных дефектов класса i к общему числу дефектов, относящихся к классу i :

Общая точность классификатора (OA) определяется как общее количество правильно классифицированных дефектов в наборе данных. ∑𝑖Т⁢П𝑖, разделить на общее количество классифицированных образцов, N :

В уравнениях (1) – (3), Т⁢П𝑖 обозначает истинно положительные результаты для класса i , или количество дефектов, относящихся к классу i, которые были правильно отнесены к этому классу. Ф⁡П𝑖 обозначает количество ложноположительных результатов для класса i, или число дефектов, относящихся к другим классам, которые были ошибочно отнесены к классу i. Ф⁡Н𝑖 обозначает количество ложноотрицательных результатов для класса i, или число дефектов, отнесенных к классу i, которые были ошибочно отнесены к другим классам, N обозначает общее количество дефектов, а M обозначает количество классов.

Показатель F1i представляет собой гармоническое среднее точности и полноты и обеспечивает сбалансированную оценку производительности модели с учетом как ложноположительных, так и ложноотрицательных результатов :

Пересечение над объединением (IoU) играет фундаментальную роль в оценке точности локализации дефектов и представляет собой меру, которая количественно определяет перекрытие между предсказанным ограничивающим прямоугольником и ограничивающим прямоугольником истинного значения:

Средняя точность для класса i, APi, представляет собой площадь под кривой «точность-полнота» для класса i и может быть аппроксимирована с помощью численного интегрирования.

Средняя точность (mAP) — это среднее значение APi по всем классам в наборе данных , и она рассчитывается следующим образом:

Более надежным способом оценки производительности модели является перекрестная проверка, причем наиболее часто используемой версией является k-кратная перекрестная проверка [73]. Когда необходимо сравнить различные алгоритмы машинного обучения, наиболее часто используемым подходом является вложенная перекрестная проверка [74].

В промышленной роботизированной инспекции метрики (1) – (6) очень чувствительны к составу набора данных, контролируемой среде и протоколам валидации. Ограниченная дефектами изменчивость, дисбаланс классов, контролируемое освещение или отсутствие испытаний в реальных производственных масштабах представляют собой потенциальные источники предвзятости оценки. Читатель должен с осторожностью интерпретировать представленную оценку модели машинного обучения.

Показатели эффективности были представлены по нескольким критериям, хотя не все исследования предоставили исчерпывающие количественные результаты. Основным показателем была точность обнаружения и классификации, также часто указывались скорость обработки, коэффициенты охвата и сравнения с базовыми методами.

В нескольких исследованиях были достигнуты исключительно высокие показатели точности, превышающие 95%. Вариз и др. [30] достигли почти 100% точности, используя разработанную ими самими сверточную нейронную сеть (CNN), применяемую для визуального контроля качества консолей человеко-машинного интерфейса. Ардик и др. [35] сообщили о 99,9% точности, используя R-CNN для проверки деталей двигателя после четырех месяцев эксплуатации. Террас и др. [33] продемонстрировали точность обнаружения и классификации 98%, успешно обработав более 600 элементов с высокой эффективностью и низкими вычислительными затратами. Их результаты совпали с результатами Шалу и др. [31], которые использовали YOLOv8 для проверки сборки.

Часто наблюдался диапазон точности в районе 90%. Чжоу и др. [38] сообщили о 94,95% полноте и 92,35% точности при проверке сетчатых экранов. Раджеш и др. [25] достигли 95% точности и 94% полноты, используя систему классификации RF при визуальной проверке шестерен. Язид и др. [43] продемонстрировали 96% точность обнаружения с использованием YOLOv5, в то время как Хуссейн и др. [32] получили среднюю точность 92,7% при проверке стеллажей для поддонов с использованием сети VGG16.

Более низкие диапазоны точности наблюдались в более сложных приложениях. Мюллер и др. [37] сообщили о 86% точности онлайн-классификации заклепок с использованием данных датчиков, улучшив ее до 97% при классификации на основе изображений с использованием самостоятельно разработанной сверточной нейронной сети. Ли и др. [41] достигли 83,33% точности, используя классификатор ENN, правильно предсказав пять из шести наборов данных при оценке качества отверстий.

Когда были представлены конкретные сравнения алгоритмов, выявились различия в производительности. Для проверки деталей двигателя Ардич и др. [35] обнаружили, что Faster R-CNN достиг средней точности 0,994 против 0,955 для SSD. Кирда и др. [28] сравнили три алгоритма для обнаружения краев металла: YOLOv5 достиг средней точности 0,957, превзойдя VGG16 с показателем 0,942 и ResNet с показателем 0,854.

Превосходство ансамблевых методов (Кнаак и др. [45] 99,5% F1-мера; Кнаак и др. [46] 95,2% F1-меры) по сравнению с подходами на основе одной модели обусловлено их способностью комбинировать взаимодополняющие модели ошибок. Пространственно-временная архитектура CNN-GRU улавливала динамические особенности процесса сварки, которые пропустили чистые пространственные CNN. Аналогично, Фернандес и др. [44] обнаружили превосходную производительность пространственно-временной архитектуры CNN-LSTM по сравнению с чистой пространственной CNN (0,95 против 0,94 полноты).

Контекстно-зависимые модели производительности

Результаты производительности четко группируются в зависимости от сложности применения и условий окружающей среды. Исследования, достигшие наивысшей точности (>98%), в основном касались четко определенных категорий дефектов в контролируемых условиях. Точность О. Ардича и др. [35] в 99,9% для деталей двигателей и Н. Терраса и др. [33] в 98% для пищевых продуктов были достигнуты на конвейерных линиях с постоянным представлением объектов и минимальной изменчивостью окружающей среды.

Напротив, приложения в неструктурированных или динамических средах показали систематически более низкую производительность. В исследовании Р. Мюллера и др. [37] контроль заклепок самолета достиг лишь 86% точности при использовании данных датчиков в реальном времени, улучшившись до 97% при постобработке анализа изображений, что говорит о том, что временные ограничения в сценариях совместной работы человека и робота снижают надежность обнаружения.

Исследование Л. Вариса и др. [30] иллюстрирует изменчивость производительности в рамках одной системы: в то время как классификация консоли и обнаружение дефектов кнопок приблизились к 100% точности, распознавание лиц превысило лишь 50%. Эта существенная разница отражает фундаментальное различие между проверкой изготовленных компонентов с постоянными спецификациями и распознаванием изменчивых человеческих черт, что предполагает, что заявления о производительности требуют тщательного определения масштабов для конкретных подзадач, а не средних значений на уровне системы.

Очевидное противоречие между традиционным машинным обучением, превосходящим глубокое обучение в конкретных случаях (например, в исследовании С. Чжана и др. [56], KNN достиг 98% точности за 33 мс по сравнению с более медленной производительностью CNN), разрешается при рассмотрении размерности пространства признаков. KNN превзошел, когда дискриминативные признаки уже были хорошо изучены и извлечены с помощью преобразований Габора и анализа текстуры, в то время как глубокое обучение продемонстрировало преимущества, когда разработка признаков была невозможна.

3.4. Компромиссы в архитектуре машинного обучения

Распространенность вариантов YOLO в исследованиях отражает не превосходство фундаментальных характеристик, а скорее благоприятный баланс скорости, точности и простоты развертывания в промышленных приложениях. Прямые алгоритмические сравнения выявляют тонкие компромиссы, а не явных победителей. О. Ардич и др. [35] обнаружили, что Faster R-CNN достиг более высокой средней точности (0,994), чем SSD (0,955) для проверки двигателя, однако более быстрая обработка данных SSD может оказаться предпочтительнее в сценариях с высокой пропускной способностью, несмотря на более низкую точность. Сравнение А.В. Кирды и др. [28] показало, что YOLOv5 (0,957 MAP) превосходит VGG16 (0,942) и ResNet (0,854), но преимущество в 0,015 по сравнению с VGG16 может не оправдывать переход в системах, уже использующих последний.

4. Перспективы на будущее

Перспективы развития технологий машинного зрения для контроля качества в производстве определяются потребностью в повышении точности, надежности и отказоустойчивости.
4.1. Использование синтетических обучающих изображений

Ограниченность обучающих данных была выявлена ​​как основное ограничение производительности и развертывания моделей машинного обучения, что объясняет, почему многие высокоэффективные системы машинного зрения остаются на стадии прототипа. Перенос обучения может смягчить проблему ограниченных наборов данных, но не устраняет требования к данным для обеспечения надежности в производственной среде.

Синтетические обучающие изображения могут повысить надежность машинного обучения в области компьютерного зрения, предоставляя обширные, идеально размеченные и разнообразные данные, особенно для редких крайних случаев, которые трудно получить в реальной жизни. Автоматизированная генерация синтетических данных обеспечивает быстрое масштабирование, уменьшает предвзятость и защищает конфиденциальность, обеспечивая при этом высококачественную аннотацию. В компьютерном зрении для генерации синтетических данных используются передовые методы, такие как генеративно-состязательные сети (GAN) и вариационные автокодировщики (VAE). Эти модели изучают закономерности на основе реальных наборов данных, а затем создают новые, искусственные примеры.

4.2. Использование федеративного машинного обучения

Второе направление, которое потенциально может увеличить размер обучающих наборов данных, одновременно улучшая конфиденциальность и безопасность данных в производстве, — это федеративное обучение. Федеративное машинное обучение — это децентрализованный метод обучения ИИ, который строит общую модель на основе данных со множества устройств без перемещения исходных данных, сохраняя конфиденциальную информацию в тайне. Вместо отправки данных на центральный сервер, модель перемещается к данным, обучается локально и отправляет обратно только агрегированные обновления, такие как параметры модели или градиенты, для улучшения основной модели.

4.3. Ансамблевое обучение

Ансамблевое обучение объединяет несколько отдельных моделей для создания одной, более мощной модели, повышая точность прогнозирования, устойчивость и обобщающую способность за счет использования коллективной «мудрости» по сравнению с одной моделью. В этом обзоре уже было показано, что гибридные пространственно-временные модели, такие как CNN-GRU или CNN-LSTM, превосходят чистые пространственные модели CNN.

4.4. Самостоятельное обучение

Обучение на наборах данных изображений требует ручного добавления меток к объектам на изображениях — трудоемкий процесс, называемый аннотированием. Новым направлением является самообучение (SSL), тип машинного обучения, в котором модели учатся генерировать метки из самих входных данных, устраняя необходимость в ручной разметке изображений. Модели SSL для промышленного зрения обучаются на неразмеченных данных изображений/видео для изучения признаков, необходимых для таких задач, как обнаружение дефектов, распознавание объектов и локализация аномалий, снижая зависимость от дорогостоящих аннотаций. Они позволяют мощным моделям Vision Foundation, таким как DINOv3, лучше адаптироваться к специализированным промышленным средам, где размеченные данные ограничены. Ключевые преимущества моделей SSL включают снижение затрат, ускорение обучения и повышение производительности в последующих задачах.

4.5. Визуально-языковые модели для объяснения

Визуально-языковые модели (ВЛМ) повышают объяснимость, генерируя удобочитаемые описания, определяя важные визуальные особенности и предоставляя пошаговое объяснение сложных задач, тем самым преодолевая разрыв между неясными решениями ИИ и пониманием пользователя. ВЛМ могут генерировать описания визуального контента на естественном языке, выходя за рамки простых меток и объясняя, почему объекты распознаются. Они могут выделять определенные области изображения или особенности, такие как пиксели или объекты, которые оказывают наибольшее влияние на процесс принятия решений. ВЛМ используют такие методы, как подсказки типа «цепочка рассуждений», чтобы описать этапы своих рассуждений, делая понятными сложные логические пути, такие как головоломки и медицинская диагностика. Их преимущество заключается в том, что они делают решения ИИ понятными для неспециалистов, переводя сложные вычисления на простой язык, и выявляют ложные корреляции или предвзятости, раскрывая мыслительный процесс модели, тем самым повышая уверенность пользователя.

4.6. Машинное обучение с учетом физических принципов

Метод машинного обучения, основанный на физических принципах (Physics-Informed Machine Learning, PIML), интегрирует известные физические законы, такие как закон сохранения энергии или уравнения гидродинамики, непосредственно в модели машинного обучения, создавая более точные, эффективные с точки зрения использования данных и физически непротиворечивые системы искусственного интеллекта. Они особенно полезны в условиях дефицита данных или сложности лежащей в их основе физики. Принцип их работы заключается в добавлении физических законов, часто выраженных в виде дифференциальных уравнений в частных производных, к функции потерь машинного обучения, тем самым наказывая прогнозы, нарушающие эти законы. Благодаря внедрению физических знаний, моделям требуется значительно меньше обучающих выборок для хорошей обобщающей способности, что позволяет преодолеть проблемы дефицита данных, распространенные в науке и технике.

5. Выводы

В данном обзоре представлен анализ текущего состояния и передовых методов в области роботизированного визуального контроля на основе машинного обучения в интеллектуальном производстве.

Более 50 исследований, охватывающих автомобильную, аэрокосмическую, сборочную и общепроизводственную отрасли, демонстрируют техническую осуществимость роботизированного контроля на основе машинного обучения.

Точность обнаружения и классификации дефектов часто превышает 95%, а некоторые системы машинного зрения достигают 98–100% точности в контролируемых условиях.

В системах машинного зрения преимущественно используются разработанные нами архитектуры сверточных нейронных сетей (CNN), варианты YOLO или традиционные модели машинного обучения.

Однако 77% внедрений по-прежнему находятся на стадии прототипа или пилотного проекта, что свидетельствует о системных препятствиях на пути развертывания.

Сокращения

AI Искусственный интеллект
AM Аддитивное производство
BDN Байесовские сети принятия решений
BoW Мешок слов
CNN Сверточная нейронная сеть
DL Глубокое обучение
DRL Глубокое обучение с подкреплением
DT Дерево решений
ENN Ансамблевая нейронная сеть
F1i F1-мера для класса i
GAN Генеративная состязательная сеть
GRU Вентилируемый рекуррентный блок
HBP Гистограмма бинарных шаблонов
HOG Гистограмма градиентов
IoU Пересечение над союзом
KNN K-Ближайший сосед
LLM Большая языковая модель
LSTM Долговременная кратковременная память
mAP Средняя точность
ML Машинное обучение
MLP Многослойный персептрон
NN Нейронная сеть
1NN Ближайший сосед
OA Общая точность классификатора
Pi Точность для класса I
QC Контроль качества
Ri Повторение материала для первого класса
RF Случайный лес
RT-DETR Трансформатор обнаружения в реальном времени
ST-MDL Многодоменное обучение на основе полуконтролируемого трансферного обучения
SSD Детектор одиночного выстрела
SVM Метод опорных векторов
VAE Вариационный автокодировщик

Литература

  1. Rockwell Automation. 2025 State of Manufacturing Report. 10th Annual State of Smart Manufacturing. 2025. Available online: https://www.rockwellautomation.com/en-us/capabilities/digital-transformation/state-of-smart-manufacturing.html (accessed on 12 December 2025).
  2. Zhang, Z. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell. 2000, 22, 1330–1334. [Google Scholar] [CrossRef]
  3. Strobl, K.H.; Hirzinger, G. More accurate pinhole camera calibration with imperfect planar target. In Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCV Workshops), Barcelona, Spain, 6–13 November 2011; pp. 1068–1075. [Google Scholar] [CrossRef]
  4. Beschi, R.; Feng, X.; Melillo, S.; Parisi, L.; Postiglione, L. Stereo camera system calibration: The need of two sets of parameters. arXiv 2021, arXiv:2101.05725. [Google Scholar] [CrossRef]
  5. Hanning, T. Calibration of a stereo camera system. In High Precision Camera Calibration; Vieweg+Teubner: Wiesbaden, Germany, 2011; pp. 91–106. [Google Scholar] [CrossRef]
  6. Tsai, R.Y.; Lenz, R.K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Trans. Robot. Autom. 1989, 5, 345–358. [Google Scholar] [CrossRef]
  7. Park, F.C.; Martin, B.J. Robot sensor calibration: Solving AX=XB on the Euclidean group. IEEE Trans. Robot. Autom. 1994, 10, 717–721. [Google Scholar] [CrossRef]
  8. Horaud, R.; Dornaika, F. Hand-Eye Calibration. Int. J. Robot. Res. 1995, 14, 195–210. [Google Scholar] [CrossRef]
  9. Andreff, N.; Horaud, R.; Espiau, B. On-line hand-eye calibration. In Proceedings of the 2nd International Conference on 3-D Digital Imaging and Modeling (3DIM’99), Ottawa, ON, Canada, 4–8 October 1999; pp. 430–436. [Google Scholar] [CrossRef]
  10. Daniilidis, K. Hand-Eye Calibration Using Dual Quaternions. Int. J. Robot. Res. 1999, 18, 286–298. [Google Scholar] [CrossRef]
  11. Shah, M. Solving the Robot-World/Hand-Eye Calibration Problem Using the Kronecker Product. J. Mech. Robot. 2013, 5, 031007. [Google Scholar] [CrossRef]
  12. Li, A.; Wang, L.; Wu, D. Simultaneous robot-world and hand-eye calibration using dual-quaternions and Kronecker product. Int. J. Phys. Sci. 2010, 5, 1530–1536. [Google Scholar]
  13. Ibrahim, I.A.; Ali, A.I.; Baballe, M.A. Artificial Intelligence-Driven Vision-Based Control: Unlocking the Potential of Robotics Amidst Challenges. Glob. J. Res. Eng. Comput. Sci. 2025, 5, 74–80. [Google Scholar]
  14. Mahajan, H.B.; Uke, N.; Pise, P.; Shahade, M.; Dixit, V.G.; Bhavsar, S.; Deshpande, S.D. Automatic robot maneuvers detection using computer vision and deep learning techniques: A perspective of internet of robotics things (IoRT). Multimed. Tools Appl. 2023, 82, 23251–23276. [Google Scholar] [CrossRef]
  15. Choksi, S.; Narasimhan, S.; Ballo, M.; Turkcan, M.; Hu, Y.; Zang, C.; Farrell, A.; King, B.; Nussbaum, J.; Reisner, A.; et al. Automatic assessment of robotic suturing utilizing computer vision in a dry-lab simulation. Artif. Intell. Surg. 2025, 5, 160–169. [Google Scholar] [CrossRef]
  16. Osita, M.N.; Ogochukwu, C.O.; Ike, J.M. Intelligent robotic object grasping system using computer vision and deep reinforcement learning techniques. Int. J. Sci. Res. Arch. 2025, 14, 511–521. [Google Scholar] [CrossRef]
  17. Nguyen, V.T.; Nguyen, P.T.; Su, S.F.; Tan, P.X.; Bui, T.L. Vision-Based Pick and Place Control System for Industrial Robots Using an Eye-in-Hand Camera. IEEE Access 2025, 13, 25127–25140. [Google Scholar] [CrossRef]
  18. Voulodimos, A.; Kosmopoulos, D.; Vasileiou, G.; Sardis, E.; Doulamis, A.; Anagnostopoulos, V.; Lalos, C.; Varvarigou, T. A dataset for workflow recognition in industrial scenes. In Proceedings of the 2011 18th IEEE International Conference on Image Processing, Brussels, Belgium, 11–14 September 2011; pp. 3249–3252. [Google Scholar] [CrossRef]
  19. Voulodimos, A.; Kosmopoulos, D.; Vasileiou, G.; Sardis, E.; Anagnostopoulos, V.; Lalos, C.; Doulamis, A.; Varvarigou, T. A Threefold Dataset for Activity and Workflow Recognition in Complex Industrial Environments. IEEE Multimed. 2012, 19, 42–52. [Google Scholar] [CrossRef]
  20. Carletti, V.; Greco, A.; Longobardi, D.; Ritrovato, P.; Saggese, A.; Vento, M. Multi-modal Human-Robot Collaboration in Production Lines Through Speech Commands and Gestures. In Computer Analysis of Images and Patterns, CAIP 2025, Lecture Notes in Computer Science; Castrillón-Santana, M., Travieso-González, G.M., Suarez, O.D., Freire-Obregón, D., Hernández-Sosa, D., Lorenzo-Navarro, J., Santana, O.J., Eds.; Springer: Cham, Germany; Volume 15622. [CrossRef]
  21. Dreger, F.; Karthaus, M.; Metzler, Y.; Tauro, F.; Carrelli, V.; Athanassiou, G.; Rinkenauer, G. Requirements for Successful Human Robot Collaboration: Design Perspectives of Developers and Users in the Scope of the EU Horizon Project FELICE. In Human Factors in Robots, Drones and Unmanned Systems; Proceedings of the AHFE (2024) International Conference; AHFE International: New York, NY, USA, 2024; Volume 138. [Google Scholar] [CrossRef]
  22. Villalonga, A.; Cruz, Y.J.; Alfaro, D.; Haber, R.E.; Martínez-Lastra, J.L.; Castaño, F. Enhancing quality inspection in zero-defect manufacturing through robotic-machine collaboration. In Proceedings of the 2024 7th Iberian Robotics Conference (ROBOT), Madrid, Spain, 6–8 November 2024; pp. 1–6. [Google Scholar] [CrossRef]
  23. Rosell, A.; Svenman, E.; Westphal, P.; Mukundan, A.; Bhattacharya, S.; Bharthulwar, S.; Brahmachari, K.; Jhanardhanan, S. Machine learning-based system to automate visual inspection in aerospace engine manufacturing. In Proceedings of the 2023 IEEE 28th International Conference on Emerging Technologies and Factory Automation (ETFA), Sinaia, Romania, 12–15 September 2023; pp. 1–8. [Google Scholar] [CrossRef]
  24. Kim, D.; TabkhPaz, M.; Park, S.S.; Lee, J. Development of a vision-based automated hole assembly system with quality inspection. Manuf. Lett. 2023, 35, 64–73. [Google Scholar] [CrossRef]
  25. Rajesh, P.J.; Balambica, V.; Achudhan, M. Automated gear inspection using Image Processing and Machine Learning Techniques. In Proceedings of the 2024 4th International Conference on Advance Computing and Innovative Technologies in Engineering (ICACITE), Greater Noida, India, 14–15 May 2024; pp. 1643–1648. [Google Scholar] [CrossRef]
  26. Chen, J.; Van Le, D.; Tan, R.; Ho, D. BubCam: A vision system for automated quality inspection at manufacturing lines. In Proceedings of the ACM/IEEE 14th International Conference on Cyber-Physical Systems (with CPS-IoT Week 2023), San Antonio, TX, USA, 9–12 May 2023; pp. 12–21. [Google Scholar] [CrossRef]
  27. Karigiannis, J.; Liu, S.; Harel, S.; Bian, X.; Zhu, P.; Xue, F.; Bouchard, S.; Cantin, D. Multi-robot system for automated fluorescent penetrant indication inspection with deep neural nets. Procedia Manuf. 2021, 53, 735–740. [Google Scholar] [CrossRef]
  28. Kirda, A.W.; Majewski, P.; Bursy, G.; Bartoszuk, M.; Yassin, H.; Królczyk, G.; Akbar, N.A.; Caesarendra, W. Integrating YOLOv5, Jetson nano microprocessor, and Mitsubishi robot manipulator for real-time machine vision application in manufacturing: A lab experimental study. Adv. Sci. Technol. Res. J. 2025, 19, 248–270. [Google Scholar] [CrossRef] [PubMed]
  29. Zeng, L.; Ye, Z.; Shen, L.; Sun, J.; Wang, Z.; Chen, M.; Cheng, Y.; Zheng, H.; Dong, Q.; Qian, X. VISAR: Vision-based robotic arm system for intelligent industrial inspection. Int. J. Comput. Sci. Inf. Technol. 2025, 6, 46–53. [Google Scholar] [CrossRef]
  30. Variz, L.; Piardi, L.; Rodrigues, P.J.; Leitão, P. Machine learning applied to an intelligent and adaptive robotic inspection station. In Proceedings of the 2019 IEEE 17th International Conference on Industrial Informatics (INDIN), Helsinki, Finland, 22–25 July 2019; pp. 290–295. [Google Scholar] [CrossRef]
  31. Shaloo, M.; Princz, G.; Hörbe, R.; Erol, S. Flexible automation of quality inspection in parts assembly using CNN-based machine learning. Procedia Comput. Sci. 2024, 232, 2921–2932. [Google Scholar] [CrossRef]
  32. Hussain, M.; Chen, T.; Hill, R. Moving toward smart manufacturing with an autonomous pallet racking inspection system based on MobileNetV2. J. Manuf. Mater. Process. 2022, 6, 75. [Google Scholar] [CrossRef]
  33. Terras, N.; Pereira, F.; Ramos Silva, A.; Santos, A.A.; Lopes, A.M.; Silva, A.F.D.; Cartal, L.A.; Apostolescu, T.C.; Badea, F.; Machado, J. Integration of deep learning vision systems in collaborative robotics for real-time applications. Appl. Sci. 2025, 15, 1336. [Google Scholar] [CrossRef]
  34. Raj, N.B.M.; Sandeep, N.; Bobby, T.C.; Karthikeyan, R.B. Development of AI model for robotic vision inspection of sheet-metal components in manufacturing. Int. J. Multidiscip. Res. Anal. 2024, 7, 5444–5449. [Google Scholar] [CrossRef]
  35. Ardic, O.; Cetinel, G. Deep learning-based real-time engine part inspection with collaborative robot application. IEEE Access 2024, 12, 187483–187497. [Google Scholar] [CrossRef]
  36. Bauer, P.; Schmitt, S.; Dirr, J.; Magaña, A.; Reinhart, G. Intelligent predetection of projected reference markers for robot-based inspection systems. Prod. Eng. 2022, 16, 719–734. [Google Scholar] [CrossRef]
  37. Mueller, R.; Vette, M.; Masiak, T.; Duppe, B.; Schulz, A. Intelligent real time inspection of rivet quality supported by human-robot-collaboration. SAE Int. J. Adv. Curr. Pract. Mobil. 2019, 2, 811–817. [Google Scholar] [CrossRef]
  38. Zhou, S.; Le, D.V.; Jiang, L.; Chen, Z.; Peng, X.; Ho, D.; Zheng, J.; Tan, R. RoboCam: Model-based robotic visual sensing for precise inspection of mesh screens. ACM Trans. Sens. Netw. 2025, 21, 1–23. [Google Scholar] [CrossRef]
  39. Martelli, S.; Mazzei, L.; Canali, C.; Guardiani, P.; Giunta, S.; Ghiazza, A.; Mondino, I.; Cannella, F.; Murino, V.; Del Bue, A. Deep endoscope: Intelligent duct inspection for the avionic industry. IEEE Trans. Industr. Inform. 2018, 14, 1701–1711. [Google Scholar] [CrossRef]
  40. Deshpande, S.; Roy, A.; Johnson, J.; Fitz, E.; Kumar, M.; Anand, S. Smart monitoring and automated real-time visual inspection of a sealant applications (SMART-VIStA). Manuf. Lett. 2023, 35, 1134–1145. [Google Scholar] [CrossRef]
  41. Lee, S.K.H.; Mongan, P.G.; Farhadi, A.; Hinchy, E.P.; O’Dowd, N.P.; McCarthy, C.T. In-situ evaluation of hole quality and cutting tool condition in robotic drilling of composite materials using machine learning. J. Intell. Manuf. 2025, 1–22. [Google Scholar] [CrossRef]
  42. Tang, W.; Jahanshahi, M.R. Autonomous robotic inspection based on active vision and Deep Reinforcement Learning. In Proceedings of the 14th International Workshop on Structural Health Monitoring, Stanford, CA, USA, 12–14 September 2023. [Google Scholar] [CrossRef]
  43. Yazid, Y.; Guerrero-González, A.; El Oualkadi, A.; Arioua, M. Deep learning-empowered robot vision for efficient robotic grasp detection and defect elimination in industry 4.0. Eng. Proc. 2023, 58, 63. [Google Scholar] [CrossRef]
  44. Fernandez, A.; Souto, A.; Gonzalez, C.; Mendez-Rial, R. Embedded vision system for monitoring arc welding with thermal imaging and deep learning. In Proceedings of the 2020 International Conference on Omni-layer Intelligent Systems (COINS), Barcelona, Spain, 31 August–2 September 2020. [Google Scholar] [CrossRef]
  45. Knaak, C.; von Eßen, J.; Kröger, M.; Schulze, F.; Abels, P.; Gillner, A. A spatio-temporal ensemble deep learning architecture for real-time defect detection during laser welding on low power embedded computing boards. Sensors 2021, 21, 4205. [Google Scholar] [CrossRef] [PubMed]
  46. Knaak, C.; Kröger, M.; Schulze, F.; Abels, P.; Gillner, A. Deep learning and conventional machine learning for image-based in-situ fault detection during laser welding: A comparative study. arXiv 2021, arXiv:202105.0272. [Google Scholar] [CrossRef]
  47. Xia, C.; Pan, Z.; Fei, Z.; Zhang, S.; Li, H. Vision based defects detection for Keyhole TIG welding using deep learning with visual explanation. J. Manuf. Process. 2020, 56, 845–855. [Google Scholar] [CrossRef]
  48. Kumar, D.D.; Fang, C.; Zheng, Y.; Gao, Y. Semi-supervised transfer learning-based automatic weld defect detection and visual inspection. Eng. Struct. 2023, 292, 116580. [Google Scholar] [CrossRef]
  49. Buongiorno, D.; Prunella, M.; Grossi, S.; Hussain, S.M.; Rennola, A.; Longo, N.; Di Stefano, G.; Bevilacqua, V.; Brunetti, A. Inline defective laser weld identification by processing thermal image sequences with machine and deep learning techniques. Appl. Sci. 2022, 12, 6455. [Google Scholar] [CrossRef]
  50. Li, H.; Wang, X.; Liu, Y.; Liu, G.; Zhai, Z.; Yan, X.; Wang, H.; Zhang, Y. A novel robotic-vision-based defect inspection system for bracket weldments in a cloud–edge coordination environment. Sustainability 2023, 15, 10783. [Google Scholar] [CrossRef]
  51. Yemelyanova, M.; Smailova, S. Application of machine learning for recognizing surface welding defects in video sequences. SJAITU 2024, 16, 44–52. [Google Scholar] [CrossRef]
  52. Schmitz, M.; Pinsker, F.; Ruhri, A.; Jiang, B.; Safronov, G. Enabling rewards for reinforcement learning in laser beam welding processes through deep learning. In Proceedings of the 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA), Miami, FL, USA, 14–17 December 2020. [Google Scholar] [CrossRef]
  53. Cherkasov, N.; Ivanov, M.; Ulanov, A. Classification of weld defects based on computer vision system data and deep learning. In Proceedings of the 2023 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi, Russia, 15–19 May 2023; pp. 856–860. [Google Scholar] [CrossRef]
  54. Kartashov, O.O.; Chernov, A.V.; Alexandrov, A.A.; Polyanichenko, D.S.; Ierusalimov, V.S.; Petrov, S.A.; Butakova, M.A. Machine learning and 3D reconstruction of materials surface for nondestructive inspection. Sensors 2022, 22, 6201. [Google Scholar] [CrossRef]
  55. Kajan, S.; Trebul’a, M.; Duchoň, F.; Kovaríková, Z.; Švolík, M.; Švec, D. Robotic vision inspection of weld quality using convolutional neural networks. In Proceedings of the 2024 25th International Carpathian Control Conference (ICCC), Krynica Zdrój, Poland, 22–24 May 2024. [Google Scholar] [CrossRef]
  56. Zhang, S.; Deng, M.; Xie, X. Real-time recognition of weld defects based on visible spectral image and machine learning. MATEC Web Conf. 2022, 355, 03014. [Google Scholar] [CrossRef]
  57. Truong, V.D.; Wang, Y.; Won, C.; Yoon, J. A deep learning-based machine vision system for online monitoring and quality evaluation during multi-layer multi-pass welding. Sensors 2025, 25, 4997. [Google Scholar] [CrossRef] [PubMed]
  58. Dai, W.; Li, D.; Tang, D.; Jiang, Q.; Wang, D.; Wang, H.; Peng, Y. Deep learning assisted vision inspection of resistance spot welds. J. Manuf. Process. 2021, 62, 262–274. [Google Scholar] [CrossRef]
  59. Dong, X.; Taylor, C.J.; Cootes, T.F. A random forest-based automatic inspection system for aerospace welds in X-ray images. IEEE Trans. Autom. Sci. Eng. 2021, 18, 2128–2141. [Google Scholar] [CrossRef]
  60. Cruz, Y.J.; Rivas, M.; Quiza, R.; Beruvides, G.; Haber, R.E. Computer vision system for welding inspection of liquefied petroleum gas pressure vessels based on combined digital image processing and deep learning techniques. Sensors 2020, 20, 4505. [Google Scholar] [CrossRef]
  61. Shi, Y.; Zhu, Y.-Y.; Wang, J.-Q. Surface defect detection method for welding robot workpiece based on machine vision technology. Manuf. Technol. 2023, 23, 691–699. [Google Scholar] [CrossRef]
  62. Gaikwad, A.; Williams, R.J.; de Winton, H.; Bevans, B.D.; Smoqi, Z.; Rao, P.; Hooper, P.A. Multi phenomena melt pool sensor data fusion for enhanced process monitoring of laser powder bed fusion additive manufacturing. Mater. Des. 2022, 221, 110919. [Google Scholar] [CrossRef]
  63. Rossi, A.; Moretti, M.; Senin, N. Layer inspection via digital imaging and machine learning for in-process monitoring of fused filament fabrication. J. Manuf. Process. 2021, 70, 438–451. [Google Scholar] [CrossRef]
  64. Zhang, B.; Jaiswal, P.; Rai, R.; Guerrier, P.; Baggs, G. Convolutional neural network-based inspection of metal additive manufacturing parts. Rapid Prototyp. J. 2019, 25, 530–540. [Google Scholar] [CrossRef]
  65. Cannizzaro, D.; Varrella, A.G.; Paradiso, S.; Sampieri, R.; Macii, E.; Patti, E.; Di Cataldo, S. Image analytics and machine learning for in-situ defects detection in Additive Manufacturing. In Proceedings of the 2021 Design, Automation & Test in Europe Conference & Exhibition (DATE), Grenoble, France, 1–5 February 2021. [Google Scholar] [CrossRef]
  66. Tsintavi, E. A deep learning approach for automated inspection of 3D printed orodispersible films. Mater. Res. Proc. 2024, 46, 15–22. [Google Scholar] [CrossRef]
  67. Kaji, F.; Nguyen-Huu, H.; Budhwani, A.; Narayanan, J.A.; Zimny, M.; Toyserkani, E. A deep-learning-based in-situ surface anomaly detection methodology for laser directed energy deposition via powder feeding. J. Manuf. Process. 2022, 81, 624–637. [Google Scholar] [CrossRef]
  68. Elwarfalli, H.; Papazoglou, D.; Erdahl, D.; Doll, A.; Speltz, J. In situ process monitoring for laser-powder bed fusion using convolutional neural networks and infrared tomography. In Proceedings of the 2019 IEEE National Aerospace and Electronics Conference (NAECON), Dayton, OH, USA, 15–19 July 2019. [Google Scholar] [CrossRef]
  69. Lu, L.; Hou, J.; Yuan, S.; Yao, X.; Li, Y.; Zhu, J. Deep learning-assisted real-time defect detection and closed-loop adjustment for additive manufacturing of continuous fiber-reinforced polymer composites. Robot. Comput. Integr. Manuf. 2023, 79, 102431. [Google Scholar] [CrossRef]
  70. Scime, L.; Siddel, D.; Baird, S.; Paquit, V. Layer-wise anomaly detection and classification for powder bed additive manufacturing processes: A machine-agnostic algorithm for real-time pixel-wise semantic segmentation. Addit. Manuf. 2020, 36, 101453. [Google Scholar] [CrossRef]
  71. Klamert, V.; Achsel, T.; Toker, E.; Bublin, M.; Otto, A. Real-time optical detection of artificial coating defects in PBF-LB/P using a low-cost camera solution and convolutional neural networks. Appl. Sci. 2023, 13, 11273. [Google Scholar] [CrossRef]
  72. Chen, Z.; Gao, J.; Wang, C.; Zeng, Z.; Zhu, C.; Fan, W. A machine learning approach for enhancing process screening and qualification in metal additive manufacturing. Eng. Sci. Addit. Manuf. 2025, 1, 025280018. [Google Scholar] [CrossRef]
  73. Muller, A.C.; Guido, S. Chapter 5 Model Evaluation and Improvement. In Introduction to Machine Learning with Python. A Guide for Data Scientists, 1st ed.; O’Reilly Media Inc.: Sebastopol, CA, USA, 2017; ISBN 978-1-449-36941-5. [Google Scholar]
  74. Raschka, S.; Liu, Y.; Mirjalili, V. Chapter 6: Learning Best Practices for Model Evaluation and Hyperparameter Tuning. In Machine Learning with PyTorch and Scikit-Learn, 1st ed.; Packt Publishing: Birmingham, UK, 2022; ISBN 978-1-80181-931-2. [Google Scholar]

Авторы: David Yevgeniy Patrashko, Vladimir Gurau