1. Введение
Технологии компьютерного зрения и глубокого обучения быстро изменили ландшафт промышленной автоматизации [1]. В частности, системы искусственного интеллекта на основе зрения, построенные на обнаружении объектов, семантической сегментации и распознавании действий, считаются эффективными инструментами для повышения безопасности, качества и производительности в различных отраслях промышленности [2]. Недавние достижения в области легковесных сверточных нейронных сетей, пространственно-временного моделирования и развертывания ИИ на периферии сделали возможным прямое внедрение этих систем в полевые приложения [3, 4, 5]. В результате становится возможным вывод в реальном времени и поддерживаются процессы принятия решений на основе данных. Приложения включают обнаружение нарушений правил использования средств индивидуальной защиты (СИЗ), распознавание опасных действий, сегментацию дефектов поверхности и анализ циклов производительности [6]. Эти разработки рассматриваются как более широкий сдвиг в сторону визуально-интеллектуальных систем в промышленных условиях. Хотя академический и промышленный интерес к искусственному интеллекту на основе зрения растет, многие существующие обзорные статьи, как правило, сосредоточены в основном на алгоритмических таксономиях или теоретических основах. В этих работах часто отсутствуют примеры практического применения, которые могли бы принести пользу инженерам и специалистам-практикам.
Несколько предыдущих обзоров были посвящены алгоритмической или аппаратно-ориентированной классификации систем машинного зрения для промышленных задач, часто выделяя варианты сверточных нейронных сетей (CNN), платформы ускорителей или эталонные наборы данных [7]. В [8] был представлен обзор, посвященный исключительно серии You Only Look Once (YOLO) . Была обобщена эволюция алгоритмов YOLO, а также рассмотрены их распространенные стратегии улучшения. Были обозначены области промышленного применения с репрезентативными примерами использования, а также проведено сравнение производительности на нескольких наборах данных. Еще один технически ориентированный обзор был представлен в [9], где особое внимание уделялось эволюции машинного зрения, а также точным определениям и интерпретациям ключевых понятий. Хотя общая структура оставалась технологически ориентированной, некоторые разделы были организованы с использованием функциональной классификации, охватывающей основные задачи машинного зрения, такие как обнаружение, сегментация и отслеживание.
С другой стороны, в обзорах конкретных случаев алгоритмические подходы были систематизированы в рамках узко определенных областей применения. Например, обнаружение дефектов поверхности было систематически проанализировано с учетом классических, неглубоких и глубоких методов обучения [10, 11, 12]. Обзор обнаружения дефектов поверхности на основе машинного зрения был представлен в [13], где приложения были классифицированы по типу промышленного материала. В обзоре акцент делался на реальных сценариях использования, а не на технической архитектуре.
Дополнительные обзоры, посвященные конкретным случаям, были сосредоточены на приложениях безопасности. В обзоре мониторинга строительных площадок рассматривались подходы компьютерного зрения на основе глубокого обучения для управления безопасностью [14]. В [15] был проведен обзор, посвященный конкретным задачам обнаружения СИЗ с использованием алгоритмов обнаружения объектов . Методы на основе глубокого обучения были классифицированы по категориям СИЗ, таким как шлемы, жилеты и перчатки, и обзор предоставил функциональные сведения о приложениях мониторинга безопасности. Однако результаты визуального обнаружения не были включены.
Предыдущий обзор, посвященный автомобильному производству, ограничивался узкими задачами, такими как обнаружение этикеток и идентификаторов прицепов, и был опубликован до того, как были разработаны более широкие промышленные приложения систем машинного зрения на основе ИИ. Хотя визуальные примеры применяемых методов были включены, область применения оставалась ограниченной одной областью и набором вариантов использования [16].
Хотя упомянутые ранее обзорные статьи предоставили ценную информацию о приложениях ИИ на основе компьютерного зрения, большинство из них были структурированы в преимущественно текстовом формате, а изображения использовались лишь в ограниченном количестве для иллюстрации конкретных случаев или в узко определенных областях применения. В отличие от них, настоящий обзор намеренно ориентирован на доказательства, полученные в ходе внедрения, а не на сравнительный анализ производительности алгоритмов. Включены только исследования, которые предоставляют демонстрации реальных реализаций обнаружения объектов на основе изображений, отражающие практические конфигурации систем, встречающиеся в промышленных условиях. Отобранные статьи организованы, как показано на рисунке 1 , таким образом, чтобы представить визуальные примеры внедренных решений в ключевых промышленных функциях, включая мониторинг безопасности, контроль качества, помощь в сборке, оценку производительности и инспекцию для технического обслуживания. Благодаря такой визуально обоснованной и функционально-ориентированной организации, обзор явно ориентирован на практиков и системных интеграторов, предлагая рекомендации по внедрению, а не сравнительный анализ производительности.
Рисунок 1. Классификация приложений компьютерного зрения на основе ИИ в промышленных условиях, организованная по функциональным целям.
Литература, включенная в этот обзор, была найдена с помощью Google Scholar, используя комбинации ключевых слов, связанных с промышленным искусственным интеллектом и приложениями компьютерного зрения, включая «промышленный ИИ компьютерное зрение», «производственный ИИ компьютерное зрение», «мониторинг безопасности строительства с использованием ИИ», «обнаружение дефектов с помощью ИИ компьютерного зрения» и «обнаружение безопасности работников промышленности с помощью ИИ». Были рассмотрены англоязычные журнальные статьи, доклады конференций и избранные препринты, относящиеся к приложениям промышленного ИИ в области компьютерного зрения, опубликованные в период с 2015 по 2026 год. Обзор был сосредоточен на исследованиях, связанных с приложениями компьютерного зрения на основе ИИ в обрабатывающей промышленности и строительстве. Хотя рассмотренные приложения в основном относятся к этим секторам, поскольку в настоящее время на них приходится большинство зарегистрированных внедрений промышленного ИИ в области компьютерного зрения, функциональные цели, обсуждаемые в этом обзоре, широко применимы в различных отраслях промышленности.
Из рассмотрения были исключены дублирующие публикации, исследования, не имеющие экспериментальной проверки с использованием наборов данных изображений, а также исследования, в основном связанные с применением в фармацевтической, медицинской или пищевой промышленности. Все статьи-кандидаты были проанализированы в полном тексте для оценки их технического вклада, областей применения и актуальности для промышленных систем машинного зрения на основе искусственного интеллекта. Отобранные исследования были впоследствии разделены на пять функциональных групп: мониторинг безопасности, контроль качества, помощь оператору, мониторинг процессов и техническое обслуживание оборудования.
Оставшаяся часть данного обзора структурирована в соответствии с функциональными задачами, обычно встречающимися в промышленных системах машинного зрения. В разделе 2 рассматриваются приложения для мониторинга безопасности, в частности, обнаружение нарушений правил использования средств индивидуальной защиты (СИЗ). В разделе 3 обсуждается контроль качества в производстве, с акцентом на обнаружение дефектов поверхности и обеспечение качества на уровне продукции, включая примеры из аддитивного производства. В разделе 4 представлены системы помощи на сборочных линиях с использованием машинного зрения, с упором на обратную связь в реальном времени и предотвращение ошибок. В разделе 5 рассматриваются системы, предназначенные для поддержки операторов и мониторинга производительности, особенно посредством анализа поведения и распознавания задач. В разделе 6 обобщаются приложения машинного зрения для общих задач контроля, выходящих за рамки производства. Наконец, в разделе 7 представлены выводы и направления для дальнейших исследований.
2. Контроль безопасности
В этом разделе рассматриваются две основные области применения систем визуального мониторинга безопасности: определение соответствия требованиям использования средств индивидуальной защиты (СИЗ) и распознавание строительного оборудования в динамичной рабочей среде. Эти примеры служат основой для понимания того, как визуальные системы повышают безопасность на рабочем месте в сложных промышленных условиях.
В последнее время системы видеомониторинга на основе глубокого обучения стали эффективными инструментами для обнаружения небезопасного поведения, контроля за соблюдением правил использования СИЗ и предотвращения потенциальных столкновений в динамичных условиях [14]. В нескольких исследованиях использовались алгоритмы обнаружения объектов, такие как YOLO, для определения того, носят ли рабочие необходимое защитное снаряжение (например, каски, защитные жилеты) в режиме реального времени по видеозаписям с камер видеонаблюдения. Система на основе сверточной нейронной сети Faster Region-based Convolutional Neural Network (Faster R-CNN) была обучена на кадрах видеонаблюдения дальнего поля, собранных с 25 строительных площадок, для обнаружения использования касок. Поскольку общедоступного набора данных для этой задачи не существует, был создан собственный набор данных из более чем 100 000 кадров видеонаблюдения, собранных за один год, из которых 81 000 изображений были использованы для обучения.
Он продемонстрировал надежную работу в различных визуальных условиях с точностью 95,7% и полнотой 94,9%, и способствовал улучшению контроля безопасности в строительных средах, как показано на рисунке 2 . Для дальнейшей оценки устойчивости в реальных условиях тестовый набор данных был классифицирован на основе факторов окружающей среды и визуального восприятия, таких как погода, освещение, поза работника, дальность видимости и перекрытия [17]. Была предложена система обнаружения касок в реальном времени, включающая в себя быстрый алгоритм обнаружения движения на основе межкадрового стандартного отклонения, детектор на основе агрегированных канальных признаков для инвариантной к позе идентификации работника и каскадный классификатор, специфичный для региона, для распознавания касок, с дополнительной цветовой фильтрацией для уменьшения ложных срабатываний. Компонент обнаружения человека был обучен с использованием набора данных INRIA, в то время как классификатор касок был обучен с использованием небольшого размеченного набора данных, состоящего из положительных и отрицательных образцов касок, а также цветных изображений, представляющих разные цвета касок.
Система была проверена как в помещениях, так и на открытом воздухе в строительных условиях при различных визуальных условиях, включая тени, перекрытия и изменения освещения. Метод матрицы стандартных отклонений превзошел распространенные методы вычитания фона, достигнув полноты 90% и точности 98,5% [18]. Было проведено исследование осуществимости системы мониторинга безопасности на основе компьютерного зрения в области производства стали, где модели YOLOv5m, YOLOv8m и YOLOv9c были оценены на изображениях в оттенках серого для автоматического обнаружения защитных касок. Однако использование изображений в оттенках серого может создавать дополнительные проблемы, поскольку тонкие визуальные различия между защитными касками и окружающим фоном или другими головными уборами трудно различить, особенно в условиях низкой освещенности, часто встречающихся на сталелитейных заводах. Для выбора системы машинного зрения среди оцененных моделей был использован многокритериальный анализ решений с применением метода TOPSIS (Technique for Order Preference by Similarity to Ideal Solution). Среди оцененных моделей YOLOv9c показала наивысшую точность в выявлении нарушений безопасности. Была достигнута средняя точность (mAP) 94,4%, по сравнению с 94,0% для YOLOv5m и 93,6% для YOLOv8m [19].
Системы обнаружения СИЗ в реальном времени на основе YOLO были разработаны для мониторинга соблюдения строительными рабочими правил ношения защитных касок и жилетов. Одна модель была обучена с использованием общедоступного набора данных Pictor-v3, который содержит приблизительно 1500 аннотированных изображений и около 4700 экземпляров рабочих, носящих различные комбинации компонентов СИЗ, достигнув более 70% mAP [20], в то время как другая модель, обученная на недавно созданном наборе данных СИЗ, содержащем 11 000 изображений и 88 725 аннотированных экземпляров, достигла 97% mAP при 25 кадрах в секунду (FPS), причем набор данных был опубликован для поддержки дальнейших исследований [21].
Для мониторинга соблюдения правил использования СИЗ в реальном времени использовались не только модели на основе YOLO, но и Single Shot Detector (SSD) MobileNet V2, причем последний демонстрирует высокую вычислительную эффективность, подходящую для развертывания на периферии сети. В исследовании также сообщалось, что эффективность обнаружения может зависеть от расположения камеры и расстояния до объекта, при этом оптимальные результаты наблюдались, когда камеры располагались примерно на уровне глаз, а объекты находились на расстоянии от 2 до 10 м от камеры [22].
Рисунок 2. Примеры изображений системы обнаружения защитной каски, демонстрирующие устойчивость в различных визуальных условиях [17].
Помимо обнаружения соблюдения требований к каскам, были предприняты дополнительные усилия по выявлению других критически важных форм использования СИЗ. Например, была разработана система на основе машинного зрения для обнаружения использования страховочных привязей во время работы на высоте путем объединения Faster R-CNN для обнаружения рабочих и глубокой модели CNN для распознавания привязей, обученной на специальном наборе данных о строительных площадках, собранном на нескольких строительных площадках в Ухане, Китай, с использованием монокулярной камеры. Набор данных состоял из 770 изображений рабочих, выполняющих задачи на высоте. Предложенная система достигла точности и полноты 99% и 95% для обнаружения рабочих и 80% и 98% для идентификации привязей соответственно, как показано на рисунке 3 [23].
Был предложен подход на основе машинного зрения для мониторинга работ на высоте в строительной среде путем обнаружения наличия защитных касок и привязей с использованием модели DEtection Transformer (DETR). Для обнаружения шлема модель достигла средней точности 0,99, полноты 0,92 и показателя F1 0,95, в то время как обнаружение ремня безопасности достигло средней точности 0,971, полноты 0,91 и показателя F1 0,94, с уровнем достоверности, превышающим 93–95%.
Производительность модели сравнивалась с ранее разработанной YOLOv3, а также с недавно обученными моделями YOLOv8 и Deformable DETR, демонстрируя улучшенную точность обнаружения и устраняя определенные ограничения, наблюдаемые в этих архитектурах. Набор данных для оценки был составлен из нескольких источников, включая реальные строительные площадки, общедоступные веб-изображения, вклад представителей отрасли, контролируемые лабораторные условия и набор данных Kaggle Safety Helmet Detection. Дополнительные эксперименты в условиях, имитирующих туман, влажность и пыль, показали, что модель сохраняет надежную производительность обнаружения со скоростью вывода приблизительно 15–18 кадров в секунду [24].
В другом исследовании был предложен метод контроля на основе глубокого обучения для мониторинга использования индивидуальных систем защиты от падения высотными рабочими, готовящимися к высотным работам, с использованием классификатора классификации сценариев высотных работ (ASC) для обнаружения высотных рабочих, достигший точности и полноты более 90% в ходе экспериментов, при этом эффекты перекрытия были дополнительно минимизированы путем агрегирования прогнозов по нескольким кадрам. В исследовании также был проанализирован эффект влияния условий освещения, уровней перекрытия, физических характеристик рабочих и конфигурации смотрового окна на эффективность обнаружения [25].
Интересно, что методы, основанные на оценке позы, также применялись для определения соответствия 18 различным типам СИЗ в пяти областях тела, используя HigherHRNet для локализации областей и MobileNetV2 для эффективной классификации, где обучающие данные были созданы путем объединения изображений, полученных из интернета, с общедоступными наборами данных СИЗ, включая набор данных Roboflow Hardhat и набор данных Pictor PPE. Из 12 893 собранных изображений было сгенерировано в общей сложности 15 728 обрезанных экземпляров людей с СИЗ и без них для обучения модели. Использование модели показано на рисунке 4 [26].
В дополнение к мониторингу соответствия СИЗ, подходы, основанные на зрении, также исследовались для локализации работников и оценки пространственной безопасности. Была разработана монокулярная структура 3D-реконструкции для оценки положения работников в реальном времени с помощью одной верхней камеры, что позволяет использовать такие приложения, как обнаружение нарушений зон, взаимодействие человека и робота и предотвращение столкновений в промышленных условиях [27].
Рисунок 3. Примеры изображений, демонстрирующие обнаружение страховочного ремня на сложном фоне: ( а ) Пример 1; ( б ) Пример 2 [23].
Рисунок 4. Примеры изображений из процедуры оценки позы, где области интереса частей тела позволили обнаружить 18 типов СИЗ и повысить общую точность [26].
Помимо обнаружения СИЗ, распознавание строительной техники на основе зрения также рассматривалось как фундаментальный шаг к комплексному мониторингу строительной площадки. В одном исследовании глубокие сверточные сети были применены для идентификации типов оборудования, таких как самосвалы и экскаваторы, с высокой точностью с использованием детектора на основе регионально-ориентированной полностью сверточной сети (R-FCN). Для оценки производительности модели был разработан эталонный набор данных строительной техники под названием Advanced Infrastructure Management (AIM), состоящий из 2920 изображений пяти классов оборудования, собранных из ImageNet и аннотированных авторами. Модель достигла приблизительно 94% mAP всего после 10 000 итераций обучения при применении трансферного обучения, а окончательная модель показала улучшенную производительность в 96,33% mAP. Хотя нарушения правил безопасности не были явно обнаружены, разработанная система обеспечила автоматическое понимание контекста операций на площадке, что может поддержать будущие приложения в области контроля безопасности и анализа производительности. На рисунке 5 представлен пример результата системы обнаружения строительной техники [28]. Улучшенная версия Faster R-CNN была обучена на специальном строительном наборе данных для обнаружения рабочих и экскаваторщиков в реальном времени, достигнув точности 91% и 95% соответственно, при этом производительность примерно на 50% превзошла традиционные методы.
Набор данных был собран на строительной площадке городского метро в Ухане, Китай, где на нескольких участках было установлено 242 камеры видеонаблюдения для записи ежедневных строительных работ. Набор данных состоял из более чем 10 000 размеченных кадров изображений, содержащих рабочих и экскаваторщиков, а также 1500 размеченных изображений, использованных для тестирования. Для уменьшения потенциальной предвзятости изображения были собраны в различных условиях, включая разные ракурсы, масштабы объектов, позы, перекрытия и освещение. Было продемонстрировано, что метод поддерживает мониторинг безопасности и принятие решений в реальном времени, с потенциалом расширения для распознавания небезопасного поведения и оптимального размещения камер для всестороннего охвата объекта [29].
Рисунок 5. Примеры изображений для обнаружения строительной техники [28].
Подходы к обнаружению на основе глубокого обучения широко применяются для идентификации использования средств индивидуальной защиты в промышленных условиях. Задачи мониторинга безопасности решаются с помощью различных конфигураций, включая обнаружение защитных касок, мониторинг нескольких средств индивидуальной защиты и системы защиты от падения, в зависимости от требований приложения. Кроме того, возможность обработки данных в реальном времени и развертывание на периферийных устройствах признаны критически важными требованиями для практического применения в строительстве и производстве. Помимо мониторинга соответствия требованиям использования средств индивидуальной защиты, исследовалось распознавание строительной техники и рабочих на основе машинного зрения для обеспечения контекстной осведомленности о деятельности на объекте, что позволяет автоматизировать понимание перемещений оборудования и взаимодействия рабочих с оборудованием. Однако такие системы должны работать в условиях сильно неконтролируемой окружающей среды, включая изменения освещения, погодные условия и частые перекрытия, которые, как было показано, значительно влияют на надежность обнаружения. Эти проблемы указывают на необходимость надежных моделей, способных поддерживать стабильную работу в различных реальных условиях. В таблице 1 представлено краткое описание рассмотренных исследований и их ключевых характеристик.
Таблица 1. Сводная информация по рассмотренным исследованиям в области мониторинга безопасности.
3. Контроль качества
Поддержание стабильного качества продукции и выявление аномалий в процессе производства являются ключевыми задачами в современных промышленных системах [30]. Традиционные системы визуального контроля часто полагаются на созданные вручную признаки и логику, основанную на правилах, которые не устойчивы к изменениям освещения, формы или текстуры поверхности. В отличие от этого, в недавних исследованиях были внедрены системы визуального контроля на основе ИИ для повышения эффективности обнаружения дефектов, сегментации аномалий поверхности и мониторинга процесса в режиме реального времени [31].
3.1. Обнаружение дефектов поверхности
В нескольких исследованиях были предложены улучшенные модели на основе YOLOv5 для обнаружения дефектов поверхности промышленных компонентов с использованием общедоступного набора данных NEU-DET. Один подход использовал SPPFKCSPC и механизмы скоординированного внимания для улучшения многомасштабного слияния признаков и достиг 88,3% mAP [ 32 ], в то время как другой использовал модуль динамической змеиной свертки в сочетании с координатным вниманием (DSConv-CA), структуру Gold-YOLO и функцию потерь Scylla Intersection over Union для повышения устойчивости обнаружения, показав 75,3% mAP [33].
Оба метода продемонстрировали явное повышение производительности по сравнению с исходными вариантами YOLOv5 на небольших типах дефектов с низким контрастом. В дополнение к подходам на основе CNN, для обнаружения дефектов поверхности на наборе данных NEU-DET также были исследованы модели на основе трансформеров. Например, была предложена облегченная модель на основе Real-Time Detection Transformer (RT-DETR), включающая механизмы извлечения многомасштабных остаточных признаков и слияния контекстных признаков, для повышения как точности, так и эффективности обнаружения. При оценке на наборе данных NEU-DET модель достигла точности 76,4% при скорости обработки в реальном времени 158,73 FPS, при этом количество параметров сократилось до 16,94 млн, что представляет собой снижение на 55,78% по сравнению с исходной моделью RT-DETR.
Несмотря на эти улучшения в эффективности и способности к обобщению, наблюдаемое повышение точности обнаружения остается относительно ограниченным [34]. Специально обученная модель YOLO11 была применена для обнаружения микроуровневых дефектов поверхности с различной морфологией, показав высокую эффективность для четырех типов дефектов, включая линейные, изогнутые, точечные и разветвленные элементы. Модель продемонстрировала высокую эффективность обнаружения, при этом показатели F1 варьировались от приблизительно 0,50 для очень маленьких дефектов до более 0,94 для более крупных дефектов. Включение аугментации данных и генерации синтетических дефектов способствовало повышению надежности, что показано на рисунке 6 [35].
Еще один пример модифицированной модели на основе YOLO — LSD-YOLOv5, облегченная архитектура, разработанная для распознавания повреждений поверхности стальных полос. Благодаря интеграции модуля улучшения неглубоких признаков, Coordinate Attention MobileNetV2, небольшой двунаправленной пирамидальной сети признаков и Soft Distance-IoU Non-Maximum Suppression, модель улучшила извлечение признаков и уменьшила количество пропущенных обнаружений, достигнув повышения точности на 2,4%, уменьшения количества параметров на 61,5% и снижения вычислительных затрат на 42,8% по сравнению с YOLOv5 при оценке на наборе данных GC10-DET. Предложенная модель достигла mAP 67,9% и скорости обработки 90,1 FPS, демонстрируя свою пригодность для промышленной инспекции в реальном времени. Сравнение производительности различных алгоритмов представлено на рисунке 7 [36].
В качестве альтернативных методов визуализации был применен фотометрический стереоскопический метод визуализации для обнаружения поверхностных трещин в стальных заготовках с использованием данных изображений, собранных как в контролируемых лабораторных условиях, так и на реальном сталелитейном производстве. Экспериментальные результаты подтвердили, что сочетание 3D-реконструкции поверхности с классификаторами на основе CNN значительно улучшило обнаружение дефектов и обобщение в жестких промышленных условиях. Результаты показали на 9,25% более высокую скорость обнаружения на валидационных данных и на 14,7% улучшенную на тестовых данных, что подчеркивает ценность высококачественного сбора и предварительной обработки данных в реальных производственных условиях. Кроме того, оцененные модели CNN достигли показателя истинно отрицательных результатов (TNR) выше 99,66%, что указывает на очень низкий уровень ложных срабатываний, что полезно для минимизации ненужного вмешательства оператора и усталости в системах промышленного контроля [37].
Также были разработаны модели глубокого обучения на основе сегментации для обнаружения поверхностных аномалий, при этом в одном исследовании была продемонстрирована точная сегментация трещин с использованием всего 25–30 дефектных обучающих образцов вместо сотен, обычно необходимых. Применяется двухэтапная архитектура, состоящая из сети сегментации для попиксельной локализации дефектов и сети принятия решений для бинарной классификации дефектов. Благодаря этой структуре подробная пространственная информация из выходных данных сегментации используется на этапе классификации. На этапе сегментации каждый пиксель рассматривается как отдельный обучающий образец, что эффективно увеличивает количество обучающих образцов и снижает риск переобучения в условиях ограниченных данных. Модель была оценена с использованием набора данных Kolektor Surface Defect Dataset (KolektorSDD), который содержит реальные промышленные изображения дефектных электрических коммутаторов, демонстрирующих микроскопические поверхностные трещины в пластиковой вставке. Предложенная сеть сегментации и принятия решений поддерживала среднюю точность (AP) более 99% с единственной ошибкой классификации при обучении всего на 25 дефектных образцах, превосходя современное коммерческое программное обеспечение. Даже когда количество дефектных обучающих образцов было уменьшено до пяти, модель все еще достигала AP приблизительно 96%, демонстрируя высокую устойчивость в условиях крайне ограниченных обучающих данных [38].
Рисунок 6. Примеры изображений, демонстрирующие обнаружение микродефектов с помощью модифицированной модели YOLO, оптимизированной для визуального контроля на основе ИИ [35].
Рисунок 7. Сравнительные результаты модифицированной модели YOLO, где визуальное сравнение с несколькими алгоритмами продемонстрировало эффективность предложенного подхода [36].
Методы обнаружения дефектов поверхности применяются не только к металлическим поверхностям, но и к широкому спектру материалов, включая древесину и окрашенные покрытия, что отражает их универсальность в различных промышленных областях. Была предложена система визуального контроля на основе глубокого обучения для обнаружения дефектов поверхности древесины, где Faster R-CNN в сочетании с трансферным обучением с использованием предварительно обученных сетей, таких как ResNet152, была обучена и оценена с использованием пользовательского набора данных изображений промышленного древесного шпона, состоящего из 4729 образцов высокого разрешения, собранных в производственных условиях.
Предложенный подход достиг точности обнаружения до 96,1% на синтетически дополненных наборах данных, как сообщается в [39] и показано на рисунке 8. Репрезентативным примером является структура MFWL-DETR, которая была разработана для эффективного и точного обнаружения дефектов краски на водной основе на деревянных поверхностях, достигая высокой точности при значительном снижении сложности модели. Модель была обучена и оценена с использованием пользовательского набора данных, собранного на предприятии по производству деревянных дверей компании Jiangshan Baijiawang Wooden Door, состоящего из 310 изображений высокого разрешения покрытых деревянных поверхностей, которые были дополнены для генерации 12 400 обучающих образцов.
Предложенная модель сохранила конкурентоспособные показатели обнаружения, достигнув точности 94,5% и mAP50 85,1%. Экспериментальные результаты показали снижение количества параметров на 40,2%, уменьшение вычислительных затрат на 40,5% и уменьшение размера модели на 36,1% по сравнению с базовой моделью без ущерба для точности [40]. В недавнем исследовании была предложена гибридная структура, которая интегрирует фазовую дефлектометрию с многоисточниковым слиянием изображений для улучшения обнаружения дефектов поверхности автомобильной краски. Фазовая дефлектометрия (PMD), оптическая методика 3D-метрологии формы, использовалась для получения информации о градиенте поверхности от сильно отражающих поверхностей краски, а полученные карты абсолютной фазы были объединены с изображениями отражения синусоидальных полос для повышения видимости дефектов.
Для создания набора данных было получено 73 набора модулированных интерференционных картин, которые были обработаны с помощью PMD для генерации карт абсолютной фазы, которые впоследствии были обрезаны и отфильтрованы для получения 2502 изображений с разрешением 300 × 300 пикселей. Результаты тестирования показали, что метод слияния многоисточниковых изображений снизил стандартное отклонение с 0,088 до 0,072, демонстрируя более сбалансированную точность обнаружения для всех классов дефектов. Кроме того, предложенная стратегия слияния значительно улучшила производительность обнаружения дефектов в виде кратеров, при этом AP0.5 увеличился с 0,754 до 0,897 [41].
В недавних исследованиях также рассматривались архитектуры на основе трансформеров для обнаружения дефектов в промышленности. В одном из недавних исследований модуль свертки с вниманием к рецептивному полю (RFAConv) был включен в архитектуру визуального трансформера для повышения эффективности обнаружения дефектов в задачах контроля металлических поверхностей. Предложенная модель RFAConv-context broadcasting median vision transformers (CBM-ViT) была оценена по сравнению с несколькими конкурирующими моделями и достигла точности классификации Top-1 97,71% на наборе данных дефектов поверхности алюминия, 99,25% на наборе данных дефектов поверхности горячекатаной стальной полосы X-SDD и 99,27% на наборе данных дефектов металлических гаек. Результаты показывают, что предложенная модель превосходит эталонные модели на этих наборах данных. Благодаря интеграции модуля RFAConv модель улучшает свою способность улавливать как глобальные структурные закономерности, так и локальные особенности дефектов, что приводит к повышению точности и более быстрой сходимости при сохранении относительно низкой вычислительной стоимости [42].
Рисунок 8. Примеры изображений обнаружения дефектов поверхности в древесных материалах. Ветви (B) отмечены зеленым цветом, царапины (S) — синим, сердцевины (C) — фиолетовым, а пятна (T) — желтым [39].
3.2. Контроль качества продукции
Для сложных потребительских товаров, таких как автомобильные шины, традиционные системы контроля поверхности часто оказываются неэффективными из-за изменчивости геометрии, освещения и типов дефектов. В одном исследовании эта проблема была решена путем применения конвейера визуального контроля на основе R-CNN в сочетании с трансферным обучением с использованием AlexNet. Набор данных состоял из изображений, полученных с помощью промышленной камеры, и для каждой категории дефектов было собрано приблизительно 60 аннотированных изображений. Затем изображения были предварительно обработаны в соответствии с входными требованиями архитектуры сети, включая изменение размера и преобразование каналов. Из-за ограниченного размера доступного набора данных был применен подход трансферного обучения, в котором предварительно обученная модель AlexNet была модифицирована и переобучена с использованием меньшего набора изображений, специфичных для данной области. Метод достиг точности обнаружения 85–99% для шести типов дефектов шин, подтверждая свою эффективность в обнаружении дефектов на уровне продукта в промышленных условиях [43].
Как показано на рисунке 9 , было выявлено и обозначено шесть случаев дефектов (CH01–CH06), соответствующих примесям того же материала, примесям постороннего материала, термическим и механическим повреждениям, трещинам/разрывам, нарушению механической целостности и травлению материала [43]. Для литых изделий широко используется общедоступный набор данных, собранный у Pilot Technocast, промышленного производителя литья в Индии [44]. Была разработана система визуального контроля на основе ИИ с использованием пользовательской архитектуры CNN, обученной на наборе данных производителя литья, достигшая точности 99,86% и продемонстрировавшая свою пригодность для автоматизации контроля качества в производственных условиях [45].
Как показано на рисунке 10 , пользовательский интерфейс системы контроля отображает решения о дефектных и приемлемых результатах вместе с соответствующим журналом контроля. Используя те же общедоступные данные, была предложена система контроля качества с поддержкой IoT для поддержки перехода к Индустрии 5.0, с акцентом на сотрудничество ИИ и человека и совместимость инфраструктуры. Алгоритм индикатора несоответствия, разработанный с использованием службы Azure Custom Vision, достиг точности классификации дефектов более 98%, а интегрированная система мониторинга продемонстрировала объединение данных с датчиков в реальном времени на нескольких устройствах в условиях литейного производства [46].
Рисунок 9. Типичные случаи обнаружения дефектов в шинах с присвоенными идентификаторами (CH01–CH06) [43].
Рисунок 10. Скриншоты процесса проверки: ( a ) дефектный случай, отмеченный как не прошедший проверку; ( b ) приемлемый случай, отмеченный как прошедший проверку; и ( c ) журнал проверки, содержащий ввод данных оператора, идентификаторы продукта и замечания [45].
Для производства сигарет были разработаны модели глубокого обучения с учителем и полуучителем для обнаружения аномалий в промышленном производстве, при этом YOLOv3 применялся к сбалансированным наборам данных, а Fast-Anomaly Generative Adversarial (AnoGAN) использовался для несбалансированных наборов данных, содержащих небольшое количество дефектных образцов. Экспериментальные результаты показали, что YOLOv3 достиг 100% уровня обнаружения без пропущенных обнаружений, но работал с относительно низкой скоростью обработки 5,74 FPS, в то время как Tiny-YOLOv3 значительно улучшил скорость вывода до 22,25 FPS с небольшим увеличением доли пропущенных данных (2,5%). Для подходов к обнаружению аномалий Fast-AnoGAN достиг того же 100% уровня обнаружения, при этом существенно улучшив скорость обработки (0,10 с на изображение, 10 FPS) по сравнению с оригинальной моделью AnoGAN. Эти результаты демонстрируют возможность развертывания систем обнаружения аномалий на основе глубокого обучения в высокоскоростных средах производства сигарет [47].
Для металлических компонентов был разработан метод сегментации изображений на основе CNN для обнаружения дефектов на металлических поверхностях, демонстрирующий высокую обобщающую способность, несмотря на ограниченные обучающие данные. Метод был оценен с использованием набора данных о дефектах поверхности элементов промышленных станков, предоставленного Карлсруэским технологическим институтом, который содержит 394 изображения компонентов шариковинтовых передач с областями дефектов, аннотированными с помощью полигональных масок. Модель достигла среднего показателя пересечения над объединением (IoU) 45,3% на тестовом наборе данных и превзошла предыдущие подходы на общедоступном эталонном наборе данных. Модель была дополнительно проверена с использованием реальных изображений, полученных на заводе по обработке листового металла, показав многообещающие качественные результаты. Репрезентативные результаты контроля листового металла с использованием этого метода представлены на рисунке 11, где показано разделение переднего плана и обнаружение повреждений для образца компонента [48].
Интеллектуальная система оценки качества поверхности была реализована с использованием облачно-граничной архитектуры и применена для обнаружения царапин на компонентах лопаток турбокомпрессора. Среди протестированных моделей Faster R-CNN с остаточной сетью (ResNet)101 показала наилучшие результаты, обнаружив 72% дефектов с точностью 81%. В отличие от нее, SSD с Inception обнаружила только 36% реальных дефектов, несмотря на достижение точности 93%, а SSD с MobileNet показала аналогичную полноту, но с точностью всего 33%. Скорость обнаружения была дополнительно оценена с использованием 100 тестовых изображений, показав, что платформа граничных вычислений значительно повысила вычислительную эффективность по сравнению со встроенными системами, обеспечив более чем десятикратное увеличение скорости обработки. Хотя облачные платформы могут обеспечить более высокую вычислительную мощность, задержка передачи изображений и зависимость от сети могут ограничивать их практическое применение для задач промышленного контроля в реальном времени. Репрезентативные результаты обнаружения показаны на рисунке 12.с предсказанными ограничивающими рамками слева и эталонными аннотациями справа [49].
В приложениях литья под давлением была предложена основанная на глубоком обучении структура для выполнения обнаружения дефектов в реальном времени и измерения размеров во время производства мягкой оснастки. Система использует сегментацию изображений и обнаружение ограничивающих рамок для определения местоположения дефектов и оценки ключевых размеров формованных деталей, достигая погрешности измерения в пределах приблизительно ±50 мкм. Как показано на рисунке 13 , структура создала карты сегментации, которые успешно выделили облой, аномалии сердечника, поломки, недозаполнение и границы деталей на входных изображениях пресс-формы [50].
Рисунок 11. Проверка компонента из листового металла с использованием двухэтапного подхода сегментации на основе CNN, при этом на ( левой ) панели показано отделение переднего плана, а на ( правой ) панели — обнаружение повреждений. Обнаруженные повреждения выделены зеленым цветом [48].
Рисунок 12. Результаты обнаружения металлических компонентов с использованием Faster R-CNN, с предсказаниями, показанными слева , и аннотациями истинности справа [49] .
Рисунок 13. Обнаружение дефектов и сегментация при литье под давлением, с входными изображениями черно-белых пресс-форм ( слева ) и результатами сегментации, выделяющими облой, сердечник, поломку, недозаполнение и области деталей ( справа ) [50].
В качестве сквозной структуры обнаружения дефектов была предложена сеть внимания предложений регионов (RPAN)-CNN для изображений электролюминесценции (ЭЛ) солнечных элементов. Она включает в себя дополнительную сеть внимания, которая последовательно объединяет поканальное и пространственное внимание для усиления релевантных дефектам признаков при подавлении фонового шума. При оценке на крупномасштабном наборе данных изображений ЭЛ, содержащем 3629 образцов, метод превзошел существующие подходы как в задачах классификации дефектов, так и в задачах локализации. Результаты достигли mAP 87,38% с более быстрой конфигурацией RPAN-CNN (RPN+CAN, CS), что представляет собой улучшение на 8,59% по сравнению с YOLOv3 и на 4,27% по сравнению с Faster R-CNN, используемой для сравнения. Репрезентативные результаты обнаружения показаны на рисунке 14 , сравнивая истинные аннотации, предсказания Faster R-CNN и предсказания Faster RPAN-CNN [51].
Рисунок 14. Обнаружение дефектов на изображениях электролюминесценции солнечных элементов: эталонные аннотации ( слева ), предсказания Faster R-CNN (посередине) и предсказания Faster RPAN-CNN ( справа ) [51].
В контексте производства электроники была разработана система визуального контроля для обнаружения дефектов паяных соединений на печатных платах (PCBA). Система объединяет конвейер, модуль камеры и блок граничных вычислений с искусственным интеллектом для проведения контроля в реальном времени с использованием глубокого обучения. Среди оцененных моделей архитектура Faster R-CNN с базовой сетью ResNet50 показала наилучшие результаты по показателям AP, mAP, полноты и точности. Она обнаруживает три распространенных типа дефектов паяных соединений с точностью и полнотой, превышающими 98%, завершая анализ в течение 1,2 с. Такие реализации поддерживают высокопроизводительный мониторинг качества продукции и повышение выхода годной продукции, как показано на рисунке 15 [52].
Была разработана одноэтапная структура глубокого обучения для быстрого и точного обнаружения производственных дефектов на печатных платах (PCB), достигающая mAP 98,1% на изображениях низкого разрешения. Этот результат превзошел предыдущие методы, включая YOLOv5m на 3,2% и Faster Region-based Convolutional Neural Network (FRCNN)-ResNet50 на 1,4%, при этом требуя всего одну треть количества параметров модели.
Эти результаты демонстрируют пригодность модели для эффективного внедрения в промышленные конвейеры контроля печатных плат. Как показано на рисунке 16, предложенная модель успешно обнаружила оба дефекта типа “шпоры” на чистой печатной плате, в то время как YOLOv3 не смог идентифицировать дефекты, а YOLOv5s выдал дополнительный ложноположительный результат [53].
Кроме того, YOLOv8-seg и Mask R-CNN были применены для сегментации поверхности в реальном времени и оценки качества после очистки во время лазерной очистки компонентов печатной платы. Эти модели позволили разработать адаптивные стратегии очистки на основе состояний поверхности и продемонстрировали точность сегментации более 84%, поддерживая эффективную автоматизацию и обеспечение целостности поверхности во время процессов переработки или ремонта. Репрезентативные результаты сегментации YOLOv8-seg и Mask R-CNN представлены на рисунке 17 [54].
Рисунок 15. Осмотр практического образца печатной платы с паяными соединениями двух разных размеров, где красные прямоугольники обозначают два паяных соединения размером 4 мм, а оранжевые прямоугольники — семь паяных соединений размером 2 мм [52].
Рисунок 16. Сравнительное обнаружение дефектов типа “шпоры” на голой печатной плате с использованием трех моделей, где YOLOv3 не смог обнаружить дефекты, YOLOv5s выдал дополнительный ложноположительный результат, а предложенная модель правильно обнаружила оба дефекта типа “шпоры” [53].
Рисунок 17. Результаты сегментации для оценки качества поверхности печатной платы, с исходными и аннотированными изображениями, показанными вместе с предсказаниями YOLOv8-seg и Mask R-CNN для минимально и сильно обработанных подложек [54].
Для производства датчиков дыма была разработана система обнаружения дефектов на основе глубокого обучения, в которой YOLOv5 был усовершенствован за счет многомасштабного слияния признаков, оптимизации функции потерь и расширения данных для улучшения распознавания мелких дефектов. Усовершенствованная модель достигла mAP 92,5%, с соответствующими значениями 91,2% при ярком освещении, 89,5% при тусклом освещении и 88,7% при неравномерном освещении. Модель достигла высокой точности и полноты на реальных данных датчиков и была дополнительно интегрирована в интеллектуальное устройство контроля качества, объединяющее машинное зрение, роботизированную руку и ПЛК для обнаружения и отбраковки дефектных компонентов в режиме реального времени на производственной линии. Примеры изображений, полученных с помощью системы обнаружения дефектов датчиков дыма, показаны на рисунке 18 [55].
Рисунок 18. Результаты обнаружения объектов после применения расширения данных и оптимизации параметров для улучшения обнаружения мелких дефектов [55].
В области аддитивного производства была разработана модифицированная сверточная нейронная сеть (CNN) для обеспечения обнаружения и классификации аномалий, связанных с растеканием, в процессе лазерного спекания порошкового слоя. Благодаря включению многомасштабной контекстной информации во входной слой CNN, модель достигла улучшенной гибкости и точности обнаружения, при этом исследования показали общую точность 97%, точность обнаружения аномалий 85% и точность дифференциации аномалий 93% [56].
Репрезентативные примеры мониторинга в режиме реального времени показаны на рисунке 19, где многомасштабная CNN была применена к изображениям порошкового слоя вне оси для идентификации нескольких типов дефектов растекания [57]. Для обнаружения дефектов в реальном времени в аддитивном производстве проволочной дуговой сварки (WAAM) была разработана модель обнаружения объектов на основе YOLOv4 с механизмами внимания, получившая название YOLO-attention. Модель была обучена на наборе данных, состоящем из 760 изображений сварных швов, полученных с помощью комплементарной металл-оксид-полупроводниковой камеры в реальных условиях промышленного производства, содержащих 8583 аннотированных экземпляра дефектов.
Модель продемонстрировала работоспособность в сценариях однопроходной, многопроходной и детальной наплавки, достигнув mAP 94,5% при 42 FPS. Визуальное сравнение производительности предложенного подхода и базовой модели YOLOv4 представлено на рисунке 20 [58]. Подход на основе ViT был оценен для обнаружения дефектов сварки с использованием набора данных дефектов сварки вольфрамовым электродом в среде инертного газа (TIG) сплава Al5083, который содержит 33 254 изображения сварных швов по шести категориям дефектов. Модель была применена как к задачам обнаружения бинарных дефектов, так и к задачам многоклассовой классификации, включая «Качественный сварной шов», «Прогорание», «Загрязнение», «Непроплавление», «Смещение» и «Непроходимость». Модель ViT достигла точности классификации 98–99%, значительно превзойдя более ранние модели на основе плотных и CNN-моделей, которые показали точность ниже 80% для бинарной классификации и 70% для многоклассовых задач. Кроме того, была оценена возможность промышленного внедрения, где модель обрабатывала изображения со скоростью 25 изображений в секунду на графическом процессоре NVIDIA Tesla T4, что указывает на практический потенциал автоматизированных систем контроля сварки [59].
Рисунок 19. Типичный пример мониторинга in situ в аддитивном производстве с помощью ИИ: ( а ) изображение порошкового слоя в видимом свете, используемое в качестве входных данных для многомасштабной сверточной нейронной сети (MsCNN); и ( б ) дефекты растекания порошка, обнаруженные MsCNN [57].
Рисунок 20. Пример обнаружения дефектов на основе ИИ в WAAM, демонстрирующий сравнительные результаты между YOLOv4 и предложенным решением [58].
Хотя в некоторых исследованиях используются реальные наборы данных, отсутствие стандартизированных и общедоступных данных ограничивает возможность прямого сравнения результатов исследований. Кроме того, рассматривался широкий спектр задач контроля, включая обнаружение, классификацию, сегментацию и идентификацию аномалий, что привело к существенным различиям в оценочных метриках. Следовательно, сообщаемые показатели эффективности следует интерпретировать в контексте каждого конкретного приложения, а не путем прямого числового сравнения.
Ограниченная доступность аннотированных данных о дефектах постоянно признается критической проблемой в промышленном контроле качества. Для решения этой проблемы широко используются специализированные наборы данных, собранные в производственных условиях, а также применяются методы расширения данных для компенсации дефицита и дисбаланса образцов с дефектами. Кроме того, для обеспечения надежного обучения моделей в условиях ограниченных данных часто используется трансферное обучение с применением предварительно обученных сверточных нейронных сетей. В зависимости от доступности данных применяются различные парадигмы обучения: модели обнаружения с учителем обычно используются при наличии достаточного количества размеченных данных, тогда как подходы к обнаружению аномалий применяются в сценариях с дефицитом образцов с дефектами.
С точки зрения внедрения, активно разрабатываются облегченные архитектуры обнаружения, позволяющие сбалансировать точность обнаружения с требованиями к обработке в реальном времени. Кроме того, некоторые задачи контроля требуют не только обнаружения дефектов, но и количественной оценки геометрических свойств, таких как ширина или длина дефекта. Однако на производительность систем визуального контроля сильно влияют условия съемки, включая изменение освещения, конфигурацию камеры и характеристики поверхности. В частности, было показано, что неравномерное освещение, отражающие поверхности и геометрическая сложность значительно влияют на надежность обнаружения и точность измерений, что указывает на необходимость устойчивости к изменчивости окружающей среды для практического промышленного применения. Структурированное резюме рассмотренных исследований с их ключевыми характеристиками представлено в таблице 2.
Таблица 2. Сводная информация по рассмотренным исследованиям в области контроля качества.
4. Помощь оператора
В современных производственных условиях сборочные линии все чаще дополняются системами компьютерного зрения на основе ИИ для повышения точности, эффективности и согласованности [60]. Эти системы применяются для мониторинга выбора деталей, проверки правильной интеграции компонентов и обнаружения аномалий в процессе сборки в режиме реального времени.
Хотя автоматизированное отслеживание продукции остается ключевой областью оптимизации сборочных линий, параллельная тенденция направлена на оператороцентрированные подходы, использующие компьютерное зрение для поддержки ручных задач, обнаружения ошибок и обеспечения соответствия сборочным процессам. Например, в одном исследовании был предложен визуальный помощник управления на основе глубокого обучения, который оценивает действия оператора во время ручной сборки. Система идентифицирует инструменты, компоненты и жесты в режиме реального времени для обнаружения процедурных ошибок, сокращения доработок и повышения качества конечного продукта.
Система достигла чувствительности на уровне кадров 96,37% и специфичности 97,9%, в то время как оценка на уровне последовательности показала еще более высокую чувствительность и специфичность — 99,36% и 99,42% соответственно, демонстрируя высокую точность распознавания и общую применимость. Из-за отсутствия общедоступных наборов данных о процессах сборки были созданы два пользовательских набора данных для обучения системы, включая набор данных ToolSet, содержащий 80 000 реальных, дополненных и синтетических изображений по 24 категориям инструментов, и набор данных видеозаписей действий сборки, состоящий из 37 видеороликов, охватывающих 12 различных действий сборки. Как показано на рисунке 21 , YOLO применялся для распознавания инструментов и принадлежностей, служа основой для оценки действий при ручной сборке [61].
В контексте задач сборки, ориентированных на оператора, многомодальные системы, интегрирующие дополненную реальность (AR) и глубокое обучение, продемонстрировали значительные преимущества в руководстве рабочими при выполнении сложных процедур. В одном исследовании была предложена интеллектуальная система инструкций AR, которая сочетает визуальные наложения с распознаванием инструментов на основе CNN, обученным на синтетических наборах данных CAD. При тестировании на задаче сборки на станке ЧПУ система сократила время выполнения задачи на 33,2% и уменьшила количество ошибок сборки на 32,4%, подчеркивая ее эффективность в повышении производительности труда и снижении производственных потерь [62].
Аналогичный подход был принят в системе обучения и помощи, ориентированной на работника, где обнаружение объектов на основе R-CNN обучалось на синтетических данных, сгенерированных из моделей CAD, чтобы обеспечить распознавание инструментов и деталей в реальном времени во время ручной сборки [63]. Дополнительное исследование расширило этот подход, обучив сверточные нейронные сети (CNN) как на реальных, так и на синтетических наборах данных, созданных с помощью САПР, для поддержки обнаружения действий оператора и компонентов сборки в реальном времени в условиях совместной работы. Этот подход позволил сократить время цикла работы оператора на 6%, что подчеркивает эффективность синтетических данных при обучении нейронных сетей для обнаружения дефектов. Общая методология представлена на рисунке 22 [64].
Для уменьшения количества ошибок при ручной сборке была разработана система визуальной помощи на основе глубокого обучения, позволяющая снизить количество человеческих ошибок в процессах ручной сборки. Для мониторинга и поддержки рабочих во время выполнения задач использовалась модель на основе YOLOv4. В тематическом исследовании, посвященном сборке взрывозащищенных трубчатых ламп, общий уровень ошибок при сборке был снижен на 51%, а три из четырех типов ошибок — пропуск, выполнение, путаница и количественные ошибки — были снижены как минимум на 42%. Данные сборки также записывались в режиме реального времени, что обеспечивало отслеживаемость и поддерживало будущие улучшения производства. Процедура обнаружения объектов показана на рисунке 23 [65].
Рисунок 21. Обнаружение инструментов с помощью YOLO в производстве, поддерживающее последующий анализ действий работника и мониторинг процесса [61].
Рисунок 22. Обзор системы обнаружения дефектов, обученной на реальных и созданных в САПР изображениях, с наборами данных, дополненными с помощью фильтров HSV и уменьшенными до 300 × 300 пикселей для увеличения скорости обучения и выполнения, что приводит к улучшению производительности обнаружения в нескольких классах компонентов [64].
Рисунок 23. Вывод на основе YOLOv4 на одном кадре, показывающий обнаруженные объекты, используемые для идентификации этапов работы и ошибок сборки [65].
На автомобильных сборочных линиях задачи визуального контроля, такие как обнаружение царапин и идентификация деталей, традиционно выполнялись людьми, но теперь все чаще поддерживаются системами компьютерного зрения. Для уменьшения сложности настройки и минимизации помех времени производственного цикла были предложены и проверены методы на основе глубокого обучения на четырех реальных примерах, включающих обнаружение объектов, семантическую сегментацию и обнаружение аномалий. Для задачи семантической сегментации количественная оценка показала среднее значение Intersection over Union (mIoU) 0,79. Предложенная система продемонстрировала практические преимущества по сравнению с ручным контролем, требуя примерно 3 секунды на изображение для оценки при сохранении низкой стоимости настройки без обширной настройки параметров.
На рисунке 24 показано, что обнаружение и отслеживание компонентов тормозной системы с использованием методов на основе глубокого обучения может быть использовано для надежного визуального контроля на автомобильных сборочных линиях [66]. Было проведено сравнительное исследование для оценки применимости моделей обнаружения аномалий на основе глубокого обучения для визуального контроля качества при сборочном производстве электронных компонентов. В реальных условиях с вариациями в позиционировании деталей и ракурсах камер были протестированы вариационный автокодировщик (VAE) и модель кросс-масштабного потока (CS-Flow) с сквозным обучаемым нормализующим потоком. VAE достигла несбалансированной точности 86,36% и сбалансированной точности 71,24%, в то время как CS-Flow достигла 86,53% и 75,00% соответственно.
Из-за отсутствия размеченных данных о дефектах в промышленных условиях модели обучались только на недефектных образцах в рамках полуконтролируемого обнаружения аномалий. После аугментации данных набор данных состоял примерно из 1600 обучающих образцов и 55 образцов для валидации и тестирования соответственно. Репрезентативный пример этого варианта использования, иллюстрирующий обнаружение отсутствующих разъемов при сборке потребительского товара, показан на рисунке 25 [67].
Рисунок 24. Визуальный контроль на основе глубокого обучения на автомобильной сборочной линии, демонстрирующий инициализацию, отслеживание и завершение обнаружения компонентов тормозной системы: ( a ) начало подсчета; ( b ) середина пути обнаружения; ( c ) кадр, содержащий ложноотрицательный результат (FN) при обнаружении тормозного диска; и ( d ) конец подсчета [66].
Рисунок 25. Визуальный контроль качества установки разъема, показывающий исправные и неисправные детали с обнаружением дефектов на основе сегментации [67].
Для решения проблемы ограниченной доступности аннотированных данных в задачах, связанных с помощью оператору и сборкой, были применены различные стратегии генерации данных и обучения. Синтетические наборы данных, созданные на основе CAD-моделей, использовались для обеспечения масштабируемой генерации данных для сложных сценариев сборки. Кроме того, были введены синтетические дефекты в бракованные компоненты, а расширение набора данных было выполнено путем разделения изображений на фрагменты для компенсации дефицита реальных дефектных образцов.
Для дальнейшего решения проблемы нехватки размеченных данных о дефектах были использованы системы обнаружения аномалий, включая вариационные автокодировщики и модели на основе потоков, позволяющие обнаруживать дефекты без необходимости использования обширных размеченных наборов данных. В таких сценариях были применены подходы полуконтролируемого обучения, обученные исключительно на нормальных образцах, особенно в промышленных условиях, где дефектные образцы редко доступны.
Для всестороннего мониторинга процессов ручной сборки было исследовано многомодальное объединение данных, где наборы изображений для обнаружения объектов были объединены с наборами видеоданных для распознавания действий. Кроме того, было показано, что автоматизированные системы визуального контроля значительно сокращают время оценки при сохранении стабильных условий контроля по сравнению с ручным контролем. Эти результаты указывают на то, что эффективность данных, масштабируемость и автоматизация являются критически важными факторами при внедрении систем помощи оператору на основе визуального контроля. Краткое описание репрезентативных исследований в этом разделе представлено в таблице 3.
Таблица 3. Сводная информация по рассмотренным исследованиям в области помощи операторам.
5. Мониторинг процесса
Интеграция ИИ и машинного обучения в производственные процессы основывается на предыдущих усилиях по цифровизации, обеспечивая переход от пассивного мониторинга к интеллектуальной автоматизации. Эти технологии продемонстрировали большой потенциал для улучшения управления процессами, повышения эффективности принятия решений в режиме реального времени и, в конечном итоге, повышения операционной производительности в различных отраслях промышленности [68].
Например, система классификации в реальном времени с использованием модели Mask R-CNN была внедрена на конвейерной линии покраски на заводе по производству бытовой техники, что позволило автоматически идентифицировать и регистрировать компоненты из листового металла. Набор данных был собран непосредственно с производственной линии и намеренно отражал распределение классов, наблюдаемое во время типичных производственных циклов, что привело к несбалансированному набору данных по пяти классам компонентов. Система достигла 98,27% точности распознавания и была успешно интегрирована в информационную систему управления заводом, демонстрируя возможность автоматизированного мониторинга в динамичных производственных условиях, как показано на рисунке 26 [69].
Рисунок 26. Это рисунок. Репрезентативные изображения, полученные с помощью системы обнаружения объектов на основе Mask R-CNN, развернутой на линии нанесения эмалевого покрытия, где изображения, полученные с камеры, обрабатываются в реальном времени для классификации объектов и интеграции результатов в информационную систему управления заводом: ( a ) положительное обнаружение класса B и C; ( b ) положительное обнаружение класса A и B; ( c ) положительное обнаружение класса A и D; и ( d ) положительное обнаружение класса B и E [69].
Система машинного зрения на основе глубокого обучения была внедрена на производственной линии верфи для обнаружения дефектов покраски на больших стальных пластинах в сложных условиях окружающей среды, таких как ограниченное размещение камер и переменное освещение. До внедрения системы на основе ИИ линия покраски на целевой верфи в основном контролировалась с помощью видеонаблюдения в труднодоступных для операторов зонах, что ограничивало эффективный мониторинг дефектов и управление процессом.
Эта система контроля с поддержкой ИИ, интегрированная с производственной линией через интерфейс программируемого логического контроллера (ПЛК), продемонстрировала потенциальное повышение производительности на 11% и снижение количества инцидентов, связанных с качеством, на 2%, что ознаменовало первое практическое внедрение такой технологии в работе верфи, как показано на рисунке 27. Однако в исследовании отмечалось, что из-за большого разнообразия типов дефектов и ограниченной доступности маркированных образцов для каждой категории дефектов, несколько типов дефектов были сгруппированы в один класс во время обучения, а дефекты в конечном итоге подтверждались путем перекраски и тестирования образцов [70].
Рисунок 27. Визуализация обнаружения дефектов краски на больших стальных пластинах на производственной линии [70].
Помимо проверки и классификации продукции, был разработан метод распознавания активности на основе зрения для идентификации непрерывных и разнообразных видов трудовой деятельности на видеозаписях наблюдения путем интеграции отслеживания на основе многодоменной сети (MDNet), оптического потока FlowNet 2.0 и сетей временных сегментов. В сложных условиях строительной площадки была достигнута средняя точность 80,5%, что демонстрирует потенциал метода для эффективного и объективного отбора проб работы (т.е. периодического наблюдения и классификации действий рабочих для определения производительности труда) при оценке производительности, как показано на рисунке 28.
Однако было отмечено, что предопределенная таксономия деятельности может не полностью охватывать все возможные виды строительной деятельности, и что для процесса отслеживания требуется ручная инициализация ограничивающих рамок рабочих, что может ограничивать полную автоматизацию при практическом применении [71].
В дополнение к распознаванию активности человека, была предложена структура на основе зрения для распознавания действий экскаватора и анализа циклов их работы путем включения последовательных визуальных и поведенческих паттернов с использованием моделей CNN и двухслойных моделей долговременной кратковременной памяти (LSTM). Проверка на более чем 72 000 реальных изображениях показала, что включение последовательного моделирования значительно повысило точность распознавания действий с 79,8% до 93,8%, подтверждая применимость структуры к автоматизированному анализу времени цикла и мониторингу производительности при земляных работах [72].
Производительность строительной техники также была проанализирована путем разработки структуры на основе глубокого обучения, которая обнаруживает, отслеживает и классифицирует действия нескольких экскаваторов на видео с площадки. Структура состоит из нескольких последовательных модулей, включая обнаружение экскаватора, отслеживание на основе обнаружения, идентификацию состояния холостого хода, распознавание действий с использованием пространственно-временной 3D CNN-модели и оценку производительности, полученную из распознанных последовательностей действий.
Предложенная система достигла точности 87,6% в распознавании действий и 83% в оценке производительности, демонстрируя свою эффективность для автоматизированного мониторинга производительности оборудования в строительных условиях, как показано на рисунке 29 . Однако в исследовании были выявлены некоторые ограничения, включая зависимость точности распознавания активности от качества результатов обнаружения и отслеживания, чувствительность к сложным условиям освещения и ограниченное разнообразие набора данных, обусловленное ограниченными ракурсами камеры [73].
Аналогичным образом, был разработан эталонный набор данных для поддержки визуального распознавания действий оборудования в строительстве, включающий видео с уровня земли с аннотированными ограничивающими рамками, идентификаторами и метками действий для экскаваторов и самосвалов. На основе этого набора данных была предложена структура на основе CNN и скрытой марковской модели для обнаружения и отслеживания действий, достигающая более 97% точности распознавания действий для экскаваторов и более 86% точности распознавания действий, тем самым демонстрируя ее применимость для автоматизированного мониторинга оборудования [74].
Рисунок 28. Прототип интерфейса для распознавания строительной деятельности, где видео с камер наблюдения анализируется для классификации действий рабочих с целью оценки производительности труда [71].
Рисунок 29. Примеры распознавания действий экскаватора на реальных строительных площадках, включая копание, поворот и погрузочные операции [73].
В реальных производственных условиях системы визуального контроля должны работать в условиях физических ограничений, накладываемых существующей производственной инфраструктурой. Часто встречаются неидеальное расположение камер и неконтролируемые условия освещения, и для компенсации геометрических искажений применяются методы коррекции изображений. Во многих случаях вместо специализированных систем освещения используется существующее заводское освещение, что указывает на то, что практическое внедрение требует учета инженерных аспектов на системном уровне, выходящих за рамки разработки алгоритмов.
Для наборов данных промышленного контроля часто характерно несбалансированное распределение классов, отражающее реальные условия производства, а не искусственно сбалансированные эталонные значения. Из-за большого разнообразия типов дефектов и ограниченной доступности размеченных образцов для каждой категории, в ряде исследований задачи классификации были упрощены путем группировки нескольких типов дефектов в более широкие категории.
Кроме того, системы распознавания активности в строительной среде подвержены ряду практических ограничений. Использование предопределенных таксономий активности, как было показано, ограничивает представление разнообразных реальных моделей поведения, в то время как некоторые подходы, основанные на отслеживании, требуют ручной инициализации ограничивающих рамок, что снижает осуществимость полностью автоматизированных систем. Более того, такие проблемы, как перекрытие объектов, изменяющиеся условия освещения и ограниченное разнообразие наборов данных, возникающее из-за ограниченных ракурсов камеры, были определены как ключевые факторы, влияющие на производительность системы.
Эти наблюдения указывают на то, что для надежного внедрения в реальных промышленных условиях необходимо совместно учитывать ограничения окружающей среды, ограничения данных и особенности проектирования системы. Краткое изложение репрезентативных исследований в этом разделе представлено в таблице 4 .
Таблица 4. Сводная информация по рассмотренным исследованиям в области мониторинга процессов.
6. Техническое обслуживание активов
Как в производственной сфере, так и в сфере гражданской инфраструктуры техническое обслуживание оборудования и активов играет жизненно важную роль в обеспечении безопасности, непрерывности работы и экономической эффективности. Последние достижения в области компьютерного зрения и искусственного интеллекта позволили создать автоматизированные системы инспекции и прогнозирующего технического обслуживания в различных отраслях промышленности, снизив зависимость от ручного труда и повысив точность обнаружения неисправностей.
Для снижения трудозатрат при проведении проверок безопасности самолетов была предложена автоматизированная система машинного зрения на основе беспилотного летательного аппарата (БПЛА) для обнаружения дефектов поверхности, таких как трещины, вмятины и участки отслоения краски на труднодоступных поверхностях фюзеляжей самолетов. Используя YOLOv9 и потоковую передачу в реальном времени через протокол обмена сообщениями в реальном времени (Real-Time Messaging Protocol), система обеспечила эффективную дистанционную инспекцию, достигнув показателя mAP 84,2%. Захваченные изображения были аннотированы с использованием платформы Roboflow для обозначения областей дефектов для обучения модели.
Это исследование продемонстрировало осуществимость инспекции конструкции с использованием ИИ для задач технического обслуживания авиационной техники. Репрезентативные результаты системы обнаружения дефектов поверхности самолета показаны на рисунке 30 [75]. В дополнение к предыдущим исследованиям с использованием дронов для инспекции обшивки самолетов, в другой работе была предложена роботизированная система машинного зрения, которая автономно перемещается по поверхности самолета.
Этот телеуправляемый реконфигурируемый робот, оснащенный бортовой RGB-камерой, захватывает изображения поверхности, которые затем обрабатываются с использованием усовершенствованной структуры SSD MobileNet. Модель интегрирует модуль самофильтрации для подавления периодических паттернов и повышает точность обнаружения как пятен, так и дефектов с 79,4% с базовой SSD MobileNet до 96,2% с улучшенной конфигурацией на реальных поверхностях самолетов, включая Boeing 737 [76]. Этот подход подчеркивает растущую тенденцию к использованию роботизированных систем контроля поверхности в реальном времени в аэрокосмической отрасли.
Рисунок 30. Осмотр поверхности самолета с помощью БПЛА, демонстрирующий обнаружение ( а ) вмятины, ( b ) трещины, ( c ) отслоения краски и ( d ) царапины [75].
Подходы, основанные на машинном зрении, также применялись для мониторинга состояния оборудования и технического обслуживания в промышленных условиях. Например, была разработана модель на основе трансформатора, называемая RT-DETR, для обнаружения дефектов подшипников с использованием данных, собранных на химическом заводе. Набор данных классифицирует дефекты на канавки, царапины и потертости, что позволяет модели изучать вариации характеристик дефектов, таких как форма, размер и местоположение, в реалистичных условиях. Модель достигла высокой производительности обнаружения (94,3% mAP@0,5) при сохранении облегченной архитектуры (8,2 GFLOPs, 3,2 млн параметров) и более быстрого времени отклика (79 мс), демонстрируя пригодность для развертывания в реальном времени на устройствах с ограниченными ресурсами. Эти результаты подчеркивают потенциал облегченных моделей на основе трансформаторов для обеспечения эффективных и масштабируемых стратегий технического обслуживания в промышленных системах [77].
Методы, основанные на машинном зрении, также применялись для обслуживания систем энергетической инфраструктуры. Например, был предложен метод, основанный на анализе трансформаторов, для обнаружения дефектов в изоляторах линий электропередачи в сложных условиях окружающей среды, включая дождь, снег, туман и съемку с помощью дронов на больших расстояниях. Модель была протестирована на нескольких наборах данных, включая набор данных Insulator Fault Detection and Diagnosis (IFDD), китайский набор данных Power Line Insulator Dataset (CPLID) и набор данных Aerial Images Tiny Object Detection (AI-TOD), которые содержат изображения изоляторов, полученные в реалистичных полевых условиях с различными масштабами объектов.
Предложенная многомасштабная модель на основе DETR улучшила производительность обнаружения, особенно для небольших дефектов, достигнув увеличения средней точности на 7,47% по сравнению с существующими методами. Несмотря на эти улучшения, остаются ограничения, поскольку существующие наборы данных могут не полностью охватывать все типы дефектов, такие как внутренние трещины. Обобщение модели на различные структуры сетей и условия окружающей среды также требует дальнейшего исследования. Эти результаты подчеркивают эффективность систем визуального контроля для повышения надежности и безопасности высоковольтной инфраструктуры передачи электроэнергии, как показано на рисунке 31 [78].
Рисунок 31. Сравнение эффективности моделей для обнаружения изоляторов линий электропередачи: ( а ) изображения, содержащие множество дефектов; ( b ) изображения с мелкими дефектами; и ( c ) изображения со сложным фоном [78].
Обнаружение поверхностных трещин имеет одинаково важное значение в гражданской инфраструктуре, такой как мосты, туннели и бетонные покрытия, где своевременное обнаружение может предотвратить структурные повреждения и дорогостоящий ремонт. Например, в одном исследовании для обнаружения трещин в бетоне применялась сеть U-Net с функцией потерь Focal Loss и оптимизацией Adam, используя набор данных из 84 изображений, полученных в разных местах кампуса Хуачжунского университета науки и технологий. Используя вручную размеченные места трещин для обучения и оценки модели, модель показала превосходную устойчивость и точность по сравнению с подходами на основе глубоких сверточных нейронных сетей.
Модель достигла показателей точности, полноты и F1-меры 90%, 91% и 90% соответственно и продемонстрировала более высокую производительность даже с меньшими обучающими наборами данных, подтверждая ее практическую применимость в реальных условиях инспекции. На рисунке 32 показано, что модель сохраняет надежную производительность даже в условиях низкой освещенности и оказывается подходящей для реальных задач инспекции [79]. В одном исследовании была предложена развертываемая на периферии структура, объединяющая улучшенный детектор на основе YOLO (CR-YOLO) и модифицированную сеть анализа пирамидальных сцен (PSPNet) для точной сегментации трещин в бетоне. Метод достиг превосходной точности и скорости при минимизации размера модели, что делает его подходящим для приложений мониторинга инфраструктуры в реальном времени.
Он превзошел другие распространенные модели семантической сегментации, достигнув значений точности, полноты, F1 и FPS 87,03%, 85,45%, 86,23% и 140,6 соответственно. Сложные трещины мостов были эффективно обнаружены благодаря улучшенной сегментации PSPNet, как показано на рисунке 33 [ 80 ]. В отличие от традиционных систем визуального контроля, которые часто полагаются на стационарные датчики или постобработанные изображения, в одном исследовании была предложена человекоцентрированная структура, интегрированная с носимым голографическим устройством. Благодаря сочетанию визуального контроля в реальном времени с управляемым вниманием ИИ и взаимодействием в смешанной реальности, система позволяет инспекторам обнаруживать дефекты, оценивать состояние и получать автоматизированные измерения непосредственно в поле зрения.
На рисунке 34 показаны репрезентативные результаты, где система успешно локализовала и сегментировала трещины и отслоения с помощью совместного процесса взаимодействия человека и ИИ [ 81 ]. Также была предложена структура кодировщика-декодера на основе ViT для обнаружения трещин на асфальтовых и бетонных поверхностях. Благодаря включению трансферного обучения и дифференцируемой функции потерь IoU, модель была разработана для захвата глобальной контекстной информации в нескольких масштабах и улучшения производительности сегментации трещин. Предложенная модель TransUNet, использующая гибридную архитектуру CNN–ViT, достигла mIoU 0,58 и среднего значения Dice 0,73 на наборе данных, содержащем очень мелкие признаки трещин, в контролируемых экспериментальных условиях [82].
Рисунок 32. Обнаружение трещин в условиях темноты, сравнение обычной сверточной нейронной сети с моделью U-Net, где структура U-Net продемонстрировала более надежное обнаружение и устойчивость для практических условий контроля [79].
Рисунок 33. Сегментация трещин моста с использованием улучшенной модели PSPNet, при этом исходные изображения трещин показаны рядом с размеченными эталонными данными и соответствующими результатами сегментации, демонстрирующими точное извлечение пикселей трещин даже для сложных узоров [80].
Рисунок 34. Совместное обнаружение и сегментация структурных повреждений поверхности человеком и ИИ, включая трещины и сколы [81].
Для поддержки обслуживания городской инфраструктуры в режиме реального времени была предложена система мониторинга дорожных элементов на основе искусственного интеллекта. Интегрируя компактные сенсорные устройства в транспортные средства, система обеспечивает непрерывное обнаружение и локализацию дорожных элементов, значительно сокращая трудозатраты на ручную проверку. В ходе полевых испытаний система достигла совокупной точности 65%, при этом значения полноты и точности составили 78% и 72% соответственно. Точность варьировалась в зависимости от типа элемента и зависела от скорости транспортного средства из-за размытия, вызванного движением.
Репрезентативные результаты обнаружения элементов показаны на рисунке 35 [83]. Для мониторинга дорожного покрытия также применялись подходы к визуальной инспекции. На основе архитектуры DETR была предложена улучшенная модель, получившая название GM-DETR, для решения проблем, связанных с ограничениями оригинальной модели DETR при работе со сложными дефектными фонами и изображениями низкого разрешения.
Модель интегрирует механизм глобального внимания с механизмами извлечения и сопоставления признаков на основе CNN, что обеспечивает улучшенное глобальное взаимодействие признаков и уменьшает рассеивание информации о дефектах во время обнаружения. Экспериментальная оценка на наборе данных о дефектах дорожной выбоины показала, что предложенная модель улучшила производительность обнаружения на 4,9% в mAP@0,5, одновременно уменьшив количество параметров на 12,9%, что демонстрирует потенциал подходов на основе трансформаторов для автоматизированной инспекции инфраструктуры [84].
Рисунок 35. Типичные результаты модели с поддержкой ИИ на периферии, обнаруживающей объекты, связанные с дорожным движением, включая ( а ) столбы дорожного движения, ( b ) знаки «Стоп» и ( c ) уличные фонари, с разных точек зрения [83].
Ограниченная доступность аннотированных обучающих данных постоянно указывается как серьезная проблема в приложениях промышленного машинного зрения. В ряде исследований расширение набора данных осуществлялось с помощью методов тайлинга и аугментации данных для увеличения разнообразия выборки и повышения устойчивости модели. В крайних случаях модели обучались на очень небольших наборах данных, иногда состоящих из менее чем 100 изображений с вручную аннотированными местами дефектов, что, как было показано, увеличивает риск переобучения, особенно для таких задач, как обнаружение трещин. Для смягчения этой проблемы стратегии аугментации данных широко применялись во время обучения модели.
С точки зрения развертывания, производительность мобильных и установленных на транспортных средствах систем контроля в значительной степени зависит от качества и стабильности получаемых потоков изображений. Сообщается, что размытие изображения, вызванное движением при высокоскоростной работе, ухудшает эффективность обнаружения, что подчеркивает чувствительность систем на основе машинного зрения к динамическим условиям съемки. Кроме того, хотя граничные вычисления обеспечили возможности мониторинга в реальном времени, крупномасштабное развертывание связано с увеличением инфраструктуры и проблемами управления вычислительными ресурсами. Обзор исследований с указанием их основных характеристик производительности представлен в таблице 5 .
Таблица 5. Сводная информация по рассмотренным исследованиям в области технического обслуживания активов.
7. Выводы и направления дальнейших исследований
В данном обзоре обобщены последние достижения в области технологий компьютерного зрения на основе ИИ для мониторинга безопасности, обнаружения дефектов поверхности, обеспечения качества продукции, помощи на сборочных линиях, мониторинга производительности и технического обслуживания оборудования или инфраструктуры. В совокупности рассмотренные исследования демонстрируют, как системы компьютерного зрения на основе ИИ интегрируются в реальные промышленные условия для решения функциональных задач в условиях практических ограничений внедрения. Хотя некоторые области, такие как обнаружение средств индивидуальной защиты и контроль дефектов поверхности, достигли более высокого уровня зрелости, другие области, включая помощь оператору, мониторинг процессов и техническое обслуживание активов, остаются на более ранних этапах внедрения. Эти различия объясняются не только разницей в готовности алгоритмов, но и организационными, нормативными и связанными с безопасностью ограничениями, которые напрямую влияют на решения о внедрении.
На основе этих наблюдений можно выделить несколько устойчивых тенденций в рассмотренных исследованиях. Модели на основе сверточных нейронных сетей (CNN), такие как YOLO, широко используются в различных приложениях компьютерного зрения на основе искусственного интеллекта. Однако в последнее время исследования все больше сосредотачиваются на разработке облегченных моделей, предназначенных для развертывания на периферийных устройствах. Архитектуры на основе трансформеров, включая варианты ViT и DETR, все чаще используются для улучшения представления глобальной контекстной информации, что выгодно для обнаружения сложных, мелких или низкоконтрастных дефектов в промышленных условиях. Также были разработаны гибридные модели CNN-трансформер для объединения локального извлечения признаков с моделированием зависимостей на больших расстояниях, и часто сообщалось об улучшении точности локализации и устойчивости в контролируемых экспериментальных условиях.
Несмотря на эти достижения в разработке моделей, остается ряд фундаментальных проблем, связанных с данными. Ключевой проблемой, наблюдаемой во многих приложениях промышленного машинного зрения, является наличие серьезного дисбаланса классов, когда фоновые области значительно преобладают над целевыми объектами интереса. В таких условиях традиционные цели обучения на уровне пикселей могут приводить к предвзятому поведению модели и ухудшению производительности. Для решения этой проблемы все чаще используются формулы потерь на основе IoU и другие стратегии, учитывающие дисбаланс, поскольку они подчеркивают перекрытие на уровне областей и улучшают обнаружение и локализацию небольших или разреженных целей. Эта проблема подчеркивает необходимость более надежных обучающих фреймворков, которые могут эффективно обрабатывать несбалансированное распределение данных в реальных промышленных условиях.
Тесно связанная с этой проблемой, ограниченность доступности данных дополнительно ограничивает производительность модели. Дефицит данных признан критической проблемой в приложениях промышленного зрения, особенно для редких типов дефектов. Для решения этой проблемы были исследованы стратегии аугментации данных для генерации реалистичных обучающих выборок [85]. В этих подходах области дефектов преобразуются с помощью таких операций, как вращение, масштабирование и перемещение, чтобы повысить морфологическое разнообразие, избегая при этом сложности, связанной с генеративными моделями. Таким образом, можно получить высокоточные синтетические данные, которые, как было показано, улучшают производительность обучения моделей обнаружения дефектов и снижают зависимость от больших аннотированных наборов данных, хотя дальнейшая проверка в реальных условиях промышленного применения все еще необходима.
Помимо проблем, связанных с данными, надежность и достоверность остаются критически важными факторами при практическом применении. В промышленных приложениях неверные прогнозы связаны со значительными рисками для безопасности и эксплуатации. Поэтому крайне важно, чтобы системы машинного зрения предоставляли не только прогнозы, но и оценку степени уверенности для поддержки принятия надежных решений. Это указывает на важность включения оценки неопределенности в промышленные системы машинного зрения, особенно в реальных условиях, где изменчивость данных и сложность окружающей среды неизбежны. В этом контексте следует учитывать как алеаторную неопределенность, возникающую из-за изменчивости данных, так и эпистемическую неопределенность, связанную с ограничениями модели.
Кроме того, помимо надежности прогнозирования, для практического внедрения необходима также прозрачность системы. Помимо этого, интерпретируемость модели считается важным фактором в промышленных системах машинного зрения, особенно для критически важных с точки зрения безопасности приложений, где понимание обоснования прогнозов модели необходимо для укрепления доверия операторов и принятия нормативными требованиями. Учитывая эти проблемы и тенденции, можно выделить несколько направлений для будущих исследований.
Последние достижения в области базовых моделей зрения представляют собой еще одно перспективное направление для промышленных систем искусственного интеллекта в области зрения [86]. В отличие от моделей, ориентированных на конкретные задачи и требующих обширных размеченных наборов данных, базовые модели, обученные на больших корпусах изображений, продемонстрировали высокую переносимость на различные визуальные задачи. Их способность обобщать на ранее невиданные объекты и среды может помочь смягчить проблемы нехватки данных, часто встречающиеся в промышленных приложениях. Кроме того, базовые модели могут способствовать более эффективной адаптации к новым промышленным сценариям с ограниченными усилиями по аннотированию.
Еще одна набирающая популярность тенденция – разработка многомодальных систем промышленного интеллекта, которые интегрируют визуальную информацию с другими источниками данных, включая измерения датчиков, журналы операций, записи о техническом обслуживании и текстовую документацию [87]. Такие многомодальные подходы потенциально могут обеспечить более полное понимание промышленной среды и улучшить процесс принятия решений по сравнению с тем, чего можно достичь с помощью систем, основанных только на визуальном восприятии.
Кроме того, интеграция больших языковых моделей (LLM) с системами компьютерного зрения может позволить разработать интеллектуальных промышленных агентов, способных рассуждать, планировать и поддерживать операторов-людей [88]. Недавние достижения в области крупномасштабных моделей зрения и языка (VLM) еще больше расширили эти возможности, обеспечив кросс-модальное семантическое согласование между визуальной информацией и знаниями, специфичными для предметной области, тем самым поддерживая рассуждения о неисправностях, принятие решений по техническому обслуживанию и интеллектуальное взаимодействие человека и машины в промышленных условиях [89]. Объединяя визуальное восприятие с пониманием естественного языка и рассуждениями на основе знаний, будущие промышленные системы могут обеспечить более эффективную помощь оператору, поддержку технического обслуживания и возможности автономной инспекции.
Ожидается, что растущее внедрение технологий цифровых двойников также повлияет на будущие исследования в области промышленного зрения. Цифровые двойники могут обеспечить реалистичные виртуальные среды для тестирования систем, проверки моделей и генерации синтетических данных [90]. В сочетании с базовыми моделями зрения и многомодальными обучающими платформами платформы цифровых двойников могут ускорить разработку надежных систем искусственного интеллекта в области зрения, одновременно снижая затраты и сложность, связанные со сбором крупномасштабных аннотированных промышленных наборов данных.
Дальнейшие исследования должны быть направлены не только на технические инновации, такие как облегченные модели для периферийных устройств, адаптивное обучение в различных контекстах и интеграция с дополненной реальностью или робототехникой, но и на разработку настраиваемых систем машинного зрения на основе искусственного интеллекта, которые могут быть адаптированы к конкретным условиям и целевым объектам. Как показали примеры применения, начиная от мониторинга средств индивидуальной защиты в различных условиях освещения и заканчивая обнаружением дефектов поверхности металлических и неметаллических материалов, ожидается, что внедрение таких настраиваемых решений ускорится, когда они станут легкодоступны для различных промышленных условий.
Литература
- Rakholia, R.; Suárez-Cetrulo, A.L.; Singh, M.; Carbajo, R.S. Advancing Manufacturing Through Artificial Intelligence: Current Landscape, Perspectives, Best Practices, Challenges and Future Direction. IEEE Access 2024, 12, 131621–131637. [Google Scholar] [CrossRef] [Scilit]
- Prunella, M.; Scardigno, R.M.; Buongiorno, D.; Brunetti, A.; Longo, N.; Carli, R.; Dotoli, M.; Bevilacqua, V. Deep learning for automatic vision-based recognition of industrial surface defects: A survey. IEEE Access 2023, 11, 43370–43423. [Google Scholar] [CrossRef] [Scilit]
- Zhang, D.; Hao, X.; Wang, D.; Qin, C.; Zhao, B.; Liang, L.; Liu, W. An efficient lightweight convolutional neural network for industrial surface defect detection. Artif. Intell. Rev. 2023, 56, 10651–10677. [Google Scholar] [CrossRef] [Scilit]
- Chang, S.; Zheng, B. A lightweight convolutional neural network for automated crack inspection. Constr. Build. Mater. 2024, 416, 135151. [Google Scholar] [CrossRef] [Scilit]
- Zhao, Y.; Yin, Y.; Gui, G. Lightweight deep learning based intelligent edge surveillance techniques. IEEE Trans. Cogn. Commun. Netw. 2020, 6, 1146–1154. [Google Scholar] [CrossRef] [Scilit]
- Li, J.; Miao, Q.; Zou, Z.; Gao, H.; Zhang, L.; Li, Z.; Wang, N. A review of computer vision-based monitoring approaches for construction workers’ work-related behaviors. IEEE Access 2024, 12, 7134–7155. [Google Scholar] [CrossRef] [Scilit]
- Hussain, M. Sustainable machine vision for industry 4.0: A comprehensive review of convolutional neural networks and hardware accelerators in computer vision. AI 2024, 5, 1324–1356. [Google Scholar] [CrossRef] [Scilit]
- Kang, S.; Hu, Z.; Liu, L.; Zhang, K.; Cao, Z. Object detection YOLO algorithms and their industrial applications: Overview and comparative analysis. Electronics 2025, 14, 1104. [Google Scholar] [CrossRef] [Scilit]
- Manakitsa, N.; Maraslidis, G.S.; Moysis, L.; Fragulis, G.F. A review of machine learning and deep learning for object detection, semantic segmentation, and human action recognition in machine and robotic vision. Technologies 2024, 12, 15. [Google Scholar] [CrossRef] [Scilit]
- Chen, Y.; Ding, Y.; Zhao, F.; Zhang, E.; Wu, Z.; Shao, L. Surface defect detection methods for industrial products: A review. Appl. Sci. 2021, 11, 7657. [Google Scholar] [CrossRef] [Scilit]
- Czimmermann, T.; Ciuti, G.; Milazzo, M.; Chiurazzi, M.; Roccella, S.; Oddo, C.M.; Dario, P. Visual-based defect detection and classification approaches for industrial applications—A survey. Sensors 2020, 20, 1459. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Saberironaghi, A.; Ren, J.; El-Gindy, M. Defect detection methods for industrial products using deep learning techniques: A review. Algorithms 2023, 16, 95. [Google Scholar] [CrossRef] [Scilit]
- Qi, S.; Yang, J.; Zhong, Z. A review on industrial surface defect detection based on deep learning technology. In Proceedings of the 2020 3rd International Conference on Machine Learning and Machine Intelligence; ACM: New York, NY, USA, 2020; pp. 24–30. [Google Scholar]
- Fang, W.; Ding, L.; Love, P.E.; Luo, H.; Li, H.; Peña-Mora, F.; Zhong, B.; Zhou, C. Computer vision applications in construction safety assurance. Autom. Constr. 2020, 110, 103013. [Google Scholar] [CrossRef] [Scilit]
- Vukicevic, A.M.; Petrovic, M.; Milosevic, P.; Peulic, A.; Jovanovic, K.; Novakovic, A. A systematic review of computer vision-based personal protective equipment compliance in industry practice: Advancements, challenges and future directions. Artif. Intell. Rev. 2024, 57, 319. [Google Scholar]
- Luckow, A.; Kennedy, K.; Ziolkowski, M.; Djerekarov, E.; Cook, M.; Duffy, E.; Schleiss, M.; Vorster, B.; Weill, E.; Kulshrestha, A. Artificial intelligence and deep learning applications for automotive manufacturing. In Proceedings of the 2018 IEEE International Conference on Big Data (Big Data), Seattle, WA, USA, 10–13 December 2018; pp. 3144–3152. [Google Scholar]
- Fang, Q.; Li, H.; Luo, X.; Ding, L.; Luo, H.; Rose, T.M.; An, W. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos. Autom. Constr. 2018, 85, 1–9. [Google Scholar] [CrossRef] [Scilit]
- Mneymneh, B.E.; Abbas, M.; Khoury, H. Vision-based framework for intelligent monitoring of hardhat wearing on construction sites. J. Comput. Civ. Eng. 2019, 33, 04018066. [Google Scholar] [CrossRef] [Scilit]
- Lan, R.; Awolusi, I.; Cai, J. Computer vision for safety management in the steel industry. AI 2024, 5, 1192–1215. [Google Scholar] [CrossRef] [Scilit]
- Nath, N.D.; Behzadan, A.H.; Paal, S.G. Deep learning for site safety: Real-time detection of personal protective equipment. Autom. Constr. 2020, 112, 103085. [Google Scholar] [CrossRef] [Scilit]
- Lo, J.-H.; Lin, L.-K.; Hung, C.-C. Real-time personal protective equipment compliance detection based on deep learning algorithm. Sustainability 2022, 15, 391. [Google Scholar]
- Sanjeewani, P.; Neuber, G.; Fitzgerald, J.; Chandrasena, N.; Potums, S.; Alavi, A.; Lane, C. Real-time personal protective equipment non-compliance recognition on AI edge cameras. Electronics 2024, 13, 2990. [Google Scholar]
- Fang, W.; Ding, L.; Luo, H.; Love, P.E. Falls from heights: A computer vision-based approach for safety harness detection. Autom. Constr. 2018, 91, 53–61. [Google Scholar] [CrossRef] [Scilit]
- Shanti, M.Z.; An, B.; Yeun, C.Y.; Cho, C.-S.; Damiani, E.; Kim, T.-Y. Enhancing Worker Safety at Heights: A Deep Learning Model for Detecting Helmets and Harnesses Using DETR Architecture. IEEE Access 2025, 13, 151788–151802. [Google Scholar]
- Fang, Q.; Li, H.; Luo, X.; Ding, L.; Luo, H.; Li, C. Computer vision aided inspection on falling prevention measures for steeplejacks in an aerial environment. Autom. Constr. 2018, 93, 148–164. [Google Scholar] [CrossRef] [Scilit]
- Vukicevic, A.M.; Djapan, M.; Isailovic, V.; Milasinovic, D.; Savkovic, M.; Milosevic, P. Generic compliance of industrial PPE by using deep learning techniques. Saf. Sci. 2022, 148, 105646. [Google Scholar] [CrossRef] [Scilit]
- Kim, M.; Li, S.; Chen, Y.; Yoon, H.-S.; Zhang, Q. Human Detection and Localization in the Workplace Using a Single-Camera-Based Object Detection Algorithm. In Proceedings of the ASME 2025 International Mechanical Engineering Congress and Exposition, Memphis, TN, USA, 16–20 November 2025. [Google Scholar]
- Kim, H.; Kim, H.; Hong, Y.W.; Byun, H. Detecting construction equipment using a region-based fully convolutional network and transfer learning. J. Comput. Civ. Eng. 2018, 32, 04017082. [Google Scholar] [CrossRef] [Scilit]
- Fang, W.; Ding, L.; Zhong, B.; Love, P.E.; Luo, H. Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach. Adv. Eng. Inform. 2018, 37, 139–149. [Google Scholar] [CrossRef] [Scilit]
- Stojanovic, L.; Dinic, M.; Stojanovic, N.; Stojadinovic, A. Big-data-driven anomaly detection in industry (4.0): An approach and a case study. In Proceedings of the 2016 IEEE International Conference on Big Data (Big Data), Washington, DC, USA, 5–8 December 2016; pp. 1647–1652. [Google Scholar]
- Lech, P. Multi-Criteria Visual Quality Control Algorithm for Selected Technological Processes Designed for Budget IIoT Edge Devices. Electronics 2025, 14, 3204. [Google Scholar] [CrossRef] [Scilit]
- Chen, Z.; Feng, X.; Liu, L.; Jia, Z. Surface defect detection of industrial components based on vision. Sci. Rep. 2023, 13, 22136. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Tian, J.-H.; Feng, X.-F.; Li, F.; Xian, Q.-L.; Jia, Z.-H.; Liu, J.-L. An improved YOLOv5n algorithm for detecting surface defects in industrial components. Sci. Rep. 2025, 15, 9756. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Hao, Z.; Liu, B.; Xu, B. A lightweight rt-detr model for metal surface defect detection using multi-scale network and additive attention mechanism. J. Nondestruct. Eval. 2025, 44, 107. [Google Scholar] [CrossRef] [Scilit]
- Bakirci, M.; Bayraktar, I. AI-Driven Micro Defect Detection for Aerospace-Grade Metal Surface Quality Control in Smart Manufacturing. In Proceedings of the 2025 International Russian Smart Industry Conference (SmartIndustryCon), Sochi, Russia, 24–28 March 2025; pp. 115–120. [Google Scholar]
- Zhao, H.; Wan, F.; Lei, G.; Xiong, Y.; Xu, L.; Xu, C.; Zhou, W. LSD-YOLOv5: A steel strip surface defect detection algorithm based on lightweight network and enhanced feature fusion mode. Sensors 2023, 23, 6558. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Soukup, D.; Kapeller, C.; Raml, B.; Ruisz, J. Industry-Fit AI Usage for Crack Detection in Ground Steel. Electronics 2022, 11, 2643. [Google Scholar] [CrossRef] [Scilit]
- Tabernik, D.; Šela, S.; Skvarč, J.; Skočaj, D. Segmentation-based deep-learning approach for surface-defect detection. J. Intell. Manuf. 2020, 31, 759–776. [Google Scholar]
- Urbonas, A.; Raudonis, V.; Maskeliūnas, R.; Damaševičius, R. Automated identification of wood veneer surface defects using faster region-based convolutional neural network with data augmentation and transfer learning. Appl. Sci. 2019, 9, 4898. [Google Scholar] [CrossRef] [Scilit]
- Liu, C.; Chen, K.; Wang, N.; Shi, W.; Jia, N. A lightweight multi-scale feature fusion method for detecting defects in water-based wood paint surfaces. Measurement 2025, 253, 117505. [Google Scholar] [CrossRef] [Scilit]
- Liu, J.; Zhao, S.; Jin, J.; Wang, Q. Car Paint Defect Detection Based on PMD with Multi-Source Image Fusion. IEEE Trans. Instrum. Meas. 2025, 74, 5020715. [Google Scholar] [CrossRef] [Scilit]
- Wei, H.; Zhao, L.; Li, R.; Zhang, M. RFAConv-CBM-ViT: Enhanced vision transformer for metal surface defect detection. J. Supercomput. 2025, 81, 155. [Google Scholar]
- Kuric, I.; Klarák, J.; Bulej, V.; Sága, M.; Kandera, M.; Hajdučík, A.; Tucki, K. Approach to automated visual inspection of objects based on artificial intelligence. Appl. Sci. 2022, 12, 864. [Google Scholar] [CrossRef] [Scilit]
- Kantesaria, N.; Vaghasia, P.; Hirpara, J.; Bhoraniya, R. Casting Product Image Data for Quality Inspection; Technocast, P., Ed.; Ravirajsinh Dabhi: Rajkot, India, 2024. [Google Scholar]
- Sundaram, S.; Zeid, A. Artificial intelligence-based smart quality inspection for manufacturing. Micromachines 2023, 14, 570. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Rosca, C.-M.; Rădulescu, G.; Stancu, A. Artificial Intelligence of Things Infrastructure for Quality Control in Cast Manufacturing Environments Shedding Light on Industry Changes. Appl. Sci. 2025, 15, 2068. [Google Scholar] [CrossRef] [Scilit]
- Jiang, Y.; Wang, W.; Zhao, C. A machine vision-based realtime anomaly detection method for industrial products using deep learning. In Proceedings of the 2019 Chinese Automation Congress (CAC), Hangzhou, China, 22–24 November 2019; pp. 4842–4847. [Google Scholar]
- Landgraf, J.; Kompenhans, M.; Christ, T.; Roland, T.; Heinig, A. Computer vision for industrial defect detection. Mater. Res. Proc. 2023, 25, 371–378. [Google Scholar] [CrossRef] [Scilit]
- Wang, Y.; Liu, M.; Zheng, P.; Yang, H.; Zou, J. A smart surface inspection system using faster R-CNN in cloud-edge computing environment. Adv. Eng. Inform. 2020, 43, 101037. [Google Scholar] [CrossRef] [Scilit]
- Zhang, Y.; Shan, S.; Frumosu, F.D.; Calaon, M.; Yang, W.; Liu, Y.; Hansen, H.N. Automated vision-based inspection of mould and part quality in soft tooling injection moulding using imaging and deep learning. CIRP Ann. 2022, 71, 429–432. [Google Scholar] [CrossRef] [Scilit]
- Su, B.; Chen, H.; Chen, P.; Bian, G.; Liu, K.; Liu, W. Deep learning-based solar-cell manufacturing defect detection with complementary attention network. IEEE Trans. Ind. Inform. 2020, 17, 4084–4095. [Google Scholar] [CrossRef] [Scilit]
- Chen, M.-C.; Chang, W.-J.; Chen, Z.-H.; Hsu, C.-H.; Chiu, Y.-C.; Su, J.-P.; Cheng, T.-S. A PCBA solder joint defects inspection system based on deep learning technology. In Proceedings of the 2023 IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, NV, USA, 6–8 January 2023; pp. 1–3. [Google Scholar]
- Bhattacharya, A.; Cloutier, S.G. End-to-end deep learning framework for printed circuit board manufacturing defect classification. Sci. Rep. 2022, 12, 12559. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Qiao, L.; Veltrup, M.; Mayer, B. Comparison of mask R-CNN and YOLOv8-seg for improved monitoring of the PCB surface during laser cleaning. Sci. Rep. 2025, 15, 17185. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Wan, A.; Wu, Z.; Khalil, A.-B. Deep Learning-Based Intelligent Visual Inspection for Defect Detection in Smoke Sensor Manufacturing. Next Res. 2025, 2, 100424. [Google Scholar] [CrossRef] [Scilit]
- Scime, L.; Beuth, J. A multi-scale convolutional neural network for autonomous anomaly detection and classification in a laser powder bed fusion additive manufacturing process. Addit. Manuf. 2018, 24, 273–286. [Google Scholar] [CrossRef] [Scilit]
- Herzog, T.; Brandt, M.; Trinchi, A.; Sola, A.; Molotnikov, A. Process monitoring and machine learning for defect detection in laser-based metal additive manufacturing. J. Intell. Manuf. 2024, 35, 1407–1437. [Google Scholar] [CrossRef] [Scilit]
- Li, W.; Zhang, H.; Wang, G.; Xiong, G.; Zhao, M.; Li, G.; Li, R. Deep learning based online metallic surface defect detection method for wire and arc additive manufacturing. Robot. Comput. Integr. Manuf. 2023, 80, 102470. [Google Scholar] [CrossRef] [Scilit]
- Contreras Ortiz, A.; Santiago, R.R.; Hernandez, D.E.; Lopez-Montiel, M. Multiclass evaluation of vision transformers for industrial welding defect detection. Math. Comput. Appl. 2025, 30, 24. [Google Scholar] [CrossRef] [Scilit]
- Kim, S.; Nguyen, T.P.; Yoon, J. A Systematic Review of Machine Vision Applications in Factory and Manufacturing Processes: From Quality Control to Predictive Diagnostics. Int. J. Precis. Eng. Manuf. Green Technol. 2025, 13, 745–775. [Google Scholar] [CrossRef] [Scilit]
- Zamora-Hernandez, M.-A.; Castro-Vargas, J.A.; Azorin-Lopez, J.; Garcia-Rodriguez, J. Deep learning-based visual control assistant for assembly in industry 4.0. Comput. Ind. 2021, 131, 103485. [Google Scholar] [CrossRef] [Scilit]
- Lai, Z.-H.; Tao, W.; Leu, M.C.; Yin, Z. Smart augmented reality instructional system for mechanical assembly towards worker-centered intelligent manufacturing. J. Manuf. Syst. 2020, 55, 69–81. [Google Scholar] [CrossRef] [Scilit]
- Tao, W.; Lai, Z.-H.; Leu, M.C.; Yin, Z.; Qin, R. A self-aware and active-guiding training & assistant system for worker-centered intelligent manufacturing. Manuf. Lett. 2019, 21, 45–49. [Google Scholar] [CrossRef] [Scilit]
- Dimitropoulos, N.; Togias, T.; Zacharaki, N.; Michalos, G.; Makris, S. Seamless human–robot collaborative assembly using artificial intelligence and wearable devices. Appl. Sci. 2021, 11, 5699. [Google Scholar] [CrossRef] [Scilit]
- Riedel, A.; Gerlach, J.; Dietsch, M.; Herbst, S.; Engelmann, F.; Brehm, N.; Pfeifroth, T. A deep learning-based worker assistance system for error prevention: Case study in a real-world manual assembly. Adv. Prod. Eng. Manag. 2021, 16, 393–404. [Google Scholar] [CrossRef] [Scilit]
- Mazzetto, M.; Teixeira, M.; Rodrigues, É.O.; Casanova, D. Deep learning models for visual inspection on automotive assembling line. arXiv 2020, arXiv:2007.01857. [Google Scholar]
- Maack, R.F.; Tercan, H.; Meisen, T. Deep learning based visual quality inspection for industrial assembly line production using normalizing flows. In Proceedings of the 2022 IEEE 20th International Conference on Industrial Informatics (INDIN), Perth, Australia, 25–28 July 2022; pp. 329–334. [Google Scholar]
- Plathottam, S.J.; Rzonca, A.; Lakhnori, R.; Iloeje, C.O. A review of artificial intelligence applications in manufacturing operations. J. Adv. Manuf. Process. 2023, 5, e10159. [Google Scholar] [CrossRef] [Scilit]
- Citlak, T.; Pillay, N. Real-time object classification on an enamel paint coating conveyor line using mask R-CNN. Automation 2024, 5, 213–229. [Google Scholar] [CrossRef] [Scilit]
- Ma, H.; Lee, S. Smart system to detect painting defects in shipyards: Vision AI and a deep-learning approach. Appl. Sci. 2022, 12, 2412. [Google Scholar] [CrossRef] [Scilit]
- Luo, X.; Li, H.; Cao, D.; Yu, Y.; Yang, X.; Huang, T. Towards efficient and objective work sampling: Recognizing workers’ activities in site surveillance videos with two-stream convolutional networks. Autom. Constr. 2018, 94, 360–370. [Google Scholar] [CrossRef] [Scilit]
- Kim, J.; Chi, S. Action recognition of earthmoving excavators based on sequential pattern analysis of visual features and operation cycles. Autom. Constr. 2019, 104, 255–264. [Google Scholar] [CrossRef] [Scilit]
- Chen, C.; Zhu, Z.; Hammad, A. Automated excavators activity recognition and productivity analysis from construction site surveillance videos. Autom. Constr. 2020, 110, 103045. [Google Scholar] [CrossRef] [Scilit]
- Roberts, D.; Golparvar-Fard, M. End-to-end vision-based detection, tracking and activity analysis of earthmoving equipment filmed at ground level. Autom. Constr. 2019, 105, 102811. [Google Scholar] [CrossRef] [Scilit]
- Liao, K.-C.; Lau, J.; Hidayat, M. An innovative aircraft skin damage assessment using you only look once-version9: A real-time material evaluation system for remote inspection. Aerospace 2025, 12, 31. [Google Scholar] [CrossRef] [Scilit]
- Ramalingam, B.; Manuel, V.-H.; Elara, M.R.; Vengadesh, A.; Lakshmanan, A.K.; Ilyas, M.; James, T.J.Y. Visual inspection of the aircraft surface using a teleoperated reconfigurable climbing robot and enhanced deep learning technique. Int. J. Aerosp. Eng. 2019, 2019, 5137139. [Google Scholar] [CrossRef] [Scilit]
- Liu, M.; Wang, H.; Du, L.; Ji, F.; Zhang, M. Bearing-detr: A lightweight deep learning model for bearing defect detection based on rt-detr. Sensors 2024, 24, 4262. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Li, D.; Yang, P.; Zou, Y. Optimizing insulator defect detection with improved DETR models. Mathematics 2024, 12, 1507. [Google Scholar] [CrossRef] [Scilit]
- Liu, Z.; Cao, Y.; Wang, Y.; Wang, W. Computer vision-based concrete crack detection using U-net fully convolutional networks. Autom. Constr. 2019, 104, 129–139. [Google Scholar] [CrossRef] [Scilit]
- Zhang, J.; Qian, S.; Tan, C. Automated bridge surface crack detection and segmentation using computer vision-based deep learning model. Eng. Appl. Artif. Intell. 2022, 115, 105225. [Google Scholar] [CrossRef] [Scilit]
- Karaaslan, E.; Bagci, U.; Catbas, F.N. Artificial intelligence assisted infrastructure assessment using mixed reality systems. Transp. Res. Rec. 2019, 2673, 413–424. [Google Scholar] [CrossRef] [Scilit]
- Shamsabadi, E.A.; Xu, C.; Rao, A.S.; Nguyen, T.; Ngo, T.; Dias-da-Costa, D. Vision transformer-based autonomous crack detection on asphalt and concrete surfaces. Autom. Constr. 2022, 140, 104316. [Google Scholar] [CrossRef] [Scilit]
- Younesi Heravi, M.; Dola, I.S.; Jang, Y.; Jeong, I. Edge AI-enabled road fixture monitoring system. Buildings 2024, 14, 1220. [Google Scholar] [CrossRef] [Scilit]
- Liu, X.; Yang, X.; Shao, L.; Wang, X.; Gao, Q.; Shi, H. GM-DETR: Research on a defect detection method based on improved DETR. Sensors 2024, 24, 3610. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Huang, F.; Zheng, L.; Wen, H.; Dai, M.; Zhang, Z. A novel data augmentation method for few-shot industrial surface defect detection based on segment anything model adapter. J. Intell. Manuf. 2025, 37, 2611–2631. [Google Scholar] [CrossRef] [Scilit]
- Wei, Z.; Ma, X.; Yan, R.; Tu, T.; Chen, H.; Zheng, J.; Jin, Y.; Chen, E. Rein++: Efficient generalization and adaptation for semantic segmentation with vision foundation models. IEEE Trans. Pattern Anal. Mach. Intell. 2026, 48, 9826–9843. [Google Scholar] [CrossRef] [Scilit] [PubMed]
- Liang, X.; Wang, Z.; Liu, J. Towards a self-cognitive complex product design system: A fine-grained multi-modal feature recognition and semantic understanding approach using large language models in mechanical engineering. Adv. Eng. Inform. 2025, 65, 103265. [Google Scholar] [CrossRef] [Scilit]
- Chen, Z.; Chen, H.; Imani, M.; Imani, F. Can multimodal large language models be guided to improve industrial anomaly detection? In Proceedings of the International Design Engineering Technical Conferences and Computers and Information in Engineering Conference, Anaheim, CA, USA, 17–20 August 2025; American Society of Mechanical Engineers: New York, NY, USA, 2025; p. V02BT02A051. [Google Scholar]
- Xu, Q.; Wen, G.; Lei, Z.; Gu, S.; Su, Y.; Zhang, Z.; Chen, X. Deep digital twin-powered large vision-language model for multi-scenario industrial fault diagnosis. Adv. Eng. Inform. 2026, 69, 103997. [Google Scholar] [CrossRef] [Scilit]
- Nguyen, P.; Kim, M.; Nichols, E.; Yoon, H.-S. AI-Driven Digital Twins for Manufacturing: A Review Across Hierarchical Manufacturing System Levels. Sensors 2025, 26, 124. [Google Scholar] [CrossRef] [Scilit] [PubMed]
Авторы: Minjung Kim, Hwan-Sik Yoon
