Производители сталкиваются с двумя противоположными проблемами: растущим спросом на продукцию, изготовленную на заказ, и необходимостью сокращения сроков поставки. Для удовлетворения этих ожиданий производители должны совершенствовать свои процессы, чтобы достичь высокой эффективности и автономности производства. Существующее производственное оборудование, используемое на многих предприятиях, хотя и надежно и позволяет производить качественную продукцию, часто не обладает возможностью использовать достижения новых технологий.
Поскольку замена устаревшего оборудования может быть финансово нецелесообразной для многих производителей, внедрение методов и технологий цифровой трансформации может преодолеть указанные недостатки и предложить экономически доступные инициативы по улучшению операций, повышению производительности и снижению затрат. В данной статье рассматривается внедрение компьютерного зрения как передовой, экономически эффективной, открытой технологии цифровой трансформации на производственных предприятиях.
Как быстро развивающаяся технология, компьютерное зрение имеет потенциал для трансформации производственных операций в целом и контроля качества в частности. В исследовании интегрировано приложение цифрового двойника на конечной точке сборочной линии, эффективно выполняющее роль специалиста по качеству за счет использования современных алгоритмов компьютерного зрения для проверки ориентации сборки конечного продукта.
Предложенный цифровой двойник, использующий инновационный подход к распознаванию объектов, эффективно классифицирует объекты, выявляет и сегментирует ошибки при сборке, а также планирует пути передачи данных к соответствующему роботу для автономной коррекции. Это сводит к минимуму необходимость участия человека и уменьшает сбои в производственных процессах.
Введение
Производственный сектор сталкивается с беспрецедентными проблемами, обусловленными рядом факторов, таких как: растущие объемы инструментов и сырья, сложное управление запасами, большое количество незавершенной продукции, проблемы/сбои в цепочке поставок и необходимость в квалифицированном и компетентном человеческом взаимодействии. Эти факторы не только замедляют темпы производства, но и способствуют росту затрат на рабочую силу, вынуждая производителей разрабатывать инновационные решения для поддержания конкурентоспособности.
В качестве средства смягчения этих проблем производители активно стремятся внедрять методы цифровой трансформации в свои различные операции, чтобы снизить затраты на рабочую силу, сохраняя при этом стандарты производства (Zhang et al., 2022). Для обеспечения устойчивости производства производители должны уделять приоритетное внимание внедрению инструментов и технологий цифровой трансформации в свои различные операции для автоматизации и улучшения бизнес-процессов, повышения эффективности цепочки поставок и гибкости (Oztemel, 2020a , 2020b).
Цифровая трансформация революционизирует производственную отрасль, интегрируя взаимосвязанные компоненты в заводскую среду. Эта интеграция способствует гибкому производству (Dey et al., 2021), удаленному выполнению производственных заказов (Xia et al., 2021), мониторингу в реальном времени (Li et al., 2022), прогнозирующему/предписывающему техническому обслуживанию (Him et al., 2020) и автоматизированной инспекции (Sacco, 2019), а также многим другим достижениям.
Этот переход к цифровой трансформации обусловлен необходимостью повышения гибкости, чему способствуют последние достижения в области кибер-инфраструктуры, такие как микроустройства, подключенные через Интернет вещей (IoT), облачное хранение данных, анализ данных и искусственный интеллект (ИИ).
Внедрение этих достижений сделало цифровую трансформацию краеугольным камнем разработки продуктов и процессов, позволяя производителям создавать эффективные цифровые решения, отвечающие меняющимся потребностям клиентов как в стандартных, так и в индивидуальных продуктах. Исследование, проведенное командой по цифровой трансформации General Electric, показало, что 87% руководителей предприятий считают цифровую трансформацию приоритетной задачей (Юсиф, 2021).
Эти востребованные инструменты цифровой трансформации предназначены для обработки больших объемов данных, позволяя осуществлять виртуальное планирование продуктов и процессов от этапов моделирования и симуляции до изготовления в режиме реального времени.
Кроме того, приложения цифровой трансформации могут использоваться для точного прогнозирования ключевых показателей эффективности (KPI), таких как надежность, производительность, гибкость и ремонтопригодность на производственных предприятиях. Эти цифровые модели поддерживаются данными, собранными с интегрированных датчиков, которые затем используются для прогнозирования производительности системы, отказов, оценки различных сценариев, повышения эффективности и снижения энергопотребления и затрат (Гаутам Дутта, 2021).
Появление технологий цифровой трансформации позволяет использовать необработанные данные из различных процессов, включая моделирование, изготовление, сборку, тестирование, обнаружение неисправностей, цепочку поставок и кибербезопасность, при создании интеллектуальных продуктов. Такое комплексное использование данных не только улучшает проектирование и жизненный цикл продукта, но и повышает общую эффективность производства, как показано на рис. 1.
В инженерии использование инструментов цифровой трансформации, таких как программное обеспечение для автоматизированного проектирования/производства (CAD/CAM), анализ методом конечных элементов (FEA) и моделирование вычислительной гидродинамики (CFD), имеет решающее значение для виртуального планирования продукта и процесса. Современные методы цифровой трансформации предполагают конвергенцию этих инженерных инструментов с вычислительными технологиями, создавая синергетическую систему для повышения эффективности.
Одновременно с этим, в информатике алгоритмы машинного обучения (ML) и анализ больших данных поддерживают цифровую трансформацию, обеспечивая прогнозируемое/предписывающее техническое обслуживание и мониторинг производственных процессов в режиме реального времени. Слияние этих областей приводит к цифровому двойнику всего процесса, преодолевая разрыв между физическим и цифровым пространством в производстве. Конечная цель этих приложений цифровой трансформации — преобразование автоматизированной производственной базы в высокоэффективное автономное предприятие.
Рис. 1. Процесс цифровой трансформации
Этот подход должен использовать новые технологии и методы, такие как облачные вычисления, машинное обучение, ИИ, Интернет вещей и смешанная реальность. Кроме того, важно отметить, что использование этой цифровой революции не уменьшает роль человеческого фактора в рабочем процессе, а, наоборот, подчеркивает и усиливает его (Юсиф, 2021). Производственные операции функционируют как сложная адаптивная система (САС), характеризующаяся множеством взаимодействующих агентов, которые адаптируются и развиваются в ответ на изменения в окружающей среде (Моностори, 2008).
Производственные операции относятся к категории сложных адаптивных систем (САС) из-за их сложной структуры — машин, материалов и людей, — которые взаимодействуют для создания конечной продукции. Цифровая трансформация представляет собой сдвиг парадигмы в том, как отдельные лица и организации воспринимают технические проблемы. Этот новый подход сочетает в себе системные стратегии решения проблем, снижение затрат, создание продуктов и децентрализацию для решения проблем с помощью инновационных методов и мышления, а также интенсивного стремления к совершенствованию.
Внедрение цифровой трансформации обещает сокращение затрат и времени, одновременно повышая общее качество. Эффективная реализация цифровой трансформации выходит за рамки простого использования передовых технологий и требует также обучения и повышения квалификации всех пользователей. Ключевые технологии для успешной программы цифровой трансформации включают киберфизические системы,
Интернет вещей (IoT), цифровые двойники, виртуальную и дополненную реальность, облачные вычисления и моделирование. Несмотря на эти достижения, в процессе внедрения возникают пять основных проблем: работа с устаревшими системами, управление, интеграция, коммуникация и кибербезопасность. После решения этих проблем цифровая трансформация позволяет понимать события, в конечном итоге стремясь к автономной коррекции работы машин, закладывая основу для целостной интеллектуальной фабрики.
В прошлом производители реагировали на растущие требования клиентов к более широкому ассортименту продукции, лучшему сервису и сокращению сроков доставки, внедряя такие стратегии, как 5S (метод организации рабочего места), Lean Six Sigma (методология улучшения процессов), а также расширяя штат сотрудников и закупая больше производственных линий и оборудования. Однако сейчас эти решения сталкиваются с общеотраслевой нехваткой рабочей силы в Соединенных Штатах, а стремление к расширению бизнеса часто сдерживается ограничениями по площади производственных помещений.
В условиях ограниченных ресурсов, таких как квалифицированная рабочая сила и земельные участки, производители все чаще вынуждены внедрять инновации. Для удовлетворения этих меняющихся требований производители прибегают к инициативам цифровой трансформации, таким как автоматизация и анализ данных, в своих производственных и сборочных системах. Производство разнообразной, сложной продукции повышает вероятность возникновения неисправностей.
Для минимизации неисправностей и остановок производственных линий крайне важно повысить гибкость производственных линий за счет перехода от полуавтоматизированных и автоматизированных систем к полностью автономным. Одна из перспективных стратегий достижения такой гибкости в производственных линиях включает интеграцию алгоритмов компьютерного зрения, позволяющих производственным линиям избегать немедленных остановок и сохранять автономность.
Начиная с машинного зрения для автоматизированного визуального контроля, эти алгоритмы могут выполнять обнаружение неисправностей, классификацию объектов, локализацию/сегментацию дефектов, открывая путь к автономной коррекции машинных ошибок. По мере расширения их возможностей, они могут быть расширены для других применений на производственном предприятии, таких как безопасность и упаковка. Эти приложения компьютерного зрения способствуют подходу к «пониманию событий», помогая в принятии решений в производственных системах и прокладывая путь к целостному автономному подходу к пониманию событий.
Статья состоит из пяти разделов: во втором разделе представлен обзор литературы по процессам и продуктам цифровой трансформации в производстве, обсуждаются их возможности, такие как автоматизированный контроль, обнаружение неисправностей и внедрение глубокого обучения. Кроме того, во втором разделе авторы подробно рассматривают алгоритмы, лежащие в основе систем компьютерного зрения, и цели создания более экономически эффективных инструментов цифровой трансформации.
В третьем разделе представлена оценка пробелов в применении цифровых двойников и описаны компоненты предлагаемых систем. В четвертом разделе авторы представляют результаты применения цифровых двойников, их возможности и влияние, которое они могут оказать на производственное предприятие. В пятом разделе представлены заключение, планы на будущее и благодарности.
Литературный обзор
Данный раздел обзора литературы начинается с рассмотрения различных продуктов, полученных в результате процесса цифровой трансформации, а именно цифровых моделей, цифровых теней и цифровых двойников. Затем в нем разъясняются причины перехода от ручного к автоматизированному контролю, обсуждается значение этого перехода для современных производственных процессов. Проводится сравнительный анализ автоматизированного контроля и автоматизированного визуального контроля (AVI), подчеркиваются их преимущества в обнаружении дефектов и потенциальная роль в повышении эффективности производства.
Кроме того, в этом разделе представлен всесторонний обзор разнообразных применений AVI в различных отраслях промышленности, дополненный анализом предыдущих тематических исследований для иллюстрации его реального применения и эффективности.
В заключительной части статьи представлено экономичное, открытое и точное приложение для создания цифровых двойников, предназначенное для проведения автоматизированного мониторинга и оценки. Предлагаемое решение специально разработано для обнаружения неисправностей и автономной коррекции машинных ошибок, предлагая потенциальный путь преодоления распространенных проблем при внедрении цифровой трансформации, выявленных в литературе.
Цель состоит в том, чтобы подчеркнуть ценность AVI в формировании будущего производственных процессов, а также смягчить сложности, связанные с внедрением стратегий цифровой трансформации в производственном секторе.
Разграничение цифровых моделей, теней и двойников: определение продуктов цифровой трансформации
В дискурсе о цифровой трансформации такие термины, как цифровые модели, цифровая трансформация и цифровые двойники, часто используются взаимозаменяемо, что приводит к путанице. Важно понимать, что цифровая трансформация представляет собой процесс, применяемый к различным компонентам — будь то машины, процессы или системы. Желаемый результат этого применения определяет, какой продукт — цифровые модели, цифровые копии или цифровые двойники — создается в результате процесса цифровой трансформации (Киркпатрик, 2022).
Проще говоря, процесс цифровой трансформации, в зависимости от его применения и предполагаемой потребности, приводит к созданию одного из этих трех различных цифровых представлений. Крайне важно понимать, что не каждая ситуация требует сложности и всесторонней интеграции данных, характерных для цифрового двойника; иногда потребности проекта могут быть в достаточной мере удовлетворены с помощью цифровой модели или цифровой копии. Эти три продукта, а именно цифровые модели, цифровые копии и цифровые двойники, различаются уровнем интеграции данных между физической системой и ее цифровым аналогом.
Каждый из них представляет собой уникальный этап процесса цифровой трансформации, предлагая различные уровни взаимодействия и синхронизации с физическим объектом, который он представляет. Цифровая модель представляет собой цифровое отображение физического объекта, но в ней отсутствует автоматическая передача данных между цифровым и физическим объектами. К таким цифровым моделям могут относиться, помимо прочего, CAD-модели, имитационные модели планируемых заводов, математические модели, такие как программные скрипты, и алгоритмы машинного обучения. Важно отметить, что любые изменения в поведении физической системы не влияют на цифровую модель, и наоборот, как показано на рис. 2.
Следующий уровень — цифровая тень, обеспечивающая более динамичное взаимодействие. Это цифровое отображение физического объекта с односторонним автоматизированным потоком данных от физического объекта к цифровому. Это означает, что любые изменения в физической системе отражаются в цифровой тени, а обратное не происходит. Наконец, наиболее сложной формой является цифровой двойник, характеризующийся двунаправленной автоматизированной интеграцией данных. В этом случае любое изменение в физической системе влияет на состояние цифрового объекта, и наоборот (Вернер Крицингер, 2018). Взаимосвязи между этими тремя категориями визуализированы на рис. 2.
Рис. 2. Продукты цифровой трансформации
Понимание различий между этими концепциями имеет решающее значение, поскольку оно определяет, как данные используются и контролируются в процессе цифровой трансформации. Например, рассмотрим производственное подразделение: цифровая модель может использоваться для первоначального проектирования и планирования, фиксируя чертеж оборудования.
С другой стороны, цифровая копия, отслеживающая данные об оборудовании в режиме реального времени, может дать представление о текущей производительности и потенциальных проблемах. Существует также цифровой двойник, который не только отражает состояние в реальном времени, но и позволяет проводить тестирование сценариев и потенциально осуществлять удаленное управление, предоставляя информацию в режиме реального времени и обеспечивая адаптивность производственных процессов. Таким образом, выбранная глубина интеграции будет соответствовать конкретным потребностям системы, подвергающейся цифровой трансформации.
Переход к автоматизированному визуальному контролю в современном производстве
В условиях стремительного развития производства и массового производства традиционные методы ручного визуального контроля с трудом справляются с растущими потребностями рынка. Хотя ручной визуальный контроль остается актуальным в определенных контекстах, его возможности постепенно уступают место более современным методам из-за существующих ограничений. К ним относятся значительные временные затраты, трудоемкость, утомительность и высокая стоимость, усугубляемые необходимостью наличия опытных инспекторов (Билли, 2019) (Шлоссер и др., 2022a , 2022b).
Рабочие смены должны быть ограничены двухчасовыми, поскольку ошибки могут возникать из-за напряжения глаз, что приводит к ослаблению зрительной различимости и снижению надежности. Ручной контроль может увеличить себестоимость производства, поскольку некоторые задачи контроля требуют много времени (Прието, 2002). Поскольку предприятия по всей территории Соединенных Штатов сталкиваются с нехваткой рабочей силы и стремятся к расширению бизнеса, одним из эффективных решений является перераспределение труда инспекторов в области, требующие более квалифицированных операторов, что соответствует принципам интеллектуального производства.
С появлением современных производственных технологий, обеспечивающих высокоскоростное производство, возникает острая необходимость в быстрых, автономных системах контроля. Такие системы не только соответствуют быстрому темпу современного производства, но и позволяют более эффективно контролировать сложные детали (Prieto, 2002) (Kuo et al., 2019). Эта потребность в эффективности и точности привела к появлению автоматизированной инспекции — технологии, нашедшей широкое применение в различных областях исследований. Автоматизированные системы инспекции, использующие такие инструменты, как лазерные датчики для проведения измерений (Blais, 2003 ), не только оптимизируют процесс инспекции, но и повышают его точность и повторяемость.
Они способны выполнять такие задачи, как определение ориентации перед этапом измерений (Brysch et al., 2022), а также точно и последовательно определять физические свойства объекта, такие как геометрическая точность, текстура, отверстия, цвет и яркость. Что особенно важно, автоматизированные системы инспекции могут обнаруживать различные типы дефектов, включая трещины, несоответствия размеров, дефекты корпуса, коррозию, изменения глубины, смещения и проблемы с контрастом, которые могут быть пропущены при ручной инспекции из-за человеческой ошибки (Wong, 2017).
В свете этих преимуществ переход от ручного к автоматизированному контролю представляет собой ключевой этап в цифровой трансформации производства, повышая как производительность, так и качество продукции. Он демонстрирует, как цифровая трансформация, посредством автоматизированного контроля, может преодолеть человекоцентричные ограничения традиционных методов контроля, способствуя созданию более надежного и эффективного производственного сектора.
Автоматизация повысила производительность и улучшила взаимодействие между устройствами. Она повысила общую эффективность процессов за счет сокращения трудозатрат человека, что приводит к уменьшению количества человеческих ошибок в таких важных задачах, как ручная проверка (Reem Ashima, 2021) (Sun et al., 2016).
В различных отраслях промышленности автоматизированный контроль применяется в таких областях, как инфраструктура мостов (Yeum & Dyke, 2015), композиты из углеродного волокна (Christopher Sacco, 2020) (Sacco CR, 2019) (Sacco 2018) (Meister et al., 2021), кабели (Supriya, 2021) (Klinieam, 2021), машины (Hussien, 2012 ), нефте- и газопроводы и резервуары (Shukla 2013) (Shukla 2016), качество материалов (Kwak et al., 2000 ), различные продукты в сельскохозяйственной и пищевой промышленности (Tadhg Brosnan, 2002) (Misra et al., 2020) и транспортные средства (Livanos, 2018) (Schäfer, 2016).
В последнее десятилетие автоматизированный контроль осуществлялся с помощью контактных устройств, требующих неподвижного положения детали и ее тщательного размещения. Однако основным недостатком автоматизированного контроля с помощью контактных датчиков является возможность повреждения поверхности изделия (Prieto, 2002) (Wong, 2017).
В этом десятилетии исследования сместили акцент на автоматизированный визуальный контроль (AVI), также известный как машинное зрение (Billie F. Spencer, 2019). Автоматизированный визуальный контроль может применяться без физического контакта с изделиями. Это снижает необходимость остановки производственной линии и не требует точного позиционирования, что полезно для контроля деталей, изготовленных из мягких материалов (Lin, 2019). Кроме того, вспышка COVID-19 привела к значительному прогрессу в применении цифровых технологий, включая компьютерное зрение, для повышения безопасности производства.
Технологии автоматизации и компьютерного зрения обладают потенциалом для повышения эффективности планирования безопасности, управления рисками и обучения персонала в обрабатывающей промышленности, особенно в контексте постпандемических правил безопасности (Khandelwal, 2020) (Guo, 2017) (Guo, 2018). Автоматизированный визуальный контроль имеет важное значение в производственном процессе и на производственной линии, поскольку визуальный контроль позволяет обнаруживать дефекты, влияющие на внешний вид продукции, и предотвращать отзыв продукции. Более того, эти дефекты продукции могут влиять на работу машин, роботов и инструментов на производственной линии (Konrad, 2019 ) (Singh & Desai, 2022).
Именно эти возможности, а также способность сократить трудозатраты, являются причиной того, что данная статья будет посвящена дальнейшему совершенствованию возможностей автоматизированного визуального контроля.
Основные методы и возможности адаптации автоматизированного визуального контроля
Развитие автоматизированной визуальной инспекции (AVI), метода контроля, использующего технологии машинного зрения, знаменует собой революцию в приложениях контроля качества и производственных линиях. Благодаря своей универсальности, AVI может быть интегрирована в производственные системы различного масштаба, от небольших печатных плат (PCB) до крупномасштабных летательных аппаратов (Wong, 2017).
Эта гибкость подчеркивает широкую область применения AVI. Такие методы, как оптическая микроскопия (Campos Rubio, 2008) (Simon Gaugel, 2016), цифровая фотография (Schlosser et al., 2022a , 2022b) (Aminzadeh & Kurfess, 2019) (Schlosser et al., 2022a, 2022b) (Aminzadeh & Kurfess, 2019), а также 3D-сканирование и тепловизионная съемка, лежат в основе функциональности AVI, каждый из которых имеет свои уникальные преимущества и ограничения.
Несмотря на мощные возможности анализа сложных дефектов и широкое применение в областях, требующих точного анализа материалов, таких как материаловедение, нанотехнологии и биомедицинские исследования, оптическая микроскопия ограничена в своем применении для быстрых крупномасштабных проверок на производственных и сборочных предприятиях из-за ее изначально малого поля зрения и ограниченной области применения (Саймон Гаугель, 2016) (Эндрю Хречук, 2018).
Цифровая фотография является предпочтительным методом визуализации в промышленности благодаря балансу между полем зрения и разрешением, а устройства визуального контроля широко используются на производственных линиях для снижения затрат, повышения надежности и увеличения выхода годной продукции (Сзу-Хао Хуанг, 2015). Другие методы, такие как 3D-сканирование и тепловизионная съемка, также дополняют системы AVI, повышая надежность и универсальность автоматизированного контроля. 3D-сканирование предоставляет пространственные данные об проверяемом объекте, позволяя обнаруживать дефекты, которые могут быть пропущены при 2D-визуализации (Ханзаде и др., 2018).
Тепловизионная диагностика выявляет неисправности на основе изменений температуры, что делает ее полезной в таких отраслях, как электроника и строительство (Manjeshwar et al., 2005). Выбор каждого метода в AVI определяется конкретными требованиями к контролю, что способствует его адаптивности и эффективности в контроле качества в различных отраслях. Вычислительные алгоритмы играют решающую роль в снижении производственных затрат, повышении надежности и увеличении выхода годной продукции (Szu-Hao Huang, 2015), открывая новую эру оптимизированного и экономически эффективного производства.
Более того, при обсуждении AVI часто встречаются и взаимозаменяемо используются термины «машинное зрение» и «компьютерное зрение» (Sun et al., 2016). Компьютерное зрение — это широкая область, охватывающая обработку изображений, анализ, понимание и развитие сенсорных технологий, опирающаяся на различные дисциплины, такие как математика, физика, информатика и искусственный интеллект.
Машинное зрение, однако, фокусируется на применении технологий компьютерного зрения в промышленных и производственных условиях, в первую очередь для автоматизации таких процессов, как контроль качества и инспекция. Эта междисциплинарная интеграция является неотъемлемой частью ее обширного характера и непрерывного развития (Davies, 2012).
На этом фоне становится очевидным, почему AVI — практическое применение машинного зрения — приобретает все большее значение в области обнаружения дефектов в различных отраслях промышленности. Интегрируя методы компьютерного зрения с производственными процессами, AVI предлагает мощный, адаптируемый инструмент для контроля качества, обеспечивая целостность продукции и, в конечном итоге, повышая общую эффективность работы.
В области аудиовизуальной съемки (AVI) достигнут значительный прогресс благодаря развитию различных приложений и методов. К ним относятся представление изображений, которое преобразует визуальную информацию в форматы, удобные для алгоритмов, и сопоставление шаблонов, специализирующееся на поиске идентичных или похожих фрагментов изображения, соответствующих предопределенным шаблонам, для эффективного обнаружения объектов в одинаковых условиях. Более того, алгоритмы классификации образов значительно продвинулись в улучшении AVI.
Такие методы, как машины опорных векторов (SVM), деревья решений и нейронные сети, стали ключевыми инструментами, способными классифицировать сложные образы по предопределенным классам, тем самым более эффективно обрабатывая вариации во внешнем виде объектов. В совокупности эти методы и достижения составляют основу современной AVI, знаменуя собой значительный прогресс в этой области (Szu-Hao Huang, 2015 ) (Wang Peng, 2021) (Zvezdan Lončarević, 2021).
Например, система AVI была использована для обеспечения заданных параметров качества уплотнений автомобильных подшипников (К. Ашвини, 2021), что демонстрирует ее потенциал в автомобильной промышленности. Система AVI также доказала свою универсальность в сложных сценариях контроля. Эта гибкость была продемонстрирована при использовании AVI для проверки дефектов на изогнутых поверхностях, таких как те, которые встречаются в компонентах аэрокосмических или автомобильных деталей (Ван Пэн, 2021).
Пищевая промышленность также извлекла выгоду из использования AVI для выявления таких дефектов, как деформация, складки и пузырьки в картонных упаковках (Йонгдон, 2014). В области обслуживания инфраструктуры была разработана полностью автоматизированная система для проверки линий электропередачи под напряжением. Эта система, включающая обработку изображений и сигнальных данных, автоматически обнаруживает дефекты или аномальные состояния, что является наглядным примером адаптивности системы AVI (Пагнано, 2013).
Влияние AVI на производство было продемонстрировано на примере обнаружения дефектов изготовления в массовом производстве носителей информации для жестких дисков (Chow, 2012) и инновационного алгоритма компьютерного зрения для обнаружения повреждений в композитах из углеродного волокна (Caggiano, 2017).
Кроме того, в области контроля композитных материалов была разработана автономная система для обнаружения повреждений вокруг просверленных отверстий в композитах с использованием глубокого высокоэффективного алгоритма полностью сверточных нейронных сетей (Ali Maghami, 2021). AVI была интегрирована в автоматизированный процесс производства термопластов на основе роботов с неразрушающим контролем в режиме реального времени для исследования влияния сварочных швов (Armin Huber, 2019 ).
Эти исследования в совокупности подчеркивают разнообразные области применения и непрерывную эволюцию AVI, выделяя ее незаменимую роль в различных отраслях промышленности и потенциал для дальнейшего развития (Таблица 1).
Таблица 1. Основные выводы и вклад обзора литературы.
| Раздел | Еда на вынос | Вклад |
|---|---|---|
| 2.1 Разграничение цифровых моделей, теней и двойников: определение продуктов цифровой трансформации | Разъясняются концепции и варианты использования цифровых моделей, цифровых теней и цифровых двойников. | В книге даются основные определения и разграничения между типами цифровых представлений и их применением. Подчеркивается, что выбор между ними определяется конкретными потребностями и желаемыми результатами цифровой трансформации. |
| 2.2 Автоматизированный визуальный осмотр | Повышает производительность и качество продукции. | Сокращает ручной труд; повышает как качество продукции, так и производительность. |
| 2.3 Основные методы и возможности адаптации автоматизированного визуального контроля | Повышает надежность системы и экономическую эффективность. | В статье подробно рассматривается спектр методов (оптическая микроскопия, цифровая фотография, 3D-сканирование, тепловизионная съемка и т. д.), а также их конкретные преимущества и ограничения; обсуждается роль вычислительно эффективных алгоритмов; подчеркивается адаптивность и применение AVI в различных отраслях, включая его роль в решении задач обнаружения неисправностей в реальном времени. |
| 2.4 Обзор алгоритмов, лежащих в основе приложений AVI в промышленности | Ограниченный процент успеха обусловлен недостатком данных и финансовыми ограничениями. | В статье освещаются ограничения, связанные с потребностями в обработке и хранении данных; рассматриваются высокие затраты на внедрение комплексных решений. |
| Вклад в научную статью | Разработайте приложение компьютерного зрения, используя экономически эффективные альтернативы с открытым исходным кодом, воспользовавшись преимуществами AVI и минимизировав затраты на внедрение. | |
Несмотря на эти значительные достижения, система AVI сталкивается со значительными проблемами, особенно в области обнаружения неисправностей в реальном времени. Эти препятствия выходят за рамки механических компонентов и распространяются на промышленные системы, такие как электрические и гидравлические системы (Klinieam, 2021) (Cemenska, 2015) (Badmos et al., 2020). Эти системы подвержены непредсказуемым условиям окружающей среды и потенциальному повреждению из-за таких факторов, как акустическое излучение, случайные удары, низкое качество электроэнергии, вибрации или дисбаланс питания. В ответ на эти проблемы система AVI становится важнейшим решением, а её передовые возможности и адаптивность ставят её в авангард решения промышленных задач.
Заметный рост использования систем автоматизированного мониторинга (AVI) в последние годы, особенно в области обнаружения дефектов продукции, свидетельствует об их способности повышать надежность, безопасность, энергоэффективность и экономичность системы. Благодаря раннему обнаружению и диагностике неисправностей, AVI является важнейшим ответом на промышленные вызовы, тем самым подчеркивая свою значительную важность в современном производственном секторе.
Этот рост обусловлен повышенным вниманием со стороны регулирующих органов, таких как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA), которые стремятся обеспечить безопасность потребителей и пациентов (Руис Фернандес, 2020). AVI станет важнейшим аспектом в таких отраслях, как фармацевтика, пищевая промышленность и производство медицинских изделий, где дефекты продукции могут иметь серьезные последствия как для потребителей, так и для производителей.
Внедрение AVI в эти сектора направлено на сокращение количества отзывов продукции, тем самым уменьшая потенциальный ущерб репутации компании и снижая затраты. Благодаря использованию вычислительно эффективных алгоритмов, системы AVI обещают проверки, отличающиеся высокой точностью и надежностью, что приводит к увеличению выхода продукции и снижению производственных затрат. Продолжающиеся исследования и будущие достижения в области AVI сулят хорошие перспективы для постоянной оптимизации и повышения надежности процессов контроля качества продукции.
Алгоритмы AVI
Эволюция алгоритмов AVI и производственных систем
Алгоритмы автоматизированного обнаружения объектов (AVI) претерпели значительные усовершенствования для решения сложных задач и требований, связанных с процессами контроля в производственных условиях. Баланс между ручной обработкой признаков и фактической производительностью часто зависит от возможностей базового алгоритма. Для решения этих задач глубокая нейронная сеть приобрела популярность, особенно сверточные нейронные сети (CNN). CNN произвели революцию в приложениях, связанных с промышленной безопасностью и мониторингом (Ren, He, Girshick, & Sun, 2016).
Ключевое преимущество CNN заключается в их способности автоматизировать обнаружение объектов, используя закономерности в больших наборах данных. Следовательно, они превосходно справляются с выявлением дефектов в конструкциях, распознаванием небезопасного поведения и даже определением точных поз рабочих на объекте (Ding et al., 2018) (Valero et al., 2016). Поэтому они широко используются в приложениях, связанных с дефектами продукции.
Методы, основанные на сверточных нейронных сетях (CNN), отличаются способностью автоматически извлекать признаки, устраняя необходимость в ручной разработке признаков. Это позволяет им быть легко адаптируемыми к разнообразным и динамичным средам, таким как промышленные объекты (Girshick, 2015 ) (Redmon & Farhadi, 2017). Развивая эту идею, Фанг и др. представили подход «Улучшенные более быстрые регионы с признаками сверточной нейронной сети (IFaster R-CNN)», который не только превосходно справляется с распознаванием объектов в реальном времени, но и превосходит по производительности существующие передовые методы обнаружения объектов (Fang et al., 2018).
Помимо IFaster R-CNN, существует несколько широко используемых методов глубокого обучения для обнаружения объектов, включая Mask R CNN (He et al., 2017), Faster R-CNN (Jiang et al., 2021), YOLO (Terven & Cordova-Esparza, 2023) и Single Shot Multibox Detector (SSD) (Liu et al., 2016). Каждый метод обладает своими уникальными преимуществами и возможностями. Например, хотя Faster R-CNN известен своей точностью, он может сталкиваться с проблемами при обнаружении объектов малого масштаба из-за ограничений в своей сети предложений регионов (RPN) (Kim et al., 2016). Для решения этой проблемы была предложена улучшенная версия Faster R-CNN, оптимизирующая точность обнаружения объектов в разных масштабах за счет включения более широкого диапазона площадей прямоугольников и соотношений сторон (Ren et al., 2016).
В рамках области применения данной работы эти механизмы глубокого обучения использовались в различных сценариях контроля дефектов продукции. Был разработан автоматизированный механизм визуального контроля качества с использованием CNN для извлечения признаков (Wang et al., 2018). Эта модель была протестирована на эталонном наборе данных и превзошла точность и скорость обнаружения других методов. Однако R-CNN также исследовался в этом контексте для обнаружения дефектов древесного шпона, позволяя классифицировать и локализовать дефекты с точностью 98,70% (Shi, Li, Zhu, Wang, & Ni, 2020). Вслед за этим, реализации Faster R-CNN также можно найти в таких приложениях, как дефекты в смесителях, которые были отшлифованы и отполированы (Liu et al., 2021), и в производстве ступиц колес (Sun et al., 2019).
Помимо разработки алгоритмов, системы управления производством вышли за рамки стандартов автоматизации, определенных в рамках Индустрии 3.0. Это связано с дополнительными возможностями, необходимыми для поддержания производства, способного удовлетворять рыночные потребности. Некоторые из этих возможностей включают отказоустойчивость (Djordjevic, et al., 2023) (Stojanovic, 2023) (Song et al., 2023) (El Kalach et al., 2023) и гибкость (Patel et al., 2018).
Для реализации отказоустойчивых систем использовались различные технологии, такие как семантическая сеть и адаптивное динамическое программирование. Между тем, для создания гибких систем могут использоваться многоагентные системы (Jarvis et al., 2001) и различные алгоритмы машинного обучения (Alam et al., 2020).
Несмотря на эти достижения, до сих пор нет единого мнения относительно стандартной структуры, необходимой для внедрения таких алгоритмов или технологий. В связи с этим данная статья направлена на предложение структуры, способной замкнуть цикл между сложными вычислительными требованиями для принятия решений более высокого уровня и операционными технологиями.
Обзор алгоритмов, лежащих в основе приложений AVI в промышленности.
Концепция автоматизированного контроля имеет богатую историю в производстве. Автоматизированный визуальный контроль требует глубокого понимания машинного обучения, которое мы рассмотрим в этом разделе. Различные типы обучения, которые будут обсуждаться в этом разделе, показаны на рис. 3. Первый тип метода машинного обучения — это метод обучения с учителем. Обучение с учителем требует наличия обучающего набора данных с помеченными входными данными и соответствующими им выходными данными.
В процессе обучения модель будет изучать взаимосвязь между входными и выходными данными и в конечном итоге сможет определять выходные данные новых входных данных на основе изученных входных данных. Это широко используемый метод визуального контроля продукции в стабильной среде. В контексте производства обучение с учителем может использоваться для обнаружения аномалий в лазерной порошковой аддитивной металлургии (Aminzadeh & Kurfess, 2019 ) (Mahmoudi et al., 2019) и для обнаружения объектов в промышленных приложениях (Ge, et al., 2020).
Еще одним подразделом машинного обучения является обучение без учителя, которое пытается выявлять закономерности, ранее не описанные, с минимальным участием человека. Обучение без учителя использует алгоритмы машинного обучения для кластеризации немаркированных данных и выявления скрытых закономерностей. В производственной сфере авторы использовали анализ изображений для мониторинга селективного лазерного плавления (Grasso et al., 2016).
Алгоритм обучения без учителя был реализован для обнаружения дефектов поверхности на текстурированных поверхностях (Mei et al., 2018). Обучение с подкреплением, еще один раздел глубокого обучения, также находит применение в производственной отрасли. Обучение с подкреплением основано на том, что агент учится принимать правильные решения, накапливая наибольшее вознаграждение. В рамках этой парадигмы обучение с подкреплением может использоваться для планирования заданий на интеллектуальном производственном предприятии (Xia et al., 2021).
Рис. 3. Обзор методов машинного обучения, используемых в AVI.
В связи с растущей популярностью искусственного интеллекта, и в частности машинного обучения, многие компании начали создавать платформы и продукты для легкой интеграции методов обучения в производственную среду. Платформа Visual Inspection AI от Google Cloud — одна из таких платформ с пошаговым пользовательским интерфейсом и простой разметкой входных изображений. Она может использоваться для контроля качества сборки или внешнего вида.
Другая платформа — IBM Maximo Application Suite: Visual Inspection Mobile. Подобно продукту Google, она проста в использовании и обучении моделей, а также позволяет развертывать модели на портативных устройствах (iOS/iPadOS). Siemens и Capgemini также выпустили собственные инструменты, Inspection AI for Manufacturing, работающие на платформе MindSphere. Эти продукты от крупных компаний демонстрируют стремление к интеграции визуального контроля в производственную отрасль.
Оценка литературы
Внедрение цифровой трансформации в производстве часто представляет собой сложную задачу, во многом из-за ее технологической сложности. Поразительное открытие исследования показало, что из семидесяти пяти производственных компаний, которые решились на цифровую трансформацию, лишь 5% смогли добиться значительных бизнес-результатов (Марко Лансити, 2016 ). Несмотря на длительный средний период внедрения в три года, результаты не оправдали ожиданий. Этому ограниченному успеху способствовали несколько факторов, включая проблемы с обработкой и хранением больших объемов данных, а также высокие затраты, связанные с доступом к инструментам цифровой трансформации. Цифровая трансформация требует использования передового программного обеспечения и датчиков, что делает ее финансово невыгодной для многих компаний. Чтобы преодолеть этот финансовый барьер, авторы решили разработать предлагаемое приложение, используя экономически эффективные альтернативы с открытым исходным кодом, чтобы стимулировать компании, стремящиеся внедрить цифровую трансформацию без высоких первоначальных затрат.
Предыдущие исследования изучали обнаружение неисправностей в процессе производства с использованием машинного зрения, статистических моделей и алгоритмов машинного обучения, которые идентифицируют различные неисправности, используя различные наборы исторических данных (Dutta, 2018) (Saidy, 2020) (Zou, 2000) (Lo, 2019). Хотя обнаружение неисправностей в реальном времени является важным компонентом, это лишь начальный шаг в процессе решения проблемы. Настоящая проблема заключается в способности ограничить влияние этих неисправностей на производственный процесс, которые могут вызывать значительные сбои, длящиеся от нескольких часов до нескольких дней, даже при эффективной идентификации неисправностей (Klinieam, 2021 ). Для решения этой проблемы в инициативы по цифровой трансформации были интегрированы передовые алгоритмы компьютерного зрения для обнаружения неисправностей. Это повышает диагностические возможности системы и открывает путь для автономной коррекции машин, что приводит к повышению эффективности.
Предложенная модель и пример из практики
Оценка пробелов
В данной статье представлен пример применения цифрового двойника, разработанного для оптимизации процесса контроля качества на сборочной линии с использованием технологии компьютерного зрения. Предлагаемое приложение направлено на обнаружение дефектов сборки в конечном продукте — четырехкомпонентной модели ракеты — и запуск автономных корректировок. Приложение работает на основе множества алгоритмов искусственных нейронных сетей, обученных для классификации и сегментации изображений, и выступает в роли специалиста по контролю качества, контролирующего процесс сборки.
Основываясь на концептуальных различиях между цифровыми моделями, тенями и двойниками, обсуждаемых в обзоре литературы, методология использует эти знания для внедрения цифрового двойника с целью оптимизации процесса контроля качества на сборочной линии. Предложенное приложение было реализовано в лаборатории «Заводы будущего» в Центре аэрокосмических исследований Макнейра при Университете Южной Каролины. В этой лаборатории находится полностью автоматизированная сборочная линия с пятью промышленными роботизированными манипуляторами, управляемыми одним программируемым логическим контроллером (ПЛК). Эта сборочная линия также имеет промышленное периферийное устройство, подключенное к ПЛК для отправки и получения данных на облачные платформы. Более подробная информация об этой производственной системе приведена в (Harik, et al., 2024).
Конечным продуктом нашей сборочной линии является модель ракеты, состоящая из четырех отдельных компонентов: основания ракеты, двух частей корпуса и наконечника ракеты. Аналоговые и многомодальные производственные наборы данных получены на платформе «Заводы будущего». Цель представленной в данной статье системы — проверка конечного продукта, гарантирующая безупречную сборку этих компонентов. В случае обнаружения неисправности система вмешивается и исправляет ошибку, тем самым минимизируя необходимость вмешательства человека и обеспечивая бесперебойную работу производства.
Для демонстрации практического применения цифрового двойника в лаборатории «Заводы будущего» внедрена система, которая иллюстрирует автоматизированный двунаправленный поток данных и автономную адаптивность, необходимые для таких систем. Визуальное представление этой системы показано на рис. 4, где подробно описан рабочий процесс и показано, как поток, сбор и анализ данных в реальном времени информируют и запускают немедленные корректирующие действия в производственном процессе, демонстрируя работу настоящего цифрового двойника.
Архитектура приложения обеспечивает двусторонний автоматизированный поток данных между физической сборочной линией и ее цифровым аналогом. Эта интерактивность имеет решающее значение, позволяя системе автономно адаптироваться и вносить корректировки в режиме реального времени на основе данных, полученных и проанализированных с помощью технологии компьютерного зрения. Такая адаптивность отличает предлагаемое приложение как приложение-цифровой двойник, выходящее за рамки возможностей цифровых моделей и теней, обеспечивая итеративную обратную связь между цифровой и физической областями.
Рис. 4. Рабочий процесс использования цифрового двойника в контроле качества.
Динамика работы нашей цифровой копии основана на бесшовной интеграции сбора, анализа и обработки данных в реальном времени. При обнаружении несоответствия или неисправности в физической системе камеры передают данные цифровой копии, которая затем автономно оценивает необходимость корректировки производственного процесса. Этот процесс демонстрирует двунаправленный поток данных, критически важный для функциональности цифровой копии, позволяя системе не только имитировать физическую сборочную линию, но и влиять на ее работу на основе цифровых данных.
Суть синхронизации в реальном времени нашего цифрового двойника заключается в его способности мгновенно реагировать на изменения физической системы. Эта быстрота обеспечивается протоколом, в рамках которого ПЛК, после выполнения команды сборки, устанавливает двустороннюю связь с цифровым двойником через периферийное устройство. Этот механизм позволяет системе мгновенно определять необходимость корректирующих действий, тем самым минимизируя время простоя и поддерживая эффективность работы. Внедрение системы управления аварийными сигналами IIoT дополнительно совершенствует этот процесс, устанавливая пороговое значение для автономного принятия решений на основе точности прогнозов цифрового двойника, тем самым балансируя автоматизацию с необходимостью человеческого контроля при необходимости.
Благодаря своей сложной архитектуре и операционной динамике, приложение не только соответствует, но и является ярким примером критериев цифрового двойника, определенных в контексте цифровой трансформации. В отличие от цифровых моделей и теневых копий, способность нашей системы действовать автономно, адаптироваться в режиме реального времени и напрямую влиять на физический производственный процесс подтверждает ее классификацию как цифрового двойника. Данная реализация подчеркивает практическое применение технологии цифровых двойников для повышения эффективности производственных процессов, предоставляя наглядный пример того, как теоретические концепции из литературы воплощаются в практическую реальность.
Этапы рабочего процесса предлагаемого приложения цифрового двойника
Цифровой двойник работает в три этапа, как показано на рис. 5. Система запускается, когда периферийное устройство отправляет тег данных, указывающий на завершение последнего этапа процесса сборки. Серверы получают доступ к потоку RTSP из сборочной ячейки, захваченному верхними камерами, где модель обнаружения объектов подтверждает завершение сборки, как показано на рис. 6. На первом этапе используется сверточная нейронная сеть (CNN), выполняющая классификацию изображений с точностью 98%. Эта классификация определяет, правильно ли собрана модель ракеты или в ней есть неисправные компоненты.
Рис. 5. Предлагаемая блок-схема модели
Рис. 6. Выводы модели обнаружения объектов
Если ракета сконструирована правильно, она продвигается по сборочной линии без каких-либо дальнейших изменений. И наоборот, если обнаружен неисправный компонент, система переходит ко второму этапу. На этом этапе алгоритм сегментации изображения точно определяет местоположение неисправного компонента внутри ракеты и передает эту информацию программируемому логическому контроллеру (ПЛК) через периферийное устройство (в нашем случае).
На заключительном этапе используются роботизированные манипуляторы для исправления ошибок сборки. Эти манипуляторы разбираются до тех пор, пока не достигнут дефектной части ракеты, и заменяют неисправные компоненты на правильные. Цель состоит в том, чтобы обеспечить этот процесс корректировки в режиме реального времени, минимизируя сбои в производственном процессе.
Стоит отметить, что 98% точность алгоритма классификации изображений была достигнута благодаря обширному обучению и тонкой настройке модели. Выбор алгоритмов нейронных сетей как для классификации, так и для сегментации изображений был обусловлен их доказанной эффективностью в предыдущих исследованиях, поэтому они были выбраны для данного примера.
Набор данных и алгоритм для первого этапа: обнаружение объектов и классификация изображений.
На первом этапе разработки цифрового двойника мы использовали сверточную нейронную сеть (CNN), обученную на надежном многоклассовом наборе данных. Эти семь различных классов были сформированы на основе различных цветовых конфигураций собранных ракет, отражающих потенциальное разнообразие результатов работы сборочной линии.
Систематический сбор данных изображений осуществлялся с помощью камер, расположенных сверху и стратегически размещенных внутри сборочного цеха. Мы использовали скрипт на языке Python, интегрированный с OpenCV, библиотекой компьютерного зрения с открытым исходным кодом, что позволило оптимизировать сбор данных для точного воспроизведения реальных условий работы сборочной линии. Эта процедура повысила достоверность и надежность наших обучающих данных.
Для сохранения целостности нашей модели и обеспечения ее эффективной работы мы подвергли изображения обширной предварительной обработке. Мы разработали этот конвейер с учетом многочисленных мер предосторожности, включая двухэтапный процесс перемешивания. Эта операция была необходима для предотвращения потенциальных искажений и дисбаланса при разделении данных на обучающую, валидационную и тестовую выборки. Этот тщательный процесс перемешивания обеспечил случайность распределения данных, тем самым предотвратив переобучение и повысив обобщающую способность нашей обученной модели.
Мы дополнительно усовершенствовали этапы предварительной обработки, уменьшив разрешение каждого изображения с (450 × 600, 3) до (224 × 224, 3). Эта корректировка сократила время обучения модели и ускорила вычисления, что соответствует нашей цели — внедрению автономного приложения для принятия решений в реальном времени. Для разметки набора данных было разработано собственное приложение, специально адаптированное под наши потребности. Оно выделяло интересующий объект на каждом изображении, игнорируя посторонние элементы, и преобразовывало изображение в файл формата XML. Такой подход обеспечил конфиденциальность данных и сократил потребность в платных услугах, снизив операционные затраты для производителей.
Из-за недостаточного объема изображений в реальном времени и сложности получения данных о дефектах сборки в процессе производства для обучения модели, авторы разработали инструмент аугментации изображений, обеспечивающий более эффективный и менее трудоемкий метод сбора данных. Этот инструмент расширил набор данных путем манипулирования свойствами изображений, такими как шум, размытие и яркость, или их сочетанием, искусственно увеличивая количество изображений для каждого класса. Это не только расширило набор данных, но и разнообразило типы сценариев, на которых модель могла обучаться, повысив ее обучающую способность и, как следствие, точность.
Сверточная нейронная сеть (CNN) была выбрана специально за её исключительную способность извлекать важные признаки из изображений низкого разрешения. Выбранная модель CNN, показанная на рис. 7 , включает три сверточных слоя и один полносвязный плотный слой, что в сумме составляет 11 014 056 обучаемых параметров. Сверточные слои эффективно уменьшают размерность исходных изображений, тем самым снижая вычислительную сложность. Примечательно, что значения RGB каждого пикселя были нормализованы из исходного диапазона 0–255 в шкалу 0–1 во время предварительной обработки. Эта нормализация крайне важна, поскольку CNN подвержены большим отклонениям в данных. По сути, каждый этап нашего процесса, от сбора данных до предварительной обработки, был разработан и реализован для построения высокоточной и надежной модели классификации изображений.
Рис. 7. Архитектура сверточной нейронной сети
Набор данных и алгоритм для второго этапа: сегментация изображений.
Второй этап работы предлагаемой системы отвечает за идентификацию дефектных компонентов в сборке после того, как первый этап классифицирует их как дефектные. Это достигается за счет использования сверточной нейронной сети на основе маскированных областей (Mask R-CNN), высокопроизводительной модели сегментации изображений, которая обнаруживает, выделяет и классифицирует отдельные компоненты сборки как функциональные или дефектные.
Модель Mask R-CNN была выбрана за её возможности и эффективность в задачах сегментации изображений, доказанную надёжность при обработке сложных изображений и объектов, а также за её уникальную способность выдавать попиксельные маски объектов. В качестве базовой архитектуры она использует остаточную нейронную сеть (ResNet). Эта базовая сеть использует пакетную нормализацию и выпрямлённую линейную функцию активации (ReLU), что ускоряет процесс обучения и повышает стабильность модели. Mask R-CNN принимает изображение в тензорном формате в качестве входных данных. На первом этапе — сети предложений областей (RPN) — она предлагает области интереса (RoI), которые потенциально могут содержать объект, и передаёт их на следующий этап. На втором этапе Mask R-CNN одновременно классифицирует предложенные RoI, уточняет координаты ограничивающей рамки и генерирует бинарную маску, окружающую часть ракеты, как показано на рис. 8 . Успешно обученная Mask R-CNN выдает 3 результата для каждого обнаруженного объекта: классификацию, ограничивающую рамку и маску, которая выделяет объект внутри ограничивающей рамки, как показано на рис. 9.
Рис. 8. Архитектура Mask R-CNN
Рис. 9. Входное изображение (слева) Выходной сигнал Mask R-CNN (справа)
Обучение Mask R-CNN осуществлялось с использованием API обнаружения объектов TensorFlow и сервисов ускорения GPU Google Colaboratory. Был подготовлен, размечен и отформатирован в формат Common Objects in Context (COCO) обширный набор данных, включающий 500 изображений дефектных ракетных узлов, с использованием того же внутреннего инструмента аннотирования, что и в разделе 3.2. Для повышения качества набора данных 193 изображения из общего числа были подвергнуты методам аугментации, включая добавление шума, размытия и изменения яркости, как по отдельности, так и в комбинации. Этот процесс помог расширить возможности модели в отношении вариаций, повысив её устойчивость. Изображения в наборе данных были распределены по различным категориям дефектов: 275 изображений имели дефектные части корпуса, 113 — дефектную базовую часть и 112 — дефектный наконечник. Кроме того, для эффективной оценки производительности модели набор данных был разделен на обучающую и тестовую подгруппы, содержащие 80% и 20% изображений соответственно.
В этом подробном обсуждении представлены обоснование, процесс и тонкости алгоритма сегментации изображений и набора данных второго этапа, что позволяет понять наш подход и технические соображения, повлиявшие на наши исследовательские решения.
Выбор показателей оценки эффективности
Выбор точности и бинарной кросс-энтропийной функции потерь в качестве показателей оценки производительности сверточной нейронной сети соответствует стандартным методам оценки задач классификации. Точность обеспечивает простой способ измерения общей правильности классификации изображений моделью, в то время как бинарная кросс-энтропийная функция потерь дает представление о процессе оптимизации модели и ее поведении при сходимости.
Аналогично, для модели Mask R-CNN мониторинг общей функции потерь служит всесторонней мерой производительности модели, отражая как точность локализации, так и качество сегментации. Общая функция потерь в случае Mask R-CNN, хотя и не так очевидна, как точность, предоставляет обучающему разработчику модели целостное представление об эффективности модели в задачах сегментации экземпляров. Это достигается путем агрегирования потерь классификации, регрессии ограничивающих рамок и сегментации маски.
Кроме того, использование матриц ошибок дополняет эти количественные метрики, предоставляя подробную информацию о производительности модели по всем меткам, генерируемым моделью сегментации, обеспечивая более наглядное представление о производительности модели, чем такие количественные метрики, как средняя точность (mAP) и средняя полнота (mAR), в ситуациях, подобных этой, когда в данных присутствует множество классов.
Третий этап: машинная коррекция
Третий этап работы предлагаемой нами системы в основном связан с машинной коррекцией собранных ракет. Этот этап запускается, как только сверточная нейронная сеть (CNN) классифицирует полностью собранную ракету как дефектную. В случае такой классификации вступает в действие Mask R-CNN, которая идентифицирует и классифицирует отдельные компоненты сборки как функциональные или дефектные.
На рисунке 10 наглядно представлены последующие процедуры коррекции. Каждый шаг, необходимый для замены дефектного компонента, такой как удаление детали и утилизация дефектных частей, определяется как отдельный путь в Siemens Process Simulate, программном обеспечении для программирования роботизированной руки. Эта модульная стратегия создания путей учитывает потенциальное увеличение количества уникальных комбинаций сборок по мере добавления новых цветовых вариантов ракет. Таким образом, несмотря на увеличение количества комбинаций сборок, число путей коррекции остается управляемым и эффективным.
Рис.10. Предлагаемый алгоритм работы приложения
Как описано в разделе 3.4, каждый обнаруженный объект на изображении дает три результата от модели сегментации изображения: классификацию, ограничивающую рамку и маску. Каждый из этих результатов играет решающую роль в определении корректирующих мер для сборки. Классификация подтверждает тип и порядок деталей с помощью ограничивающих рамок и масок, чтобы обеспечить правильное выравнивание и последовательность. После проверки дефектные детали, выявленные с помощью классификации объектов, систематически заменяются.
Процедура коррекции представляет собой алгоритмический процесс, который выполняется в три этапа: удаление всех деталей, расположенных над дефектной частью, замена дефектной части и повторная сборка ракеты. Результатом работы этого алгоритма является набор идентификаторов траекторий, которые сохраняются в контроллерах робота и планируются цифровым двойником и периферийным устройством через канал передачи данных. В результате дефектные узлы подвергаются автоматической коррекции в режиме реального времени. На рисунке 10 показаны процессы принятия решений и рабочие процессы, которые объединяют независимые модели в предлагаемое приложение.
Существующий подход к автоматической коррекции основан на предопределенных путях устранения дефектов. Хотя этот подход обеспечивает автоматизацию, ему не хватает гибкости и эффективности при работе с непредсказуемыми дефектами. Для решения этой проблемы мы работаем над интеграцией слоя обработки ИИ, использующего алгоритмы взаимодействия человека с системой (Human in the Loop, HITL) и динамического захвата. Внедрение HITL позволит преобразовать систему из просто автоматизированной в более гибкую, автономную основу, способную эффективно справляться с новыми и непредсказуемыми сложностями на сборочной линии. Алгоритмы HITL вступают в действие, когда система компьютерного зрения не может самостоятельно решить задачу, требуя вмешательства человека для создания новых путей, переобучения и тестирования.
Преимущества предлагаемого метода
Хотя достижения в алгоритмах сегментации изображений потенциально обеспечивают более быстрое время обработки и более высокую точность, практическая реализация таких методов остается сложной задачей из-за дефицита доступных ресурсов с открытым исходным кодом и сложности интеграции. Mask R-CNN, благодаря надежной поддержке библиотек и простому процессу реализации, выделяется не только как технически жизнеспособный вариант, но и как прагматически превосходящий выбор. Учитывая эти соображения, Mask R-CNN был выбран за его доказанную эффективность в балансировании противоречивых требований к точности обнаружения, вычислительной эффективности и оптимизации ресурсов. Его использование в данном исследовании свидетельствует об адаптивности метода и превосходстве его производительности в сложных промышленных условиях. Для сравнения, единственным другим алгоритмом, сопоставимым по возможностям с Mask R-CNN, является YOLO V8, более новая разработка, выпущенная в 2023 году. Важно отметить, что YOLO V8 появился после того, как наша модель уже была обучена и внедрена в нашем центре. YOLO V8 известен своей скоростью благодаря однопроходному подходу к обнаружению объектов. Однако этот упрощенный процесс может привести к снижению точности по сравнению с такими методами, как Mask R-CNN. Подход YOLO V8 может быть выгоден в сценариях, где скорость является критически важным фактором, но для приложений, где точность имеет первостепенное значение, как в нашем случае, возможности детальной сегментации Mask R-CNN предлагают более подходящее решение. Это различие подчеркивает важность выбора алгоритма, соответствующего конкретным операционным потребностям, с балансом между скоростью и точностью в зависимости от поставленной задачи.
Предложенный метод использует начальную сверточную нейронную сеть (CNN) для классификации изображений, оптимизируя процесс контроля за счет быстрого отсеивания небракованных ракет посредством комплексной оценки изображений. Такой подход ускоряет проверку небракованных узлов, повышая эффективность. Последующий уровень контроля включает в себя Mask R-CNN, которая выходит за рамки простого обнаружения ошибок, выполняя сегментацию на уровне пикселей и обеспечивая детальный, основанный на физических принципах анализ первопричин. Эта стратегия с использованием двух моделей соответствует конечной цели системы — обнаружению и идентификации различных дефектов, таких как трещины или деформации, что делает ее пригодной для применения в различных производственных процессах.
Начальный этап обучения и тестирования модели, хотя и сложный, меркнет по сравнению со сложностями развертывания и мониторинга приложений в реальном времени. Здесь решающее значение имеют алгоритмы компьютерного зрения, поскольку они преобразуют визуальные данные в количественный массив, прокладывая путь для последующих этапов обучения модели — где алгоритм настраивается на ожидаемые сценарии — и тестирования модели — где проверяется точность и достоверность прогнозов алгоритма. Тем не менее, настоящая проверка возможностей этой системы заключается в ее работе в условиях аномальных и беспрецедентных событий во время выполнения и развертывания. Именно на этом этапе могут проявиться два основных недостатка модели: столкновение со сценариями, выходящими за рамки ее обучения, что требует тщательного мониторинга для корректировки действий с низкой достоверностью прогнозов, и практические ограничения непрерывного контроля системы в оживленной производственной среде, где любая ошибка может привести к травме или нарушить производство. Для решения этих критических проблем предлагаемое приложение использует многогранный подход, интегрируя сложный набор методов машинного обучения, каждый из которых вносит свой вклад в создание комплексной, надежной системы. Вместо того чтобы полагаться на один алгоритмический подход, будь то обучение с учителем или обучение с подкреплением, система использует ансамбль алгоритмов. Они структурированы как подслои, каждый из которых играет свою особую, но взаимосвязанную роль в иерархии принятия решений.
В основе нашей системы лежат алгоритмы контролируемого обучения, известные своей способностью распознавать образы, откалиброванные на наборе данных, отражающем широкий спектр операционных сценариев, что позволяет получать высокоточные прогнозы на основе исторических данных. Дополнительный слой машинного обучения наделяет систему гибкостью, позволяющей адаптироваться к новым и меняющимся условиям посредством взаимодействия с окружающей средой в реальном времени, повышая производительность и минимизируя сбои. В этой архитектуре неотъемлемой частью являются вмешательства человека (HITL), которые первоначально активируются, когда базовый слой выдает прогноз с низкой степенью достоверности, что позволяет экспертам не только корректировать, но и обогащать обучающий набор данных. Второй интерфейс HITL является свидетельством динамического взаимодействия между человеческим контролем и адаптивным слоем машинного обучения. Если автономная коррекция системы помечена как имеющая низкую степень достоверности, этот интерфейс позволяет инженерам предоставлять целенаправленную обратную связь. Это важнейшее вмешательство позволяет перекалибровать процессы принятия решений системы, способствуя непрерывному циклу обучения, который со временем повышает точность прогнозирования модели. В этой сложной системе человеческий опыт дополняет точность алгоритма, обеспечивая максимальное использование потенциала каждого слоя и минимизацию его ограничений. Благодаря такому тонкому, многоуровневому подходу модель не только достигает повышенной точности при решении известных проблем, но и обладает устойчивостью и адаптивностью для управления непредсказуемостью новых событий, воплощая комплексную стратегию по противодействию возможности ложных срабатываний и ложных отрицательных результатов.
Наш метод, основанный на интеграции CNN и Mask R-CNN, теоретически превосходит существующие методы в нескольких ключевых областях. В литературе указывается, что аналогичные подходы на основе ИИ продемонстрировали превосходную точность в задачах обнаружения и сегментации объектов, что является краеугольным камнем функциональности нашего метода. Кроме того, эффективность нашего подхода подчеркивается его способностью обрабатывать разнообразные и сложные задачи сборки с минимальным участием человека, что является значительным шагом вперед по сравнению с более традиционными, трудоемкими методами контроля качества.
Результаты
В этом разделе подробно описан процесс обучения и тестирования нашей модели, рассмотрены различные сценарии для оценки ее производительности и точности. Наша экспериментальная установка включает в себя камеру, установленную над сборочным цехом, которая постоянно контролирует конечную точку сборки. После завершения каждой сборки ракеты камера делает снимок, который мгновенно анализируется нашими моделями. На основе этой оценки система принимает решение о продолжении процесса сборки или о принятии корректирующих мер.
Переходя к специфике обучения модели, давайте сначала обсудим модель первого этапа — алгоритм классификации. Ключевым фактором, влияющим на производительность этой модели, является количество эпох в процессе обучения. После экспериментов с различными значениями было определено оптимальное количество — 125 эпох до внедрения метода разметки. С внедрением инструмента разметки нам удалось значительно повысить эффективность обучения. Это привело к существенному сокращению количества эпох — со 125 до всего лишь 5, и уменьшению размера пакета с 16 до 5 для каждой эпохи.
Как показано на рис. 11, интеграция инструмента разметки сыграла ключевую роль в оптимизации управления временем на этапах обучения и тестирования. Это стало важным шагом на пути к развитию нашей системы, которая теперь способна принимать решения в режиме реального времени.
Рис. 11. Сравнение эпох алгоритма классификации до и после разметки
В машинном обучении эпохи представляют собой количество раз, когда весь обучающий набор данных обрабатывается алгоритмом обучения, а размер пакета относится к количеству обучающих примеров, используемых в одной итерации. Правильная настройка этих параметров имеет решающее значение для нахождения правильного баланса между сходимостью модели и вычислительной эффективностью во время обучения.
Без достаточного обучения модель будет показывать низкие результаты по точности и показателям потерь, а при слишком большом обучении модель может переобучиться и быть эффективной только на обучающих данных, показывая низкие результаты при развертывании в системе. Хотя вероятность переобучения можно минимизировать, используя разнообразные ракурсы, фоны и позиционирование в наборе данных, а также добавляя шум, размытие и другие эффекты к изображениям с помощью аугментации, важно включить в алгоритм обучения модели фактор ранней остановки, чтобы прервать обучение, когда улучшение точности и потерь станет незначительным или вовсе отсутствующим.
В случае нашего алгоритма классификации изображений мы обучали модель с размером пакета 4, и обучение модели завершилось после 6 эпох, как показано на рис. 12. Исследователи выбрали меньший размер пакета данных — 4, а не более традиционные 16, 32 или 64, не из-за ограничений памяти, а из-за преимущества в способности модели адаптироваться к изменяющимся наборам данных, как мы и планируем делать.
Рис. 12. Генератор соответствия модели классификации изображений
После оптимизации процесса мы провели первоначальный эксперимент для оценки производительности предложенной системы. Он включал 16 различных сценариев обнаружения дефектов цвета, используя набор данных из 500 репрезентативных изображений. Основная цель заключалась в критической оценке эффективности, точности и возможностей обнаружения дефектов в реальном времени нашего приложения цифрового двойника. Для этого мы стратегически разделили набор данных, зарезервировав 80% для обучения модели и выделив оставшиеся 20% для тестирования и проверки. Такое преднамеренное разделение данных обеспечило всестороннюю и строгую оценку производительности модели.
На рисунке 13 представлен ряд тестовых изображений и соответствующие им прогнозы обнаружения дефектов с использованием модели классификации изображений. Был определен пороговый уровень, который подключен к системе управления оповещениями IoT, запускающей сигналы тревоги, требующие принятия мер. Если точность прогноза составляет 95% или выше, система действует автономно, не нарушая и не прерывая процесс. Однако, если точность ниже 95%, ответственному персоналу будет отправлено уведомление, содержащее изображение и его анализ на предмет вмешательства человека, как показано на рис. 14.
Рис. 13. Результаты классификации в различных сценариях
Рис. 14. Система уведомлений IoT
Точность модели классификации изображений составляет 100% и была рассчитана с использованием логарифмической функции потерь, как показано на рис. 12. Первая производительность модели была оценена путем построения графиков точности обучения, потерь обучения, точности валидации и потерь валидации. Кроме того, для расчета потерь использовалась бинарная кросс-энтропийная функция потерь (логарифмическая функция потерь). Точность обучения и потери были построены на одном графике, а потери обучения и валидации — на другом графике. Эти графики можно увидеть на рис. 11 .
Матрицы ошибок создаются для визуализации точности обученных моделей и понимания того, с какими классификациями и частями модели испытывают трудности. Матрица ошибок присваивает каждому предсказанию, сделанному моделью, прямоугольник, представляющий собой случай, когда объекту, обозначенному по оси Y, была присвоена классификация, обозначенная по оси X. На рисунке 15 показана матрица ошибок, отображающая точность модели классификации изображений на наборе данных из 500 изображений.
Рис. 15. Матрица ошибок алгоритма классификации изображений
В каждом прямоугольнике указано число и процент. Число (вверху) соответствует количеству раз, когда эталонному образцу была присвоена данная классификация, а процент соответствует частоте присвоения эталонному образцу данной классификации. Например, нижний левый прямоугольник соответствует случаю, когда правильная сборка (проход) была классифицирована как дефектная; эта неправильная классификация произошла 5 раз во время тестирования модели на наборе данных. Эти 5 неправильных классификаций означают, что модель неправильно классифицировала 4,63% прошедших ракет в наборе данных.
Если алгоритм классификации изображений классифицировал ракету как дефектную, алгоритм сегментации изображений определяет, какие детали отсутствуют на своих местах, для дальнейшей машинной коррекции, как показано на рис. 16. На рис. 17 представлена еще одна матрица ошибок, построенная с использованием прогнозов, сделанных моделью сегментации изображений на группе из 500 изображений. Каждый прямоугольник в матрице ошибок представляет собой случай, когда объекту, обозначенному по оси Y, была присвоена классификация, обозначенная по оси X, для анализа производительности модели.
Рис. 16. Возможности алгоритма сегментации изображений в плане прогнозирования
Рис. 17. Матрица ошибок сегментации изображений (Mask R-CNN)
Каждый прямоугольник на матрице ошибок представляет собой компонент сборки, которому присваивается классификация. Правильное обнаружение будет иметь ту же классификацию, что и эталонная. В каждом прямоугольнике указано число, показывающее, сколько раз эта классификация была присвоена эталонной, а процент показывает, в каком проценте случаев эта эталонная классификация присваивается в используемом наборе данных. Например, в верхнем левом прямоугольнике показано, как часто «дефектная деталь 1» (наконечник ракеты) классифицируется правильно, при этом число внутри прямоугольника (94) показывает, сколько раз дефектный наконечник ракеты был классифицирован правильно, а процент (100%) относится к проценту случаев, когда дефектная деталь была классифицирована правильно.
Для того чтобы обнаружение было классифицировано как достоверное, модель должна иметь уровень достоверности предсказания выше 60% и показатель IOU выше 0,75. Нижняя строка и крайний правый столбец (обозначенные как F/N) показывают любые предсказания, которые не соответствуют заранее определенным критериям. В столбце F/N 15 обнаружений — это предсказания, которые не соответствуют пороговому значению достоверности для того, чтобы считаться достоверными, а 4 обнаружения в строке F/N — это предсказания, которые не имели достаточно высокого показателя пересечения с объединением (IOU), чтобы сопоставить предсказание с аннотированным объектом на изображении.
Хотя первая матрица ошибок полезна для понимания того, какие части модель лучше или хуже правильно идентифицирует, эта упрощенная бинарная матрица ошибок (рис. 18) помогает лучше понять производительность модели в целом. Эта бинарная матрица ошибок классифицирует каждое предсказание, сделанное моделью, как истинно положительное, истинно отрицательное, ложно положительное или ложно отрицательное. Где истинно положительное и истинно отрицательное — это правильно классифицированные части, а ложно положительное и ложно отрицательное — неправильно классифицированные части. Количество ложноположительных и ложноотрицательных обнаружений в этом случае одинаково, поскольку если часть классифицирована неверно, это ложноположительное значение одной классификации и ложноотрицательное значение ее истинной классификации.
Рис. 18. Матрица ошибок бинарного преобразования Mask R-CNN
Выбор параметров обучения в случае Mask R-CNN был более ограничен, чем для CNN, поскольку аппаратные ограничения, устанавливаемые Google Colaboratory для пользователя, ограничивали размер пакета до 2 или менее. Количество эпох для Mask R-CNN было установлено на 50, но метод ранней остановки остановил обучение примерно на 10 000 шагах (40 эпохах).
Перед обучением Mask R-CNN, помимо упомянутых ранее параметров обучения, можно было настроить множество других параметров. Некоторые важные параметры — пороговое значение IoU, максимальное количество обнаружений на класс и максимальное общее количество обнаружений — были скорректированы в соответствии с особенностями системы. Например, каждая ракета состоит из 4 различных компонентов, поэтому модель ограничена одним обнаружением на класс и четырьмя общими обнаружениями, а пороговое значение IoU для обучения было установлено на общепринятом уровне 0,75. Были и другие параметры — такие как скорость обучения — которые исследователи решили сохранить, учитывая доказанную эффективность предварительно обученной модели в задачах, для которых она была предварительно обучена. Используя трансферное обучение с предварительно обученной моделью, исследователи стремились извлечь выгоду из полученных представлений и избежать ненужных корректировок, которые могут ухудшить производительность модели.
Точность модели сегментации изображений рассчитывалась с использованием метода суммарной потери, как показано на рис. 19. На этом рисунке показана средняя суммарная потеря для каждого набора из 100 шагов. После 10 000 шагов обучения Mask R-CNN показал суммарную потерю 0,1362. Суммарная потеря представляет собой составную целевую функцию, которую модель машинного обучения стремится минимизировать путем точной настройки весов признаков. По мере продолжения обучения модели функция потерь уменьшается и в конечном итоге стабилизируется на близком к нулю положительном значении. Чтобы глубже разобраться в механике функции суммарной потери, необходимо понять ее составляющие компоненты, которые определены в уравнении ( 1 ) (Wang et al., 2021).
Рис. 19. Mask R-CNN Total Loss
Здесь, Lcls — это ошибка классификации в области прогнозируемого прямоугольника. Lmask — это средняя бинарная кросс-энтропийная потеря, и Lbox — это функция потерь регрессии для области прогнозирования. Lcls, Lmask, и Lbox определяются с помощью уравнений ( 2 )( 3 )( 4 ).
В этом уравнении pi — это прогнозируемая вероятность того, что опорная точка i является целевой точкой. — это прогнозируемое значение реальной метки области, а lb представляет собой логарифмическую функцию потерь.
Здесь x — количество пикселей. x* — это истинная метка категории, в которой находится пиксель, а p(xi) — это прогнозируемая вероятность того, что этот пиксель принадлежит к определенной категории.
В этом уравнении R — это устойчивая функция потерь, ti представляет собой параметризованные координатные векторы предсказанного ограничивающего прямоугольника, и t* — это вектор истинных координат.
Оценка эффективности интеграции и вычислительных ресурсов: совершенствование решений для интеллектуального производства.
В результате проведенного исследования всесторонняя оценка интеграции решения и его вычислительной эффективности в производственной среде выявила многообещающие результаты как с точки зрения внедрения, так и с точки зрения вычислительных возможностей. Бесшовная интеграция нашей системы в существующую операционную инфраструктуру, соответствующая как физической, так и цифровой среде производства, подчеркивает полную совместимость с текущими аппаратными и программными конфигурациями, что указывает на высокую степень возможности интеграции.
Это соответствие сыграло решающую роль в улучшении операционных процессов без сбоев, обычно связанных с процессами ручного вмешательства. Масштабируемость нашего решения, подтвержденная его вкладом в более широкую инициативу, направленную на виртуализацию контроля и проверки труда, демонстрирует его адаптивность к различным приложениям, включая протоколы безопасности и упаковку.
Эта адаптивность не только способствует трансформационному перераспределению квалифицированной рабочей силы, но и усиливает масштабируемость решения. Принципы проектирования, ориентированные на пользователя, обеспечили доступность решения и минимальную необходимость обучения, тем самым способствуя плавному переходу для персонала и широкому распространению.
Время обработки данных в нашей системе оптимизировано для удовлетворения требований производственной среды, обеспечивая ответы в режиме реального времени или почти в реальном времени на этапах тестирования. Такая эффективность имеет решающее значение для поддержания бесперебойного рабочего процесса и оперативного устранения выявленных проблем. С точки зрения вычислительных ресурсов, обучение модели проводилось в блокноте Google Colab, что исключает необходимость в дорогостоящей вычислительной инфраструктуре.
Выбор в пользу разметки данных и обучения модели собственными силами представляет собой значительное снижение затрат по сравнению с альтернативами, такими как приобретение лицензий на программное обеспечение или системы камер, основанные на правилах, которые могут не обеспечивать такой же уровень эффективности.
Более того, экономическая целесообразность решения становится все более очевидной при его применении на различных этапах и операциях внутри предприятия. Эта оценка выйдет за рамки чисто финансовых показателей и охватит как материальные, так и нематериальные преимущества, предоставляемые компьютерным зрением, такие как экономия времени и повышение качества.
В производстве, где соображения стоимости и окупаемости инвестиций имеют первостепенное значение при принятии решений, это решение выделяется не только как технически жизнеспособный вариант, но и как финансово обоснованная инвестиция. Продолжающийся анализ позволит получить дополнительные сведения об экономическом воздействии, подтверждая целесообразность внедрения компьютерного зрения в промышленных условиях для повышения безопасности и операционной эффективности.
В заключение, наше исследование подтверждает практическую и экономическую целесообразность внедрения компьютерного зрения в производство, что является значительным шагом на пути к революционному повышению безопасности и эффективности в промышленности. Это начинание не только подчеркивает техническую осуществимость нашего подхода, но и устанавливает новый стандарт для интеллектуальных производственных решений, направляя отрасль в будущее, где безопасность и эффективность будут иметь первостепенное значение.
Заключение
Цифровая трансформация призвана сыграть ключевую роль в обрабатывающей промышленности, позволяя повысить эффективность производственных процессов за счет автоматизации. Примером этой тенденции цифровой трансформации являются современные механизмы контроля, в которых новые элементы контроля заменяются традиционным ручным контролем при производстве продукции с использованием автоматизированных систем контроля качества (AVI).
В этом контексте данная работа посвящена внедрению экономически эффективной, открытой технологии AVI для обнаружения дефектов и автоматической коррекции. Эта реализация была развернута на физической производственной системе, способной осуществлять сборочные процессы с помощью нескольких роботизированных манипуляторов. Общая модель обнаруживает дефекты в собранном изделии и определяет необходимые корректирующие действия. Для повышения эффективности результатов данного исследования в будущих работах следует сосредоточиться на совершенствовании механизмов управления автономными корректирующими действиями, выполняемыми роботами.
Предлагаемая система компьютерного зрения представляет собой контролируемую среду с преднамеренно созданными дефектами, призванную имитировать производственную среду, однако крайне важно выявить и устранить неопределенности, присутствующие как в самой системе компьютерного зрения, так и на сборочной линии. Как и в большинстве решений для компьютерного зрения, внутренние неопределенности в точности модели являются нормой, и данная система не является исключением.
Любые внешние неопределенности, связанные с условиями освещения и вариациями камеры, были учтены на этапе сбора данных и минимизированы в процессе аугментации изображений. Кроме того, в используемой системе авторы работали с относительно небольшим набором деталей с преднамеренно созданными дефектами, минимизируя непараметрические неопределенности, связанные с вариациями характеристик дефектов, но при применении этой системы в реальной производственной среде вариации дефектов и их характеристик представляли бы собой значительную неопределенность.
План по включению HITL в эту систему разработан для смягчения всех этих неопределенностей путем проверки или редактирования оператором прогнозов с низкой степенью достоверности и со временем улучшения производительности модели для минимизации этих неопределенностей.
Дальнейшая работа
Признавая динамичный характер технологий и непрерывную эволюцию методологий машинного обучения, мы остаемся открытыми для изучения и интеграции новых алгоритмов, которые могут предложить повышение эффективности, точности или удобства использования. Появление таких моделей, как YOLOv8, с потенциальными преимуществами в скорости обработки, представляет собой интригующее направление для будущих исследований.
Однако, учитывая недавнее внедрение этих технологий и соображения, касающиеся доступности открытого исходного кода и сложности реализации, наша текущая приверженность Mask R-CNN вполне оправдана. В будущих работах могут быть проведены сравнительные анализы с новыми методами, оценка их жизнеспособности и производительности в конкретном контексте наших промышленных приложений.
Выбор Mask R-CNN является обоснованным решением, основанным на текущем технологическом ландшафте и требованиях проекта. Учитывая, что YOLOv8 и передовые подходы к сегментации были выпущены в 2023 году, после обучения нашей модели, авторы рассматривают возможность дальнейшей реализации и сравнения с YOLOv8 для того же производственного набора данных.
В планах на будущее авторы обозначили несколько проектов, направленных на повышение эффективности и надежности нашей системы. Один из потенциальных подходов — интеграция алгоритмов с участием человека (Human-In-The-Loop, HITL), использующих методы обработки искусственного интеллекта. Кроме того, можно добавить дополнительные возможности за счет мониторинга уровней достоверности процесса сегментации и создания оповещений для технических специалистов при падении ниже порогового значения.
Еще один план по повышению надежности системы — расширение ее возможностей по выявлению более широкого спектра дефектов, включая мелкие проблемы, такие как трещины и деформации в изготовленных деталях. Это расширение направлено на точное воспроизведение разнообразных дефектов, которые могут возникать в результате более сложных производственных операций.
Для достижения более детального контроля мы планируем одновременно интегрировать задачи обнаружения объектов, классификации изображений и сегментации экземпляров с нескольких ракурсов камеры. Такой подход необходим для обеспечения всестороннего охвата и точной идентификации дефектов. Это запланированное усовершенствование соответствует нашему стремлению постоянно улучшать производительность системы.
Кроме того, мы рассматриваем возможность разработки единой модели в будущем. Для создания такой модели потребуется большой набор данных для обнаружения объектов, сегментации изображений и других задач компьютерного зрения. Этот набор данных будет включать обнаружение ключевых точек на деталях ракеты и собранном виде с множества ракурсов и фонов, что позволит создать надежную модель, способную одновременно выполнять множество различных задач компьютерного зрения.
Цель состоит в том, чтобы оптимизировать процесс обучения новых моделей не только для этого проекта, но и для других задач компьютерного зрения, выполняемых нашей исследовательской группой, используя трансферное обучение для сокращения объема сбора данных и обучения. Ожидается, что такой подход с использованием единой модели будет способствовать созданию более эффективной и универсальной системы в будущем.
Литература
- Alam, F., Shtein, M., Barton, K., & Hoelzle, D. (2020). Autonomous Manufacturing Using Machine Learning: A Computational Case Study With a Limited Manufacturing Budget. Volume 2: Manufacturing Processes; Manufacturing Systems; Nano/Micro/Meso Manufacturing; Quality and Reliability, American Society of Mechanical Engineers.
- Ali Faraz, D. B. (2009). Cutting edge rounding: An innovative tool wear criterion in drilling CFRP composite laminates. International Journal of Machine Tools and Manufacture, 1185–1196.
- Ali Maghami, M. S. (2021). Automated vision-based inspection of drilled CFRP composites using multi-light imaging and deep learning. CIRP Journal of Manufacturing Science and Technology, 441–453.
- Aminzadeh, M., & Kurfess, T. R. (2019). Online quality inspection using Bayesian classification in powder-bed additive manufacturing from high-resolution visual camera images. Journal of Intelligent Manufacturing, 30, 2505–2523. Article Google Scholar
- Andrew Hrechuk, V. B.-E. (2018). Hole-quality evaluation in drilling fiber-reinforced composites. Composite Structures, 378–387.
- Armin Huber, S. D. (2019). Automated NDT inspection based on high precision 3-D Thermo-Tomography model combined with engineering and manufacturing data. Procedia CIRP, 321–328.
- K. Ashwini, S. R. (2021). Automated inspection system for automobile bearing seals. Materials Today: Proceedings, 4709–4715.
- Badmos, O., Kopp, A., Bernthaler, T., & Schneider, G. (2020). Image-based defect detection in lithium-ion battery electrode using convolutional neural networks. Journal of Intelligent Manufacturing, 31, 885–897. Article Google Scholar
- Bahl, S.M.J. (2020). Biosensors applications in fighting COVID-19 pandemic. Apollo Medicine, 221 -223. 10.1002%2Fbio.4430
- Billie, F., Spencer, V. H. (2019). Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring,. Engineering, 199–222.
- Blais, F. (2003). A review of 20 years of range sensor development, Videometrics. Proceedings of SPIE-IS&T Electronic Imaging,, 62 -76.
- Bond, R. K. (2017). Development of Tools for High Volume, High Speed Non-Destructive Inspection of Carbon Fiber Reinforced Plastics. Knoxville, TN: Institute for Advanced Composites Manufacturing Innovation.
- Brysch, M., Bahe, M., Hohensee, H. C., & Sinapius, M. (2022). Single system for online monitoring and inspection of automated fiber placement with object segmentation by artificial neural networks. Journal of Intelligent Manufacturing, 33, 2013–2025. Article Google Scholar
- Caggiano, A.R.A. (2017). Image analysis for CFRP Drilled Hole Quality Assessment. Procedia CIRP, 440–445.
- Campos Rubio, J.A.A. (2008). Effects of high speed in the drilling of glass fibre reinforced plastic: Evaluation of the delamination factor. International Journal of Machine Tools and Manufacture, 715–720.
- Caprino, G.V.T. (1995). Damage development in drilling glass fibre reinforced plastics. International Journal of Machine Tools and Manufacture, 817–829.
- Cemenska, J. R. (2015). Automated in-process inspection system for AFP machines. SAE International Journal of Aerospace, 303–309.
- Chow, Z. S. (2012). Automated visual inspection system for mass production of hard disk drive media. Procedia Engineering, 450 -457.
- Christian Koch, K. G. (2015). A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure,. Advanced Engineering Informatics, 196–210.
- Christopher Sacco, A. B. (2020). Machine learning in composites manufacturing: A case study of Automated Fiber Placement inspection. Composite Structures. Article Google Scholar
- Davies, E. R. (2012). Computer and machine vision: Theory, algorithms, practicalities. Academic Press.
- Dey, B. K., Bhuniya, S., & Sarkar, B. (2021). Involvement of controllable lead time and variable demand for a smart manufacturing system under a supply chain management. Expert Systems with Applications, 184.
- Ding, L., Fang, W., Luo, H., Love, P., Zhong, B., & Ouyang, X. (2018). A deep hybrid learning model to detect unsafe behavior: Integrating convolution neural networks and long short-term memory. Automation in Construction, 86, 118–124. Article Google Scholar
- Djordjevic, V., Tao, H., Song, X., He, S., Gao, W., & Stojanovic, V. (2023). Data-driven control of hydraulic servo actuator: An event-triggered adaptive dynamic programming approach. Mathematical Biosciences and Engineering, 20(5), 8561–8582. Article Google Scholar
- Dutta, N., & Subramaniam, U. (2018). Centrifugal Pump Cavitation Detection Using Machine Learning Algorithm Technique. IEEE International Conference on Environment and Electrical Engineering and 2018 IEEE Industrial and Commercial Power Systems Europe (EEEIC / I&CPS Europe).
- El Kalach, F., Wickramarachchi, R., Harik, R., & Sheth, A. (2023). A Semantic Web Approach to Fault Tolerant Autonomous Manufacturing. IEEE Intelligent Systems, 38(1), 69–75. Article Google Scholar
- Fang, W., Ding, L., Zhong, B., Love, P., & Luo, H. (2018). Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach. Advanced Engineering Informatics, 139–149.
- Gautam Dutta, R. K. (2021). Digitalization priorities of quality control processes for SMEs: A conceptual study in perspective of Industry 4.0 adoption. Journal of Intelligent Manufacturing, 32, 1679–1698. Article Google Scholar
- Ge, C., Wang, J., Wang, J., Qi, Q., & sun, H., & Liao, J. (2020). Towards automatic visual inspection: A weakly supervised learning method for industrial applicable object detection. Computers in Industry. Article Google Scholar
- Girshick, R. (2015). Fast R-CNN. ICCV ’15: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV), 1440–1448.
- Grasso, M., Laguzza, V., Semeraro, Q., & Colosimo, B. (2016). In-Process Monitoring of Selective Laser Melting: Spatial Detection of Defects Via Image Data Analysis. Journal of Manufacturing Science and Engineering. Article Google Scholar
- Gu, P. (1994). A knowledge-based inspection process planning system for coordinate measuring machines. Journal of Intelligent Manufacturing, 5, 351–363. Article Google Scholar
- Guo, B. (2018). A system dynamics view of a behavior-based safety programs. Safety Science, 202–215.
- Guo, B. G. (2017). Ontology for design of active fall protection systems. Automation in Construction. Article Google Scholar
- Haleem, A.P.G. (2021). 3D scanning of a carburetor body using COMET 3D scanner supported by COLIN 3D software: Issues and solutions, Mater. Today. Materialstoday: PROCEEDINGS, 331–337.
- Harik, R., El Kalach, F., Samaha, J., Clark, D., Sander, D., Samaha, P., . . . Saha, N. (2024, Jan 28). Analog and Multi-modal Manufacturing Datasets Acquired on the Future Factories Platform. Arxiv.
- He, K., Gkioxari, G., Dollar, P., & Girshich, R. (2017). Mask R-CNN. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2961–2969.
- Him, L. C., Poh, Y. Y., & Pheng, L. W. (2020). IoT-based predictive maintenance for smart manufacturing systems. IEEE. Article Google Scholar
- Hussien, H. A. (2012). Automated inspection planning system for CMMs. International Conference on Engineering and Technology (pp. 1–6). IEEE.
- Jarvis, D., Jarvis, J., Lucas, A., & Ronnquist, R. (2001). A multi-agent systems approach to collaborative autonomous manufacturing operations. 2001 IEEE International Conference on Systems, Man and Cybernetics. e-Systems and e-Man for Cybernetics in Cyberspace (Cat.No.01CH37236) (pp. 152–157). Tucson: IEEE.
- Jiang, D., Li, G., Tan, C., Huang, L., Sun, Y., & Kong, J. (2021). Semantic segmentation for multiscale target based on object recognition using the improved Faster-RCNN model. Future Generation Computer Systems, 94–104.
- Jines, M. D., & S. H. (2021). Past, present, and future barriers to digital transformation in manufacturing: A review. Journal of Manufacturing Systems, 60, 936–948. Article Google Scholar
- Kawaguchi, Y. Y. (1995). Internal pipe inspection robot. In Proceedings of 1995. EEE international conference on robotics and automation (pp. 857–862). IEEE.
- Khandelwal, P. (2020). Using Computer Vision to enhance Safety of Workforce in Mnaufacturing in a post COVID World. ArXiv.
- Khanzadeh, M., Tian, W., Yadollahi, A., Doube, H. R., Tschopp, M. A., & Bian, L. (2018). Dual process monitoring of metal-based additive manufacturing using tensor. Additive Manufacturing, 23, 443–456. Article Google Scholar
- Khashaba, U. (2004). Delamination in drilling GFR-thermoset composites. Composite Structures, 313–327.
- Kim, H., Kim, K., & Kim, H. (2016). Data-driven scene parsing method for recognizing construction site objects in the whole image. Automation in Construction, 271–282.
- Kirkpatrick, M. (2022). Digital Twins in Advanced Manufacturing to Enhance Manufacturing Efficency. University of South Carolina Scholar Commons. Retrieved from
- Klinieam, K. &. (2021). A machine vision approach for copper plating quality control system development. IEEE, 317 -320.
- Konrad, T. L. (2019). Surface defect detection for automated inspection systems using convolutional neural networks. 27th Mediterranean Conference on Control and Automation (pp. 75–80). IEEE.
- Kosmopoulos, D. &. (2001). Automated inspection of gaps on the automobile production line through stereo vision and specular reflection. Computers in Industry, 49–63.
- Kuhl, M. W. (2013). Multisensorial self-learning systems for quality monitoring of carbon fiber composites in aircraft production. Procedia Cirp, 103–108.
- Kuo, C.-F.J., Tung, C.-P., & Weng, W.-H. (2019). Applying the support vector machine with optimal parameter design into an automatic inspection system for classifying micro-defects on surfaces of light-emitting diode chips. Journal of Intelligent Manufacturing, 30, 727–741. Article Google Scholar
- Kusano, M., Hatano, H., Watanabe, M., Takekawa, S., Yamawaki, H., Oguchi, K., & Enoki, M. (2018). Mid-infrared pulsed laser ultrasonic testing for carbon fiber reinforced plastics. Ultrasonics, 310–318.
- Kushwaha, S.S.B. (2020). Significant Applications of Machine Learning for COVID-19 Pandemic. Journal of Industrial Integration and ManagemenT, 453–479. 10.1002%2Fbio.4430.
- Kwak, C., Ventura, J. A., & Tofang-Sazi, K. (2000). A neural network approach for defect identification and classification on leather fabric. Journal of Intelligent Manufacturing, 11, 485–499. Article Google Scholar
- Li, X.J.B. (2007). Automatic registration for inspection of complex shapes. Virtual and Physical Prototyping, 75–88.
- Li, Y., Zhao, W., & Pan, J. (2017). Deformable Patterned Fabric Defect Detection With Fisher Criterion-Based Deep Learning. IEEE Transactions on Automation Science and Engineering, 1256 – 1264.
- Li, Z. &. (2019). Research on Equipment Automated Inspection and Acceptance Framework Based on Ontology Modeling. 4th International Conference on Electromechanical Control Technology and Transportation (pp. 290–293). IEEE.
- Li, L., Lei, B., & Mao, C. (2022). Digital Twin in Smart Manufacturing. Journal of Industrial Information Integration, 26.
- Lin, H. L. (2019). Automated defect inspection of LED chip using deep convolutional neural network. Journal of Intelligent Manufacturing,, 2525–2534.
- Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., & Berg, A. C. (2016). SSD: Single Shot MultiBox Detector. 14th European Conference, Amsterdam, The Netherlands, (pp. 21–37).
- Liu, M.-W., Lin, Y.-H., Lo, Y.-C., Shih, C.-H., & Lin, P.-C. (2021). Defect Detection of Grinded and Polished Workpieces Using Faster R-CNN. 2021 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). Delft: IEEE.
- Livanos, G. Z. (2018). Intelligent navigation and control of a prototype autonomous underwater vehicle for automated inspection of aquaculture net pen cages. IEEE International Conference on Imaging Systems and Techniques (pp. 1 -6). IEEE.
- Lo, N. G.-M. (2019). “Review of machine learning approaches in fault diagnosis applied to IoT systems”. ” In 2019 International Conference on Control, Automation and Diagnosis (ICCAD).
- Mahmoudi, M., Aziz Ezzat, A., & Elwany, A. (2019). Layerwise anomaly detection in laser powder-bed fusion metal additive manufacturing. Journal of Manufacturing Science and Engineering. Article Google Scholar
- Manjeshwar, P. K., Craik, J., Phadnis, S., & Srihari, K. (2005). Effectiveness study of an automated 3D laminography x-ray. The International Journal of Advanced Manufacturing Technology. Article Google Scholar
- Marco Lansiti, D. S. (2016, November). www.ge.com. Retrieved 2022, from ссылка
- McLaughlin, E. C. (2020). Automated defect quantification in concrete bridges using robotics and deep learning. Journal of Computing in Civil Engineering. Article Google Scholar
- Mei, S., Yang, H., & Yin, Z. (2018). An Unsupervised-Learning-Based Approach for Automated Defect Inspection on Textured Surfaces. IEEE Transactions on Instrumentation and Measurement. Article Google Scholar
- Meister, S., Wermes, M. A., Stuve, J., & Groves, R. M. (2021). Review of image segmentation techniques for layup defect detection in the Automated Fiber Placement process. Journal of Intelligent Manufacturing, 32, 2099–2119. Article Google Scholar
- Misra, N. N., Dixit, Y., Al-Mallahi, A., Bhullar, M. S., Upadhyay, R., & Martynenko. (2020). IoT, Big Data, and Artificial Intelligence in Agriculture and Food Industry. IEEE, 9(9), 6305 – 6324.
- Monostori, L. C. (2008). Complex Adaptive Systems (CAS) Approach to Production Systems and Organisations. Manufacturing Systems and Technologies for the New Frontier. Book Google Scholar
- Oztemel, E. G. (2020). Literature review of Industry 4.0 and related technologies. J Intell Manuf, 31(2020), 127–182.
- Oztemel, E. G. (2020a). Literature review of Industry 4.0 and related technologies. Journal of Intelligent Manufacturing, 31, 127–182. Article Google Scholar
- Pagnano, A.M.H. (2013). A roadmap for automated power line inspection, Maintenance and repair. In: 8th CIRP conference on intelligent computation in manufacturing engineering (pp. 234–239). ScienceDirect.
- Patel, P., Ali, M., & Sheth, A. (2018). From Raw Data to Smart Manufacturing: AI and Semantic Web of Things for Industry 4.0. IEEE Intell Systems, 33(4), 79–86.
- Paulo Davim, J.P.R. (2003). Drilling carbon fiber reinforced plastics manufactured by autoclave—experimental and statistical study. Materials & Design, 315–324.
- Prieto, F.T.R. (2002). An Automated Inspection System. The international Journal of advanced manufacturing technology.
- Redmon, J., & Farhadi, A. (2017). YOLO9000: Better, Faster, Stronger. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 7263–7271.
- Reem Ashima, A. H. (2021). Automation and manufacturing of smart materials in additive manufacturing technologies using Internet of Things towards the adoption of industry 4.0. Materials Today: Proceedings, 5081 -5088.
- Ren, S., He, K., Girshick, R., & Sun, J. (2016). Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1137–1149.
- Roman, H. T. (1993). Pipe crawling inspection robots: an overview. IEEE transactions on energy conversion, 576–583.
- Ruiz Fernández, L. A. (2020). Setup Time Reduction in the Water for Injection Sampling Process on the Pharmaceutical Industry. Polytechnic University of Puerto Rico.
- Sacco, C. R. (2018). Automated fiber placement defects: Automated inspection and characterization. In SAMPE 2018 Conference and Exhibition. SAMPE.
- Sacco, C. R. (2019). Machine learning based AFP inspection: a tool for characterization and integration. NASA. Article Google Scholar
- Saidy, C. K. (2020). “The Application of Statistical Quality Control Methods in Predictive Maintenance 4.0: An Unconventional Use of Statistical Process Control (SPC) Charts in Health Monitoring and Predictive Analytics. In Advances in Asset Management and Condition Monitoring, springer.
- Sanchez, S., Rengasamy, D., Hyde, C. J., Figueredo, G. P., & Rothwell, B. (2021). Machine learning to determine the main factors affecting creep rates in laser powder bed fusion. Journal of Intelligent Manufacturing, 32, 2353–2373. Article Google Scholar
- Schäfer, B. E. (2016). Multicopter unmanned aerial vehicle for automated inspection of wind turbines. 24th Mediterranean Conference on Control and Automation (MED) (pp. 244–249). IEEE.
- Schlosser, T., Friedrich, M., Beuth, F., & Kowerko, D. (2022a). Improving automated visual fault inspection for semiconductor. Journal of Intelligent Manufacturing, 33, 1099–1123. Article Google Scholar
- Schlosser, T., Friedrich, M., Beuth, F., & Kowerko, D. (2022b). Improving automated visual fault inspection for semiconductor manufacturing using a hybrid multistage system of deep neural networks. Journal of Intelligent Manufacturing, 33, 1099–1123. Article Google Scholar
- Seif, M.A.U.K.-O. (2007). Measuring delamination in carbon/epoxy composites using a shadow moiré laser based imaging technique. Composite Structures, 113–118.
- Sharma, A., & S. B. (2020). Multi-agent system applications to fight COVID-19 pandemic. Apollo Medicine. Article Google Scholar
- Shi, J., Li, Z., Zhu, T., Wang, D., & Ni, C. (2020). Defect Detection of Industry Wood Veneer Based on NAS and Multi-Channel Mask R-CNN. Sensors, 4398.
- Shukla, A. &. (2013). A review of robotics in onshore oil-gas industry. IEEE International Conference on Mechatronics and Automation (pp. 1153–1160). IEEE.
- Shukla, A. &. (2016). Application of robotics in onshore oil and gas industry. Robotics and Autonomous Systems, 490–507.
- Simon Gaugel, P. S. (2016). A comparative study on tool wear and laminate damage in drilling of carbon-fiber reinforced polymers (CFRP). Composite Structures, 173–183.
- Singh, R. P. & M. J. (2020). Significant applications of virtual reality for COVID-19 pandemic. Diabetes & Metabolic Syndrome: Clinical Research & Review, 661–664.
- Singh, S. A., & Desai, K. A. (2022). Automated surface defect detection framework using machine vision and convolutional neural networks. Journal of Intelligent Manufacturing. Article Google Scholar
- Song, X., Sun, P., Song, S., & Stojanovic, V. (2023). Finite-time adaptive neural resilient DSC for fractional-order nonlinear large-scale systems against sensor-actuator faults. Nonlinear Dynamics, 12181–12196.
- Stojanovic, V. (2023). Fault-tolerant control of a hydraulic servo actuator via adaptive dynamic programming. Mathematical Modelling and Control, 3(3), 181–191. Article Google Scholar
- Stone, R., & Krishnamurthy, K. (1996). A neural network thrust force controller to minimize delamination during drilling of graphite-epoxy laminates,. International Journal of Machine Tools and Manufacture, 985–1003.
- Sun, X., Gu, J., Huang, R., Zou, R., & Palomares, B. G. (2019). Surface Defects Recognition of Wheel Hub Based on Improved Faster R-CNN. Electronics, 481.
- Sun, T.-H., Tien, F.-C., Tien, F.-C., & Kuo, R.-J. (2016). Automated thermal fuse inspection using machine vision and artificial neural networks. Journal of Intelligent Manufacturing, 27, 639–651. Article Google Scholar
- Supriya, S. K. (2021). Automatic Optical Inspection System for wiring harness using Computer Vision. IEEE International Conference on Electronics, Computing and Communication Technologies (CONECCT) (pp. 1 -5). IEEE.
- Szu-Hao Huang, Y.-C. P. (2015). Automated visual inspection in the semiconductor industry: A survey. Computers in Industry, 1–10.
- Tadhg Brosnan, D.-W. S. (2002). Inspection and grading of agricultural and food products by computer vision systems—a review. Computers and Electronics in Agriculture, 193–213.
- Tantaswadi, P. V. (1999). Machine vision for automated visual inspection of cotton quality in textile industries using color isodiscrimination contour. Computers & industrial engineering, 347–350.
- Terven, J., & Cordova-Esparza, D. (2023). A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS. Machine Learning and Knowledge Extraction, 1680–1716.
- The role of Industry 4.0 enabling technologies for safety management: A systematic literature review. (2021). Procedia Computer Science .
- Valero, E., Sivanathan, A., Bosche, F., & Abdel-Wahab, M. (2016). Musculoskeletal disorders in construction: A review and a novel system for activity tracking with body area network. Applied Ergonomics, 120–130.
- Wang, T., Chen, Y., Qiao, M., & Snoussi, H. (2018). A fast and robust convolutional neural network-based defect detection model in product quality control. The International Journal of Advanced Manufacturing Technology, 3465–3471.
- Wang, T., Zhang, K., Zhang, W., Wang, R., Wan, S., Rao, Y., . . . Gu, L. (2021). Tea picking point detection and location based on Mask-RCNN. Information Processing in Agriculture(2214–3173).
- Wang, Z. T. (n.d.). Equipment Monitoring and Optim. Equipment Monitoring and Optimization of Manufacturing.
- Wang Peng, J. X. (2021a). A high performance real-time vision system for curved. Optik. Article Google Scholar
- Wang Peng, J. X. (2021b). A high performance real-time vision system for curved surface inspection. Optik. Article Google Scholar
- Werner Kritzinger, M. K. (2018). Digital Twin in manufacturing: A categorical literature review and classification. IFAC, 51(11), 1016–1022. Article Google Scholar
- Wong, Q. Y. (2017). Applications of non-destructive testing techniques for post-process contrl of additively manufactured parts. Virtual and Physical Prototyping, 301–321.
- Xia, K., Sacco, C., Kirkpatrick , M., Saidy, C., Nguyen, L., Kircaliali, A., & Harik, R. (2021). A digital twin to train deep reinforcement learning agent for smart manufacturing plants: Environment, interfaces and intelligence. Journal of Manufacturing Systems, 210–230.
- Yang, J., Li, S., Gao, Z., Wang, Z., & Liu, W. (2018). Real-Time Recognition Method for 0.8 cm Darning Needles and KR22 Bearings Based on Convolution Neural Networks and Data Increase. Applied Sciences, 1857.
- Yeum, C. M., & Dyke, S. (2015). Vision-Based Automated Crack Detection for BridgeInspection. Computer-Aided Civil and Infrastructure Engineering, 30(10), 759–842. Article Google Scholar
- Yongdong QU, B. H. (2014). The Application of Image Processing Techniques in Analysis of Cigarette Packets Surface Defects. International Conference on Computer, Communications and Information Technology. CCIT.
- Yousif, I. (2021). Application of Digital Transformation in the Water Desalination Industry to Develop Smart Desalination Plants. (Master’s thesis). Retrieved from https://scholarcommons.sc.edu/etd/6871/
- Zhang, T., Shi, Z.-Z., Shi, Y.-R., & Chen, N.-J. (2022). Enterprise digital transformation and production efficiency: Mechanism analysis and empirical research. Economic Research-Ekonomska Istraživanja. Article Google Scholar
- Zou, Y. T. (2000). Vibration-based model-dependent damage (delamination) identification and health monitoring for composite structures – a review. w. Journal of Sound and vibration, 230,(2), 357–378.
- Zvezdan Lončarević, A. G. (2021). Specifying and optimizing robotic motion for visual quality inspection. Robotics and Computer-Integrated Manufacturing. Article Google Scholar
Авторы: Ibrahim Yousif, Liam Burns, Fadi El Kalach & Ramy Harik