Использование компьютерного зрения для создания высокоэффективных автономных промышленных объектов

Динамика работы нашей цифровой копии основана на бесшовной интеграции сбора, анализа и обработки данных в реальном времени. При обнаружении несоответствия или неисправности в физической системе камеры передают данные цифровой копии, которая затем автономно оценивает необходимость корректировки производственного процесса. Этот процесс демонстрирует двунаправленный поток данных, критически важный для функциональности цифровой копии, позволяя системе не только имитировать физическую сборочную линию, но и влиять на ее работу на основе цифровых данных.

Суть синхронизации в реальном времени нашего цифрового двойника заключается в его способности мгновенно реагировать на изменения физической системы. Эта быстрота обеспечивается протоколом, в рамках которого ПЛК, после выполнения команды сборки, устанавливает двустороннюю связь с цифровым двойником через периферийное устройство. Этот механизм позволяет системе мгновенно определять необходимость корректирующих действий, тем самым минимизируя время простоя и поддерживая эффективность работы. Внедрение системы управления аварийными сигналами IIoT дополнительно совершенствует этот процесс, устанавливая пороговое значение для автономного принятия решений на основе точности прогнозов цифрового двойника, тем самым балансируя автоматизацию с необходимостью человеческого контроля при необходимости.

Благодаря своей сложной архитектуре и операционной динамике, приложение не только соответствует, но и является ярким примером критериев цифрового двойника, определенных в контексте цифровой трансформации. В отличие от цифровых моделей и теневых копий, способность нашей системы действовать автономно, адаптироваться в режиме реального времени и напрямую влиять на физический производственный процесс подтверждает ее классификацию как цифрового двойника. Данная реализация подчеркивает практическое применение технологии цифровых двойников для повышения эффективности производственных процессов, предоставляя наглядный пример того, как теоретические концепции из литературы воплощаются в практическую реальность.

Этапы рабочего процесса предлагаемого приложения цифрового двойника

Цифровой двойник работает в три этапа, как показано на рис.  5. Система запускается, когда периферийное устройство отправляет тег данных, указывающий на завершение последнего этапа процесса сборки. Серверы получают доступ к потоку RTSP из сборочной ячейки, захваченному верхними камерами, где модель обнаружения объектов подтверждает завершение сборки, как показано на рис.  6. На первом этапе используется сверточная нейронная сеть (CNN), выполняющая классификацию изображений с точностью 98%. Эта классификация определяет, правильно ли собрана модель ракеты или в ней есть неисправные компоненты.

Если ракета сконструирована правильно, она продвигается по сборочной линии без каких-либо дальнейших изменений. И наоборот, если обнаружен неисправный компонент, система переходит ко второму этапу. На этом этапе алгоритм сегментации изображения точно определяет местоположение неисправного компонента внутри ракеты и передает эту информацию программируемому логическому контроллеру (ПЛК) через периферийное устройство (в нашем случае).

На заключительном этапе используются роботизированные манипуляторы для исправления ошибок сборки. Эти манипуляторы разбираются до тех пор, пока не достигнут дефектной части ракеты, и заменяют неисправные компоненты на правильные. Цель состоит в том, чтобы обеспечить этот процесс корректировки в режиме реального времени, минимизируя сбои в производственном процессе.

Стоит отметить, что 98% точность алгоритма классификации изображений была достигнута благодаря обширному обучению и тонкой настройке модели. Выбор алгоритмов нейронных сетей как для классификации, так и для сегментации изображений был обусловлен их доказанной эффективностью в предыдущих исследованиях, поэтому они были выбраны для данного примера.

Набор данных и алгоритм для первого этапа: обнаружение объектов и классификация изображений.

На первом этапе разработки цифрового двойника мы использовали сверточную нейронную сеть (CNN), обученную на надежном многоклассовом наборе данных. Эти семь различных классов были сформированы на основе различных цветовых конфигураций собранных ракет, отражающих потенциальное разнообразие результатов работы сборочной линии.

Систематический сбор данных изображений осуществлялся с помощью камер, расположенных сверху и стратегически размещенных внутри сборочного цеха. Мы использовали скрипт на языке Python, интегрированный с OpenCV, библиотекой компьютерного зрения с открытым исходным кодом, что позволило оптимизировать сбор данных для точного воспроизведения реальных условий работы сборочной линии. Эта процедура повысила достоверность и надежность наших обучающих данных.

Для сохранения целостности нашей модели и обеспечения ее эффективной работы мы подвергли изображения обширной предварительной обработке. Мы разработали этот конвейер с учетом многочисленных мер предосторожности, включая двухэтапный процесс перемешивания. Эта операция была необходима для предотвращения потенциальных искажений и дисбаланса при разделении данных на обучающую, валидационную и тестовую выборки. Этот тщательный процесс перемешивания обеспечил случайность распределения данных, тем самым предотвратив переобучение и повысив обобщающую способность нашей обученной модели.

Мы дополнительно усовершенствовали этапы предварительной обработки, уменьшив разрешение каждого изображения с (450 × 600, 3) до (224 × 224, 3). Эта корректировка сократила время обучения модели и ускорила вычисления, что соответствует нашей цели — внедрению автономного приложения для принятия решений в реальном времени. Для разметки набора данных было разработано собственное приложение, специально адаптированное под наши потребности. Оно выделяло интересующий объект на каждом изображении, игнорируя посторонние элементы, и преобразовывало изображение в файл формата XML. Такой подход обеспечил конфиденциальность данных и сократил потребность в платных услугах, снизив операционные затраты для производителей.

Из-за недостаточного объема изображений в реальном времени и сложности получения данных о дефектах сборки в процессе производства для обучения модели, авторы разработали инструмент аугментации изображений, обеспечивающий более эффективный и менее трудоемкий метод сбора данных. Этот инструмент расширил набор данных путем манипулирования свойствами изображений, такими как шум, размытие и яркость, или их сочетанием, искусственно увеличивая количество изображений для каждого класса. Это не только расширило набор данных, но и разнообразило типы сценариев, на которых модель могла обучаться, повысив ее обучающую способность и, как следствие, точность.

Сверточная нейронная сеть (CNN) была выбрана специально за её исключительную способность извлекать важные признаки из изображений низкого разрешения. Выбранная модель CNN, показанная на рис.  7 , включает три сверточных слоя и один полносвязный плотный слой, что в сумме составляет 11 014 056 обучаемых параметров. Сверточные слои эффективно уменьшают размерность исходных изображений, тем самым снижая вычислительную сложность. Примечательно, что значения RGB каждого пикселя были нормализованы из исходного диапазона 0–255 в шкалу 0–1 во время предварительной обработки. Эта нормализация крайне важна, поскольку CNN подвержены большим отклонениям в данных. По сути, каждый этап нашего процесса, от сбора данных до предварительной обработки, был разработан и реализован для построения высокоточной и надежной модели классификации изображений.

Набор данных и алгоритм для второго этапа: сегментация изображений.

Второй этап работы предлагаемой системы отвечает за идентификацию дефектных компонентов в сборке после того, как первый этап классифицирует их как дефектные. Это достигается за счет использования сверточной нейронной сети на основе маскированных областей (Mask R-CNN), высокопроизводительной модели сегментации изображений, которая обнаруживает, выделяет и классифицирует отдельные компоненты сборки как функциональные или дефектные.

Модель Mask R-CNN была выбрана за её возможности и эффективность в задачах сегментации изображений, доказанную надёжность при обработке сложных изображений и объектов, а также за её уникальную способность выдавать попиксельные маски объектов. В качестве базовой архитектуры она использует остаточную нейронную сеть (ResNet). Эта базовая сеть использует пакетную нормализацию и выпрямлённую линейную функцию активации (ReLU), что ускоряет процесс обучения и повышает стабильность модели. Mask R-CNN принимает изображение в тензорном формате в качестве входных данных. На первом этапе — сети предложений областей (RPN) — она предлагает области интереса (RoI), которые потенциально могут содержать объект, и передаёт их на следующий этап. На втором этапе Mask R-CNN одновременно классифицирует предложенные RoI, уточняет координаты ограничивающей рамки и генерирует бинарную маску, окружающую часть ракеты, как показано на рис.  8 . Успешно обученная Mask R-CNN выдает 3 результата для каждого обнаруженного объекта: классификацию, ограничивающую рамку и маску, которая выделяет объект внутри ограничивающей рамки, как показано на рис.  9.

Обучение Mask R-CNN осуществлялось с использованием API обнаружения объектов TensorFlow и сервисов ускорения GPU Google Colaboratory. Был подготовлен, размечен и отформатирован в формат Common Objects in Context (COCO) обширный набор данных, включающий 500 изображений дефектных ракетных узлов, с использованием того же внутреннего инструмента аннотирования, что и в разделе 3.2. Для повышения качества набора данных 193 изображения из общего числа были подвергнуты методам аугментации, включая добавление шума, размытия и изменения яркости, как по отдельности, так и в комбинации. Этот процесс помог расширить возможности модели в отношении вариаций, повысив её устойчивость. Изображения в наборе данных были распределены по различным категориям дефектов: 275 изображений имели дефектные части корпуса, 113 — дефектную базовую часть и 112 — дефектный наконечник. Кроме того, для эффективной оценки производительности модели набор данных был разделен на обучающую и тестовую подгруппы, содержащие 80% и 20% изображений соответственно.

В этом подробном обсуждении представлены обоснование, процесс и тонкости алгоритма сегментации изображений и набора данных второго этапа, что позволяет понять наш подход и технические соображения, повлиявшие на наши исследовательские решения.

Выбор показателей оценки эффективности

Выбор точности и бинарной кросс-энтропийной функции потерь в качестве показателей оценки производительности сверточной нейронной сети соответствует стандартным методам оценки задач классификации. Точность обеспечивает простой способ измерения общей правильности классификации изображений моделью, в то время как бинарная кросс-энтропийная функция потерь дает представление о процессе оптимизации модели и ее поведении при сходимости.

Аналогично, для модели Mask R-CNN мониторинг общей функции потерь служит всесторонней мерой производительности модели, отражая как точность локализации, так и качество сегментации. Общая функция потерь в случае Mask R-CNN, хотя и не так очевидна, как точность, предоставляет обучающему разработчику модели целостное представление об эффективности модели в задачах сегментации экземпляров. Это достигается путем агрегирования потерь классификации, регрессии ограничивающих рамок и сегментации маски.

Кроме того, использование матриц ошибок дополняет эти количественные метрики, предоставляя подробную информацию о производительности модели по всем меткам, генерируемым моделью сегментации, обеспечивая более наглядное представление о производительности модели, чем такие количественные метрики, как средняя точность (mAP) и средняя полнота (mAR), в ситуациях, подобных этой, когда в данных присутствует множество классов.

Третий этап: машинная коррекция

Третий этап работы предлагаемой нами системы в основном связан с машинной коррекцией собранных ракет. Этот этап запускается, как только сверточная нейронная сеть (CNN) классифицирует полностью собранную ракету как дефектную. В случае такой классификации вступает в действие Mask R-CNN, которая идентифицирует и классифицирует отдельные компоненты сборки как функциональные или дефектные.

На рисунке  10  наглядно представлены последующие процедуры коррекции. Каждый шаг, необходимый для замены дефектного компонента, такой как удаление детали и утилизация дефектных частей, определяется как отдельный путь в Siemens Process Simulate, программном обеспечении для программирования роботизированной руки. Эта модульная стратегия создания путей учитывает потенциальное увеличение количества уникальных комбинаций сборок по мере добавления новых цветовых вариантов ракет. Таким образом, несмотря на увеличение количества комбинаций сборок, число путей коррекции остается управляемым и эффективным.

Как описано в разделе 3.4, каждый обнаруженный объект на изображении дает три результата от модели сегментации изображения: классификацию, ограничивающую рамку и маску. Каждый из этих результатов играет решающую роль в определении корректирующих мер для сборки. Классификация подтверждает тип и порядок деталей с помощью ограничивающих рамок и масок, чтобы обеспечить правильное выравнивание и последовательность. После проверки дефектные детали, выявленные с помощью классификации объектов, систематически заменяются.

Процедура коррекции представляет собой алгоритмический процесс, который выполняется в три этапа: удаление всех деталей, расположенных над дефектной частью, замена дефектной части и повторная сборка ракеты. Результатом работы этого алгоритма является набор идентификаторов траекторий, которые сохраняются в контроллерах робота и планируются цифровым двойником и периферийным устройством через канал передачи данных. В результате дефектные узлы подвергаются автоматической коррекции в режиме реального времени. На рисунке  10  показаны процессы принятия решений и рабочие процессы, которые объединяют независимые модели в предлагаемое приложение.

Существующий подход к автоматической коррекции основан на предопределенных путях устранения дефектов. Хотя этот подход обеспечивает автоматизацию, ему не хватает гибкости и эффективности при работе с непредсказуемыми дефектами. Для решения этой проблемы мы работаем над интеграцией слоя обработки ИИ, использующего алгоритмы взаимодействия человека с системой (Human in the Loop, HITL) и динамического захвата. Внедрение HITL позволит преобразовать систему из просто автоматизированной в более гибкую, автономную основу, способную эффективно справляться с новыми и непредсказуемыми сложностями на сборочной линии. Алгоритмы HITL вступают в действие, когда система компьютерного зрения не может самостоятельно решить задачу, требуя вмешательства человека для создания новых путей, переобучения и тестирования.

Преимущества предлагаемого метода

Хотя достижения в алгоритмах сегментации изображений потенциально обеспечивают более быстрое время обработки и более высокую точность, практическая реализация таких методов остается сложной задачей из-за дефицита доступных ресурсов с открытым исходным кодом и сложности интеграции. Mask R-CNN, благодаря надежной поддержке библиотек и простому процессу реализации, выделяется не только как технически жизнеспособный вариант, но и как прагматически превосходящий выбор. Учитывая эти соображения, Mask R-CNN был выбран за его доказанную эффективность в балансировании противоречивых требований к точности обнаружения, вычислительной эффективности и оптимизации ресурсов. Его использование в данном исследовании свидетельствует об адаптивности метода и превосходстве его производительности в сложных промышленных условиях. Для сравнения, единственным другим алгоритмом, сопоставимым по возможностям с Mask R-CNN, является YOLO V8, более новая разработка, выпущенная в 2023 году. Важно отметить, что YOLO V8 появился после того, как наша модель уже была обучена и внедрена в нашем центре. YOLO V8 известен своей скоростью благодаря однопроходному подходу к обнаружению объектов. Однако этот упрощенный процесс может привести к снижению точности по сравнению с такими методами, как Mask R-CNN. Подход YOLO V8 может быть выгоден в сценариях, где скорость является критически важным фактором, но для приложений, где точность имеет первостепенное значение, как в нашем случае, возможности детальной сегментации Mask R-CNN предлагают более подходящее решение. Это различие подчеркивает важность выбора алгоритма, соответствующего конкретным операционным потребностям, с балансом между скоростью и точностью в зависимости от поставленной задачи.

Предложенный метод использует начальную сверточную нейронную сеть (CNN) для классификации изображений, оптимизируя процесс контроля за счет быстрого отсеивания небракованных ракет посредством комплексной оценки изображений. Такой подход ускоряет проверку небракованных узлов, повышая эффективность. Последующий уровень контроля включает в себя Mask R-CNN, которая выходит за рамки простого обнаружения ошибок, выполняя сегментацию на уровне пикселей и обеспечивая детальный, основанный на физических принципах анализ первопричин. Эта стратегия с использованием двух моделей соответствует конечной цели системы — обнаружению и идентификации различных дефектов, таких как трещины или деформации, что делает ее пригодной для применения в различных производственных процессах.

Начальный этап обучения и тестирования модели, хотя и сложный, меркнет по сравнению со сложностями развертывания и мониторинга приложений в реальном времени. Здесь решающее значение имеют алгоритмы компьютерного зрения, поскольку они преобразуют визуальные данные в количественный массив, прокладывая путь для последующих этапов обучения модели — где алгоритм настраивается на ожидаемые сценарии — и тестирования модели — где проверяется точность и достоверность прогнозов алгоритма. Тем не менее, настоящая проверка возможностей этой системы заключается в ее работе в условиях аномальных и беспрецедентных событий во время выполнения и развертывания. Именно на этом этапе могут проявиться два основных недостатка модели: столкновение со сценариями, выходящими за рамки ее обучения, что требует тщательного мониторинга для корректировки действий с низкой достоверностью прогнозов, и практические ограничения непрерывного контроля системы в оживленной производственной среде, где любая ошибка может привести к травме или нарушить производство. Для решения этих критических проблем предлагаемое приложение использует многогранный подход, интегрируя сложный набор методов машинного обучения, каждый из которых вносит свой вклад в создание комплексной, надежной системы. Вместо того чтобы полагаться на один алгоритмический подход, будь то обучение с учителем или обучение с подкреплением, система использует ансамбль алгоритмов. Они структурированы как подслои, каждый из которых играет свою особую, но взаимосвязанную роль в иерархии принятия решений.

В основе нашей системы лежат алгоритмы контролируемого обучения, известные своей способностью распознавать образы, откалиброванные на наборе данных, отражающем широкий спектр операционных сценариев, что позволяет получать высокоточные прогнозы на основе исторических данных. Дополнительный слой машинного обучения наделяет систему гибкостью, позволяющей адаптироваться к новым и меняющимся условиям посредством взаимодействия с окружающей средой в реальном времени, повышая производительность и минимизируя сбои. В этой архитектуре неотъемлемой частью являются вмешательства человека (HITL), которые первоначально активируются, когда базовый слой выдает прогноз с низкой степенью достоверности, что позволяет экспертам не только корректировать, но и обогащать обучающий набор данных. Второй интерфейс HITL является свидетельством динамического взаимодействия между человеческим контролем и адаптивным слоем машинного обучения. Если автономная коррекция системы помечена как имеющая низкую степень достоверности, этот интерфейс позволяет инженерам предоставлять целенаправленную обратную связь. Это важнейшее вмешательство позволяет перекалибровать процессы принятия решений системы, способствуя непрерывному циклу обучения, который со временем повышает точность прогнозирования модели. В этой сложной системе человеческий опыт дополняет точность алгоритма, обеспечивая максимальное использование потенциала каждого слоя и минимизацию его ограничений. Благодаря такому тонкому, многоуровневому подходу модель не только достигает повышенной точности при решении известных проблем, но и обладает устойчивостью и адаптивностью для управления непредсказуемостью новых событий, воплощая комплексную стратегию по противодействию возможности ложных срабатываний и ложных отрицательных результатов.

Наш метод, основанный на интеграции CNN и Mask R-CNN, теоретически превосходит существующие методы в нескольких ключевых областях. В литературе указывается, что аналогичные подходы на основе ИИ продемонстрировали превосходную точность в задачах обнаружения и сегментации объектов, что является краеугольным камнем функциональности нашего метода. Кроме того, эффективность нашего подхода подчеркивается его способностью обрабатывать разнообразные и сложные задачи сборки с минимальным участием человека, что является значительным шагом вперед по сравнению с более традиционными, трудоемкими методами контроля качества.

В машинном обучении эпохи представляют собой количество раз, когда весь обучающий набор данных обрабатывается алгоритмом обучения, а размер пакета относится к количеству обучающих примеров, используемых в одной итерации. Правильная настройка этих параметров имеет решающее значение для нахождения правильного баланса между сходимостью модели и вычислительной эффективностью во время обучения.

Без достаточного обучения модель будет показывать низкие результаты по точности и показателям потерь, а при слишком большом обучении модель может переобучиться и быть эффективной только на обучающих данных, показывая низкие результаты при развертывании в системе. Хотя вероятность переобучения можно минимизировать, используя разнообразные ракурсы, фоны и позиционирование в наборе данных, а также добавляя шум, размытие и другие эффекты к изображениям с помощью аугментации, важно включить в алгоритм обучения модели фактор ранней остановки, чтобы прервать обучение, когда улучшение точности и потерь станет незначительным или вовсе отсутствующим.

В случае нашего алгоритма классификации изображений мы обучали модель с размером пакета 4, и обучение модели завершилось после 6 эпох, как показано на рис.  12. Исследователи выбрали меньший размер пакета данных — 4, а не более традиционные 16, 32 или 64, не из-за ограничений памяти, а из-за преимущества в способности модели адаптироваться к изменяющимся наборам данных, как мы и планируем делать.

После оптимизации процесса мы провели первоначальный эксперимент для оценки производительности предложенной системы. Он включал 16 различных сценариев обнаружения дефектов цвета, используя набор данных из 500 репрезентативных изображений. Основная цель заключалась в критической оценке эффективности, точности и возможностей обнаружения дефектов в реальном времени нашего приложения цифрового двойника. Для этого мы стратегически разделили набор данных, зарезервировав 80% для обучения модели и выделив оставшиеся 20% для тестирования и проверки. Такое преднамеренное разделение данных обеспечило всестороннюю и строгую оценку производительности модели.

На рисунке  13  представлен ряд тестовых изображений и соответствующие им прогнозы обнаружения дефектов с использованием модели классификации изображений. Был определен пороговый уровень, который подключен к системе управления оповещениями IoT, запускающей сигналы тревоги, требующие принятия мер. Если точность прогноза составляет 95% или выше, система действует автономно, не нарушая и не прерывая процесс. Однако, если точность ниже 95%, ответственному персоналу будет отправлено уведомление, содержащее изображение и его анализ на предмет вмешательства человека, как показано на рис.  14.

Точность модели классификации изображений составляет 100% и была рассчитана с использованием логарифмической функции потерь, как показано на рис.  12. Первая производительность модели была оценена путем построения графиков точности обучения, потерь обучения, точности валидации и потерь валидации. Кроме того, для расчета потерь использовалась бинарная кросс-энтропийная функция потерь (логарифмическая функция потерь). Точность обучения и потери были построены на одном графике, а потери обучения и валидации — на другом графике. Эти графики можно увидеть на рис.  11 .

Матрицы ошибок создаются для визуализации точности обученных моделей и понимания того, с какими классификациями и частями модели испытывают трудности. Матрица ошибок присваивает каждому предсказанию, сделанному моделью, прямоугольник, представляющий собой случай, когда объекту, обозначенному по оси Y, была присвоена классификация, обозначенная по оси X. На рисунке  15  показана матрица ошибок, отображающая точность модели классификации изображений на наборе данных из 500 изображений.

В каждом прямоугольнике указано число и процент. Число (вверху) соответствует количеству раз, когда эталонному образцу была присвоена данная классификация, а процент соответствует частоте присвоения эталонному образцу данной классификации. Например, нижний левый прямоугольник соответствует случаю, когда правильная сборка (проход) была классифицирована как дефектная; эта неправильная классификация произошла 5 раз во время тестирования модели на наборе данных. Эти 5 неправильных классификаций означают, что модель неправильно классифицировала 4,63% прошедших ракет в наборе данных.

Если алгоритм классификации изображений классифицировал ракету как дефектную, алгоритм сегментации изображений определяет, какие детали отсутствуют на своих местах, для дальнейшей машинной коррекции, как показано на рис.  16. На рис.  17 представлена ​​еще одна матрица ошибок, построенная с использованием прогнозов, сделанных моделью сегментации изображений на группе из 500 изображений. Каждый прямоугольник в матрице ошибок представляет собой случай, когда объекту, обозначенному по оси Y, была присвоена классификация, обозначенная по оси X, для анализа производительности модели.

Каждый прямоугольник на матрице ошибок представляет собой компонент сборки, которому присваивается классификация. Правильное обнаружение будет иметь ту же классификацию, что и эталонная. В каждом прямоугольнике указано число, показывающее, сколько раз эта классификация была присвоена эталонной, а процент показывает, в каком проценте случаев эта эталонная классификация присваивается в используемом наборе данных. Например, в верхнем левом прямоугольнике показано, как часто «дефектная деталь 1» (наконечник ракеты) классифицируется правильно, при этом число внутри прямоугольника (94) показывает, сколько раз дефектный наконечник ракеты был классифицирован правильно, а процент (100%) относится к проценту случаев, когда дефектная деталь была классифицирована правильно.

Для того чтобы обнаружение было классифицировано как достоверное, модель должна иметь уровень достоверности предсказания выше 60% и показатель IOU выше 0,75. Нижняя строка и крайний правый столбец (обозначенные как F/N) показывают любые предсказания, которые не соответствуют заранее определенным критериям. В столбце F/N 15 обнаружений — это предсказания, которые не соответствуют пороговому значению достоверности для того, чтобы считаться достоверными, а 4 обнаружения в строке F/N — это предсказания, которые не имели достаточно высокого показателя пересечения с объединением (IOU), чтобы сопоставить предсказание с аннотированным объектом на изображении.

Хотя первая матрица ошибок полезна для понимания того, какие части модель лучше или хуже правильно идентифицирует, эта упрощенная бинарная матрица ошибок (рис.  18)  помогает лучше понять производительность модели в целом. Эта бинарная матрица ошибок классифицирует каждое предсказание, сделанное моделью, как истинно положительное, истинно отрицательное, ложно положительное или ложно отрицательное. Где истинно положительное и истинно отрицательное — это правильно классифицированные части, а ложно положительное и ложно отрицательное — неправильно классифицированные части. Количество ложноположительных и ложноотрицательных обнаружений в этом случае одинаково, поскольку если часть классифицирована неверно, это ложноположительное значение одной классификации и ложноотрицательное значение ее истинной классификации.

Выбор параметров обучения в случае Mask R-CNN был более ограничен, чем для CNN, поскольку аппаратные ограничения, устанавливаемые Google Colaboratory для пользователя, ограничивали размер пакета до 2 или менее. Количество эпох для Mask R-CNN было установлено на 50, но метод ранней остановки остановил обучение примерно на 10 000 шагах (40 эпохах).

Перед обучением Mask R-CNN, помимо упомянутых ранее параметров обучения, можно было настроить множество других параметров. Некоторые важные параметры — пороговое значение IoU, максимальное количество обнаружений на класс и максимальное общее количество обнаружений — были скорректированы в соответствии с особенностями системы. Например, каждая ракета состоит из 4 различных компонентов, поэтому модель ограничена одним обнаружением на класс и четырьмя общими обнаружениями, а пороговое значение IoU для обучения было установлено на общепринятом уровне 0,75. Были и другие параметры — такие как скорость обучения — которые исследователи решили сохранить, учитывая доказанную эффективность предварительно обученной модели в задачах, для которых она была предварительно обучена. Используя трансферное обучение с предварительно обученной моделью, исследователи стремились извлечь выгоду из полученных представлений и избежать ненужных корректировок, которые могут ухудшить производительность модели.

Точность модели сегментации изображений рассчитывалась с использованием метода суммарной потери, как показано на рис.  19. На этом рисунке показана средняя суммарная потеря для каждого набора из 100 шагов. После 10 000 шагов обучения Mask R-CNN показал суммарную потерю 0,1362. Суммарная потеря представляет собой составную целевую функцию, которую модель машинного обучения стремится минимизировать путем точной настройки весов признаков. По мере продолжения обучения модели функция потерь уменьшается и в конечном итоге стабилизируется на близком к нулю положительном значении. Чтобы глубже разобраться в механике функции суммарной потери, необходимо понять ее составляющие компоненты, которые определены в уравнении ( 1 ) (Wang et al., 2021).

Здесь, L_cls — это ошибка классификации в области прогнозируемого прямоугольника. L_mask — это средняя бинарная кросс-энтропийная потеря, и  L_box — это функция потерь регрессии для области прогнозирования. L_cls, L_mask, и L_box определяются с помощью уравнений ( 2 )( 3 )( 4 ).

В этом уравнении  p_{i —}  это прогнозируемая вероятность того, что опорная точка  i  является целевой точкой.  — это прогнозируемое значение реальной метки области, а  lb  представляет собой логарифмическую функцию потерь.

Здесь x — количество пикселей. x* — это истинная метка категории, в которой находится пиксель, а  p(x_i)  — это прогнозируемая вероятность того, что этот пиксель принадлежит к определенной категории.

В этом уравнении  R — это устойчивая функция потерь,  t_i представляет собой параметризованные координатные векторы предсказанного ограничивающего прямоугольника, и t* — это вектор истинных координат.

Оценка эффективности интеграции и вычислительных ресурсов: совершенствование решений для интеллектуального производства.

В результате проведенного исследования всесторонняя оценка интеграции решения и его вычислительной эффективности в производственной среде выявила многообещающие результаты как с точки зрения внедрения, так и с точки зрения вычислительных возможностей. Бесшовная интеграция нашей системы в существующую операционную инфраструктуру, соответствующая как физической, так и цифровой среде производства, подчеркивает полную совместимость с текущими аппаратными и программными конфигурациями, что указывает на высокую степень возможности интеграции. 

Это соответствие сыграло решающую роль в улучшении операционных процессов без сбоев, обычно связанных с процессами ручного вмешательства. Масштабируемость нашего решения, подтвержденная его вкладом в более широкую инициативу, направленную на виртуализацию контроля и проверки труда, демонстрирует его адаптивность к различным приложениям, включая протоколы безопасности и упаковку.

Эта адаптивность не только способствует трансформационному перераспределению квалифицированной рабочей силы, но и усиливает масштабируемость решения. Принципы проектирования, ориентированные на пользователя, обеспечили доступность решения и минимальную необходимость обучения, тем самым способствуя плавному переходу для персонала и широкому распространению.

Время обработки данных в нашей системе оптимизировано для удовлетворения требований производственной среды, обеспечивая ответы в режиме реального времени или почти в реальном времени на этапах тестирования. Такая эффективность имеет решающее значение для поддержания бесперебойного рабочего процесса и оперативного устранения выявленных проблем. С точки зрения вычислительных ресурсов, обучение модели проводилось в блокноте Google Colab, что исключает необходимость в дорогостоящей вычислительной инфраструктуре.

Выбор в пользу разметки данных и обучения модели собственными силами представляет собой значительное снижение затрат по сравнению с альтернативами, такими как приобретение лицензий на программное обеспечение или системы камер, основанные на правилах, которые могут не обеспечивать такой же уровень эффективности.

Более того, экономическая целесообразность решения становится все более очевидной при его применении на различных этапах и операциях внутри предприятия. Эта оценка выйдет за рамки чисто финансовых показателей и охватит как материальные, так и нематериальные преимущества, предоставляемые компьютерным зрением, такие как экономия времени и повышение качества.

В производстве, где соображения стоимости и окупаемости инвестиций имеют первостепенное значение при принятии решений, это решение выделяется не только как технически жизнеспособный вариант, но и как финансово обоснованная инвестиция. Продолжающийся анализ позволит получить дополнительные сведения об экономическом воздействии, подтверждая целесообразность внедрения компьютерного зрения в промышленных условиях для повышения безопасности и операционной эффективности.

В заключение, наше исследование подтверждает практическую и экономическую целесообразность внедрения компьютерного зрения в производство, что является значительным шагом на пути к революционному повышению безопасности и эффективности в промышленности. Это начинание не только подчеркивает техническую осуществимость нашего подхода, но и устанавливает новый стандарт для интеллектуальных производственных решений, направляя отрасль в будущее, где безопасность и эффективность будут иметь первостепенное значение.