Cистема машинного зрения для контроля качества фотошаблонов в процессе производства

7
views

С наступлением Четвертой промышленной революции активно ведутся исследования по обнаружению аномалий в производственном процессе с использованием глубокого обучения и машинного зрения. Предпринимались различные попытки внедрения инноваций на производственных площадках путем использования передовых информационных технологий, таких как машинное зрение, машинное обучение и глубокое обучение, во многих производственных процессах.

Однако до сих пор не было случаев проектирования и внедрения этих технологий на предприятиях по производству масок, что крайне важно для борьбы с пандемией COVID-19. Оригинальность данной работы заключается в обеспечении устойчивости в среде производства масок и промышленной экосистеме путем внедрения новейших компьютерных технологий в производственный процесс, необходимый для противодействия пандемии.

В этом исследовании ставится цель создать систему контроля качества на основе машинного зрения в реальном производственном процессе для повышения устойчивой производительности в процессе производства масок и опробовать новое техническое приложение, которое может внести вклад в развитие всей производственной отрасли в Корее в будущем. Таким образом, цель данной работы состоит в том, чтобы представить процедуры построения и внедрения аппаратных и программных систем для автоматизации процесса контроля, автоматизации управления, построения системы мониторинга производства в точке производства (POP), внедрения «умной фабрики» и соответствующих решений.

Данная работа представляет собой прикладное исследование, проведенное на реальном предприятии по производству масок, и является качественным анализом, направленным на повышение производительности производства масок. Компания «А» — это предприятие по производству масок, расположенное в Корее и выпускающее тонны масок ежедневно. Компания планирует автоматизировать идентификацию качественных и дефектных изделий в процессе производства масок с помощью технологии машинного зрения.

Для этого была внедрена производственная среда обнаружения аномалий на основе глубокого обучения и машинного зрения с использованием инструментария LAON PEOPLE NAVI AI Toolkit. В результате производительность процесса обнаружения дефектов масок на предприятии «А» может быть значительно повышена, и ожидается, что эта технология будет применяться в аналогичных процессах производства масок в будущем для повышения устойчивости подобных производственных площадок.

1. Введение

Вступая в постковидную (постковидную) эпоху, создание устойчивой производственной среды во всех отраслях стало первоочередной задачей. Пандемия COVID-19 привела к резкому росту спроса на необходимое медицинское оборудование, а также к необходимости применения передовых информационных технологий [1]. Медицинские маски стали критически важной необходимостью, поскольку концентрация мелкодисперсной пыли продолжает постепенно увеличиваться с 2000-х годов. Согласно докладу AirVi-sual о качестве воздуха в мире за 2018 год, Южная Корея занимает второе место по концентрации ультрамелкодисперсной пыли среди стран-членов ОЭСР (Организации экономического сотрудничества и развития). В частности, 76,5% южнокорейцев ежедневно проверяют информацию о мелкодисперсной пыли, и потребность в масках возрастает из-за таких проблем, как желтая пыль, MERS (ближневосточный респираторный синдром) и COVID-19.

Контроль качества продукции считается одним из важнейших факторов проверки в производственном процессе, в том числе и в текстильной промышленности. Качество текстильной продукции серьезно ухудшается из-за дефектов. Текстильные ткани имеют однородные узоры и текстурные свойства как в горизонтальном, так и в вертикальном направлениях. Поврежденные участки, которые деформируют узоры и текстуру, называются дефектами ткани [2].

Неспособность обнаружить дефекты на ранней стадии процесса обходится дорого: время, деньги и удовлетворенность потребителей. Таким образом, раннее и точное обнаружение дефектов ткани является важным этапом контроля качества [3]. Обнаружение дефектов текстиля является критически важным этапом контроля качества в текстильном производстве, поскольку наличие дефектов в текстильной ткани снижает ее рыночную цену более чем вдвое. Именно поэтому автоматическое обнаружение дефектов ткани считается очень важным для выявления различных видов дефектов, таких как дыры, утолщения, масляные пятна и т. д. [4].

Старый способ обнаружения дефектов заключался в назначении инспектора-человека для поиска недостатков с целью обеспечения качества. Ручная проверка занимает много времени, а уровень точности неудовлетворителен для удовлетворения современных требований высококонкурентного международного рынка [3]. Поэтому ожидаемое качество невозможно обеспечить при ручной проверке. Система контроля дефектов ткани на основе компьютерного зрения является решением проблем, вызванных ручной проверкой, поскольку машинное зрение значительно повышает эффективность, качество и надежность обнаружения дефектов [5]. Автоматизированная система контроля дефектов ткани уже много лет привлекает широкое внимание исследователей по всему миру [6].

В существующем процессе производства масок компании «А» автоматизация осуществлялась только на этапах подачи ткани и производства. С другой стороны, в процессе контроля качества готовой продукции различение качественных и дефектных изделий осуществлялось вручную, с помощью человеческого глаза и рук.

В результате, затраты времени и средств были крайне неэффективными. Для решения этой проблемы мы стремимся значительно повысить производительность процесса обнаружения дефектов масок в компании «А» путем разработки и внедрения системы контроля на основе машинного зрения в процессе производства масок. Для повышения эффективности различения качественных и дефектных изделий на местах с помощью решений машинного зрения на основе искусственного интеллекта используется инструментарий LAON PEOPLE NAVI AI Toolkit.

С момента своего основания в 2010 году компания LAON PEOPLE предоставляет решения машинного зрения для автоматизации производства и логистики ведущих компаний в Корее и за рубежом. Эта программа позволила внедрить инновации в производственный процесс с помощью первого в Корее программного обеспечения для контроля качества на основе машинного зрения с использованием искусственного интеллекта в 2016 году и помогла использовать различные продукты машинного зрения в зависимости от условий эксплуатации, включая:

В данном исследовании рассматриваются пакеты решений для контроля качества на основе ИИ, 2D/3D-камеры, интеллектуальные камеры и тепловизионные камеры. Исследование проводится в рамках прикладного исследования на реальном заводе с целью повышения производительности за счет качественного анализа. Структура статьи следующая: Раздел 2 посвящен компьютерному зрению, контролю качества на основе машинного зрения, машинному обучению для производственных процессов и прогнозированию остаточного срока службы; Раздел 3 описывает устойчивый процесс производства масок на «умном» заводе; Раздел 4 посвящен реализации и результатам; Раздел 5 содержит заключение.

2. Связанные работы

2.1. Компьютерное зрение

Компьютерное зрение — это область, изучающая, как извлекать значимую информацию из неподвижных или движущихся изображений с помощью компьютера. В случае существующих нейронных сетей все нейроны в смежных слоях объединяются. Сверточная нейронная сеть (CNN) добавляет к этому слой пулинга и использует комбинацию Affine-Softmax, как это происходит в последнем выходном слое, соединяясь с потоком Conv-ReLU-(Pooling) [7].

Заполнение (padding) — это метод заполнения данных определенными значениями перед выполнением операции свертки. Без заполнения данные становятся меньше каждый раз при выполнении операции свертки, и операция не может быть выполнена в любой момент. CNN за последние десятилетия приобрели известность в исследовательской литературе по классификации изображений. Одним из недостатков CNN является их недостаточная обобщаемость и склонность к переобучению при небольших обучающих наборах данных. Аугментация напрямую решает эту проблему, генерируя новые точки данных, предоставляющие дополнительную информацию. Именно поэтому для реализации CNN требуется аугментация данных изображений [8].

Когда обучение проводится без аугментации, хорошо обнаруживается только изображение обучающих данных, используемых для обучения. То есть, может возникнуть переобучение при обнаружении дефектов ткани на серых и клетчатых тканях с частотой ошибок обнаружения менее 5% [9]. Аугментация данных — это метод генерации множества данных из одного набора данных. Его цель — расширить ограниченный объем данных для повышения производительности и решения проблем переобучения.

Методы аугментации изображений делятся на базовую обработку изображений, подход глубокого обучения и метаобучение. Базовая обработка изображений подразделяется на геометрическое преобразование, преобразование цветового пространства, фильтр ядра, случайное стирание, смешивание изображений и т. д. Подход глубокого обучения подразделяется на аугментацию пространства признаков, состязательное обучение, аугментацию данных GAN и перенос стиля нейронной сети. Наконец, в случае метаобучения, оно подразделяется на нейронную аугментацию, автоматическую аугментацию и интеллектуальную аугментацию [10].

2.2. Контроль качества на основе машинного зрения

Когда оператор вручную проводит контроль качества в процессе производства, его глаза со временем устают. По этой причине, если проверка проводится субъективно человеком, устойчивый контроль качества невозможен. Согласно соответствующей статистике, традиционные инспекторы тканей могут проверить до 200 листов ткани за 1 час [11]. Это очень трудоемко в производственной цепочке. В последние годы многие ученые исследовали соответствующее применение технологии компьютерного зрения для обнаружения дефектов ткани [12].

Благодаря преимуществам высокой точности, низкой стоимости и неразрушающего контроля, технологии, основанные на обнаружении объектов, широко применяются в различных областях. С развитием такой технологии компьютерного зрения многие производственные компании используют компьютерное зрение для выявления дефектов в продукции в режиме реального времени. Независимо от размера изделия, компьютер может обрабатывать изображения или видео готового изделия для выявления десятков дефектов. Контроль качества продукции имеет решающее значение в производственном процессе.

Были проведены обширные исследования по обнаружению дефектной продукции с использованием анализа изображений, и машинное зрение занимает наибольшую долю [13]. При совместном использовании различных датчиков дефектные изделия можно обнаружить точнее, но есть и недостатки, связанные с дополнительными затратами ресурсов и увеличением стоимости использования датчика. Поэтому в последние годы разработка и использование детекторов дефектов на основе машинного зрения с использованием камеры стали более распространенными [5]. По мере ускорения 4-й промышленной революции в обнаружение дефектных изделий с помощью обработки изображений начали добавляться функции ИИ. Многочисленные исследования привели к разработке программного обеспечения для обнаружения дефектов на основе глубокого обучения и машинного зрения. С помощью библиотеки с открытым исходным кодом Keras были определены дефекты на основе изображений нормальных изделий, а также обнаружены дефекты на основе распределения вероятностей [14].

В целом, сети обнаружения дефектов можно разделить на два типа: двухэтапное и одноэтапное обнаружение [15]. Алгоритм одноэтапного обнаружения представляет собой схему сквозного обнаружения. Признак извлекается непосредственно из сверточной нейронной сети. К основным одноэтапным методам относятся YOLO (You Only Look Once), SSD (Single Shot Detector), RetinaNet и другие. RetinaNet — это нейронная сеть, использующая две подсети с RestNet (Deep Residual Learning for Image Recognition)-FPN (Feature Pyramid Network) в качестве основы [16].

С другой стороны, двухэтапный детектор обладает высокой точностью в определении местоположения и распознавании дефектов. Ча и др. разработали метод обнаружения структурных повреждений на основе Faster R-CNN (Regions with Convolutional Neuron Networks features) для обнаружения пяти типов повреждений поверхности [17]. Сифундволесихле и др. исследовали разработку системы машинного зрения в реальном времени для обнаружения дефектов функциональных текстильных тканей с использованием глубокой модели YOLOv4 (Optimal Speed ​​and Accuracy of Object Detection) [2]. В соответствии с опробованной ими методологией, модель YOLOv4 применялась к текстильной ткани в следующем порядке: предварительная обработка данных, расширение данных, маркировка данных и локализация дефектов.

2.3. Выявление аномалий в производственном процессе

Обнаружение аномалий, также известное как обнаружение выбросов или обнаружение новизны, — это процесс обнаружения экземпляров данных, которые значительно отклоняются от большинства экземпляров данных [18]. Обнаружение аномалий в промышленных процессах имеет важное значение для мониторинга промышленных процессов и является важной технологией для обеспечения безопасности производства [19].

Производственные компании используют камеры и лазерные датчики для преобразования поверхности продукта или состояния продукта в данные. Используя эти данные, были проведены различные исследования по автоматическому проведению тестов качества, такие как статистическая методология, методология обработки изображений и методология с использованием моделей машинного обучения. Статистическая методология помогает производителям принимать значимые решения для работников или менеджеров, собирая и анализируя данные, полученные в полевых условиях, для улучшения контроля качества и процессов. Статистические методы помогают коррелировать, организовывать и интерпретировать данные, а статистический анализ показывает основные закономерности в наборе данных.

Машинное обучение обычно представляется как подход, используемый для проверки интеллектуального производства и влияющий на системы контроля качества в промышленности [20]. Гистограмма анализа выполняет различные статистические анализы, включая среднее значение, геометрическое среднее, стандартное отклонение и медиану. Этот метод анализа прост, поэтому он широко используется для недорогого анализа низкого уровня в различных задачах [21]. Автокорреляционный анализ измеряет корреляцию между изображением и вектором смещения изображения, используя повторяющийся рисунок или текстуру поверхности изделия, например, изделий из дерева или текстиля. Обнаружение и своевременная оценка аномалий в системах машинного зрения позволяют промышленному сектору совершать инновационные прорывы [22].

2.4. Прогнозирование остаточного срока службы

Концепция RUL (Remaining Useful Life) относится к ожидаемому остаточному сроку службы компонента или системы. Создание системы, которая поддерживает и прогнозирует исправность оборудования, используемого на промышленных площадках, является одной из задач, которые необходимо решить для интеллектуальной производственной среды. Точное прогнозирование RUL имеет решающее значение для прогнозирования и управления состоянием оборудования, а также для планирования технического обслуживания [23].

Большинство заводов используют крупногабаритные машины. Инженеры устанавливают на это механическое оборудование датчики вибрации и измеряют интенсивность вибрации, чтобы проверить отказы и остаточный срок службы оборудования. Учитывая RUL, инженеры могут планировать техническое обслуживание, оптимизировать эффективность работы и избегать незапланированных простоев. Недавнее исследование, проанализировавшее данные о вибрации, использованные в конкурсе PHM (Prognostic and Health Management) IEEE 2012 Challenge, показало, что вибрация используемой машины усиливается по мере истечения срока ее службы [24].

Существуют модели нейронных сетей CNN и LSTM (Long Short-Term Memory) для прогнозирования остаточного срока службы. CNN используется для извлечения признаков, а LSTM — для прогнозирования данных временных рядов. Таким образом, извлечение признаков из определенной модели называется глубоким извлечением признаков, а RMSE (среднеквадратичная ошибка) используется в качестве метода оценки RUL. Кан и др. разработали новый подход к прогнозированию RUL, который использует алгоритм выбора признаков методом анализа главных компонентов (PCA), алгоритм оптимизации параметров методом поиска по сетке и алгоритм машинного обучения многослойного персептрона (MLP) [25].

Один из подходов к снижению затрат на техническое обслуживание известен как профилактическое техническое обслуживание (ПТО), поскольку ремонт производственной линии после поломки может быть дороже, чем проведение профилактического технического обслуживания до поломки. Прогнозирующее техническое обслуживание (ПТО) производственных линий важно для раннего обнаружения возможных дефектов и, таким образом, для определения и применения необходимых мероприятий по техническому обслуживанию, чтобы избежать возможных поломок [25].

Поломки влияют на производительность и стоимость производства и приводят к снижению доступности из-за дорогостоящего периода технического обслуживания [26]. В последнее время многие исследователи сосредоточились на исследованиях прогнозирования и сохранения срока службы активов с использованием машинного обучения. Методы машинного обучения применяются в различных областях производства, и диагностика неисправностей является наиболее распространенной областью их применения. Ло и Ван применили случайный лес для выявления неисправностей манипуляторов роботов путем изучения закономерностей на основе данных датчика крутящего момента [27].

3. Экологичный процесс производства масок на «умной» фабрике.

3.1. Проблемы существующего процесса производства масок в компании «А» и предлагаемые решения

В этом разделе описывается процесс анализа существующего процесса производства масок компании «А» с целью выявления проблем и предложения решений. На рисунке 1 показана существующая схема рабочего процесса для каждого из основных этапов. На этапе вставки ткани ткань для изготовления маски подается к левой, правой, центральной и носовой проволокам. Этап контроля выравнивания ткани — это процесс балансировки левой и правой сторон ткани и выравнивания ее расположения для обеспечения правильного выполнения вставки носовой проволоки. На этапе вставки и резки носовой проволоки носовая проволока правильно обрезается и вставляется в ткань, вставленную на предыдущем этапе. После этого выполняется первая ультразвуковая сварка, а ткань складывается для выполнения второй ультразвуковой сварки. На этапе резки ткани, после завершения ультразвуковой сварки, производится резка в соответствии с формой маски, и удаляются лишние обрезки. Наконец, качественная и бракованная продукция классифицируется с помощью контрольных испытаний, а бракованная продукция удаляется.

Рисунок 1. Схема рабочего процесса для каждого из основных этапов.

Проблема заключается в больших пространственных ограничениях для размещения датчиков и комплектующих, а также в том, что при проектировании используются инверторные двигатели, а не методы автоматизации. Кроме того, отсутствует система управления производством, включающая управление производством и контроль качества, поскольку производственные мощности не компьютеризированы. Из-за отсутствия систематического управления производством некоторые маски классифицируются как годные изделия, хотя на самом деле они дефектны. Поэтому необходимо поэтапно создавать систему управления производством, чтобы обеспечить реалистичное управление техническими характеристиками продукции и процессом производства.

В существующем производственном процессе имеются следующие проблемы. Контроль натяжения и выравнивание ткани не унифицированы в процессе контроля натяжения. Следовательно, происходит деформация ткани из-за несоответствия контроля натяжения и выравнивания, что означает, что ткань вставляется в неподходящее положение из-за дисбаланса между левым и правым положением ткани. Кроме того, инспектор проводит проверку ткани на наличие посторонних предметов, но внутренний контроль невозможен. Проверка ткани на наличие посторонних предметов — это процесс проверки ткани на загрязнение посторонними веществами, такими как пыль и пятна. Внутренний контроль — это процесс проверки наличия загрязнений внутри ткани. Поскольку три слоя ткани (левый, правый и центральный) перекрываются и вставляются, оператор фабрики может проверить только поверхность ткани, поэтому визуальный осмотр подкладочной части ткани невозможен.

3.2. Точки контроля на заводе с использованием машинного зрения для решения проблем в процессе производства масок.

Для четкого выявления этих проблем и разработки решений были проанализированы следующие контрольные точки. Неравномерное натяжение ткани и неравномерность ее положения на протяжении всего процесса, например, в местах вставки ткани и ультразвуковой сварки, приводят к дефектам. Для решения этой проблемы в процесс были внедрены контрольные точки на основе машинного зрения. Было принято решение о создании системы контроля натяжения ткани на входе и запланировано создание системы управления подачей питания в зависимости от веса сырья, а также системы контроля положения с помощью визуального контроля или обратной связи от датчиков.

На рисунке 2 показана точка контроля при испытании на сварку проволоки в носовой части маски. Невозможно проверить, идет ли процесс ультразвуковой сварки в реальном времени, поэтому проверка на наличие дефектов проводится вручную. Качество контроля неравномерно из-за увеличения усталости, вызванной длительным наблюдением инспектора. Для решения этой проблемы определены внутренние и внешние точки контроля ткани маски на основе машинного зрения, а также предложены решения для проверки на наличие посторонних примесей и контроля точек сварки.

Рисунок 2. Тест на сращивание проволоки в носу.

На рисунке 3 показана точка контроля на основе машинного зрения для проверки ткани на наличие посторонних предметов. Внедрена система автоматизации производства, позволяющая сортировать качественную и бракованную продукцию в соответствии с результатами контроля.

Рисунок 3. Тест на наличие посторонних предметов на ткани.
3.3. Архитектура системы контроля качества на основе машинного зрения

На рисунке 4 показано общее аппаратное оборудование для реализации системы контроля качества на основе машинного зрения. Для автоматизации натяжения ткани на входе установлен двигатель, позволяющий регулировать натяжение. Было проведено тестирование с помощью машинного зрения состояния сплавления при ультразвуковой сварке. В случае ушных петель выравнивание левой и правой стороны проверялось с помощью датчиков. Тип привода резки, основанный на цепном цикле вращения, был усовершенствован до независимого пневматического цилиндра. Таким образом, введение и резка носовой проволоки могут выполняться в определенный момент времени, что предотвращает влияние вибрации цепи, соединенной с устройством для резки носовой проволоки, на работу всего оборудования.

Рисунок 4. Аппаратная архитектура.

На рисунке 5 показана компоновка цеха и оборудование, предназначенное для контроля качества на основе машинного зрения. Для автоматизации процесса контроля, который ранее использовался для визуального различения качественных и бракованных изделий, машинное зрение применяется для классификации бракованных изделий по результатам раскроя и ультразвуковой сварки. Кроме того, предусмотрена автоматическая классификация результатов оценки качества и брака с помощью системы автоматической классификации. Для сбора изображений качественных и бракованных изделий установлены три точки визуального контроля: для вставки ткани, ультразвуковой сварки и раскроя ткани. Изображения собираются таким образом, чтобы полученные в точках контроля изображения можно было проверить в программе независимо от того, являются ли изделия качественными или бракованными.

Рисунок 5. Планировка и оборудование завода.

Для обеспечения возможности управления оборудованием, включая запуск, остановку и управление двигателем подачи ткани, на сенсорной панели POP, реализована проверка изображения, полученного с помощью машинного зрения, непосредственно на панели POP. Кроме того, в дизайне пользовательского интерфейса (UI) изображения оборудования представлены аналогично реальному оборудованию. Во время мониторинга состояния производства общая линия процесса и состояние подачи каждого продукта отображаются в виде диаграмм. Кроме того, на панели мониторинга может отображаться состояние оборудования и производства. Благодаря управлению производственными дефектами можно управлять и анализировать историю дефектов. Возможно управление качеством по периодам, управление качеством по рабочим инструкциям и комплексное управление качеством. На рисунке 6 показана панель мониторинга эффективности производства масок на сенсорном экране POP.

Рисунок 6. Панель мониторинга дефектных масок.

Для разработки метода отображения уведомлений о предполагаемой нехватке ткани было подтверждено, что чем меньше оставшееся количество ткани, чем меньше диаметр ткани и чем выше скорость выпуска ткани устройством управления лифтом. Когда скорость выпуска ткани превышает определенную величину, срабатывает сигнализация, указывающая на необходимость замены ткани.

4. Реализация и результаты

4.1. Технические характеристики оборудования и конфигурация сети для контроля качества на основе машинного зрения.

В таблице 1 приведена сводная информация о технических характеристиках оборудования. Категории подразделяются на аппаратное оборудование, вычислительное оборудование, контрольно-измерительное оборудование, информационную панель и киоск, при этом для каждой категории указаны количественные характеристики и параметры.

Таблица 1. Технические характеристики оборудования.

На рисунке 7 показано оборудование для настройки сети. Необходимы: ipTIME, периферийное устройство, беспроводная точка доступа, панельный ПК, мини-ПК, заводской монитор и офисный монитор. ipTIME PoE 8000 — это уже имеющееся оборудование на заводе по производству фотошаблонов, а часть, отмеченная синим прямоугольником, представляет собой недавно приобретенное оборудование. Сплошная черная линия обозначает проводную сеть, а пунктирная — беспроводную сеть.

Рисунок 7. Конфигурация сети.
4.2. Структура связи для процесса получения изображений и сбора данных.

Как показано на рисунках 5 и 6, камеры были установлены в каждой части процесса определения дефектов продукции с помощью машинного зрения. Камеры были подключены к каждому порту сетевой карты Power over Ethernet (PoE) с помощью кабеля Ethernet (категория 5 или выше). Power over Ethernet (PoE) — это система, которая надежно передает данные и питание по кабелю Ethernet. А сетевая карта — это коммуникационное устройство в компьютере, позволяющее компьютеру подключаться к сети и передавать данные.

Для приема сигнала фотосъемки через сокетное соединение между ПЛК и компьютером машинного зрения используется Ethernet-соединение. Для обучения на основе изображений сначала выполняется машинное обучение на полученном изображении. Затем с помощью NAVI Trainer создается подходящая модель. Далее обучение осуществляется путем сочетания обучения без учителя и обучения с учителем. Созданная модель используется для определения качественных и дефектных изделий на полученном изображении. Для построения модели различения изображений необходим NAVI AI SDK USB. Он должен быть подключен к компьютеру машинного зрения через USB, чтобы различать качественные и дефектные изображения.

Метод Trigger.get обрабатывает данные посредством процесса получения и определения изображений. Trigger.get реализован с использованием сокетной связи. Триггер — это действие, которое автоматически выполняется, когда база данных соответствует заранее определенному условию или выполняется какое-либо другое действие. Триггеры полезны для описания условий достоверности и целостности данных в базе данных. HeartBeat используется для отправки результатов машинного зрения в MES. В компьютерном кластере сеть HeartBeat относится к частной сети. Данные накапливаются в результате различения качественных и дефектных продуктов с помощью машинного зрения. Vision.Result.Refresh получает данные из MES через MQTT в коде C++. Изображения отправляются в MES через HTTP в коде Python. Interval получает данные из MES в коде Python через MQTT. Тема — company/mes/server, и информация Interval включается в тему обновления.

В таблице 2 кратко описан процесс сбора данных. Процесс включает в себя контроль натяжения ткани, обрезку проволочного каркаса и ультразвуковую сварку. Затем следует обрезка ткани после проверки на наличие посторонних предметов в местах сварки и подкладке, процесс складывания ткани пополам и вторая ультразвуковая сварка. После завершения промежуточного этапа сбор данных продолжается в следующем порядке: проверка мест сварки и наличие посторонних предметов на внешней ткани и процесс ввода.

Таблица 2. Процесс сбора данных.

4.3. Управление базами данных: загрузка изображений для обучения, классификации и определения типов.

Изображения для проверки линии фронтального и тыльного сращивания, а также результаты теста на сращивание проволоки на носу (рис. 2) и теста на наличие посторонних предметов на ткани (рис. 3) получены с помощью камеры машинного зрения. На рис. 8 показана проверка линии фронтального сращивания, а на рис. 9 — проверка линии тыльного сращивания, выполненные камерой.

Рисунок 8. Осмотр передней линии слияния.

Рисунок 9. Проверка линии обратного спекания.

На этапе создания базы данных осуществляется загрузка изображений для обучения, классификация типов и настройка параметров. На этапе создания базы данных добавляется база данных, которая будет служить обучающей единицей. Для настройки классов создаются классы для классификации типов изображений, подлежащих проверке. На этапе классификации изображений выполняется добавление/удаление/перемещение для классификации изображений по классам. На рисунке 10 показан экран импорта «Хорошего изображения» для обучения модели ИИ, а на рисунке 11 — экран импорта «Дефектного изображения» для обучения.

Рисунок 10. Удачный импорт изображений.

Рисунок 11. Импорт изображения дефекта.

Затем, на этапе определения области интереса (ROI), назначается фиксированная область интереса на полученных изображениях, а также обрабатываются дефекты учебных материалов как конкретная область, и выбранная область обучается определять местоположение дефекта. На рисунке 12 показана область интереса для линии челюсти, а на рисунке 13 — область интереса для линии щеки.

Рисунок 12. Область интереса (ROI) для линии челюсти.

Рисунок 13. Область интереса для морщины на щеке.

На рисунках 14 и 15 показаны линии обнаружения, которые будут служить основой для определения качественных и дефектных изделий маски в пределах области интереса (ROI).

Рисунок 14. Линия обнаружения челюсти.

Рисунок 15. Линия обнаружения для проволочного датчика на носу.

Как показано на рисунке 16, на этапе задания параметров параметры корректируются в соответствии с характеристиками полученных данных изображения. Параметры обучения задаются через параметры решателя. Max Iteration означает максимальное количество итераций обучения, Step Count означает величину увеличения за цикл обучения, а Base Learning Rate означает скорость обучения. В целом, чем меньше скорость обучения, тем медленнее скорость обучения и тем выше точность. Gamma обозначает значение коэффициента, входящего в Base Learning Rate. Random Count и Probability связаны с проблемами переобучения, и при обучении они хорошо обнаруживаются на изображениях, используемых в обучении, и плохо обнаруживаются на изображениях (тестовых данных), не используемых в обучении. Чтобы предотвратить это, обучающее изображение дополняется с помощью аугментации данных.

Рисунок 16. Настройка параметров и обучение на основе подготовленной базы данных.

На этапе обучения и тестирования результаты обучения проверяются с помощью теста, а соответствующие результаты отображаются в отчете. Когда начинается обучение, отслеживается прогресс в реальном времени. На этапе составления отчета о тестировании, после обучения, извлекается тестовое изображение, и одновременно проводится тестирование для проверки результатов обучения. На рисунке 17 показан процесс обучения модели ИИ. График обучения представляет собой график, отображающий вычисленные значения в процессе обучения в реальном времени. Итерация обозначает повторение текущего обучения, точность тестирования обозначает степень точности прогноза модели, которая в данный момент обучается, потери на тестовом наборе обозначают степень неточности прогноза на проверочном наборе, а потери на обучающем наборе — неточность текущей модели.

Рисунок 17. Процесс обучения модели ИИ на экране.

4.4. Результаты

В таблице 3 представлены результаты оценки эффективности с использованием показателей производства, качества, стоимости и сроков поставки в качестве ключевых показателей эффективности (KPI) после внедрения системы контроля качества на основе машинного зрения в процесс производства масок. KPI и показатели эффективности были проверены экспертами по интеллектуальным фабрикам из Министерства малого и среднего бизнеса и стартапов и Корейского управления интеллектуального производства (KOSMO) в соответствии со строгими стандартами. В оценке, представленной в таблице 3, «до» относится к ситуации до внедрения системы контроля качества на основе машинного зрения, а «после» — к ситуации после внедрения системы.

Таблица 3. Показатели оценки по ключевым показателям эффективности (KPI).

 

В столбце оценки P обозначает производительность. Ранее производительность по часам составляла 2600 листов в час, а после внедрения системы контроля качества на основе машинного зрения она увеличилась до 4189 листов в час, что на 61,1% больше, чем раньше. Q обозначает качество, которое показывает, насколько снизился процент брака в процессе производства масок. В существующем процессе производства масок процент брака составлял в среднем 8,3%, но после внедрения системы контроля качества на основе машинного зрения он снизился до 5,69%. C обозначает стоимость. Это оценка затрат, исходя из количества часов работы рабочих на заводе. В существующем процессе производства масок рабочие работали 12 часов в день, но после внедрения системы только 10 часов работы обеспечивают ежедневный объем производства. D обозначает доставку. Для подтверждения этого мы проверяем, сколько времени занимает доставка, исходя из времени выполнения заказа до отгрузки. В существующем процессе производства масок изготовление и отгрузка 100 000 масок занимала 38,5 часов, но после внедрения системы контроля качества на основе машинного зрения этот срок можно сократить до 25 часов.

В таблице 4 представлена ​​логика расчета каждого KPI и его формулировка. Производство относится к объему продукции, производимой в час, и рассчитывается путем деления объема производства на затраченное время. Качество представляет собой процент брака готовой продукции, который рассчитывается путем деления количества произведенных изделий на количество бракованных изделий и умножения на 100. Стоимость — это время, затраченное на выполнение задачи, и она численно отражает трудозатраты, которые работник может выполнить при производстве масок. Доставка рассчитывает время, необходимое для производства и отгрузки продукции с момента получения заказа. С этой целью 100 000 масок были разделены на ежедневное производство оборудования, с учетом того, что отгрузка может осуществляться партиями по 100 000 масок.

Таблица 4. Основа для расчета KPI.

В таблице 5 представлены результаты качественной оценки эффективности после внедрения системы контроля качества на основе машинного зрения, оцененные с точки зрения заводских рабочих и руководителей. Эта качественная оценка эффективности проводилась путем опроса рабочих на производстве масок и офисных сотрудников, ответственных за управление бизнесом, и полностью соответствовала принципам анонимности оценок респондентов для повышения достоверности. Для заводских рабочих основными задачами являются улучшение качества с использованием датчиков и машинного зрения, внедрение автоматизации контроля/инспекции и управление данными в реальном времени. Цели в категории улучшения качества заключаются в снижении утомляемости рабочих за счет управления датчиками, повышении точности контроля за счет внедрения машинного зрения и улучшении качества за счет анализа данных. В случае внедрения автоматизации контроля/инспекции обеспечивается эффективное использование времени за счет автоматизации, управление производственной площадкой в ​​реальном времени на основе обратной связи и мониторинг операций в реальном времени. Управление данными в реальном времени направлено на улучшение управления производством в реальном времени за счет компьютеризации.

Таблица 5. Качественные показатели эффективности.

 

С другой стороны, основные интересы управленческого персонала сосредоточены на улучшении качества, планировании управления и ключевых показателях эффективности (KPI). Улучшение качества заключается в наращивании производственных мощностей за счет использования данных с датчиков, повышении качества обеспечения за счет внедрения машинного зрения и совершенствовании производственного процесса для получения в конечном итоге качественной продукции и улучшения клиентского опыта. Планирование управления осуществляет планирование производства посредством сбора данных в процессе производства, обеспечивает сохранность базовых данных при построении «умного завода», создает наглядную систему управления путем мониторинга производственной площадки и обеспечивает систему управления качеством посредством сбора данных. KPI ориентированы на внедрение контроля качества в режиме реального времени, целенаправленную обработку данных на месте и улучшение контроля качества с использованием компьютерного оборудования.

В таблице 6 представлена ​​сравнительная диаграмма, в которой сравниваются и анализируются результаты внедрения системы контроля качества на основе машинного зрения (после) по сравнению с существующей системой (до) в каждом процессе. Процесс включает основные этапы контроля: контроль натяжения ткани, обрезка проволоки для носовой части, ультразвуковая сварка и контроль выравнивания на наличие посторонних предметов, автоматизация процесса окончательного контроля, управление производственными мощностями, управление историей производства в режиме реального времени и мониторинг состояния производства. В разделе «До» описаны проблемы в существующем процессе контроля и приведены фотографии с места проведения контроля. В разделе «После» также приведены фотографии каждого процесса после внедрения системы машинного зрения и описаны улучшения. В разделе «Эффективность» подробно описано, какие улучшения эффективности и производительности были фактически достигнуты при сравнении результатов «До» и «После», а также подробно описаны действия, предпринятые полевыми работниками и сотрудниками управления, использующими систему машинного зрения.

Таблица 6. Сравнение «до» и «после».

5. Выводы

Для создания устойчивой производственной среды в процессе изготовления масок были разработаны система контроля качества на основе машинного зрения, автоматизированное управление, система мониторинга производства POP, интеллектуальная аппаратно-программная система производства, а также система агрегации данных по процессам и оборудованию. Кроме того, разработана модель обучения изображений с использованием инструментария LAON PEOPLE NAVI AI Toolkit для классификации качественных и дефектных изделий с отличными показателями в процессе изготовления масок. В результате производительность процесса обнаружения дефектов в масках компании «А» может быть значительно повышена.

Нерешенной проблемой в данном исследовании является то, что в некоторых случаях могут возникать неточности в обнаружении дефектной продукции. Кроме того, было выявлено, что качественная продукция действительно может выглядеть как дефектная в момент обнаружения изображения камерой машинного зрения. Такие проблемы, как избыток обрезков ткани, смятие ткани и натяжение ткани, вызваны движением захвата. Это говорит о том, что даже при использовании систем машинного зрения в полевых условиях все еще необходима помощь человека. Это связано с тем, что вмешательство оператора неизбежно по таким причинам, как износ ткани и техническое обслуживание оборудования в процессе производства. Задача будущих исследований состоит в том, чтобы найти методологию построения системы машинного зрения, которая устранит упомянутые выше неточности, и применить машинное зрение в других отраслях, помимо производства масок, чтобы значительно повысить качество продукции и обеспечить устойчивую бизнес-среду.

Литература

  1. Javaid, M.; Haleem, A.; Vaishya, R.; Bahl, S.; Suman, R.; Vaish, A. Industry 4.0 technologies and their applications in fighting COVID-19 pandemic. Diabetes Metab. Syndr. Clin. Res. Rev. 202014, 419–422. [Google Scholar] [CrossRef] [PubMed]
  2. Dlamini, S.; Kao, C.Y.; Su, S.L.; Jeffrey Kuo, C.F. Development of a real-time machine vision system for functional textile fabric defect detection using a deepYOLOv4 model. Text. Res. J. 202192, 675–690. [Google Scholar] [CrossRef]
  3. Patil, M.; Verma, S.; Wakode, J. A review on fabric defect detection techniques. Int. Res. J. Eng. Technol. 20174, 131–136. [Google Scholar]
  4. Soma, S.; Pooja, H. Machine Learning System for Textile Fabric Defect Detection Using GLCM Technique. In Proceedings of the Second International Conference on Advances in Computer Engineering and Communication Systems, Tamilnadu, India, 20–22 December 2021; Springer: Berlin/Heidelberg, Germany, 2022. [Google Scholar]
  5. Ren, Z.; Fang, F.; Yan, N.; Wu, Y. State of the art in defect detection based on machine vision. Int. J. Precis. Eng. Green Technol. 20219, 661–691. [Google Scholar] [CrossRef]
  6. Kupchak, C.; Mittiga, T.; Jordaan, B.; Namazi, M.; Nölleke, C.; Figueroa, E. Automated fabric defect inspection: A survey of classifiers. arXiv 2014, arXiv:1405.6117. [Google Scholar]
  7. LeCun, Y.; Boser, B.; Denker, J.S.; Henderson, D.; Howard, R.E.; Hubbard, W.; Jackel, L.D. Backpropagation applied to handwritten zip code recognition. Neural Comput. 19891, 541–551. [Google Scholar] [CrossRef]
  8. Nanni, L.; Paci, M.; Brahnam, S.; Lumini, A. Comparison of Different Image Data Augmentation Approaches. J. Imaging 20217, 254. [Google Scholar] [CrossRef]
  9. Jing, J.; Zhuo, D.; Zhang, H.; Liang, Y.; Zheng, M. Fabric defect detection using the improved YOLOv3 model. J. Eng. Fibers Fabr. 202015, 1558925020908268. [Google Scholar] [CrossRef]
  10. Shorten, C.; Khoshgoftaar, T.M. A survey on image data augmentation for deep learning. J. Big Data 20196, 60. [Google Scholar] [CrossRef]
  11. Ade, F.; Lins, N.; Unser, M. Comparison of various filter sets for defect detection in textiles. In Proceedings of the International Conference on Pattern Recognition, Montreal, QC, Canada, 30 July–2 August 1984. [Google Scholar]
  12. Xin, S.; Zhao, C.; Sun, Y. A Machine Vision-based Fabric Defect Detection Solution for Textile Production Industry Using Object Detection. In Proceedings of the 2021 33rd Chinese Control and Decision Conference (CCDC), Kunming, China, 22–24 May 2021; IEEE: Piscataway, NJ, USA, 2021. [Google Scholar]
  13. Ozcan, S.; Simsir, F. A new model based on Artificial Bee Colony algorithm for preventive maintenance with replacement scheduling in continuous production lines. Eng. Sci. Technol. Int. J. 201922, 1175–1186. [Google Scholar] [CrossRef]
  14. Kim, D.H.; Boo, S.B.; Hong, H.C.; Yeo, W.G.; Lee, N.Y. Machine Vision-based Defect Detection Using Deep Learning Algorithm. J. Korean Soc. Nondestruct. Test. 202040, 47–52. [Google Scholar] [CrossRef]
  15. Zhao, Z.Q.; Zheng, P.; Xu, S.T.; Wu, X. Object detection with deep learning. Comput. Vis. Pattern Recognit. 201830, 3212–3232. [Google Scholar]
  16. Lin, T.-Y.; Goyal, P.; Girshick, R.; He, K.; Dollár, P. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 22–29 October 2017. [Google Scholar]
  17. Cha, Y.; Choi, W.; Suh, G.; Mahmoudkhani, S.; Büyüköztürk, O. Autonomous Structural Visual Inspection Using Region-Based Deep Learning for Detecting Multiple Damage Types. Comput. Civ. Infrastruct. Eng. 201733, 731–747. [Google Scholar]
  18. Pang, G.; Shen, C.; Cao, L.; Hengel, A.V.D. Deep learning for anomaly detection: A review. ACM Comput. Surv. CSUR 202154, 1–38. [Google Scholar] [CrossRef]
  19. Qiu, K.; Song, W.; Wang, P. Abnormal data detection for industrial processes using adversarial autoencoders support vector data description data description. Meas. Sci. Technol. 202233, 5. [Google Scholar] [CrossRef]
  20. Brito, T.; Queiroz, J.; Piardi, L.; Fernandes, L.A.; Lima, J.; Leitão, P. A machine learning approach for collaborative robot smart manufacturing inspection for quality control systems. Procedia Manuf. 202051, 11–18. [Google Scholar] [CrossRef]
  21. Swain, M.J.; Ballard, D.H. Indexing via color histograms. In Active Perception and Robot Vision; Springer: Berlin/Heidelberg, Germany, 1992; pp. 261–273. [Google Scholar]
  22. Jiang, W. A Machine Vision Anomaly Detection System to Industry 4.0 Based on Variational Fuzzy Autoencoder. Comput. Intell. Neurosci. 20222022, 1945507. [Google Scholar] [CrossRef]
  23. Xu, Z.; Guo, Y.; Saleh, J.H. Accurate Remaining Useful Life Prediction with Uncertainty Quantification: A Deep Learning and Nonstationary Gaussian Process Approach. IEEE Trans. Reliab. 202171, 443–456. [Google Scholar] [CrossRef]
  24. Mao, W.; He, J.; Zuo, M.J. Predicting remaining useful life of rolling bearings based on deep feature representation and long short-term memory neural network. Adv. Mech. Eng. 201810, 1–18. [Google Scholar] [CrossRef]
  25. Kang, Z.; Catal, C.; Tekinerdogan, B. Remaining useful life (RUL) prediction of equipment in production lines using artificial neural networks. Sensors 202121, 932. [Google Scholar] [CrossRef]
  26. Salonen, A.; Deleryd, M. Cost of poor maintenance: A concept for maintenance performance improvement. J. Qual. Maint. Eng. 201117, 63–73. [Google Scholar] [CrossRef]
  27. Luo, R.C.; Wang, H. Diagnostic and prediction of machines health status as exemplary best practice for vehicle production system. In Proceedings of the 2018 IEEE 88th Vehicular Technology Conference (VTC-Fall), Chicago, IL, USA, 27–30 August 2018; IEEE: Piscataway, NJ, USA, 2018. [Google Scholar]

Авторы: Minwoo Park, Jongpil Jeong