Инспекция тканей с помощью компьютерного зрения: эксперименты и примеры применения

Текстильная промышленность является одной из основных частей глобального производства и вот-вот преживёт значительную метаморфозу с развитием технологий искусственного интеллекта и компьютерного зрения. Традиционно инспекция тканей была трудоёмкой, требующей много времени и очень критичного взгляда для выявления дефектов, из-за чего этот процесс часто нарушается человеческой ошибкой. Появление технологий с поддержкой искусственного интеллекта позволяет производителям технических плиток внедрять автоматизированные системы инспекции, которые повышают эффективность и повышают стандарты качества. Этот сдвиг не только повышает производительность, но и гарантирует единообразие производства, минимизируя недостатки, открывая новую эру интеллектуального производства.

В этом проекте мы разработали систему инспекции тканей на основе компьютерного зрения с моделью YOLOv8. Наш подход был обучен на наборе данных, содержащих самые частые дефекты ткани, включая дыры, чужую пряжу и слибы (ошибки ниток), а также поверхностные загрязнения, такие как грязные пятна, красительные пятна и масляные пятна. На наборе данных были проведены эксперименты с несколькими моделями, включая VGG, ResNet и YOLOv8, и YOLOv8 показывает лучшие результаты по всем основным метрикам: точности, точности, отзыву, баллу F1, размеру модели и времени прогнозирования.

Чтобы сделать это решение легко доступным и удобным для пользователя, мы реализовали веб-приложение на базе FastAPI, способное оценивать качество ткани в реальном времени. Приложение интегрирует нашу модель YOLOv8 с камерой Logitech C270, которая захватывает RGB-изображения для немедленного выявления дефектов и классификации качества ткани с использованием частоты отказов. Это пример того, как ИИ может повысить уровень проверки в текстиле, делая её быстрее, точнее и надёжнее, чем когда-либо.

Введение

Текстильная промышленность претерпела значительное развитие благодаря использованию искусственного интеллекта, главным образом в практиках контроля качества. Инспекция тканей — один из критически важных этапов производства, традиционно основанная на ручной оценке, занимает много времени и подвержена человеческим ошибкам. Рост технологий компьютерного зрения позволил создавать автоматическую инспекцию ткани, предлагая надёжную альтернативу с более быстрым и точным выявлением дефектов. Эта автоматизация снижает затраты и повышает согласованность проверок качества, поэтому она является необходимым инструментом в современную эпоху текстильного производства.

Тип дефектов ткани может сильно различаться. Например, чужеродные пряжи, отверстия, слубы и поверхностные загрязнения распространены для многих типов тканей, и появление этих дефектов может серьёзно повлиять на качество тканей. Любая автоматизированная система инспекции тканей должна быть чувствительна к таким дефектам, чтобы гарантировать, что на рынок будут выпущены только ткани желаемого качества.

В этом проекте представлена система инспекции тканей на основе компьютерного зрения с YOLOv8. Наша задача — выявлять распространённые дефекты тканей, чтобы обеспечить высококачественное производство ткани с помощью анализа в реальном времени.

Для создания нашего набора данных мы проводили сбор данных во время визитов на заводы MAS Inmates в Маватагаме в рамках проекта, совместного с отраслью. Поскольку у нас было ограниченное количество изображений дефектов ткани, мы объединили наш набор данных с набором TILDA fabric de- fect, чтобы получить больше данных. Дефекты, выявленные в ходе нашего исследования, включали дыры, инородную пряжу, слубы (ошибки в нити) и поверхностное загрязнение (грязные пятна, пятна краски и пятна масла).

Мы обучили наш набор данных на различных моделях, таких как VGG, ResNet и YOLOv8. Из всех моделей YOLOv8 показала лучшие результаты по точности, точности, отзыву, результату F1, размеру модели и времени прогнозирования.

Изначально мы создали веб-приложение с помощью Flask для расчёта уровня неисправностей ткани. Тем не менее, решение на базе Flask было очень медленным и не подходило для прогнозирования в реальном времени. В ответ на этот вызов мы реализовали веб-приложение с использованием FastAPI, которое значительно повысило скорость и отзывчивость системы. Окончательное применение предназначено для подключения к камере Logitech C270 для захвата RGB-изображений и обеспечения обнаружения дефектов в реальном времени, оценивая соответствие конструкции установленным стандартам качества в зависимости от рассчитанного уровня неисправности.

Краткий обзор

Автоматическая инспекция тканей является одной из важнейших областей исследований в текстильной промышленности, и многие работы посвящены использованию компьютерного зрения и искусственного интеллекта для ускорения качественной инспекции и повышения точности. В этом разделе представлены важные вклады, которые продвинули эту область исследований вперёд.  Несколько исследований, таких как [1] и [2], были посвящены применению методов глубокого обучения для выявления определённых типов дефектов в текстиле. В [1] был применён подход на базе CNN для выявления волосатости в ворсовых тканях, где RGB-изображения фиксировались с помощью стереокамеры ZED для классификации. С другой стороны, универсальная модель компьютерного зрения для обнаружения и классификации дефектов на различных типах тканей была разработана [2], решая задачи, возникшие в узорчатых и многоцветных текстилях, с помощью более сложных методов, таких как взвешенное двойное низкоранговое разложение (WDLRD) и Deep-JSLR. Все статьи подчеркивали важность обнаружения дефектов, но ограничены либо узким охватом конкретных видов дефектов, либо плохими результатами при сложных паттернах.

Другие работы, такие как [3] и [4], применяли нейронные сети и трансферное обучение для распознавания дефектов. Работа [3] была направлена на недорогие решения для текстильной промышленности развивающихся стран. В этой работе была применена многоуровневая нейронная сеть для классификации четырёх типов дефектов. Хотя она была простой и недорогой, она во многом опиралась на ручную предварительную обработку изображений. С другой стороны, [4] использовал трансферное обучение с использованием архитектур CNN, особенно ResNet50, и достиг высокой точности. Однако зависимость от трансферного обучения может ограничить гибкость адаптации к разным наборам дефектов и потребовать значительной тонкой настройки для решения новых данных.

[5] исследовал обучение без контроля с помощью сверточного автоэнкодера для идентификации дефектов ткани. В этом методе реконструкция и синтез результатов разборки с помощью изображений и их синтез выполняются многоуровневым подходом, чтобы сохранить устойчивость даже при небольшом числе образцов дефектов. Эффективный для выявления мелких дефектов, неконтролируемый подход может быть менее точен при работе с конкретными, визуально узнаваемыми дефектами, такими как слубы или красительные пятна.

Помимо вышеуказанных работ, в всестороннем обзоре [6] отметил необходимость автоматизированных систем инспекции в текстильной промышленности и дополнительно подчеркнул, что человеческий визуальный осмотр недостаточен для удовлетворения современных потребностей. Их обзор в целом охватил такие методы, как анализ текстур, частотные подходы, GLCM, слияние признаков и подходы на основе глубокого обучения, и пришёл к выводу, что глубокое обучение перспективно, но обнаружение дефектов в реальном времени остаётся открытой задачей. В аналогичной точке зрения [7] классифицировал методы обнаружения дефектов ткани как статистические, спектральные и модельные подходы и рекомендовал сочетание этих трёх методов для получения хороших результатов. В [8] авторы разработали систему компьютерного зрения и установили её на круглую вязальную машину, которая использовала вейвлет-преобразование Габора вместе с нейронными сетями для обнаружения и классификации дефектов. Положительные результаты были зафиксированы как в офлайн, так и в онлайн-режимах, при сопоставлении эффективности системы с осмотром человека. Кроме того, [9] предложил полуавтоматизированную методологию выявления дефектов и представил резкие сокращения затрат и времени, достигаемые с помощью автоматизации. Кроме того, [10] сосредоточился на использовании глубокой сверточной нейронной сети для классификации дефектов ткани на основе особенностей текстуры и цвета, что обеспечило высокую точность на различных наборах данных ткани и, таким образом, продемонстрировало эффективность продвинутых алгоритмов обучения в области идентификации и классификации дефектов.

В отличие от этого, этот проект использует фреймворк YOLOv8 для определения дефектов ткани в реальном времени-

Это должно было устранить выявленные недостатки в предыдущей литературе, сосредоточившись на различных категориях дефектов, включая отверстия, слубы, поверхностное загрязнение и чужеродную пряжу, а также внедрить эффективный механизм сбора и прогнозирования данных через веб-приложение на базе FastAPI. Это отраслевое улучшение набора данных, включающее информацию от MAS Intimates и TILDA, дополненную возможностями обработки в реальном времени, обеспечивает столь необходимое комплексное решение для автоматизации инспекции ткани.

Методология

Сбор данных

Сбор данных для нашей системы инспекции тканей осуществлялся с помощью фотографий во время визитов на заводы MAS Intimates и дополнялся набором данных TILDA по дефектам ткани. Сделанные фотографии касались различных дефектов, таких как дырки, чужеродная пряжа, слизы, загрязнение поверхности, а также хорошие изображения без дефектов. Для устранения дисбаланса классов была проведена дополнительная обработка данных, в результате чего на класс было получено примерно 5000 изображений. Предварительная обработка включала изменение размера изображений до 64×64 пикселей, чтобы снизить вычислительные нагрузки и создать однородный набор. Каждый кадр затем преобразовывался в оттенки серого и копировался в три канала в зависимости от входного формата модели. Нормализация включала масштабирование значений пикселей в диапазоне [0, 1].

Рисунок 1: Распределение классов наборов данных

Архитектура модели

Наша модель использует архитектуру YOLOv8, которая содержит входной слой, считывающий изображения размером 64×64 пикселя по трём цветовым каналам, магистраль с сверточными слоями для извлечения признаков и Feature Pyramid Network (FPN) внутри шеи для улучшения карт функций на разных масштабах. Этот архитектурный дизайн крайне важен для выявления дефектов ткани различных размеров. Верхний слой генерирует вероятности класса и координаты ограничивающих коробок, что помогает выявлять дефекты, такие как загрязнение поверхности, слизи, инородная пряжа и отверстия. Фреймворк YOLOv8 эффективен в обнаружении в реальном времени с низкой задержкой и идеально подходит для удовлетворения требований нашего проекта.

Таблица 1: Краткое описание архитектуры модели

Процесс обучения

Во время обучения набор данных был разделён на учебные (70%), валидационные (20%) и тестовые (10%) подмножества. Модель YOLOv8 была обучена и оценена по точности, точности, отзыву, результату F1, времени прогнозирования и размеру модели для обнаружения дефектов в тканях.

Рисунок 2: Разделение наборов данных для наборов обучения, валидации и тестирования

Расчёт уровня отказов при генерации отчётов

Для расчёта частоты отказов система обнаружения загружает модель YOLO на GPU (CUDA) или Apple Silicon (MPS), если она доступна. WebSocket транслирует живые видеокадры в приложение FastAPI, где каждый кадр обрабатывается в реальном времени для обнаружения и классификации дефектов. Дефекты ткани определяются точками неисправности в зависимости от их типа, размера и частоты. Дефект чужеродной пряжи, слуба или поверхностного загрязнения в стандартных условиях присваивается 1 точке неисправности.

Однако если эти дефекты большие по продольной или ширине (где длина превышает вдвое широту), им присваиваются 4 точки разлома. Кроме того, если в пределах одного метра обнаружено более 3 дефектов такого типа (отслеживаются на протяжении 30 кадров), им также присваиваются 4 точки неисправности. Дефект отверстия назначает 4 точки неисправности независимо от размера. Эта система оценки помогает стандартизировать качество тканей на основе тяжести и распределения дефектов. При формировании отчета приложение FastAPI рассчитывает уровень отказов, используя размеры ткани, предоставленные пользователем. Затем формируется отчет JSON, в котором подробно описывается длина, ширина ткани, выявленные дефекты и рассчитанный уровень неисправностей, что позволяет количественно оценить плотность дефектов в инспектируемом разделе ткани.

где ∑Fault Points – это общая сумма точек брака, присваиваемых на основе обнаружения дефектов, Fabric Length (m) и Fabric Width (m) — это размеры секции ткани, предоставленные пользователем.

В этом исследовании мы классифицируем качество тканей на основе рассчитанного уровня неисправности, определяемого следующим образом:

1. Хорошее качество: уровень брака < 15
2. Среднее качество: процент брака от 15 до 28
3. Отклонённое качество: уровень брака > 28

Эти пороги позволяют проводить стандартизированную оценку качества и используются для определения пригодности ткани для различных применений.

Рисунок 3: Предлагаемая блок-схема для инспекции ткани

Результаты и обсуждения

Набор данных был обучен тремя моделями: ResNet50, VGG19 и YOLOv8. Для оценки характеристик этих моделей использовались матрицы путаницы, которые давали графическое представление их точности в классификации дефектов ткани. Ниже приведены матрицы путаницы для ResNet50, VGG19 и YOLOv8.

Рисунок 4: Нормализованная матрица путаницы для ResNet50

Рисунок 5: Нормализованная матрица путаницы для VGG19

Рисунок 6: Нормализованная матрица путаницы для YOLOv8

Рисунок 7: Сравнение показателей производительности для ResNet50, VGG19 и YOLOv8

Таблица 2: Метрики производительности модели

Оценка этих моделей показала, что YOLOv8 показала лучшие результаты по точности, точности, отзыву, результатам F1, времени прогнозирования и размеру модели по сравнению с другими моделями, поэтому в данном исследовании считается лучшей моделью для инспекции тканей.

YOLOv8 был интегрирован в приложение FastAPI после процесса обучения. Если изображение отправляется в приложение, оно обнаруживает дефекты в реальном времени и генерирует отчёт. К отчету прилагаются измерения длины и ширины ткани, прогнозы класса и расчет уровня неисправности. Ниже приведён пример ввода и вывода из приложения FastAPI.

Рисунок 8: Экспериментальные результаты

Пример применения

Заказчиком является крупнейший производитель спортивной одежды в странах Балтии. Обладая богатой историей, компания занимает видное место в индустрии спортивной одежды.

Их приверженность качеству и инновациям делает их идеальным партнером для внедрения передовых решений, таких как система контроля качества тканей на основе компьютерного зрения.

Текущий визуальный осмотр

Проблема ​

Текстильная промышленность в значительной степени полагается на ручной визуальный осмотр, который отнимает много времени, подвержен человеческим ошибкам и обходится дорого. Компания-заказчик осознала необходимость автоматизированного решения, которое могло бы обеспечить безупречный и эффективный контроль качества тканей.

Обзор решения

Наша компания предложила инновационную концепцию, интегрирующую технологию компьютерного зрения в существующие станции контроля качества тканей. Это решение автоматизирует процесс визуального контроля, обеспечивая более высокую точность и скорость обнаружения дефектов.

Решение

Основные особенности решения:

• Интеграция равномерного и стабильного светодиодного освещения для оптимальной освещенности.
• Использование нескольких камер для всестороннего наблюдения за тканью.
• Усовершенствованные алгоритмы для обнаружения и анализа дефектов.
• Мониторинг в реальном времени и сбор статистических данных.
• Удобный пользовательский интерфейс приложения для управления системой и визуализации данных.
• Совместимость с существующими системами контроля качества тканей.

Детали реализации

Решение предполагает интеграцию трех матричных камер с возможностью глобального затвора, оснащенных защитными кожухами и объективами для защиты от пыли и мусора.

Ткань подсвечивается специальной светодиодной системой, обеспечивающей равномерное и постоянное освещение. Система также включает в себя энкодер для измерения движения ткани и обеспечения синхронизированного анализа данных.

Схема системы машинного зрения

Преимущества и результаты

1. Оптимизированная точность: система, по прогнозам, достигнет впечатляющей точности в 99% при распознавании дефектов, обеспечивая тщательный контроль качества.
2. Повышенная эффективность: Ожидается, что программное обеспечение значительно превзойдет человеческий контроль, что приведет к существенному увеличению скорости производства.
3. Экономия затрат: за счет минимизации дефектов и сокращения ручного труда клиенты могут рассчитывать на значительную ежегодную экономию средств.
4. Анализ в реальном времени: система обеспечит немедленный доступ к статистическим данным о дефектах и ​​их точному местоположению на ткани, что позволит своевременно принимать корректирующие меры.

Будущий потенциал

Решение может быть адаптировано не только для текстильной промышленности, но и для таких отраслей, как стекольное производство, фармацевтика, а также деревообработка. Гибкость и адаптивность программного обеспечения делают его универсальным инструментом для контроля качества в различных секторах.

Заключение

Этот проект успешно разработал эффективную систему автоматической инспекции тканей с использованием компьютерного зрения и методологий глубокого обучения. Система обеспечивала высокоэффективную общую идентификацию дефектов ткани, включая отверстия, чужеродную пряжу, сливы и загрязнение поверхности, используя модель YOLOv8. Эта модель была обучена на наборе данных, состоящем как из заводских данных, так и из набора данных TILDA, что позволяет в реальном времени выявлять дефекты ткани с очень обнадёживающими показателями производительности по точности, точности, отзыву и результатам F1.

Система могла работать в реальном времени благодаря интеграции веб-приложения на базе FastAPI с интуитивно понятным интерфейсом для оценки качества ткани через прямой видеопоток. Эта система гораздо быстрее, последовательно и точнее традиционных методов ручной инспекции и экономит человеческие ошибки, повышая эффективность текстильного производства.

Это решение хорошо отражает возможности этих систем инспекции на базе искусственного интеллекта в текстильном секторе и создаёт основу для дальнейшего развития и совершенствования.

Партнерство с производителем текстиля демонстрирует, как компьютерное зрение и искусственный интеллект могут поднять контроль качества на новый уровень.

Благодаря своей исключительной точности, эффективности и адаптивности, машинное зрение меняет подход к контролю качества в различных отраслях, обеспечивая безупречное производство, экономию затрат и укрепление репутации бренда.

Литература

1. R. Khanal, J. Silva, D. G. Gonzalez, C. Castella, J. R. P. Perez, and M. J. Ferreira, “Fabric hairiness analysis for quality inspection of pile fabric products using computer vision technology,” Procedia Computer Science, vol. 204, pp. 591–598, 2022.
2. Islam, S. Akhter, and T. E. Mursalin, “Automated textile defect recognition system using computer vision and artificial neural networks,” International Journal of Materials and Textile Engineering, vol. 2, no. 1, pp. 110–115, 2008.
3. H. Cheung and Q. Yang, “Fabric defect detection using ai and machine learn- ing for lean and automated manufacturing of acoustic panels,” Proceedings of the In- stitution of Mechanical Engineers, Part B: Journal of Engineering Manufacture, p. 09544054231209782, 2023.
4. Mei, Y. Wang, and G. Wen, “Automatic fabric defect detection with a multi-scale convolutional denoising autoencoder network model,” Sensors, vol. 18, no. 4, p. 1064, 2018.
5. Mo et al., “Development of a computer vision model for quality inspection in textile industry,” 2022.
6. Rasheed, B. Zafar, A. Rasheed, N. Ali, M. Sajid, S. H. Dar, U. Habib, T. Shehryar, and M. T. Mahmood, “Fabric defect detection using computer vision techniques: a comprehensive review,” Mathematical Problems in Engineering, vol. 2020, no. 1, p. 8189403, 2020.
7. Kumar, “Computer-vision-based fabric defect detection: A survey,” IEEE transac- tions on industrial electronics, vol. 55, no. 1, pp. 348–363, 2008.
8. G. Saeidi, M. Latifi, S. S. Najar, and A. G. Saeidi, “Computer vision-aided fabric inspection system for on-circular knitting machine,” Textile Research Journal, vol. 75, no. 6, pp. 492–497, 2005.
9. Divyadevi and B. V. Kumar, “Survey of automated fabric inspection in textile indus- tries,” in 2019 International Conference on Computer Communication and Informatics (ICCCI). IEEE, 2019, pp. 1–4.
10. R. Jeyaraj and E. R. Samuel Nadar, “Computer vision for automatic detection and classification of fabric defect employing deep learning algorithm,” International Journal of Clothing Science and Technology, vol. 31, no. 4, pp. 510–521, 2019.