Технологии компьютерного зрения и искусственного интеллекта для контроля качества текстильной пряжи: обзор

Текстильная пряжа — это продукт процесса прядения, изготовленный из натуральных или синтетических волокон. Она характеризуется высоким соотношением длины к диаметру. Пряжу можно описать главным образом как расположение линейных волокон или нитей, образующих непрерывную линию, характеризующуюся ткацкими свойствами, особенно высокой прочностью и эластичностью. Нити представляют собой тонкие, вытянутые структуры, предназначенные для соединения и переплетения с целью создания текстильных элементов, таких как тканые или трикотажные полотна и канаты. Эти нити могут быть изготовлены непосредственно из непрерывных нитей или из основных волокон. Для непрерывных нитей скручивание придает им прочность и целостность, предотвращая разрыв. Направление скручивания при производстве пряжи обозначается буквой «S» или «Z» [1].

В текстильной промышленности качество готовой продукции тесно связано с качеством пряжи. Это в основном требует измерения неровностей, ворсистости, диаметра, массы, а также производственных характеристик, таких как этапы скручивания, направление намотки волокон и количество пучков [1, 2]. Прочностные характеристики пряжи являются одним из наиболее важных параметров оценки ее качества.

В настоящее время оценка качества текстильной пряжи основана на лабораторных методах, проводимых вне производства. Недавние исследования были сосредоточены на разработке передового технологического решения с использованием методов компьютерного зрения и искусственного интеллекта для оценки ключевых параметров пряжи в режиме реального времени. Это позволяет анализировать пряжу во время производства с помощью встроенной интеллектуальной системы машинного зрения на самом станке [2].

В данной статье рассматриваются области применения методов компьютерного зрения и искусственного интеллекта в контроле качества текстильной пряжи, исследуется влияние интеграции обеих технологий на контроль качества текстильной пряжи. Рассматриваются типы дефектов пряжи, методы определения параметров пряжи, а также применение компьютерного зрения и искусственного интеллекта в системах контроля качества пряжи.

Современное состояние научной литературы свидетельствует о том, что опубликовано множество научных работ, посвященных контролю качества пряжи с использованием искусственного интеллекта и глубокого обучения; однако большинство из этих статей представляют собой либо обзоры традиционных методов контроля, либо посвящены исключительно применению отдельного метода или техники.

Вклад данной работы заключается в следующем:

1. Разработка четкого и краткого способа сравнения традиционных и новых методов контроля качества пряжи (с использованием как методов, основанных на коэффициенте вариации, так и методов, основанных на искусственном интеллекте).
2.  статье освещаются достижения в применении архитектур машинного обучения на основе CNN, YOLO и других перспективных технологий.
3. Выявление пробелов в исследованиях и направлений для будущей работы, связанных с внедрением интеллектуальных систем контроля качества пряжи.

Отбор литературы для исследования проводился в соответствии со структурированной методологией, обеспечивающей прозрачность и научную строгость.

• Использованные базы данных: Был проведен обширный поиск литературы в высокорейтинговых научных базах данных и онлайн-источниках, таких как IEEE Xplore, Electronics, Measurement, Complex & Intelligent Systems, ScienceDirect (Elsevier), Optics and Lasers in Engineering, Taylor & Francis, SpringerLink, MDPI и SAGE (Textile Research Journal). Также использовалась стандартная отраслевая документация, предоставленная Uster Technologies, для определения базовых параметров традиционных емкостных и оптических датчиков.
• Временные рамки: Был выбран обширный временной период, охватывающий эволюцию данной области знаний, начиная от традиционных методов оптической фильтрации, предложенных в конце 1980-х годов, и заканчивая последними разработками в области применения глубокого обучения и гибридных систем контроля качества до 2026 года.
• Стратегия поиска: Поисковые запросы были разработаны с учетом ключевых параметров оценки качества пряжи и последних достижений в применении цифровых технологий.
• Критерии включения: В обзор была включена литература, отобранная на основе следующих критериев:

Технический аспект: В ходе исследования была рассмотрена литература, посвященная измерению конкретных параметров пряжи, таких как линейная неоднородность массы, диаметр, ворсистость, а также дефекты, например, тонкие/толстые участки и узелки.

1. Технологическая реализация: В литературе рассматривалось применение методов цифровой обработки изображений, таких как бинаризация Оцу и обнаружение границ Кэнни, а также методов искусственного интеллекта, таких как CNN, YOLO, ANN и системы нечеткого вывода.
2. Проверка достоверности: В рассмотренной литературе были представлены сравнительные данные по отношению к общепринятым отраслевым стандартам, таким как USTER Tester (3, 4, 5 или 6) и Lawson-Hemphill.
3. Синтез и сравнение: Литература, рассмотренная в исследовании, была сгруппирована по категориям компьютерного зрения и искусственного интеллекта и сопоставлена ​​по показателям эффективности для определения потенциальных пробелов и областей исследований.

Традиционные методы оценки качества пряжи в основном основывались на лабораторных исследованиях в автономном режиме. Хотя такие методы и обеспечили отраслевые стандарты для оценки равномерности и ворсистости пряжи, они сталкиваются с проблемами, связанными с чувствительностью к окружающей среде и эффективностью.

4.1 Методы измерения вариаций массы пряжи

Стандартное коммерчески доступное оборудование для анализа изменения массы включает в себя емкостные датчики с параллельными пластинами для определения изменения диэлектрических свойств пряжи при ее перемещении между пластинами.

Хотя этот метод хорошо работает в контролируемых условиях, основным ограничением этой сенсорной технологии является ее чрезвычайная чувствительность к условиям окружающей среды, таким как температура и влажность, что приводит к значительной погрешности показаний. Подробные технические характеристики, преимущества и ограничения этих емкостных методов суммированы в таблице 2 [7].

Таблица 2. Техническое сравнение коммерческих емкостных датчиков для анализа изменений массы пряжи в автономном режиме, с акцентом на чувствительность к окружающей среде, температуре и влажности [7].

4.2 Системы анализа ворсистости пряжи

Ворсистость пряжи — важный параметр качества, определяющий внешний вид ткани и эффективность последующего процесса вязания или ткачества.

В прошлом степень волосатости оценивали с помощью механических и фотооптических методов, таких как микроскопический метод, взвешивание или подсчет голосов, а также фотоэлектрические датчики.

Тем не менее, эти традиционные методы связаны с низкой точностью и трудоемкостью процессов. Например, микроскопический метод ограничен сложностью определения границ пряжи с учетом наличия отдельных волосков.

С другой стороны, процесс взвешивания трудоемкий и неточный. Фотоэлектрические датчики быстрые, но не могут четко определить длину волосков, поскольку они имеют геометрическую форму [8]. В таблице 3 представлено краткое описание традиционных методик, используемых для оценки ворсистости пряжи, что указывает на пробел, который восполняют современные методы компьютерного зрения.

Таблица 3. Сводная информация о традиционных методах измерения ворсистости пряжи, сравнение механических, весовых и фотоэлектрических методов, а также пределы их точности.

Разработка новых систем для выявления дефектов пряжи в настоящее время имеет решающее значение, поскольку требования клиентов к качеству продукции становятся все более важными. Высокий процент дефектов приводит к искажениям продукции и снижает прибыльность [13]. Контроль качества текстильной пряжи может проводиться в автономном или онлайн-режиме. Франчини и Лонгобарди [14] разработали метод оптической фильтрации, который улучшает онлайн-контроль качества текстильной пряжи, позволяя измерять размер основной части пряжи и вариации ворсистости по ее длине.

Онлайн-контроль качества используется для мониторинга параметров производственной линии, в то время как офлайн-методы применяются в лабораториях для тестирования продукции и обеспечения приемлемого качества. Технология обработки изображений была внедрена с использованием различных датчиков, как упоминалось ранее. С развитием современных систем и широким распространением искусственного интеллекта было разработано множество исследований и методов для эффективного и быстрого выявления дефектов и свойств пряжи. В следующих подразделах будут рассмотрены системы на основе машинного зрения, а в разделе  5 основное внимание будет уделено системам на основе ИИ.

5.1 Системы контроля качества ИИ

В этом разделе описывается влияние компьютерного зрения и обработки изображений на:

1. Внешний вид пряжи и ее дефекты (несовершенства).
2. Анализ ворсистости пряжи.

5.1.1. Качественный внешний вид пряжи и дефекты (несовершенства)

Переход от традиционной лабораторной оценки качества к контролю в режиме реального времени непосредственно на производственной линии потребовал разработки встроенных интеллектуальных систем машинного зрения, способных анализировать пряжу в процессе производства.

Для оценки таких параметров, как диаметр, изменение массы и дефекты, требуется сложная инфраструктура визуализации, обычно состоящая из высокоскоростного датчика, специализированной линзы с большой глубиной резкости и управляемого источника освещения.

Хотя конкретные конфигурации различаются в разных источниках, от аналоговых микроскопов, соединенных с веб-камерами для лабораторных прототипов, до промышленных CMOS-камер для онлайн-мониторинга, они имеют общие технические характеристики по разрешению и частоте кадров.

Для повышения методологической прозрачности и устранения дублирования в таблице 4 представлены технические характеристики оборудования и промышленные модели, наиболее часто используемые в рассмотренных исследованиях.

Таблица 4. Сводная информация об оборудовании для промышленного машинного зрения, включая разрешение CMOS-сенсоров, частоту кадров (FPS) и характеристики используемых линз.

При оценке дефектов пряжи методом обработки изображений, предложенном Натери и др. [15], изображение было получено с помощью сканера. Затем для модификации изображения использовался метод Оцу, и все значения пикселей были скорректированы в диапазоне [0,1]. Пиксели со значением 0 имеют яркость меньше определенного значения и называются «выключенными пикселями», а пиксели со значением 1 имеют яркость больше определенного значения и называются «включенными пикселями». Затем изображение преобразуется в бинарный формат и обрабатывается для оценки шума. На рисунке  5 показаны шаги по удалению шума из изображения. Затем применяется фильтр для удаления шума из изображения и используются массивы для извлечения дефектов из введенных данных. В результате для 4 образцов с использованием описанного алгоритма было обнаружено, что спутывание и наличие посторонних примесей для образцов 3 и 4 составили 33% и 25% соответственно. Результаты по другим параметрам соответствовали результатам фактического теста.

Рис. 5. Последовательность обработки изображений для бинаризации и шумоподавления при сканировании пряжи, иллюстрирующая извлечение дефектов с использованием метода Оцу и фильтрации на уровне пикселей [15]

В работе Бахла и др. [16] по оценке качества пряжи в ткани с использованием методов обработки изображений представлены основы многих исследований качества пряжи и оценки ее внешнего вида. Было отмечено, что качество пряжи обычно определяется на основе ее длины и диаметра. В исследовании предлагается вывести дополнительные параметры качества пряжи, такие как однородность пряжи вдоль ее оси, профиль толщины пряжи вдоль горизонтальной оси, а также ее длина и диаметр.

С помощью методов обработки изображений для автоматизации контроля качества пряжи, изображение сначала захватывается камерой и сохраняется в формате BMP с 8-битными уровнями серого, а затем подвергается обработке с помощью фильтеров. Все этапы обработки выполняются с использованием MATLAB. На рисунке  6 показаны подготовленные изображения пряжи.

Рис. 6. Обработанное изображение пряжи с помощью MATLAB [16]

Результаты показывают, что меньшее стандартное отклонение отражает лучшую однородность диаметра пряжи, что обеспечивает более высокое качество. Данная методология может служить стандартом для классификации качества пряжи, поддерживая контроль качества в процессах вязания и прядения.

В исследовании Гонсалвеша и др. [17] для автоматической характеристики и обнаружения параметров массы пряжи (линейная масса, диаметр и дефекты пряжи) использовалось приложение, разработанное в LabVIEW с помощью IMAQ Vision Toolkit. Затем результаты сравнивались с результатами, полученными с помощью USTER Tester 3. Используемая система основана на веб-камере, прикрепленной к аналоговому микроскопу, как показано на рис.  7.

Рис. 7. Аналоговый микроскоп Bresse Biolux Al, соединенный с веб-камерой Hercules Deluxe [17]

Для получения изображения камера подключается к окулярам микроскопа с увеличением 40x (5 × 4 × 2 = 40x), где 5 × соответствует окуляру, 4 × — объективу, 2 × — увеличительной линзе. Для лучшего контраста использовался желтый монохроматический свет. Для определения диаметра расстояние между нитями устанавливается равным 1 мм. Блок-схема на рис.  8 иллюстрирует используемый алгоритм [17].

Рис. 8. Блок-схема алгоритма, используемого для определения диаметра пряжи [17]

На заключительном этапе обнаружения контуры сердцевины пряжи получают с помощью обнаружения краев Кэнни. Все края обнаруживаются вдоль набора параллельных линий, затем определяется диаметр, при этом исключается вся ворсистость вокруг сердцевины. После обнаружения всех краев вычисляется расстояние между парами краев, обнаруженных всеми линиями, среднее значение всех вычисленных расстояний позволяет получить диаметр пряжи. Как только диаметр известен, масса легко вычисляется с помощью корреляции между линейной массой и диаметром, как описано в уравнении 1 [3, 18].

Для определения дефектов пряжи (тонких мест, толстых мест и узелков) после определения диаметра пряжи можно рассчитать дефект, сопоставив линейную массу с диаметром пряжи. Это можно сделать, сравнивая расстояние, измеренное вдоль пряжи, со средним диаметром. На рис.  9 показан алгоритм получения дефектов пряжи [17].

Рис.9. Блок-схема алгоритма, используемого для получения дефектов пряжи [17]

При определении ворсистости используются методы сегментации и пространственной фильтрации для выделения и количественной оценки выступающих волокон и изоляции сердцевины пряжи от исходного изображения, затем для коэффициента ворсистости применяется удаление мелких объектов и скелетонизация, рис.  10 показывает алгоритм, используемый для получения ворсистости пряжи [17, 19].

Рис. 10. Блок-схема алгоритма, используемого для получения ворсистости пряжи [17]

Результаты эксперимента показывают, что при определении диаметра пряжи система дает хорошие результаты по сравнению с тестером USTER Tester 3, со средней погрешностью 9,1%. Было получено количество дефектов пряжи, а результаты определения ворсистости, по сравнению с коммерческим устройством, показывают среднюю погрешность 4,8%.

Авторы предлагают усовершенствовать метод различения петель и выступающих волокон с помощью искусственного интеллекта, применить систему к другим типам пряжи, таким как фантазийная пряжа, и изучить влияние пористости на полиэфирную пряжу.

В новой системе анализа поперечного сечения пряжи, основанной на двух ортогональных ПЗС-датчиках, разработанной Гуаньчжи и др. [20], основное внимание уделяется равномерности пряжи. Два ПЗС-датчика (ортогональные ПЗС-датчики) используются для анализа периметра пряжи и рассматривают форму поперечного сечения пряжи как эллипс с неровными краями. Этот метод экспериментально подтвержден и сравнен с тестером Устера 5 и тестом Лоусона-Хемфилла, и результаты являются приемлемыми.

Используемая система показана на рис.  11 и включает в себя следующие компоненты:

Рис. 11. Экспериментальная установка для анализа поперечного сечения пряжи с использованием двух ортогональных ПЗС-датчиков и светодиодного освещения для высокоточного измерения периметра [20]

Процесс выполняется путем захвата изображений с помощью ПЗС-датчиков. Затем применяется фильтр Винера для подавления фонового шума путем минимизации среднеквадратичных ошибок, что позволяет получить четкое изображение для анализа. Далее используется метод бинаризации Оцу для преобразования изображений в оттенках серого в бинарный формат для повышения скорости и четкости, что обеспечивает лучшее распознавание изображений и обнаружение границ путем отделения сердцевины пряжи от ворса. Для точного определения диаметра сердцевины пряжи используются морфологические операции для удаления ворса и выделения сердцевины. Затем вычисляется диаметр, а также периметр и его коэффициент вариации (CV), и результаты сохраняются.

Настройка системы.

• Подготовка образцов: Девять образцов хранились в лаборатории в течение 24 часов в стандартных условиях (температура: 20 ± 2°C, влажность: 65 ± 2%).
• Условия тестирования:
  • Скорость: 1,3 м в минуту (м/мин)
  • Натяжение: 0,18 Ньютонов (Н)
  • Длина измерения: 100 м (м)
• Интервал расстояния между контрольными точками:
  1. 1. оТестер Устер 5: 8 мм (мм)
     2. оСистема Лоусона-Хемфилла: 2 мм (мм)

Данные, полученные с помощью предложенного метода, точно соответствуют результатам Лоусона-Хемфилла. Обе методики дают схожие или почти идентичные результаты, при этом предложенный метод демонстрирует более высокую точность прогнозирования равномерности пряжи с использованием коэффициента вариации периметра. Полученные результаты согласуются с предыдущими исследованиями, которые ставят под сомнение предположение об идеально круглом поперечном сечении нити. Вместо этого, изменчивость диаметра в зависимости от положения ПЗС-датчика дополнительно подтверждает достоверность метода. Эта система представляет собой экономически эффективное, масштабируемое решение для оценки равномерности пряжи, подходящее для промышленного применения.

В системе компьютерного зрения, разработанной Чжисонгом и др. [21], были получены следующие параметры: диаметр пряжи, дефекты и ворсистость. Эти параметры были получены с помощью методов компьютерного зрения и обработки изображений. В этом прототипе, показанном на рис. 12, блок обработки изображений диаметра (DIPU) и ряд точек выборки определены и выбраны из движущейся пряжи. DIPU, соответствующий каждой точке выборки, сегментируется из захваченных изображений пряжи. Затем средний диаметр DIPU используется для представления диаметра пряжи в контрольных точках. При извлечении изображений пряжи DIPU делится на три области: передний план, определенный фон и неизвестную область в соответствии с характеристиками распределения проекции уровней серого.

Рис. 12. Блок-схема метода определения параметров пряжи и оценки качества пряжи [21]

Неизвестная область дополнительно обрабатывается методом Пуассона, при котором изображение пряжи и фоновое изображение полностью разделяются с помощью определенного классификатора связности. После извлечения сердцевины пряжи классификатором, ворсистость разделяется путем вычитания изображений. Наконец, для дальнейшей оценки качества пряжи, дефекты пряжи анализируются статистическими методами.

В разработанной системе в качестве платформы для захвата изображений используется закрытый ящик, защищающий от помех рассеянного света. Для устранения отраженного света и теней используется белое рассеивающее стекло. Кроме того, для моделирования движения нити используются драйвер и регулятор напряжения.

На рисунке 13 показана интегрированная структура этой системы. Система захвата изображения пряжи представляет собой сложную конструкцию, состоящую из трех основных компонентов:

• Система формирования изображения включает в себя датчик, объектив камеры и источник света. ПЗС-матрица играет решающую роль в сборе последовательности изображений с пряжи.
• Объектив с большой глубиной резкости; такой объектив позволяет четко анализировать волосяной покров в разных местах.
• Источник света обеспечивает необходимое освещение для получения четких изображений пряжи.

Рис. 13. Комбинированная платформа обработки изображений для оценки качества пряжи, включающая закрытую камеру изображения, рассеянное белое освещение для устранения теней и высокоскоростной ПЗС-датчик [21]

Халим и др. [22] предложили систему онлайн-тестирования равномерности для измерения определенного типа дефектов пряжи (узлов) с использованием методов визуализации и компьютерного зрения. Разработанная система, показанная на рис.  14, непосредственно захватывает изображения пряжи на прядильной машине и использует алгоритм обнаружения объектов Виолы-Джонса для обнаружения дефектов узлов в реальном времени.

Рис. 14. Система онлайн-контроля качества с использованием компьютерного зрения [22]

Проверка алгоритмов обнаружения узелков и сравнение разработанного метода с существующим прибором для проверки равномерности пряжи по количеству узелков продемонстрировали его приемлемую точность обнаружения дефектов и многообещающий потенциал применения в более широкой отрасли прядения пряжи.

Физическое расстояние между камерой и образцом пряжи составляло 21 см, что обеспечивало вертикальное поле зрения длиной 1,2 см вдоль оси пряжи. Цифровое разрешение камеры было установлено на 1100 × 1080 пикселей, а время экспозиции — на 3 мкс. Скорость съемки (в кадрах в секунду) рассчитывалась для образцов пряжи на основе скорости их подачи.

Для обучения модулей использовались три вида текстильной пряжи с линейной плотностью 29,5 текс, 19,68 текс и 14,76 текс. Эта пряжа была произведена из греческой кардной хлопчатобумажной ровницы плотностью 590,5 текс (длина волокна: 30,7 мм и тонкость волокна: 0,175 текс). Скорость прядения пряжи была установлена ​​на уровне 12 000 об/мин, использовалось прядильное кольцо диаметром 40 мм. Температура в прядильном цехе поддерживалась на уровне 21,9 °C, а относительная влажность — 51,3%. Параметры вытяжки и кручения для всех трех видов пряжи приведены в таблице 5.

Таблица 5. Параметры прядения для трех видов производимой пряжи [22]

На рисунке 15 показаны три объединенных изображения, размер поля зрения которых был достаточным для учета боковых колебаний пряжи в процессе прядения. Все изображения представляют собой последовательные, но не перекрывающиеся участки пряжи.

Рис. 15. Пример изображения пряжи с дефектом узелка, полученного с помощью системы получения изображений [22]

На основе результатов, полученных с помощью предложенной модели, алгоритм Виолы-Джонса эффективно обнаруживал дефекты типа узелков на изображениях пряжи в режиме реального времени с вероятностью обнаружения до 92%, которая может быть дополнительно улучшена за счет усовершенствования стратегии обучения, размера обучающего набора данных или путем экспериментов с другими подходами к обнаружению объектов. Разработанная система может быть расширена для использования при обнаружении других типов дефектов пряжи с целью создания комплексного решения для контроля качества пряжи в более широком масштабе для всей отрасли прядения.

Перейра и др. [2] разработали мехатронный прототип, интегрированный с системой компьютерного зрения, для анализа дефектов пряжи в реальном времени [23]. Эта система также определяет другие характеристики, такие как линейная масса, диаметр, объем, ориентация скручивания, шаг скручивания, среднее отклонение массы, коэффициент вариации, коэффициент ворсистости, среднее отклонение ворсистости, стандартное отклонение ворсистости и спектральный анализ [24, 25]. В таблице 6 показано оборудование, используемое для этого метода.

Механическая система, показанная на рис. 16, выполняет функцию размотки и намотки катушки текстильной пряжи. Она состоит из нескольких компонентов, перечисленных в таблице 6.

Рис. 16. Мехатронная система, разработанная для разматывания пряжи и извлечения дефектов с помощью камеры [2]

Для проверки устойчивости и надежности разработанных алгоритмов использовались три разных типа пряжи. Между тремя образцами пряжи наблюдаются различия по нескольким оцениваемым параметрам: диаметр, линейная масса, ворсистость, количество волокон и материал (хлопковая и полиэстерная пряжа). На рисунке 17 показано изображение с результатом одной части реализованного алгоритма. После получения изображения с пониженным уровнем шума применяется алгоритм Кэнни для обнаружения контуров. Полученное изображение будет состоять только из силуэта.

Рис. 17. Изолированные контуры текстильной пряжи [2]

Результаты, полученные с помощью этого устройства, в сравнении с тестером Uster Tester 3, представлены в таблице 7. В этой системе все характеристики измеряются в сравнении с устройством Uster, у которого некоторые данные не измерялись. Разница в результатах минимальна (относительная погрешность менее 10%). Разница обусловлена ​​длиной пряжи, используемой в обоих случаях. В тестере USTER используется 1 км пряжи, тогда как в прототипе используется только одно изображение с длиной пряжи 2,72 мм. Тестер USTER проводит измерения каждые 8 ​​мм, в отличие от 0,05 мм в разрабатываемом устройстве, поэтому измерения прототипа по этой причине выше. В онлайн-режиме результаты для 100 м пряжи показывают погрешность менее 5%. Для тестера USTER измерения проводятся каждые 8 ​​мм, тогда как для прототипа — каждые 1 мм, что объясняет разницу в результатах. Результаты разрабатываемого прототипа отличаются от результатов тестера USTER менее чем на 10%. Дальнейшее развитие этого проекта включает внедрение ИИ в алгоритм и адаптацию интерфейса для анализа ворсистости, что позволит осуществлять автоматическую классификацию.

Исследование Сонга и др. [26] внесло изменения в структуру YOLOv8s, специально разработанную для решения проблем обнаружения мелких объектов в сложных текстурах ткани. Исследователи представили DA-YOLOv8s, показанный на рис.  18, модель, учитывающую предметную область, для эффективного обнаружения проблем, связанных с низким контрастом и переменным соотношением сторон дефектов.

Рис. 18. Улучшенная диаграмма структуры сети DA-YOLOv8 [26]

Суть данного исследования заключается в ряде стратегических усовершенствований, имеющих решающее значение для промышленных систем машинного зрения.

Во-первых, замена стандартных модулей C2f на блоки Deep & Cross Network (DCNv2) в основной архитектуре является значительным улучшением. Эта модификация позволяет сети моделировать взаимодействия признаков более высокого порядка, что крайне важно для извлечения разреженных деталей дефектов из плотного фонового изображения ткани. Во-вторых, интеграция механизма поляризованного самовнимания (PSA) в сеть Neck обеспечивает сохранение высокого разрешения как в канальном, так и в пространственном измерениях.

Одной из ключевых особенностей этого исследования является добавление головки для обнаружения мелких объектов (SOHead). 86% случаев в промышленном наборе данных провинции Гуандун представляют собой дефекты, ширина которых составляет менее 10% от исходного изображения, поэтому данное изменение является целесообразным.

Используя карту признаков размером 160×160 пикселей, система может обнаруживать дефекты размером всего 4 × 4 пикселя, эффективно снижая процент пропущенных обнаружений мельчайших промышленных дефектов.

Модель DA-YOLOv8s демонстрирует явное превосходство над несколькими бенчмарками (YOLOv9s, YOLOv10s и новейшим YOLOv11s). Заявленный показатель mAP@0.5, равный 44,6%, представляет собой заметное улучшение на 4,2% по сравнению с базовой моделью. Несмотря на увеличение вычислительной сложности — о чем свидетельствует рост на 12,1 GFLOPS — система по-прежнему поддерживает высокую скорость обнаружения — 257,38 кадров в секунду. Достигнутая скорость превосходит требования промышленного уровня реального времени, что оправдывает неболькое увеличение требований к аппаратному обеспечению.

В заключении исследования показано, что подход параллельной обработки в блоках DCNv2 обеспечивает представление признаков высокого порядка, что делает модель более эффективной при работе с различными текстурами тканей. Согласованность между потерями на обучающей и валидационной выборках дополнительно подтверждает отличные обобщающие возможности модели. Однако следует отметить, что скорость обнаружения значительно снизилась на 52,2% по сравнению с базовой моделью YOLOv8s. Хотя общая точность высока, модель все еще демонстрирует проблемы в некоторых категориях.

Дальнейшая работа должна быть сосредоточена на разработке облегченных моделей, способных поддерживать такой уровень точности при использовании более дешевого оборудования.

5.1.2 Анализ ворсистости пряжи

Рой и др. [27] предложили экономичную систему для оценки качества пряжи с использованием методов обработки изображений. Эта система включает в себя веб-камеру USB и механизм переноса пряжи. Основные этапы процесса:

1. Выделение сердцевины пряжи: идентификация и выделение центральной части пряжи на полученных фотографиях.
2. Извлечение волокон: обнаружение выступающих волокон на поверхности пряжи.

Данный метод определяет степень ворсистости пряжи с помощью таких показателей, как:

1. Индекс площади волокон пряжи измеряет площадь, покрытую выступающими волокнами.
2. Индекс длины волокон пряжи измеряет длину этих волокон.
3. Подсчет кончиков волокон: расчет количества концов волокон на разных расстояниях от центральной линии сердцевины пряжи.

Система использует веб-камеру, прикрепленную к аналоговому микроскопу, как показано на рис. 19.

Рис. 19. Общая используемая система [27]

Камера делает снимок каждые 5 секунд, затем изображение анализируется с помощью программного обеспечения для обработки изображений. Устанавливаются яркость и расстояние до нити, а также обеспечивается достаточное освещение для лучшего извлечения информации. Обнаруживается сердцевина нити и определяются края волосков.

Фильтр Собеля применяется для поиска скелета сердцевины пряжи после выделения волосков из изображения для определения их диаметра. На рисунке  20 показаны этапы выделения. Для получения скелета изображения только для волосков, изображение сначала обрабатывается функцией открытия объекта размером 9 и с квадратными структурными элементами, затем применяется функция расширения размером 3 и 1 для извлечения волосков из сердцевины.

Рис. 20. Этапы изоляции для определения диаметра [27]

Ван и др. [28] предлагают экономичный и эффективный метод обработки изображений для анализа внешнего вида пряжи на доске. Этот метод включает в себя получение изображения пряжи с помощью цветного сканера изображений CanoScan 9000F Mark II от Canon. Пряжа помещается на доску, как показано на рис.  21 , а затем применяются алгоритмы сегментации для извлечения сердцевины пряжи и ворсистых волокон. Коэффициент вариации диаметра CV_bd и индекс ворсистости (M) рассчитываются с использованием сегментированной информации. Результаты этого метода затем сравниваются с результатами, полученными с помощью тестера Uster 5. Результаты показывают, что значения CV_bd, полученные этим методом, больше, чем значения, измеренные тестером Uster 5. Оба значения уменьшаются с увеличением номера пряжи для образцов из одного и того же материала и системы прядения. Коэффициент вариации значения M для каждого образца пряжи составляет менее 4%, что указывает на высокую стабильность и воспроизводимость метода.

Рис. 21. Оценка внешнего вида пряжи на стандартизированной доске с использованием сканирования изображений [28]

При оценке результатов определения ворсистости Uster с помощью анализа изображений, предложенного Тлли [29], изображения были получены с помощью стереомикроскопа Novel NSZ 808, а алгоритм обработки был разработан в MATLAB R2018a. Результаты сравнивались с результатами Uster H и sh. Энтропийный текстурный параметр метода Собеля показал наибольшую корреляцию с ворсистостью Uster H, а наибольшая корреляция с средним значением матричных элементов (mean2) текстурных параметров Собеля была получена для Uster sh.

Тесты проводились на тринадцати кольцевых нитях, для определения ворсистости и дефектов использовался коммерческий прибор Uster Tester 4 со скоростью 400 м/мин в течение 1 мин, а изображение делалось с помощью стереомикроскопа с увеличением 10x. Для отделения тела от волосков применялись алгоритмы обнаружения краев Собеля и Превитта после применения двумерной матрицы с двойным форматом значений от 0 до 1 и двумерного медианного фильтра с последующим выравниванием гистограммы, а параметрами измерения были: среднее значение элементов матрицы (mean2), стандартное отклонение элементов матрицы (std2) и энтропия. Где среднее значение элементов матрицы — это среднее значение всех значений в массиве. Стандартное отклонение элементов матрицы — это стандартное отклонение значений плотности пикселей. Энтропия связана с нормализованными числами гистограммы [30].

В текстурном анализе более высокая энтропия означает, что матрица содержит более разнообразные или сложные узоры, тогда как более низкая энтропия указывает на однородность. Как показали результаты анализа тринадцати видов пряжи, самые высокие значения были получены для пряжи под номером 3, а самые низкие — для пряжи под номером 12, как показано на рис. 22. Uster sh в целом демонстрирует более высокие результаты корреляции по сравнению с Uster H по всем тестам. Полученные данные показывают, что Uster sh обеспечивает более точные и многофункциональные измерения ворсистости пряжи, устраняя ограничения, наблюдаемые в Uster H, особенно для окрашенной пряжи.

Рис. 22. Пряжа № 3, 12 фактическая и проанализирована с использованием методов Собеля и Превитта [29]

Переход от Индустрии 4.0 к Индустрии 5.0 представляет собой стратегический сдвиг от чистой автоматизации к человекоцентричному, синергетическому подходу, в котором искусственный интеллект выступает в качестве посредника. В предыдущих разделах обсуждался сдвиг в концепции цифровой обработки изображений. Современная тенденция в системе контроля качества пряжи — это переход к парадигмам ИИ, которые сочетают глубокое обучение и киберфизическое исполнение. Благодаря использованию инструментов Edge AI, таких как NVIDIA Jetson, система перешла от пассивного мониторинга к принятию решений в реальном времени. Этот сдвиг устранил критические различия в высокоскоростной обработке текстиля, используя возможности механизмов внимания, синтетических данных и гибридных облачно-периферийных архитектур.

В исследовании Альметвалли и др. [31] прочностные характеристики пряжи из хлопка/спандекса с сердечником были предсказаны с использованием как искусственной нейронной сети (ИНС), так и моделей множественной регрессии. Целью исследования было предсказание прочности на разрыв, удлинения при разрыве и работы разрыва пряжи с сердечником. Сеть состояла из трех слоев: входного слоя (3 нейрона), скрытого слоя (12 нейронов) и выходного слоя (1 нейрон на каждую зависимую переменную), как показано на рис. 23. Для обучения и тестирования сети использовался MATLAB 9.1. Производительность обеих моделей оценивалась с помощью трех метрик: среднеквадратичной ошибки (RMSE), средней ошибки смещения (MBE) и коэффициента детерминации (R² ) [32].

RMSE измеряет вариацию предсказанных значений, оценка является точной при низком значении RMSE. MBE указывает на среднее отклонение предсказанных значений от измеренных данных. Более низкое значение MBE указывает на лучшее долгосрочное прогнозирование модели. Положительное значение MBE указывает на переоценку, а отрицательное — на недооценку. Коэффициент детерминации (R²) измеряет, как модель объясняет вариацию зависимой переменной (прочностные свойства хлопка/спандекса) из-за множества независимых переменных (линейная плотность спандекса, коэффициент вытягивания нитей спандекса и коэффициент кручения). Значения R² варьируются от 0 до 1, причем значения, близкие к 1, указывают на лучшее соответствие и более надежные прогнозы [31].

Рис. 23. Сеть состоит из трех слоев: входного слоя (3 нейрона), скрытого слоя (12 нейронов) и выходного слоя (1 нейрон на каждую зависимую переменную) [31]

Обучение является важным этапом в нейронных сетях, направленным на минимизацию ошибок между выходными данными сети и желаемыми выходными данными. Для обучения модели было использовано сорок образцов пряжи из хлопка и спандекса с сердечником. Результаты показали, что модель искусственной нейронной сети (ИНС) обеспечивает гораздо лучшее соответствие экспериментальным данным по сравнению с регрессионной моделью, что делает ее более надежным методом для прогнозирования прочностных характеристик пряжи из хлопка и спандекса с сердечником.

В исследовании Ганди и др. [33] предложен метод оценки качества пряжи, сочетающий обработку изображений и систему нечеткого вывода (FIS). Метод эффективно обрабатывает сложные и неточные данные, поскольку он дает оценку внешнего вида в процентах от степени градации, а не в виде естественной градации, использующей стандарты ASTM (D-2255). Изображения получены с помощью коммерческого сканера в виде цветных фотографий с двумя разрешениями (300 dpi и 150 dpi). Обработка изображений и система реализованы с использованием MATLAB. Техника FIS построена на основе стандартов внешнего вида хлопчатобумажной пряжи ASTM (D-2255) с использованием нечетких множеств. На рисунке  24 показана разработанная система.

Рис. 24. Разработанная система [ 33 ]

Были протестированы десять новых образцов, каждый из которых имел разный внешний вид, при этом каждая пара образцов имела одинаковое количество пикселей. Ручная классификация этих нитей по стандарту ASTM относит каждую пару к одному сорту. В отличие от этого, система FIS классифицирует каждый образец по количеству черно-белых пикселей, и каждый из десяти образцов получает уникальный сорт, отличающийся от результатов, полученных по стандарту ASTM.

В исследовании Эль-Гейхейни и др. [34], посвященном моделированию прочностных свойств пряжи с использованием искусственного интеллекта, основное внимание уделяется использованию обработки изображений и искусственных нейронных сетей (ИНС) для моделирования прочности и процента удлинения пряжи различных типов пряжи экономичным и эффективным по времени способом. В исследовании разработаны две системы: одна для оценки удлинения и прочности хлопчатобумажной пряжи, а другая для оценки параметров смешанной пряжи.

Для измерений используются разные типы хлопка, для намотки пряжи — доска. Изображения получают с помощью цифровой камеры, а для обработки изображений и разработки двух искусственных нейронных сетей (ИНС) используется MATLAB 2015. Для обучения первой модели, использующей 152 образца, применяется алгоритм обратного распространения ошибки Левенберга-Марквардта. Изображения масштабируются до формата 250 × 250 в оттенках серого после применения гауссова фильтра. ИНС состоит из одного скрытого слоя с 15 нейронами, а выходной слой имеет два выхода: прочность (RKM) и процент разрывного удлинения хлопчатобумажной пряжи.

Вторая модель фокусируется на анализе прочностных характеристик смешанных нитей. Для обучения модели используется в общей сложности 108 образцов, изображения обрабатываются так же, как и в первой модели. Эта модель использует четырехслойную искусственную нейронную сеть прямого распространения, с двумя скрытыми слоями, содержащими 20 и 10 нейронов соответственно.

Результаты экспериментов показывают, что для модели хлопчатобумажной пряжи ошибки обучения как для прочности пряжи (RKM), так и для процента удлинения относительно невелики, что указывает на хорошее соответствие модели. Наилучшие результаты были достигнуты с пряжей из хлопка сорта Бенини Ne 50, которая показала наименьшие ошибки как для прочности, так и для процента удлинения. Это говорит о том, что данная пряжа и тип хлопка отлично подходят для производства прочной и эластичной пряжи.

С другой стороны, наихудшие результаты были получены с пряжей из суданского хлопка марки Ne 24 с коэффициентом текучести TF = 3,4. Более высокие погрешности в показателях прочности и удлинения указывают на то, что эта комбинация может быть не идеальной для достижения желаемых свойств пряжи.

Для модели смешанной пряжи значения средней абсолютной ошибки (MAE) для процента удлинения пряжи и прочности (RKM) также довольно низкие, что свидетельствует о хорошей эффективности модели в прогнозировании этих свойств. Наименьшая ошибка для процента удлинения была обнаружена при номере пряжи Ne 20 в смеси 50% полиэстера и 50% хлопка Бенини, в то время как минимальная ошибка для прочности была достигнута при номере пряжи Ne 16 в той же смеси. Это указывает на то, что смесь полиэстера и хлопка Бенини эффективна для производства пряжи с желаемыми свойствами.

В исследовании Абд-Эльхамида и др. [35] для оценки свойств пряжи используются обработка изображений и искусственные нейронные сети (ИНС). В исследовании представлен подробный анализ прочности, процента удлинения, вариации массы и дефектов как кольцевой, так и компактной хлопчатобумажной пряжи. Сбор образцов хлопчатобумажной пряжи с кольцевых и компактных прядильных фабрик позволяет использовать анализ изображений для определения векторов признаков в качестве входных данных для нейронных сетей обратного распространения. Разработаны две системы, каждая с тремя модулями для оценки различных свойств пряжи. Для повышения производительности сетей используется многослойная сетевая структура.

Изображения получены с помощью цифровой камеры (Canon EOS 750 D с разрешением 24 мегапикселя), а для обучения и тестирования данных используется MATLAB 2015. На рисунке  25 показана схема системы. В качестве заключительного этапа обработки изображения, оно преобразуется в оттенки серого и масштабируется до (250 × 250) с помощью гауссовой фильтрации и выравнивания гистограммы. Для обучения и тестирования в двух системах пряжи используется 152 изображения для системы кольцевого прядения и 60 изображений для системы компактной пряжи.

Рис. 25. Интегрированный рабочий процесс для прогнозирования свойств пряжи, от цифрового сбора данных до ввода в ИНС [35]

Нейронные сети для двух систем пряжи имеют один входной слой, один скрытый слой с 15 нейронами и один выходной слой для пряжи кольцевого прядения. Система компактной пряжи имеет один входной слой, два скрытых слоя (20 нейронов, 10 нейронов) и один выходной слой. Результаты показывают, что система компактной пряжи демонстрирует превосходные характеристики при моделировании прочности, удлинения в процентах и ​​коэффициента вариации массы (CVm%), как показано на рис. 26. Система компактной пряжи демонстрирует превосходные характеристики при прогнозировании прочности, удлинения в процентах и ​​коэффициента вариации массы (CVm%). Напротив, система пряжи кольцевого прядения превосходит систему кольцевого прядения в моделировании дефектов.

Рис. 26. Превосходные характеристики компактной системы пряжи для моделирования прочности, процента удлинения и CVm% [35]

В исследовании Чжана и др. [36] предложен метод прогнозирования качества пряжи, основанный на фактических производственных данных, для решения проблем точного прогнозирования показателей качества пряжи. Метод интегрирует опыт экспертов для определения верхнего и нижнего пределов весов параметров. Затем используется алгоритм оптимизации роя частиц (PSO) для поиска оптимальных весов параметров, а алгоритм k-ближайших соседей (K-NN) вычисляет прогнозируемые значения индексов качества пряжи на основе оптимизированных весов.

На рисунке 27 представлена ​​блок-схема используемой системы. Данные, использованные в экспериментах, получены из фактических производственных данных текстильной фабрики. В эксперименте использовалась пряжа, произведенная и проанализированная методом гребенного компактного прядения с линейной плотностью 5,9 Текс. Для обработки и обучения модели на основе входных данных с параметрами использовался Python 2.

Эксперименты проводились для прогнозирования прочности пряжи с использованием трехслойной нейронной сети (29 × 10 × 1, 29, 10, 1 — количество нейронов во входном слое, скрытом слое и выходном слое соответственно) и четырехслойной нейронной сети (29 × 10 × 8 × 1, 29, 10, 8, 1 — количество нейронов во входном слое, первом скрытом слое, втором скрытом слое и выходном слое соответственно). В результате метод прогнозирования, интегрирующий экспертный опыт, алгоритм роевой оптимизации (PSO) и алгоритм K-NN, способен точно прогнозировать тенденции критических показателей качества пряжи. Это подтверждает, что данный метод является надежным и пригодным для использования в реальных производственных условиях.

Рис. 27. Блок-схема системы Чжана [36]

PEI-YOLOv5 представлен в исследовании Ли и Чжу [37], структура, специально разработанная для баланса между точностью обнаружения и высокими требованиями к скорости промышленных конвейеров. В этом исследовании рассматривается проблема применения моделей глубокого обучения на оборудовании с ограниченными ресурсами, таком как NVIDIA Jetson TX2, путем сосредоточения внимания на сокращении дополнительных вычислений и улучшении локализации небольших целей.

Для повышения эффективности и улучшения возможностей извлечения признаков в базовую модель YOLOv5n были предложены три структурных модификации: использование алгоритма повышения эффективности базовой сети (PDConv) для достижения высокой избыточности, наблюдаемой в картах признаков, и внедрение алгоритма пошаговой свертки частиц (PDConv). Применяя пошаговую свертку только к части входных каналов и сохраняя остальные, модуль PDC3 сокращает количество параметров базовой сети примерно на 44,1% без потери разнообразия признаков.

Модель оценивается с использованием подмножества данных о дефектах тканей GuangDong TianChi и состоит из пяти категорий (поражения, пятна, три нити, узор «цветочная доска» и пятна от целлюлозы).

Точность обнаружения PEI-YOLOv5 достигает mAP@0.5 в 87,89%, превосходя стандартные бенчмарки, такие как SSD (72,95%) и YOLOv8n (82,78%) на том же наборе данных. Система, разработанная для работы в реальном времени на встроенной плате NVIDIA Jetson TX2, достигла 31 FPS. Эта производительность была достигнута всего лишь с увеличением на 0,2 GFLOPs по сравнению с YOLOv5n, что демонстрирует высокую вычислительную эффективность.

Для демонстрации эффективности модели за пределами текстильной отрасли, она была протестирована на базе данных дефектов поверхности NEU (горячекатаная полосовая сталь). PEI-YOLOv5 достигла показателя mAP 79,37%, что превосходит YOLOv8n (78,76%), подтверждая эффективность модулей потерь IN и EB для различных видов промышленного контроля поверхностей.

Главное преимущество этой работы — модуль PDC3, который преобразует теоретическое снижение количества операций с плавающей запятой в фактическое снижение задержки на встроенном оборудовании. Функция потерь на входе предоставляет математическое решение для небольших целевых платформ.

Несмотря на архитектурные улучшения, авторы отмечают сохраняющуюся слабость в обнаружении дефектов с экстремальными соотношениями сторон (в трех потоках). Хотя система обеспечивает пороговое значение 30 кадров в секунду в реальном времени, в некоторых экспериментах по удалению дефектов наблюдается неболькое снижение показателя полноты обнаружения (с 81,35% до 78,29% в эксперименте № 1), что указывает на компромисс между скоростью и полным обнаружением дефектов.

Исследование Мачадо и др. [38] демонстрирует значительный рост тактической реализации Edge AI для обеспечения качества текстильной продукции в режиме реального времени. Это исследование преодолевает разрыв между высокоуровневой архитектурой глубокого обучения и децентрализованным промышленным исполнением путем реализации фреймворка YOLOv11 на платформе NVIDIA Jetson Orin Nano. На рис.  28 показана реальная конфигурация промышленной среды.

Рис. 28. Реальная промышленная среда для системы обнаружения [38]

Основной технический вклад данного исследования заключается в интеграции новейшего варианта YOLOv11n, который включает модули C3k2 (частичный блок Cross Stage с размером ядра 2) и C2PSA (сверточный блок с параллельным пространственным вниманием). В отличие от предыдущих архитектур YOLOv8, рассмотренных в предыдущих разделах, блок C2PSA усиливает пространственное внимание, направляя модель к критическим областям, что значительно улучшает обнаружение небольших или частично скрытых дефектов, таких как едва заметные складки или точечные отверстия. Благодаря использованию оптимизации TensorRT с точностью FP16 система достигает заметной производительности выводаприблизительно в 100 кадров в секунду (задержка 10 мс), что обеспечивает масштабируемую альтернативу мощным рабочим станциям на базе графических процессоров.

В соответствии с тенденциями перехода к Индустрии 5.0, авторы отдают приоритет неинвазивному, автономному «дополнительному» решению, которое напрямую интегрируется в существующее ткацкое оборудование. В подсистеме машинного зрения система использует две камеры Intel RealSense D435i RGB-D, расположенные примерно в 1 м от ткани, охватывающие рабочую ширину 3,4 м с преднамеренной зоной перекрытия для повышения точности обнаружения.

Для решения проблемы присущего промышленным средам шума, такого как вибрации ткацкого станка и изменчивость освещения, в исследовании используется надежный конвейер аугментации. Исследователи показывают, что, хотя отдельные методы, такие как мозаика, гауссовский шум и вращение, дают лишь незначительные улучшения, их комбинация приводит к повышению производительности модели до mAP@0.5 на уровне 82,1%. Это подчеркивает необходимость разработки моделей, адаптированных для промышленного применения, с учетом ограничений небольших несбалансированных наборов данных, где определенные дефекты, такие как складки, встречаются значительно чаще, чем растекание цвета или отверстия.

При тестировании однотонных хлопчатобумажных и льняных тканей система демонстрирует высокую чувствительность к физическим аномалиям, обнаружению отверстий и достигает наивысшей точности (0,89) и mAP 0,87, что доказывает эффективность модели в различении структурных пустот от текстуры ткани.

Несмотря на высокий показатель полноты (0,81), показатель точности обнаружения цветовых искажений (0,62) ниже из-за ограниченной хроматической чувствительности RGB-D камер по сравнению с мультиспектральными датчиками. Обнаружение складок демонстрирует сбалансированную производительность с показателем F1, равным 0,745, но при этом показывает самый низкий показатель mAP (0,75).

Исследование успешно демонстрирует решение с низким энергопотреблением (менее 15 Вт) и высокой пропускной способностью, не зависящее от постоянного подключения к облаку, что решает критически важные отраслевые проблемы, касающиеся задержки и конфиденциальности данных. Использование YOLOv11n обеспечивает превосходный баланс точности и производительности на периферии сети по сравнению с SSD или Faster R-CNN.

Основным ограничением является то, что текущая модель ориентирована на однотонные ткани без рисунка, что ограничивает возможность обобщения на фактурные или многоцветные материалы. Кроме того, зависимость от фиксированного освещения и отсутствие предварительной обработки, специфичной для каждого класса (улучшение контраста для предотвращения растекания цвета), указывают на универсальный подход, из-за которого он может ошибочно определять тонкие хроматические нюансы более темных тканей.

Исследование Сюй и др. [39] посвящено точному измерению дефектов в синельных нитях, которые трудно точно измерить из-за их скручивания. Исследователи разработали систему машинного зрения для получения изображений объекта с расстояния примерно 37,4 мм, что привело к разрешению 400 × 2000 пикселей.

Сначала процесс начинается с усовершенствованной техники пороговой обработки OTSU, известной как T_optimal-OTSU, что уменьшает влияние окружающего освещения. Затем исследователи уменьшают масштаб изображения, преобразуя бинарный массив в последовательность D-ширины, что помогает удалить фоновый шум, сохраняя при этом форму объекта для измерения пряжи. На рис.  29 показана подробная блок-схема системы контроля дефектов для синельной пряжи.

Рис. 29. Подробная блок-схема системы контроля дефектов синельной пряжи [39]

Для извлечения признаков использовалась стратегия многомасштабного объединения, основанная на знаниях местности. В результате генерируются три набора признаков (S1, S2 и S3) для обнаружения дефектов (длинных сегментов, коротких сегментов и неровностей). Для выбора оптимальных размеров объединения и отбора наиболее характерных признаков использовались алгоритм случайной лягушки и метод частичных наименьших квадратов (PLS). В результате получается 9-мерный вектор признаков, обозначенный как L. Затем вектор признаков подается на вход облегченной искусственной нейронной сети (ИНС). Сеть состоит из двух скрытых слоев, каждый из которых содержит 10 нейронов/слоев. Сеть выдает шесть вариантов, соответствующих нормальным нитям, и пять категорий дефектов: завязывание узлов, тонкость, отсутствие длинных сегментов, отсутствие коротких сегментов и неровности.

Процесс обучения и тестирования проводился на 5000 изображениях (80% для обучения, 20% для тестирования). Результаты были получены с использованием MATLAB R2022b. Результаты показывают точность измерения 99,10% и сверхбыстрое время вывода — 6,18 мс на образец. Эта система предназначена дляиспользования при скорости онлайн-контроля до 11,33 м/с.

Ключевым преимуществом системы является её высокая вычислительная эффективность, позволяющая ей эффективно работать даже на центральных процессорах без необходимости использования выделенного графического процессора (GPU).

Однако система ограничена исключительно проверкой на синельных нитях и требует чрезвычайно точной калибровки камеры под конкретный тип нити. Систему можно усовершенствовать, расширив набор данных и включив в него другие виды высококачественной пряжи, например, сирсакер или эластичную пряжу.

При оценке решений модели, которые могут быть реализованы, исследование Ванга и Би [40] обеспечивает связь между высокоуровневым обнаружением объектов и низкоуровневым промышленным управлением. В отличие от многих исследований, которые оценивают алгоритмы на статических наборах данных, в этом исследовании применяется замкнутая система, запускаемая дефектами, для промышленных полиэфирных армирующих слоев, с использованием детектора YOLOv5s, интегрированного с ПЛК серии Mitsubishi FX.

В данной работе особое внимание уделяется интеграции оборудования и проектированию подсистем машинного зрения (рис.  30, где представлена ​​схема архитектуры оборудования). Авторы используют линейные источники света ближнего инфракрасного диапазона 850 нм, установленные косвенно, для подавления помех от окружающего света и повышения контраста мелких свободных концов на полиэфирном фоне. Система обеспечивает среднее время обработки 315 мс на кадр. Это показывает, что возможна промышленная производительность без высокого энергопотребления внешних графических процессоров в развертываемой системе.

Рис. 30. Аппаратная архитектура предлагаемой системы контроля, включая промышленный ПК, камеру, освещение, ПЛК и привод шагового двигателя [40]

Основной вклад этого исследования заключается в разработке многоступенчатой ​​постфильтрации, специфичной для конкретной задачи, с целью уменьшения количества ложных остановок. Исследователи выявили, что краевые артефакты часто приводят к ошибкам в ложноположительных результатах для дефектов «короткого типа». Применение трехступенчатого фильтра (граничное ограничение на основе краев, пороговое значение достоверности для конкретного класса 0,7 и ограничение минимальной площади в 3000 пикселей) позволило повысить общую точность до 95,2%. Такой уровень фильтрации, специфичный для данной области, необходим для внедрения на производстве, где остановки оборудования представляют собой значительные экономические потери. С точки зрения системы, авторы сообщают о средней задержке сквозной остановки в 420 мс.

За более чем 120 часов непрерывной работы система поддерживала удивительно низкий уровень ложных остановок — 0,35 в час, что привело к 818 истинным остановкам из-за дефектов. Эти показатели служат эталоном операционной надежности, который часто отсутствует в алгоритмических исследованиях. Способность исследования обрабатывать пять различных категорий — CL (неупорядоченный рисунок), BJ (плотная деформация), TS (пропуск челнока) и короткие/длинные свободные концы — охватывает наиболее критические режимы отказов армирующих слоев.

Тесная связь логики YOLO с регистрами ПЛК (например, запись в регистр D0 и катушку M7) превращает детектор из пассивного монитора в активный контроллер. Использование многопоточной архитектуры Python с ограниченными очередями гарантирует, что кратковременные скачки обработки не приведут к неограниченному росту задержки.

Зависимость системы от фиксированных пороговых значений для постобработки остается ограничением; изменение цвета пряжи или геометрии освещения потребует ручной перекалибровки. Кроме того, хотя модель превосходит YOLOv8n по точности и стабильности полноты, размер набора данных в 2512 изображений все еще относительно недостаточен для применения в глубоком обучении.

В будущих версиях следует включить упомянутые ранее методы расширения данных на основе GAN для повышения эффективности обнаружения различных типов дефектов.

Чтобы избежать стремительного перехода на новые модели в промышленном ИИ, в этом обзоре представлены самые последние разработки, которые обеспечивают переход от стандартных сверточных нейронных сетей к архитектурам, учитывающим предметную область и основанным на механизме внимания. Эти модели специально нацелены на преодоление ограничений высокоскоростных вращающихся сред и обнаружение «мельчайших» промышленных дефектов.

7.1 YOLO с учетом предметной области (DA-YOLOv8s) и эволюция YOLO

Переход от YOLOv8 к более новым YOLOv10 и YOLOv11 привел к значительному повышению эффективности и точности. В исследовании Сонга и др. [26] была представлена ​​модель DA-YOLOv8s, которая использует основу Deep & Cross Network (DCNv2) для захвата сложных взаимодействий признаков в текстильных текстурах.

Как показано в таблице  8, передовые методы глубокого обучения превосходят традиционные методы компьютерного зрения по точности и мощности обнаружения дефектов резьбы, хотя это достигается за счет увеличения вычислительной сложности и требований к данным.

Для повышения методологической прозрачности и облегчения прямого сравнения различных исследований в таблице  9 ниже приведена сводная информация о наборах данных, размерах выборок и протоколах валидации.

Интеграция обработки изображений и искусственного интеллекта в оценку текстильной пряжи открывает потенциал для революционного изменения контроля качества и повышения эффективности производства. Традиционные методы определения свойств пряжи основаны на ручном осмотре и измерениях, которые могут быть трудоемкими, занимать много времени и быть подвержены человеческим ошибкам. Появление методов искусственного интеллекта и обработки изображений открывает возможности для автоматизации этих процессов, что позволяет проводить более точные и последовательные оценки.

Разработка эффективной автоматизированной системы, использующей искусственный интеллект и обработку изображений для захвата и анализа изображений пряжи в режиме реального времени, может преобразовать отрасль. Такая система не только повысит точность обнаружения дефектов, но и обеспечит непрерывный мониторинг и контроль качества на протяжении всего производственного процесса.

Более того, внедрение этих технологий может привести к значительной экономии затрат и повышению производительности текстильных предприятий. Автоматизированные системы контроля могут работать непрерывно и с большей скоростью, чем ручные методы, сокращая время простоя и ускоряя производственные циклы. Данные, полученные с помощью этих систем, могут предоставить ценную информацию для оптимизации процессов и предотвращения дефектов, а также повышения общей эффективности производства.

В обзоре показано, что искусственный интеллект и компьютерное зрение полностью преобразили системы контроля качества волокон. Традиционные методы обработки изображений предлагали недорогое и понятное решение, однако они плохо работали в сложных промышленных условиях. Подходы на основе ИИ с использованием методов глубокого обучения повысили точность, адаптивность и возможности контроля качества волокон в режиме реального времени.

Однако по-прежнему сложно решить такие проблемы, как стандартизация наборов данных, развертывание моделей в условиях реального времени, внедрение обученных моделей в различные типы пряжи и системы прядения. Будущие исследования должны сосредоточиться на разработке облегченных архитектур для глубокого обучения, использовании трансферного обучения и включении данных с нескольких датчиков для создания надежных, масштабируемых систем, способных к поточной проверке пряжи.

Литература

1. Pereira F, Carvalho V, Soares F, Vasconcelos R, Machado J. Computer vision techniques for detecting yarn defects. In: Applications of Computer Vision in Fashion and Textiles. Amsterdam: Elsevier; 2018. p. 123–45. Chapter Google Scholar
2. Pereira F, Macedo A, Pinto L, Soares F, Vasconcelos R, Machado J, et al. Intelligent computer vision system for analysis and characterization of yarn quality. Electronics Basel. 2023;12(1):236. Article Google Scholar
3. Carvalho V, Gonçalves N, Soares F, Belsley M, Vasconcelos R. An Overview Over Yarn Mass Parameterization Methods. 2011.
4. Carvalho V, Gonçalves N, Soares F, Vasconcelos R, Belsley M. Yarn parameterization and fabrics prediction using image processing. Textiles Light Ind Sci Technol. 2013;2(1):6–12. Google Scholar
5. Uster Company, URL: (Uster Tester 6 is the standard for yarn testing – Uster Technologies AG), Accessed Mar 2026.
6. Carvalho V, Pinto JG, Monteiro JL, Vasconcelos R, Soares FO. On-line measurement of textile thread irregularity. Textilia Milano. 2003;48:36–40 (in Portuguese). Google Scholar
7. Pinto JG, Carvalho V, Monteiro JL, Vasconcelos RM, Soares FO. Yarn-mass measurement with 1-mm-length samples. IEEE Trans Ind Electron. 2007;54(2):1177–83. Article Google Scholar
8. Xia Z, Liu X, Wang K, Deng B, Xu W. A novel analysis of spun yarn hairiness inside limited two-dimensional space. Text Res J. 2019;89(21–22):4710–6. Article Google Scholar
9. Carvalho V, Soares F, Belsley M, Vasconcelos RM. Automatic yarn characterization system. IEEE Sens. 2008;2008:780–3. Article Google Scholar
10. Carvalho VH, Cardoso PJ, Belsley MS, Vasconcelos RM, Soares FO. Yarn diameter measurements using coherent optical signal processing. IEEE Sens J. 2008;8(11):1785–93.  Article Google Scholar
11. Guha A, Amarnath C, Pateria S, Mittal R. Measurement of yarn hairiness by digital image processing. J Text Inst. 2010;101(3):214–22. Article Google Scholar
12. Eldessouki M, Ibrahim S, Militky J. A dynamic and robust image processing based method for measuring the yarn diameter and its variation. Text Res J. 2014;84(18):1948–60. Article Google Scholar
13. Gupta N. Analysis on the defects in yarn manufacturing process & its prevention in textile industry. Int J Eng Invent. 2013;2(7):45–67 (e-ISSN: 2278-7461, p-ISSN: 2319-6491.). Google Scholar
14. Francini F, Longobardi G. Quality control of textile yarn by optical filtering technique. Opt Lasers Eng. 1989;10(2):119–26. Article Google Scholar
15. Nateri AS, Ebrahimi F, Sadeghzade N. Evaluation of yarn defects by image processing technique. Optik Stuttg. 2014;125(20):5998–6002. Article Google Scholar
16. Bahl K, Kainth JS. Evaluation of yarn quality in fabric using image processing techniques. Int J Sci Res. 2014;3(3):ID: 020131214. Google Scholar
17. Gonçalves N, Carvalho V, Belsley M, Vasconcelos RM, Soares FO, Machado J. Yarn features extraction using image processing and computer vision – a study with cotton and polyester yarns. Measurement. 2015;68:1–15. Article Google Scholar
18. Goncalves N, Carvalho V, Soares F, Vasconcelos R. Studies on the yarn mass parameters determination using Image Processing techniques. In: Proceedings of 2012 IEEE 17th international conference on emerging technologies & factory automation (ETFA 2012), 2012. Pp. 1–4.
19. Carvalho V, Soares F, Vasconcelos R, Belsley M, Goncalves N. Yarn hairiness determination using image processing techniques. ETFA2011. 2011. Article Google Scholar
20. Li G, Akankwasa NT, Zhao Q, Wang J. A novel system for yarn cross-section analysis based on dual orthogonal CCD sensors. J Nat Fibers. 2019;16(1):114–25. Article Google Scholar
21. Li Z, Zhong P, Tang X, Chen Y, Su S, Zhai T. A new method to evaluate yarn appearance qualities based on machine vision and image processing. IEEE Access. 2020;8:30928–37. Article Google Scholar
22. Haleem N, Bustreo M, del Bue A. A computer vision based online quality control system for textile yarns. Comput Ind. 2021;133:103550. Article Google Scholar
23. Caldas P, Sousa F, Pereira F, Lopes H, Machado J. Automatic system for yarn quality analysis by image processing. J Braz Soc Mech Sci Eng. 2022;44(11):565. Article Google Scholar
24. Xia Z, Zhou M, Wang H, Wang K, Wan Y. Evaluating the surface hairiness of woven fabric belts with a yarn hairiness tester. J Text Inst. 2022;113(1):116–24. Article Google Scholar
25. Idzik M, Idzik M. Image analysis as a method of the assessment of yarn for making flat textile fabrics. Autex Res J. 2022;22(2):201–7. Article Google Scholar
26. Song W, Lang D, Zhang J, Zheng M, Li X. Textile defect detection algorithm based on the improved YOLOv8. IEEE Access. 2025;13:11217–31. Article Google Scholar
27. Roy S, Sengupta A, Sengupta S. Yarn hairiness evaluation using image processing. In: Proceedings of the 2014 international conference on control, instrumentation, energy and communication (CIEC), 2014. Pp. 588–592. Wang L, Lu Y, Pan R, Gao W. Evaluation of yarn appearance on a blackboard based on image processing. Text Res J. 2021;91(19–20):2263–71. Article Google Scholar
28. Wang L, Lu Y, Pan R, Gao W. Evaluation of yarn appearance on a blackboard based on image processing. Text Res J. 2021;91(19–20):2263–71. Article Google Scholar
29. Telli A. The evaluation of Uster hairiness results with an image analysis approach. Cukurova Univ Muhendislik Fak Derg. 2023;38(4):899–905. Article Google Scholar
30. Telli A. The comparison of the edge detection methods in the determination of yarn hairiness through image processing. Tekst Konfeksiyon. 2021;31(2):91–8. Article Google Scholar
31. Almetwally AA, Idrees HMF, Hebeish AA. Predicting the tensile properties of cotton/spandex core-spun yarns using artificial neural network and linear regression models. Journal of the Textile Institute, 2014. pp. 1–9.
32. Robeson SM, Willmott CJ. Decomposition of the mean absolute error (MAE) into systematic and unsystematic components. PLoS ONE. 2023;18(2):e0279774. Article Google Scholar
33. Ahmad GG, Khaddam H, Horani M. A new method to evaluate the appearance of cotton yarn using image processing and fuzzy inference system supported with graphical user interface. J Text Sci Eng. 2018. Article Google Scholar
34. El-Geiheini A, ElKateb S, Abd-Elhamied MR. Yarn tensile properties modeling using artificial intelligence. Alex Eng J. 2020;59(6):4435–40. Article Google Scholar
35. Abd-Elhamied MR, Hashima WA, ElKateb S, Elhawary I, El-Geiheini A. Prediction of cotton yarn’s characteristics by image processing and ANN. Alex Eng J. 2022;61(4):3335–40. Article Google Scholar
36. Zhang BW, Xu L, Wang YH. Prediction of yarn quality based on actual production. J Internet Technol. 2023;24(4):871–80. Article Google Scholar
37. Li X, Zhu Y. A real-time and accurate convolutional neural network for fabric defect detection. Complex Intell Syst. 2024;10(3):3371–87. Article Google Scholar
38. Machado R, Barros LAM, Vieira V, Silva FD, Costa H, Carvalho V. Textile defect detection using artificial intelligence and computer vision—a preliminary deep learning approach. Electronics. 2025;14(18):3692. Article Google Scholar
39. Xu Y, Li Z, Li C, Yang C, Zhang J, Luo J. A novel vision system based on multi-scale pooling for high-speed defect inspection of chenille yarn. Measurement. 2026;269:120780. Article Google Scholar
40. Wang X, Bi Y. A real-time textile defect inspection system for industrial polyester reinforcement layers based on YOLO and PLC-driven closed-loop control. IEEE Access. 2026;14:33873–89. Article Google Scholar

Авторы: Ahmed Gamal, Mohamed E. H. Eltaib & Montasser Dewidar