Система компьютерного зрения для распознавания и обнаружения дефектов  многоразовых контейнеров

Малые контейнеры для перевозки грузов (МКБ) — это многоразовые контейнеры различных форм и размеров, широко используемые в таких отраслях, как автомобилестроение, производство и электроника. МКБ многоразовые, штабелируемые, стандартизированные по размеру для соответствующих типов МКБ и защищают перевозимые с их помощью товары [5].

Многоразовый характер МКБ делает их устойчивым решением. В связи с постоянно растущим глобальным обменом товарами, логистическая отрасль непрерывно развивается, и потребность в стандартизированных многоразовых контейнерах, таких как МКБ и поддоны, возрастает [9]. Компании в логистической отрасли уделяют особое внимание системе управления контейнерами и управлению их состоянием [22].

Оценка качества МКБ, являющаяся частью системы управления контейнерами и управления их состоянием, — важный шаг в определении того, пригодны ли МКБ для использования или содержат ли они дефекты, которые могут представлять риск повреждения товаров клиента во время транспортировки, что может быть дорогостоящим. Помимо прямого влияния на качество товаров клиента, это также может повлиять на эффективность перемещения контейнеров SLC (например, повреждение внешней стенки препятствует правильному перемещению контейнеров SLC) [32].

Несмотря на критическую важность проверки и оценки контейнеров SLC, логистические компании по-прежнему в значительной степени полагаются на ручную оценку контейнеров, что не масштабируемо [23]. Автоматизация контроля качества контейнеров SLC может снизить риск человеческих ошибок при сортировке и проверке контейнеров SLC из-за усталости и монотонного характера работы [18]. Человеческий персонал может быть задействован в других более важных процессах компании, таких как контроль системы, что может повысить общий рабочий процесс. Надежная система контроля качества контейнеров SLC устраняет субъективную предвзятость различных операторов при оценке контейнеров с разной степенью дефектов [16].

Автоматизация контроля качества SLC не получила широкого распространения, поскольку требует наличия обученной модели для классификации типа SLC и определения состояния SLC (нормальное или аномальное), что требует большого объема данных SLC, обычно в виде набора данных на основе изображений. Насколько нам известно, автоматизированной системы для сбора больших объемов данных SLC для целей обучения модели не существует.

Еще один разрыв между исследовательской и промышленной сферами заключается в том, что модели обнаружения аномалий (AD) в основном тестируются на больших контролируемых наборах данных, таких как MVTec AD [4], которые могут не отражать характеристики дефектов в SLC. Поэтому нельзя ожидать, что модели AD, обученные на эталонных наборах данных, обеспечат одинаковую производительность для контроля качества SLC [36].

Для решения этих проблем в данном исследовании поднимаются следующие исследовательские вопросы: Как можно реализовать систему компьютерного зрения для классификации различных типов SLC и оценки их состояния? Какие из различных современных методов обнаружения аномалий могут быть использованы для оценки SLC? Каковы ограничения соответствующих методов? Как гиперпараметры влияют на выходные данные соответствующей модели?

Цель данного исследования — восполнить эти пробелы путем разработки масштабируемой системы сбора данных о SLC, которую можно использовать для обучения модели классификации и обнаружения аномалий в SLC, как показано на рис.  1. Основные результаты данного исследования заключаются в следующем:

• Разработка камерного портала: Мы разработали модульный, экономичный камерный портал с использованием стандартных компонентов для съемки ключевых областей поверхностей SLC. Камерный портал может быть установлен на промышленных производственных линиях без нарушения производственного процесса.
• Создание обширного размеченного набора данных: Мы составили набор данных из 17 530 изображений для 34 различных типов SLC. Каждое изображение аннотировано как для классификации (тип), так и для обнаружения дефектов (OK/NOK). Из них подмножество из 9260 изображений из всего набора данных SLC, охватывающее 18 типов SLC, не содержит учетных данных клиентов и предоставляется в открытый доступ.
• Эффективность модели классификации на наборе данных: Мы демонстрируем, что тонкая настройка стандартной глубокой сверточной нейронной сети обеспечивает высокоточные результаты для классификации типа SLC.
• Сравнение современных методов обнаружения аномалий: Мы проводим сравнение производительности восьми современных методов обнаружения аномалий в задаче обнаружения дефектов SLC и выявляем двух наиболее перспективных кандидатов для дальнейшей оценки.
• Анализ оптимизированных моделей: Мы проводим как количественный, так и качественный анализ версий этих моделей, настроенных по гиперпараметрам. Количественный анализ осуществляется путем оценки различных показателей производительности. Оцениваются прогнозируемые моделями выходные данные изображений для определения их эффективности в точном выявлении аномальных участков на изображениях.

1.1. Структура статьи

Структура данной статьи следующая: Раздел  2  рассматривает предыдущие и смежные работы по созданию системы сбора данных и моделей для классификации типов SLC и идентификации дефектов SLC. Раздел  3  описывает проектные решения системы сбора данных, которая представляет собой портал камеры. Раздел  4  описывает набор данных, собранный с помощью разработанной системы, и этапы предварительной обработки, предпринятые перед обучением модели. Раздел  5  рассматривает алгоритм классификации, используемый для набора данных SLC. Раздел  6  рассматривает различные современные алгоритмы, используемые для обнаружения аномалий, которые обычно применяются в промышленности. Проводится разведочный анализ современных алгоритмов, а также настройка гиперпараметров для адаптации моделей к существующему набору данных. Проводится качественный и количественный анализ лучших моделей. Раздел  7  обсуждает результаты экспериментов и исследует различные аспекты эксперимента, которые можно улучшить.

Предшествующие и связанные с данной работой исследования будут разделены на три основные части: система сбора и оценки данных в промышленности (раздел  2.1), классификация изображений (раздел  2.2) и обнаружение аномалий на основе изображений промышленных объектов (раздел  2.3). В каждой части также будет рассмотрено, что было сделано в других исследованиях по соответствующей теме.

2.1  Система сбора и анализа данных в промышленности

Надежная система сбора данных с SLC имеет решающее значение для разработки согласованной системы обнаружения объектов и обнаружения аномалий. Такие факторы, как физические характеристики SLC (отражает ли поверхность объекта свет), жесткие ограничения на месте, такие как максимальные размеры системы, количество необходимых камер, перемещение SLC во время производства, условия освещения на месте и необходимая вычислительная мощность, — все это важные детали, которые необходимо учитывать перед проектированием системы [48].

Тщательное планирование установки камер и условий освещения для получения изображений имеет решающее значение, поскольку фоновый шум или другие объекты, не имеющие отношения к процессу контроля качества, могут повлиять на оценку SLC [46]. Посс и др. [36] описывают характеристики SLC, которые они используют на производственной линии, а также жесткие ограничения, такие как время цикла линии, которое должно быть максимально эффективным. Система оценки должна соответствовать жестким ограничениям линии, чтобы избежать замедления производства.

Соботтка и др. [45] используют ПЗС-камеры (приборы с зарядовой связью) в своем эксперименте для обнаружения пыли и других типов мусора на SLC. Они подчеркивают важность наличия нескольких камер, установленных под разными углами, и стабильного источника света, предпочтительно в полностью закрытой туннелеобразной конструкции, чтобы избежать внешнего неконтролируемого освещения. Использование конвейерных лент и переключающих пластин для разделения различных условий SLC отражает общий сценарий использования необходимой нам системы.

Несмотря на все предложения, Соботтка и др. смоделировали установку в макете имитационной модели, который может отличаться в реальных сценариях использования. Бом и др. [6], Сюй и др. [54] и Ночети и др. [ 34 ] подчеркивают важность нескольких камер (при этом Ночети и др. [34] подчеркивают важность положения камеры сверху). Более практичным является создание ситуации «недостатка обзора», когда изображения содержат перекрывающуюся информацию в условиях интенсивного движения.

Пирер и др. [35] экспериментировали с масштабируемым подходом к многокамерной (13 монохромных камер) проверке для промышленных прессовых линий с деталями, движущимися по конвейерной ленте, и четырьмя мощными светодиодными осветительными планками. Чжан и др. [57] провели эксперименты по обнаружению объектов с помощью яблок на модифицированных моделях YOLO (You Only Look Once) с различным освещением.

Различное освещение (переднее, боковое и заднее) изменяет внешний вид яблока, что влияет на способность модели правильно идентифицировать яблоки на изображении. Большинство предыдущих экспериментов подчеркивают преимущество использования многокамерной установки с контролируемыми условиями освещения для получения наилучшего качества изображения объекта.

2.2  Классификация изображений

SLC делятся на разные классы в зависимости от их физических свойств (цвета, размеры и геометрия). Собранные изображения из системы сбора данных SLC помечаются соответствующим типом SLC, создавая размеченный набор данных для обычных экземпляров. Это можно использовать для обучения нейронных сетей для распространенных задач классификации.

Для распространенных задач классификации можно использовать различные модели, такие как Vision Transformers (ViT) [15] и сверточные нейронные сети (CNN). ViT, как правило, может показывать лучшие результаты в сложных задачах с большим объемом данных. Однако для данного конкретного случая классификации SLC с ограниченными наборами данных CNN могут быть проще в обучении на ограниченных данных и проще в тонкой настройке для достижения лучших результатов классификации.

Модель ConvNeXt [30] — это модернизация ResNet (Residual Network), вдохновленная дизайном Vision Transformers, но сохраняющая простоту и эффективность CNN. Общая архитектура ConvNeXt, отличающая его от традиционных CNN, включает замену стволовой клетки в ResNet на более простой слой «patchify», как в ViT (4×4 неперекрывающаяся свертка), реализацию свертки по глубине (специальная групповая свертка, где количество групп равно количеству каналов, популяризированная MobileNet [24]), инвертированный блок «бутылочного горла», популяризированный MobileNetV2 [42], реализацию свертки по глубине 7×7 в каждом блоке, замену выпрямленного линейного блока (ReLU) [33] на линейный блок гауссовой ошибки (GeLU) [21], реализацию одного GeLU в каждом блоке и замену пакетной нормализации [26] на послойную нормализацию [2].

2.3  Обнаружение аномалий промышленных объектов на основе изображений

Обнаружение аномалий (АА) относится к обнаружению закономерностей в данных, которые не соответствуют ожидаемому поведению; оно широко применяется в различных областях, таких как обнаружение мошенничества в банковской сфере, выявление спама в электронных письмах, обнаружение неисправностей в промышленных системах и обнаружение аномалий в медицинских изображениях [8]. Ключевая проблема в АА заключается в точном различении нормальных вариаций и подлинных аномалий, особенно в сложных наборах данных.

В качестве нескольких примеров можно привести работу Хуанга и др. [25], которые реализовали визуальные языковые модели для АА в медицинских изображениях, способные обнаруживать аномалии в различных типах медицинских изображений. АА также играет ключевую роль в прогнозируемом техническом обслуживании оборудования, где алгоритмы анализируют данные датчиков или журналы машин для выявления необычных закономерностей, указывающих на потенциальные неисправности; например, Ван и др. [52] использовали метод, основанный на обучении с подкреплением, для оценки неисправностей исполнительных механизмов. В области сетей обнаружение аномалий используется для идентификации некорректно сформированных пакетов [7].

Данное исследование посвящено конкретно обнаружению аномалий в изображениях в промышленной сфере. Это сложная проблема, поскольку случаи аномалий в промышленности могут быть разнообразными, непредсказуемыми, редкими и нерегулярными. Редкость аномалий делает их преднамеренное создание в промышленности нецелесообразным и дорогостоящим. Далее мы приводим краткий обзор обнаружения аномалий в промышленных изображениях, связанных с данной задачей; для более широкого обсуждения этой области мы отсылаем к недавнему обзору Лю и др. [29]. Бай и др. [3] обсудили методы решения проблемы несбалансированных наборов данных из-за редкости аномалий в промышленной сфере.

Рафф и др. [41] объясняют, что подходы к обнаружению аномалий можно классифицировать на основе карт признаков и моделей. Карты признаков можно разделить на глубокие и поверхностные методы. Модели можно классифицировать на классификационные, вероятностные и основанные на реконструкции. Категоризация подходов к обнаружению аномалий не является четкой, поскольку некоторые подходы находятся между различными моделями. Другие подходы к обнаружению аномалий могут основываться исключительно на методах, основанных на расстоянии.

В промышленных областях уже было реализовано несколько подобных решений. Лян и др. [28] используют промышленную камеру для захвата струйной печати производственных кодов, содержащих информацию (срок годности, номер партии), на пластиковых бутылках с напитками, чтобы проверить наличие дефектов, таких как отсутствующие буквы. Сеть ShuffleNet V2 используется для классификации печатного кода как дефектного или нормального.

Сингх и др. [44] используют предварительно обученную ResNet-101 для извлечения признаков и многоклассовые машины опорных векторов (SVM) для обнаружения дефектов поверхности конических роликов. Хе и др. [20] реализовали комплексный подход к обнаружению дефектов поверхности стали, используя объединение нескольких иерархических признаков для потенциального обнаружения в реальном времени.

Дламини и др. [14] используют модель YOLOv4 для контроля качества в текстильной промышленности. Реализация алгоритма обнаружения мелких объектов промышленного назначения YOLO [47] с улучшенным извлечением признаков также может быть использована для обнаружения определенных типов аномалий на изображениях SLC крупным планом. Вюршингер и др. [53] разработали недорогую систему машинного зрения для оценки качества поршневого штока с использованием трансферного обучения.

Многие реализации AD в промышленных объектах предназначены для новых производственных объектов, которые в основном имеют фиксированную степень нормального состояния. Многоразовые объекты, такие как SLC, редко находятся в идеальном состоянии при возврате для проверки. Это вносит дополнительный уровень сложности, поскольку поверхность нормальных SLC может немного отличаться, оставаясь при этом нормальной.

Труонг и др. [49] используют камеру для оценки многоразовой пищевой упаковки (а именно пластиковых стаканчиков) на наличие дефектов и загрязнений. Они реализовали удаление фона с помощью U-Net [39] для выделения объекта на фоне и обучили модель на основе автокодировщика для обнаружения аномалий. Несмотря на схожее состояние многоразовых объектов, в этом исследовании были некоторые несколько иные условия. SLC имеют различные физические характеристики, такие как размер и цвет, что отличается от оценки только одного типа объектов. Поскольку SLC непрозрачны, необходимо оценить все внутренние и внешние поверхности SLC, что требует более одного ракурса для получения изображения достаточного качества.

Проектирование портала для камер далее подразделяется на три части: требования (раздел  3.1 ), геометрические расчеты (раздел  3.2) и окончательная сборка портала для камер и используемого оборудования (раздел  3.3). В разделе требований обсуждаются основные требования, необходимые для правильного функционирования портала для камер и сбора данных. Геометрические расчеты подробно описывают расположение камер и то, как оно влияет на получаемые изображения. Окончательная сборка портала для камер и конкретные материалы, использованные для создания прототипа, более подробно рассматриваются в последней части.

3.1  Требования

Система сбора данных должна решать как задачу классификации типов контейнеров SLC, так и задачу определения наличия дефектов. Первая задача (классификация) может быть решена с помощью одного ракурса камеры, тогда как вторая задача (обнаружение дефектов) требует полного обзора всех поверхностей (внутри и снаружи) контейнера SLC, поскольку дефект может находиться в любом месте на поверхности.

Нижняя поверхность исключена, так как она редко бывает дефектной, и дефекты обычно мало влияют на удобство использования контейнера. Конструкция системы должна соответствовать определенным ограничениям, таким как не замедление процесса очистки контейнеров SLC, соответствие размерам помещения и экономичность при сохранении качества. Из соображений стоимости и простоты, система, основанная на одной камере, перемещающейся вокруг объекта, была исключена, поскольку механизм был бы очень сложным.

Геометрия контейнеров предполагает необходимость как минимум трех (статических) камер: двух камер по диагонали контейнера SLC и одной камеры для обзора сверху. Трехкамерная конфигурация является экономически эффективной для захвата изображений, но предварительные испытания показали, что диагональное расположение камер вызывало перекрытие для более высоких контейнеров, демонстрировало заметное перспективное искажение и относительно высокую чувствительность к смещению положения SLC.

Добавление еще двух камер и размещение четырех камер на параллельных сторонах SLC и одной камеры сверху SLC позволило смягчить эти проблемы. Внедрение двух дополнительных камер означает увеличение затрат, но все еще оправдано. В итоге, в камерном портале используется пятикамерная конфигурация, где четыре расположены на параллельных сторонах SLC, а одна — сверху рамы портала (обеспечивая вид сверху).

3.2  Геометрические вычисления

Выбор соответствующих характеристик камеры, а также правильного положения и ориентации камеры для оценки SLC имеет решающее значение для получения важных деталей объекта. Геометрические расчеты помогают выявить потенциальные «слепые зоны», которые могут повлиять на производительность моделей. Более высокое разрешение камеры используется для получения более детализированных изображений и повышения производительности модели.

Пространственное разрешение, необходимое для получения деталей аномального образца, может быть установлено на уровне 1 пикс/мм, поскольку аномальные части в SLC имеют большие размеры. Кроме того, с учетом дополнительного коэффициента безопасности, равного трем, требуемое пространственное разрешение составляет 3 пикс/мм.

При выборе разрешения камеры необходимо учитывать наибольший размер SLC, который составляет 280 мм (высота), 600 мм (длина) и 400 мм (ширина). Расчетный минимальный размер сенсора для заданного расстояния от портала составляет 1800 × 840 пикселей для более длинных сторон SLC. В данной работе используется камера U3-3880CP-C-HQ Rev.2.2 от IDS Imaging Development Systems GmbH, представляющая собой RGB-камеру с разрешением 6,41 МП (3088 × 2076 пикселей), частотой кадров 59,0 кадров в секунду и креплением типа C-Mount.

Поскольку положение камеры будет статическим, а положение входящего SLC-датчика будет приблизительно в одном и том же месте (с небольшими отклонениями от точного позиционирования), начальная настройка камеры должна быть выбрана таким образом, чтобы избежать искажений объектива и перспективных искажений. Расчет поля зрения (FOV) зависит от ширины или высоты сенсора камеры и используемого фокусного расстояния.

Определенное поле зрения также влияет на рабочее расстояние камеры. Если SLC-датчики расположены ближе, чем рабочее расстояние, то часть SLC-датчика может быть обрезана. Рабочее расстояние связано с фокусным расстоянием, где большее фокусное расстояние означает большее рабочее расстояние. Ограничения по размерам при настройке портала камеры составляют 1,5 × 1,5 м (ширина × длина).

Если SLC размещен в центре системы камерного портала, то на более длинной стороне самого большого SLC действует ограничение по максимальному рабочему расстоянию в 450 мм. На более короткой стороне самого большого SLC действует ограничение по максимальному рабочему расстоянию в 550 мм. Из-за ограничений по физическим размерам камеру необходимо установить выше, чтобы компенсировать большее рабочее расстояние.

Более высокое положение камеры приведет к снижению видимости по бокам SLC и захвату большего количества фонового изображения, которое может не способствовать производительности модели. С учетом всех существующих ограничений, для камер используется фокусное расстояние 8 мм, а высота составляет 500 мм от края самого высокого SLC (780 мм над роликами конвейера). Наклон камеры установлен примерно на 47,5°.

Таблица 1. Технические характеристики оборудования, использованного для создания портала камеры для сбора данных SLC.

Для каждой детали указано общее количество используемых элементов, конкретное название типа, материал, из которого изготовлена ​​данная деталь, а также другие важные детали. Символ # обозначает число.

В этом разделе подробно описывается собранный набор данных, который затем использовался для обучения моделей AD. Всего было собрано 17 530 изображений 34 типов SLC, при этом количество изображений для каждого класса SLC было несбалансированным. SLC можно дополнительно разделить на различные формы, такие как крышки, вставки и коробки. SLC бывают разных цветов и могут содержать смесь двух цветов в коробке, например, оранжевый с желтыми полосами.

Клетки SLC были помечены как нормальные или аномальные экспертом, знакомым с дефектами SLC. Каждая клетка SLC соответствует пяти изображениям, и аномалии могут присутствовать только на одной из сторон. Таким образом, набор данных дополнительно обрабатывается путем ручного выбора изображений OK из аномальных клеток SLC и перемещения их к изображениям SLC с нормальным видом. После дополнительной предварительной обработки приблизительно 17,9% от общего числа записанных изображений были помечены как аномальные.

Аномалии могут варьироваться от царапин, трещин, сломанных частей по краям клеток SLC, остатков старых наклеек до наличия посторонних предметов внутри клеток SLC. Для целей обучения моделей выполняется изменение размера исходных изображений.  к  В конвейерах обучения AD некоторые модели предварительно обрабатываются на дополнительном конвейере удаления фона для устранения нежелательного фонового шума и сравнения производительности моделей с удалением фона и без него.

Метод, используемый для удаления фона, следующий: -Net [37], которая представляет собой предварительно обученную модель, обрабатывающую входное изображение и преобразующую его в выходное изображение, содержащее только SLC без фона. Нормализация изображений выполняется на основе среднего значения и стандартного отклонения ImageNet.

Для наших экспериментов мы используем следующие четыре варианта набора данных: все SLC с удалением фона, все SLC без удаления фона, выборочные SLC без удаления фона и набор данных для вывода. Выборочный набор данных SLC представляет собой подмножество всего набора данных, где он был сформирован методом стратифицированной выборки. Этот выборочный набор данных содержит 7430 изображений, из которых 2970 являются нормальными обучающими изображениями.

Приблизительно 42,3% от общего количества выборочных данных SLC считаются аномалиями. Выборочный набор данных был создан для настройки гиперпараметров из-за ограничений по времени и ресурсам. Набор данных для вывода — это специально созданный набор данных, содержащий смесь нормальных и аномальных изображений SLC. В этот набор данных включены все 34 типа SLC. Общее количество изображений составляет 265, из которых 155 — нормальные и 110 — аномальные. 11 из 34 типов SLC не имеют дефектных образцов.

Эксперименты начинаются со сбора набора данных, как описано в разделе  4. Собранные изображения SLC используются в качестве обучающих изображений для модели классификации, чтобы различать различные типы SLC. Модель, используемая для задачи классификации, — это модель ConvNeXt [30], которая является модернизацией ResNet в направлении проектирования трансформеров. Подробности параметров, используемых для обучения, и других дополнительных процессов обсуждаются далее в разделе  5.1. Дальнейший анализ модели по времени вывода для оценки производительности модели подробно описан в разделе  5.2.

5.1  Обучение ConvNeXt и дополнительная предварительная обработка

Собранный набор данных SLC далее разделен на обучающий, тестовый и валидационный наборы данных в соотношении 60:20:20. Набор данных, используемый для обучения, тестирования и валидации модели классификации, содержит смесь изображений OK и NOK каждого типа SLC. Для обучения набора данных использовались следующие гиперпараметры: базовая модель ConvNeXt,  скорость обучения с оптимизатором AdamW [31], размер пакета 64. Обучение выполняется в течение 250 эпох. Параметры нормализации изображений (среднее значение и стандартное отклонение для значений RGB (красный, зеленый, синий)) взяты из ImageNet.

5.2  Вывод и анализ ConvNeXt

Таблица 2. Тестирование модели классификации с помощью методов вывода данных реализовано с использованием двух различных наборов данных: набора данных для вывода, содержащего 265 изображений, как описано в разделе  4, и набора данных для вывода из 5 изображений, в папке с которыми представлены пять различных ракурсов одного и того же SLC.

Для тестирования модели использовались два типа оборудования. Первый — это оборудование, использованное в исследовании, как описано в разделе  6.2, а второй — ноутбук только с процессором. Это демонстрирует, как различное оборудование и конфигурации (использование только процессора или с графическим процессором) могут влиять на среднее время и время обработки одного изображения. Все тесты выполнялись пять раз, и вычислялось среднее время.

Далее мы исследуем обнаружение дефектов с помощью камер. Возможны различные типы дефектов, такие как остатки старых наклеек, пятна ржавчины, разливы масла, износ поверхности, трещины и поломки. В настоящее время тип дефекта имеет низкое значение. Количество дефектных SLC в реальных условиях очень мало (однозначный процент или меньше по сравнению с общим числом оцененных SLC). Таким образом, моделирование этой задачи как визуального обнаружения аномалий является разумным. Обнаружение дефектов разделено на три подраздела: исследование современных методов обнаружения дефектов и настройка гиперпараметров (раздел  6.1), экспериментальная установка (раздел  6.2) и экспериментальные результаты (раздел  6.3).

6.1  Исследовательский анализ современных методов обнаружения аномалий и настройки гиперпараметров.

Таблица 3. Лучшие на сегодняшний день модели обнаружения аномалий, основанные на таксономии, методах, функциях потерь и использовании предварительно обученных сетей.

Целью данной работы было создание системы компьютерного зрения, способной распознавать тип SLC для управления запасами и автоматически обнаруживать дефекты, тем самым устраняя разрыв между научными исследованиями и промышленной сферой в области систем обнаружения аномалий. Конструкция портала для камер была разработана с учетом геометрии SLC, при этом минимизировались требования к пространству и затраты. Вся установка состоит из портала для камер с 5 камерами, расположенными под углом приблизительно 47,5°. с высотой установки 500 мм от края самой высокой SLC и конвейерной лентой, управляемой ПЛК.

В данной работе реализованы передовые модели классификации и обнаружения аномалий, которые обычно используются для сравнительного анализа на контролируемых наборах данных, таких как набор данных MVTec, на реальных наборах данных SLC.

Точность доработанной модели классификации ConvNeXt составляет 100% для тестового набора данных SLC. Эта исключительно высокая точность объясняется тем, что SLC являются стандартизированными продуктами с набором легко различимых характеристик, таких как цвет, размер и геометрия. Таким образом, классификацию типов SLC можно считать решенной задачей.

Обнаружение аномалий представляет собой значительно более сложную задачу, чем классификация типа SLC. Двумя лучшими результатами при использовании гиперпараметров по умолчанию на этапе исследовательского эксперимента по обнаружению аномалий являются PatchCore и DRAEM. Несмотря на высокий показатель метрики DRAEM, он качественно уступает PatchCore в обнаружении аномалий на уровне изображений.

PatchCore лучше локализует дефекты на тепловых картах, что помогает объяснить, почему объект классифицируется как дефект. Кроме того, PatchCore демонстрирует стабильно меньшее время обучения по сравнению с DRAEM. Неопределенности при реализации модели классификации и обнаружения аномалий в реальных производственных условиях включают стабильность кода, содержащего модель классификации и обнаружения аномалий. В рамках текущей работы предлагаемая система компьютерного зрения тестируется в течение длительного непрерывного цикла.

Ограничения предлагаемого исследования можно разделить на теоретические и практические. Мы выделяем три теоретических ограничения: реализация алгоритма удаления фона, исключение аномалий на уровне пикселей и исключение потенциальных зависимостей между изображениями. В нашем исследовании использовался следующий алгоритм удаления фона: —Net, которого может быть недостаточно для нашего случая удаления фона.

Исключение аномалий на уровне пикселей снижает производительность некоторых моделей, таких как DRAEM. Мы также выявили практические ограничения в нашем исследовании. К ним относится метод обучения, проводимый локально с использованием RTX 3090, которая имеет ограниченный объем видеопамяти. Сбор данных для нашего набора данных в настоящее время проводится контролируемым образом (без аномальных условий, таких как резкое изменение условий освещения или влажность поверхности SLC), что может повлиять на производительность моделей классификации и AD.

Текущий набор данных разделяет SLC на дефектные и нормальные без подробной информации о том, какие и где присутствуют аномалии на изображении. Это можно решить с помощью будущих аннотаций набора данных. Последним ограничением этого исследования является возможность более медленного времени реального вывода на месте, на которое могут влиять внешние факторы.

Ограничения, выявленные в нашем исследовании, открывают возможности для дальнейшей работы. Потенциальная новая реализация может объединить обнаружение аномалий и классификацию в одну модель. Кроме того, более подробная аннотация местоположения аномалий на изображениях может помочь улучшить обучение модели. Ограничения по объему видеопамяти во время обучения можно преодолеть двумя способами. Во-первых, обучение можно проводить на кластерах с большим объемом видеопамяти.

Во-вторых, можно рассмотреть практическое решение, при котором часть модели обнаружения аномалий обучается для каждого конкретного типа SLC. Это означает, что весь набор данных для этого конкретного SLC может быть обучен без ограничений по объему видеопамяти, поскольку этот конкретный тип SLC является лишь подмножеством всего набора данных. Однако это добавляет еще один уровень операций во время вывода в реальной реализации, поскольку системе необходимо знать, какой SLC обнаружен камерой, а затем выполнять вывод на основе этого конкретного типа SLC.

Потенциальные проблемы могут включать время вывода для модели обнаружения аномалий, которое должно ожидать выходных данных модели классификации, что может повлиять на время производственного цикла. Еще одна проблема заключается в том, что во время выполнения классификации, если результат неверен, то и запрашиваемая модель для обнаружения аномалий также окажется неверной.

В настоящее время на практике вывод осуществляется для каждого изображения отдельно. Каждый SLC имеет ровно пять изображений с пяти камер. SLC считаются дефектными, если хотя бы один из этих ракурсов признан дефектным. Этот метод имеет свои ограничения, и перспективным направлением может стать изучение методов многоракурсной классификации. Для повышения производительности и обеспечения более точного анализа SLC можно было бы исследовать такие методы, как стекирование изображений, агрегирование оценок аномалий или многоракурсные сверточные модели.

Литература

1. Akcay, S., Ameln, D., Vaidya, A., et al.: Anomalib: A deep learning library for anomaly detection. In: 2022 IEEE International Conference on Image Processing (ICIP), IEEE, pp 1706–1710 (2022)
2. Ba, J.L., Kiros, J.R., Hinton, G.E.: Layer normalization. ArXiv e-prints arXiv:1607.06450 [stat] (2016)
3. Bai, D., Li, G., Jiang, D., et al.: Surface defect detection methods for industrial products with imbalanced samples: a review of progress in the 2020s. Eng. Appl. Artif. Intell. 130, 107697 (2024). Article MATH Google Scholar
4. Bergmann, P., Fauser, M., Sattlegger, D., et al.: Mvtec ad—a comprehensive real-world dataset for unsupervised anomaly detection. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Long Beach, CA, USA, p 9584-9592, (201)
5. Bertagnolli, F.: Lean management: introduction and in-depth study of japanese management philosophy. Springer Fachmedien Wiesbaden, Wiesbaden, (2022) h
6. Bohm, M., Ziegenbein, A., Metternich, J.: Bildanalyse zur handhabung von kleinladungsträgern mithilfe künstlicher neuronaler netzwerke. Zeitschrift für wirtschaftlichen Fabrikbetrieb 115(7–8), 513–516 (2020). Article Google Scholar
7. Bykova, M., Ostermann, S., Tjaden, B.: Detecting network intrusions via a statistical analysis of network packet characteristics. In: Proceedings of the 33rd Southeastern Symposium on System Theory, IEEE, pp 309–314 (2001)
8. Chandola, V., Banerjee, A., Kumar, V.: Anomaly detection: a survey. ACM Comput. Surv. (CSUR) 41(3), 1–58 (2009) Article MATH Google Scholar
9. Coelho, P.M., Corona, B., Klooster, R.T., et al.: Sustainability of reusable packaging-current situation and trends. Resour. Conserv. Recycl. 6, 100037 (2020). Article Google Scholar
10. Contributors, M.: Openmmlab’s pre-training toolbox and benchmark. (2023)
11. Defard, T., Setkov, A., Loesch, A., et al.: Padim: a patch distribution modeling framework for anomaly detection and localization. In: International Conference on Pattern Recognition, Springer, pp 475–489 (2021)
12. Deng, H., Li, X.: Anomaly detection via reverse distillation from one-class embedding. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 9737–9746 (2022)
13. Deng, J., Dong, W., Socher, R., et al.: Imagenet: A large-scale hierarchical image database. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, Miami, FL, p 248-255 (2009)
14. Dlamini, S., Kao, C.Y., Su, S.L., et al.: Development of a real-time machine vision system for functional textile fabric defect detection using a deep yolov4 model. Textile Res. J. 92(5–6), 675–690 (2022). Article Google Scholar
15. Dosovitskiy, A., Beyer, L., Kolesnikov, A., et al.: An image is worth 16×16 words: Transformers for image recognition at scale. arXiv preprint  (2021)
16. Dror, I.E.: Cognitive and human factors in expert decision making: six fallacies and the eight sources of bias. Anal. Chem. 92(12), 7998–8004 (2020). Article MATH Google Scholar
17. Gudovskiy, D., Ishizaka, S., Kozuka, K.: Cflow-ad: Real-time unsupervised anomaly detection with localization via conditional normalizing flows. In: Proceedings of the IEEE/CVF winter conference on applications of computer vision, pp 98–107 (2022)
18. Hachem, C.E., Perrot, G., Painvin, L., et al.: Automation of quality control in the automotive industry using deep learning algorithms. In: 2021 International Conference on Computer, Control and Robotics (ICCCR). IEEE, Shanghai, China, p 123-127 (2021)
19. He, K., Zhang, X., Ren, S., et al.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778 (2016)
20. He, Y., Song, K., Meng, Q., et al.: An end-to-end steel surface defect detection approach via fusing multiple hierarchical features. IEEE Trans. Instrum. Meas. 69(4), 1493–1504 (2020). Article MATH Google Scholar
21. Hendrycks, D., Gimpel, K.: Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415 [cs] (2023)
22. Hofmann, E., Bachmann, H.: Behälter-Management in der Praxis: State-of-the-Art und Entwicklungstendenzen bei der Steuerung von Ladungsträgerkreisläufen, p 55 (2013)
23. Holm, D.M., Fottner, J.: A concept for camera-based classification of load carriers. ESSN: 2701-6277 (2021) https://www.repo.uni-hannover.de/handle/123456789/11355
24. Howard, A.G., Zhu, M., Chen, B., et al.: Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861 [cs] (2017)
25. Huang, C., Jiang, A., Feng, J., et al.: Adapting visual-language models for generalizable anomaly detection in medical images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 11375–11385 (2024)
26. Ioffe, S.: Batch renormalization: Towards reducing minibatch dependence in batch-normalized models. Adv. Neural Inf. Process. Syst. 30 (2017) arXiv:1702.03275 [cs]
27. Lee, S., Lee, S., Song, B.C.: Cfa: Coupled-hypersphere-based feature adaptation for target-oriented anomaly localization. IEEE Access 10, 78446–78454 (2022)  Article MATH Google Scholar
28. Liang, Q., Zhu, W., Sun, W., et al.: In-line inspection solution for codes on complex backgrounds for the plastic container industry. Measurement 148, 106965 (2019). Article MATH Google Scholar
29. Liu, J., Xie, G., Wang, J., et al.: Deep industrial image anomaly detection: A survey. Mach. Intell. Res. 21(1):104-135(2024)., [cs] Article MATH Google Scholar
30. Liu, Z., Mao, H., Wu, C.Y., et al.: A convnet for the 2020s. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 11976–11986 (2022)
31. Loshchilov, I., Hutter, F.: Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101 [cs, math] (2019)
32. Mahmoudi, M., Parviziomran, I.: Reusable packaging in supply chains: a review of environmental and economic impacts, logistics system designs, and operations management. Int. J. Product. Econ. 228, 107730 (2020). Article MATH Google Scholar
33. Nair, V., Hinton, G.E.: Rectified linear units improve restricted boltzmann machines. In: International Conference on Machine Learning, (2010)
34. Noceti, N., Zini, L., Odone, F.: A multi-camera system for damage and tampering detection in a postal security framework. EURASIP J. Image Video Process. (2018). Article MATH Google Scholar
35. Pierer, A., Wiener, T., Gjakova, L., et al.: Zero-error-production through inline-quality control of presshardened automotive parts by multi-camera systems. IOP Conf. Series Mater. Sci. Eng. 1157(1), 012074 (2021). Article Google Scholar
36. Poss, C., Ibragimov, O., Indreswaran, A., et al.: Application of open source deep neural networks for object detection in industrial environments. In: 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA). IEEE, Orlando, FL, p 231-236 (2018)
37. Qin, X., Zhang, Z., Huang C., et al. U²-net: Going deeper with nested u-structure for salient object detection. Pattern Recogn. 106, 107404 (2020), [cs].
38. Rezende, D., Mohamed, S.: Variational inference with normalizing flows. In: International conference on machine learning, PMLR, pp 1530–1538 (2015)
39. Ronneberger, O., Fischer, P., Brox, T.: U-net: Convolutional networks for biomedical image segmentation. In: Medical image computing and computer-assisted intervention–MICCAI 2015: 18th international conference, Munich, Germany, October 5-9, 2015, proceedings, part III 18, Springer, pp 234–241 (2015)
40. Roth, K., Pemula, L., Zepeda, J., et al.: Towards total recall in industrial anomaly detection. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 14318–14328 (2022) [cs]
41. Ruff, L., Kauffmann, J.R., Vandermeulen, R.A., et al.: A unifying review of deep and shallow anomaly detection. Proc. IEEE 109(5), 756-795 (2021).
42. Sandler, M., Howard, A., Zhu, M., et al.: Mobilenetv2: Inverted residuals and linear bottlenecks. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 4510–4520 (2018)
43. Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition (2015). arXiv preprint arXiv:1409.1556
44. Singh, S.A., Desai, K.A.: Automated surface defect detection framework using machine vision and convolutional neural networks. J. Intell. Manuf. 34(4), 1995–2011 (2023).Article MATH Google Scholar
45. Sobottka, T., Sihn, W., Edtmayr, T.: Increasing the efficiency of closed loops of reusable containers in production environments concerning container cleaning. ACTA Technica corviniensis VII:101–110(2014).
46. Song, C., Huang, Y., Ouyang, W., et al.: Box-driven class-wise region masking and filling rate guided loss for weakly supervised semantic segmentation. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Long Beach, CA, USA, p 3131-3140 (2019) https://ieeexplore.ieee. org/d ocument/8953307/
47. Tao, H., Zheng, Y., Wang, Y., et al.: Enhanced feature extraction yolo industrial small object detection algorithm based on receptive-field attention and multi-scale features. Meas. Sci. Technol. 35(10), 105023 (2024). Article MATH Google Scholar
48. Telljohann, A.: Introduction to building a machine vision inspection. Handbook of machine vision pp 35–71 (2006)
49. Truong, A.M., Luong, H.Q.: A non-destructive, autoencoder-based approach to detecting defects and contamination in reusable food packaging. Curr. Res. Food Sci. 8, 100758 (2024). Article MATH Google Scholar
50. Wahyudi, V.: public_slc_dataset (revision bd1a393). (2024), https://huggingf ace.co/ datasets/vincentw1997/public_SLC_Dataset
51. Wang, G., Han, S., Ding, E., et al.: Student-teacher feature pyramid matching for anomaly detection (2021). arXiv preprint arXiv:2103.04257 [cs]
52. Wang, R., Zhuang, Z., Tao, H., et al.: Q-learning based fault estimation and fault tolerant iterative learning control for mimo systems. ISA Trans. 142, 123–135 (2023). Article MATH Google Scholar
53. Würschinger, H., Mühlbauer, M., Winter, M., et al.: Implementation and potentials of a machine vision system in a series production using deep learning and low-cost hardware. Procedia CIRP 90, 611–616 (2020). Article Google Scholar
54. Xu, C., Tao, D., Xu, C.: Multi-view intact space learning. IEEE Trans. Pattern Anal. Mach. Intell. 37(12), 2531–2544 (2015). Article MATH Google Scholar
55. Yu, J., Zheng, Y., Wang, X., et al.: Fastflow: unsupervised anomaly detection and localization via 2d normalizing flows. arXiv:2111.07677 [cs] (2021)
56. Zavrtanik, V., Kristan, M., Skočaj, D.: DRAEM – A Discriminatively Trained Reconstruction Embedding for Surface Anomaly Detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp 8330-8339 (2021) [cs]
57. Zhang, C., Kang, F., Wang, Y.: An improved apple object detection method based on lightweight yolov4 in complex backgrounds. Remote Sens. 14(17), 4150 (2022). Article MATH Google Scholar

Авторы: Vincent Wahyudi, Cedric C. Ziegler, Matthias Frieß, Constantin Lang, Lars Eberhardt, Alexander Dobhan & Martin Storath, Stefan Schramm & Fabian Freund