Современные методы обнаружения дефектов на основе машинного зрения: детальный обзор

11.12.2025

1034

views

Машинное зрение значительно повышает эффективность, качество и надежность обнаружения дефектов. В визуальном контроле наличие высококачественных изображений обусловлено наличием превосходных платформ оптического освещения и подходящего оборудования для получения изображений. Обработка и анализ изображений являются ключевыми технологиями для получения информации о дефектах, а глубокое обучение оказывает значительное влияние на область анализа изображений.

В данном исследовании систематически рассматривается краткая история и современное состояние оптического освещения, получения изображений, обработки изображений и анализа изображений в области визуального контроля. Представлены последние разработки в области промышленного обнаружения дефектов на основе машинного зрения. В дальнейшем развитии области визуального контроля применение глубокого обучения будет играть все более важную роль.

Таким образом, после обсуждения традиционных алгоритмов обнаружения дефектов приводится подробное описание применения глубокого обучения в классификации, локализации и сегментации дефектов. Наконец, рассматриваются перспективы развития технологии визуального контроля.

1. Введение

Передовые промышленные системы требуют все более высокого улучшения характеристик продукции, а также повышения требований к контролю качества в процессе производства [1, 2, 3]. Однако дефекты, такие как царапины, пятна или отверстия на поверхности изделия, негативно влияют не только на эстетику изделия и удобство его использования, но и на его характеристики [4, 5, 6, 7]. Выявление дефектов является эффективным методом снижения негативного воздействия дефектов продукции [8, 9].

Искусственный визуальный контроль — это традиционный метод контроля качества промышленной продукции [10]. Хотя в некоторых случаях искусственный визуальный контроль может быть более эффективным, он неэффективен и подвержен усталости. Искусственный визуальный контроль нецелесообразен для некоторых применений, поскольку отказ может иметь опасные последствия [11]. Из-за своих недостатков, таких как низкая частота выборки, плохая производительность в реальном времени и низкая достоверность обнаружения, искусственный визуальный контроль не может соответствовать требованиям эффективности и качества современных промышленных производственных линий [12]. Следовательно, необходимо разработать более эффективные и надежные технологии визуального контроля.

Машинное зрение — одна из ключевых технологий, используемых для интеллектуального производства, и оно стало эффективным способом замены искусственного визуального контроля [13, 14]. Машинное зрение — это система, которая автоматически получает и обрабатывает изображения реального объекта с помощью оптических устройств и бесконтактных датчиков. Зрение — один из высших уровней человеческого восприятия. Изображения играют очень важную роль в человеческом восприятии [15].

Однако человеческое восприятие ограничено видимым диапазоном электромагнитного спектра. Технология машинного зрения может охватывать весь электромагнитный спектр, от гамма-лучей до радиоволн [16]. Благодаря мощным визуальным датчикам, искусно разработанным методам оптической передачи и алгоритмам обработки изображений, машинное зрение может выполнять множество задач, которые не могут быть выполнены искусственным зрением.

С развитием компьютерного оборудования и искусственного интеллекта машинное зрение как технология измерения и оценки получило широкое распространение в промышленности. Технология обнаружения с помощью машинного зрения может повысить эффективность обнаружения и степень автоматизации, улучшить производительность в реальном времени и точность обнаружения, а также сократить потребность в рабочей силе, особенно для некоторых крупномасштабных повторяющихся промышленных производственных процессов.

Машинное зрение, как бесконтактный и неразрушающий метод обнаружения, легко может быть использовано для интеграции информации, автоматизации, интеллектуального управления и точного контроля. Оно стало базовой технологией, необходимой в компьютерно-интегрированном производстве и интеллектуальном производстве. Более того, машинное зрение обладает более широким диапазоном спектральных откликов и большей способностью работать длительное время в суровых условиях. Таким образом, применение машинного зрения в производственных процессах может принести пользу большому количеству отраслей промышленности [17, 18, 19].

Типичная промышленная система визуального контроля в основном состоит из трех модулей — оптического освещения, получения изображений и обработки изображений и обнаружения дефектов [11, 20] — как показано на рис. 1.

Сначала, исходя из характеристик продукта и требований к контролю, проектируется платформа оптического освещения. Затем с помощью ПЗС-камер или другого оборудования для получения изображений целевые объекты, помещенные в световое поле, преобразуются в изображения и передаются на компьютер. Изображения, отражающие особенности объектов, являются основным элементом визуального контроля, поскольку они служат носителями информации; следовательно, их качество очень важно.

Превосходные платформы оптического освещения и подходящее оборудование для получения изображений являются необходимыми условиями для получения высококачественных изображений. Наконец, на основе некоторых традиционных алгоритмов обработки изображений или алгоритмов глубокого обучения выполняются различные операции с изображениями для извлечения признаков и выполнения классификации, локализации, сегментации и других операций. Обработка изображений является ключевой технологией в машинном зрении. Благодаря обработке и анализу изображений компьютер может автоматически понимать, анализировать и оценивать особенности изображения, а затем управлять исполнительным механизмом автоматической производственной линии для дальнейшей работы [21].

Рис. 1. Типичная архитектура и основные компоненты промышленной системы визуального контроля

В промышленности архитектура может использоваться в качестве пошагового руководства при проектировании системы визуального контроля. Например, исследование характеристик поверхности было первым шагом при проектировании системы визуального контроля сильно отражающих металлических поверхностей; поэтому было принято рассеянное яркое поле подсветки. Затем для получения изображения использовались светочувствительные компоненты. После получения изображения для предварительной обработки изображения использовалось вейвлет-сглаживание, а для сегментации изображения применялся порог Оцу. Наконец, для классификации дефектов был разработан классификатор на основе метода опорных векторов [22].

Основными показателями оценки системы визуального контроля являются точность, эффективность и надежность. Целями системы являются высокая точность, высокая эффективность и высокая надежность. Для достижения этих целей необходима превосходная координация оптического освещения, получения изображений, их обработки и обнаружения дефектов.

Данное исследование посвящено текущему состоянию развития технологий обнаружения дефектов в промышленности с использованием машинного зрения. Подробно рассматриваются модули визуального контроля, включая оптическое освещение, получение изображений, обработку изображений и обнаружение дефектов. В разделе 2 обсуждаются источник света и конструкция системы освещения.

В разделе 3 описываются датчики изображения и конструкция системы получения изображений для конкретных сценариев. Затем, в основной части исследования, раздел 4 посвящен задачам обнаружения дефектов, таким как классификация, локализация и сегментация дефектов, и рассматривает типичные традиционные методы обработки изображений и интеллектуальные методы, основанные на глубоком обучении. Наконец, в разделе 5 представлены перспективы будущих исследований в области обнаружения дефектов на основе машинного зрения .

2. Оптическое освещение

Технология визуального контроля основана на изображении и включает в себя получение и обработку изображений [23]. Ключ к успеху системы визуального контроля заключается в получении изображений высокого качества. В целом, на качество изображения в основном влияют два фактора: оптическое освещение и получение изображения [24, 25]. Основная функция платформы оптического освещения заключается в преодолении помех от окружающего освещения, обеспечении стабильности изображения и получении изображения с высоким контрастом. Таким образом, главная цель платформы оптического освещения — сделать видимыми важные особенности объектов и уменьшить нежелательные особенности объектов.

Исследования в области оптического освещения имеют долгую историю. В 1980-х годах коммерческие источники белого света для машинного зрения отсутствовали на рынке, а некоторые источники света, предназначенные для рабочих мест, не могли быть легко интегрированы в системы визуального обнаружения. С переходом систем визуального обнаружения из лаборатории в промышленность необходимость оптимизации систем оптического освещения постепенно стала областью исследований, и важность оптического освещения в системах зрения была понята на предварительном уровне.

В 1987 году Мерш [26] систематически обсудил важность оптического освещения в системах зрения. Основываясь на технических условиях того времени, он проанализировал применение поляризационных и цветовых фильтров и указал на преимущества оптоволоконного освещения для освещения небольшой площади. Кроме того, он обсудил метод флуоресцентного маркировочного освещения и технологию частотного импульсного освещения. Позже Коуэн [27] разработал позиционирование камеры и источника света, используя их модели и отражательную способность поверхности, чтобы удовлетворить требованиям системы зрения.

Сиечка и др. [28] представили подробное изложение и обсуждение некоторых важных вопросов, связанных с источниками света, таких как эффективность источника света, расходимость света, спектральный состав, размер источника света и упаковка. В сочетании с математическим программированием Ии и др. [29] обсудили проектирование размещения датчиков и источников света. Коппарапу [30] предложил метод проектирования, использующий несколько источников света для достижения равномерного освещения, который рассматривал решение задачи оптимального положения источника света как задачу минимизации, и использовал моделирование для проверки эффективности и применимости метода.

Несмотря на стремительный рост компьютерной цифровой обработки изображений и вычислительных процессов, оптическое освещение по-прежнему играет важную роль в системах визуального контроля. Для систем визуального контроля в режиме реального времени, по сравнению с длительным периодом вычислений, необходимым для обработки изображения с помощью сложных алгоритмов, специально разработанное оптическое освещение для полевого освещения может обеспечить более высокую точность обнаружения.

Кроме того, специально разработанное оптическое освещение может лучше удовлетворять требованиям визуального контроля на производственной линии в режиме реального времени. Поэтому, как важная часть применения машинного зрения, оптическое освещение заслуживает дальнейшего обсуждения.

2.1. Источник света

Свет является типичным источником энергии для формирования изображения. К распространенным источникам света относятся светодиодные лампы различных форм, высокочастотные люминесцентные лампы, галогенные лампы на основе оптического волокна и т. д. В настоящее время светодиодные лампы доступны для всех типов приложений машинного зрения [31, 32]. Источник света на основе светодиодов может быть настроен в нескольких конфигурациях массива для достижения желаемой освещенности [33, 34]. В приложениях машинного зрения наиболее популярным источником света является кольцевой массив светодиодов [35].

Кольцевой массив светодиодов обладает высокой яркостью и удобен в установке. Он позволяет эффективно избежать явления теней и выделить обнаруживаемые элементы. Он часто используется для обнаружения внешнего вида микросхем и символов [36], обнаружения подложки печатной платы (PCB) [37], освещения микроскопа [38] и т. д. В структурированном освещении широко используется линейный массив светодиодов [35]. Кроме того, он обладает хорошим теплоотводом и гибкостью использования, и может применяться для обнаружения дефектов некоторых крупных конструкционных деталей, таких как медная полоса [39] и стальной лист [40].

Видимый свет — распространенный источник света. Различные длины волн света имеют разные характеристики и области применения. При изменении длины волны видимый свет приобретает разные цвета [41, 42]. Источник белого света — это многоволновой составной источник света, широко используемый в различных областях. Источник белого света высокой яркости подходит для цветной фотосъемки.

Длина волны синего света находится в диапазоне от 430 до 480 нм и подходит для листового металла, деталей, обработанных на станках, и других изделий с серебристым фоном, а также для печати на металле на пленке. Длина волны красного света обычно находится в диапазоне от 600 до 720 нм, что является относительно большой длиной волны, позволяющей пропускать свет сквозь темные объекты.

Он используется в таких областях применения, как обнаружение линий и определение толщины светопропускающей пленки. Источник красного света может значительно улучшить контрастность изображения. Длина волны зеленого света обычно находится в диапазоне от 510 до 530 нм и расположена между длинами волн красного и синего света. Источник зеленого света в основном используется для изделий с красным или серебристым фоном.

Невидимый свет может быть инфракрасным, ультрафиолетовым или рентгеновским. Длина волны инфракрасного света обычно составляет 780–1400 нм. Инфракрасный свет обладает высокой способностью к распространению и обычно используется в системах обнаружения на жидкокристаллических экранах (ЖК-экранах) и системах видеонаблюдения [43]. Длина волны ультрафиолетового света обычно составляет 190–400 нм.

Ультрафиолетовый свет имеет короткую длину волны и высокую проникающую способность и в основном используется для проверки сертификатов, обнаружения ITO на сенсорных экранах, обнаружения царапин на металлических поверхностях [44] и т. д. Рентгеновское излучение — это тип электромагнитной волны, диапазон длин волн которой составляет от 0,01 до 10 нм. Рентгеновское излучение имеет короткую длину волны и хороший перспективный эффект и широко используется в различных перспективных тестах в промышленности [45]. Эти длины волн света невидимы для человеческого глаза; однако они могут применяться в машинном зрении. Это также еще одно важное преимущество машинного зрения перед искусственным зрением.

Для повышения видимости определенных особенностей важно учитывать взаимодействие света с объектами, включая режим распространения света, когда он достигает поверхности объектов, и взаимосвязь между длиной волны света и цветом объектов [22]. Распространение света различно в разных материалах. Дефектная часть объекта также влияет на распространение света. Распространенные дефекты при осмотре поверхности можно разделить на две категории: (i) геометрические дефекты, такие как ямки, царапины, трещины, заусенцы, выпуклости, царапины и бугорки; (ii) дефекты прочности поверхности или дефекты плотности, такие как окисление, ржавчина и пятна. Геометрические дефекты изменяют отражение поверхности, а дефекты прочности поверхности или дефекты плотности изменяют отражение поверхности, а также поглощение.

При визуальном осмотре часто встречаются непрозрачные объекты. Непрозрачные объекты обладают способностью отражать или поглощать цветной свет разных длин волн. Поглощенный цветной свет невидим, и только отраженный цветной свет может непосредственно воздействовать на устройства получения изображений. Использование черно-белой камеры позволяет добиться надежного и стабильного обнаружения путем выбора определенной длины волны источника света и выделения разницы в оттенках серого между обнаруживаемой частью поверхности объекта и другими частями. Таким образом, контрастность изображения может быть повышена за счет эффективного выбора длины волны света или комбинирования нескольких длин волн света.

2.2. Основные режимы освещения

С развитием технологии оптического освещения появились различные типы конструкций осветительных структур [46]. В области машинного зрения, в зависимости от различных позиционных соотношений между источником света, объектом и камерой, освещение можно разделить на прямое и обратное. В зависимости от характеристик источника света его можно разделить на структурированный свет и стробоскопический свет.

2.2.1. Передняя и задняя подсветка

При прямом освещении источник света и камера расположены на одной стороне объекта. Являясь наиболее распространенным методом освещения, прямое освещение подходит для обнаружения дефектов поверхности, царапин и важных деталей объектов, особенно особенностей текстуры поверхности. Угол между световым лучом и поверхностью объекта влияет на эффект освещения.

В зависимости от того, отражается ли свет непосредственно на камеру, прямое освещение делится на светлое поле и темное поле, как показано на рис. 2 a, b. В случае темного поля уменьшение угла падения света формирует низкоугловое темное поле. Низкоугловое темное поле позволяет выделить края и высоту поверхности, улучшить топологическую структуру изображения и обеспечить высокую эффективность при отображении вогнутостей и выпуклостей поверхности.

Коаксиальное прямое освещение — это особый режим прямого освещения. Коаксиальный источник света представляет собой равномерный свет высокой интенсивности, проходящий через полузеркало и образующий коаксиальный световой луч с линзой, как показано на рис. 2 c. Коаксиальное прямое освещение обеспечивает более равномерное освещение, чем традиционный режим освещения, и при этом предотвращает отражение от объекта.

Таким образом, оно повышает точность и воспроизводимость машинного зрения. Коаксиальное прямое освещение может использоваться для обнаружения дефектов поверхности, трещин, царапин и т. д. Для сильно отражающих объектов с гладкой поверхностью свет сначала проецируется на шероховатую поверхность, создавая ненаправленный и мягкий свет, а затем проецируется на поверхность обнаруживаемого объекта, что позволяет избежать сильного отражения, создаваемого прямым режимом освещения, как показано на рис. 2d .

Рассеянное прямое освещение купольной структуры обычно используется при обнаружении паяных соединений, обнаружении контактов микросхем и т. д. При заднем освещении источник света располагается позади объекта, как показано на рис. 2e.

Важной особенностью заднего освещения является то, что оно может выделять тени непрозрачных объектов или наблюдать внутреннюю структуру прозрачных объектов. Его преимущество заключается в том, что оно может четко очерчивать края измеряемого объекта. Оно часто используется при обнаружении формы и размеров объектов. В таблице 1 сравниваются эти типичные режимы освещения.

Рис. 2. Схема типичных режимов освещения: a) прямое освещение в светлом поле; b) прямое освещение в темном поле; c) коаксиальное прямое освещение; d) рассеивающее прямое освещение купольной конструкции; e) заднее освещение.

Таблица 1. Характеристики типичных режимов освещения.

Режимы освещения	Представления
Яркое поле направленного освещения	Это хорошо для высокой контрастности, но отражающие поверхности создают зеркальные отражения.
Темное поле, направленное вперед освещение	Это позволяет получить рассеянный свет, возникающий из-за изменения текстуры поверхности, и избежать зеркального отражения.
Коаксиальное переднее освещение	Он способен преодолевать помехи, вызванные отражением от поверхности, и в основном используется для обнаружения неровностей, царапин, трещин и посторонних предметов на гладкой поверхности объектов.
Рассеянное направленное освещение купольной конструкции	Это позволяет избежать сильного отражения, возникающего при прямом освещении.
Подсветка	Оно может выделять контуры непрозрачных объектов или наблюдать внутреннюю структуру прозрачных объектов.

2.2.2. Структурированное освещение

Структурированное освещение заставляет свет принимать определенную форму с помощью специальных средств, что облегчает обнаружение трехмерной информации об объекте с использованием двухмерного зрения [47], как показано на рис. 3. Здесь сначала конкретная информация о свете проецируется на поверхность объекта и фон. Затем камера используется для сбора изображения, содержащего изменения в информации о световом сигнале, вызванные структурой объекта. Наконец, положение и глубина объекта вычисляются с помощью технологии цифровой обработки изображений, и восстанавливается все трехмерное пространство [48].

Рис. 3. Схематическое изображение структурированного освещения [49].

Технология структурированного освещения широко используется в визуальном измерении и контроле. На основе лазерного структурированного светового зрения Ли и др. [50] разработали систему контроля для мониторинга профиля сварного шва, измерения и обнаружения дефектов с калибровкой масштаба.

Используя триангуляцию с помощью линейных сканирующих камер в 2D-плоскости, Лилиенблюм и Аль-Хамади [51] представили новую методику оптической 3D-реконструкции поверхности с использованием комбинации линейных сканирующих камер и структурированного света. Она позволяет проводить непрерывные измерения, при этом одного сканирования поверхности достаточно для расчета высококачественной 3D-реконструкции.

2.2.3. Стробоскопическое освещение

Стробоскопический свет — это тип технологии освещения, применяемый в оптической визуализации. Он позволяет добиться эффекта «заморозки» движения движущегося объекта. Соответствующий оптический импульс может устранить размытие движения на изображениях быстро движущихся объектов, что очень подходит для высокоскоростного обнаружения в режиме реального времени в системах машинного зрения.

Повышение яркости стробоскопического света позволяет сократить время экспозиции и ускорить работу всей системы визуального обнаружения. В условиях стробоскопического освещения можно уменьшить диафрагму для получения лучшей глубины резкости изображения. Для решения проблемы размытых изображений при фотографировании быстро движущихся объектов в условиях непрерывного источника света Чен и др. [52] разработали узкоимпульсный стробоскоп с высоким током, используя в качестве источника света светодиод высокой яркости. Микросхема FPGA (Field-Programmable Gate Array) генерирует импульсный сигнал для управления временем работы стробоскопического источника света.

2.2.4. Вспомогательные оптические устройства для освещения

В практических приложениях производственные линии и рабочие условия предъявляют различные требования к яркости, рабочему расстоянию и углу освещения источников света. Иногда эти требования ограничены конкретными условиями применения, и получить качественное визуальное изображение непосредственно путем регулировки типа источника света или угла освещения очень сложно. В этом случае требуются специальные вспомогательные оптические устройства.

К распространенным вспомогательным оптическим устройствам относятся фильтр, отражатель, спектроскоп, призма, поляризатор, рассеиватель, оптическое волокно, экран и т. д. На этапе получения изображения с помощью фильтра можно устранить некоторые шумовые помехи и улучшить отношение сигнал/шум (SNR) изображения, что, следовательно, повышает эффективность системы. Отражатель позволяет изменять путь и угол распространения света, изменять расстояние между точками наблюдения, осуществлять одновременные или повременные наблюдения нескольких объектов и предоставляет больше места для установки источника света.

В спектроскопе отношение отраженного света к преломленному можно регулировать, изменяя параметры покрытия. Коаксиальное освещение является частным случаем спектроскопа. Призма позволяет разделить многоцветный составной свет и получить источник света с одной частотой. Поляризатор устраняет отражение света от неметаллических поверхностей.

Рассеиватель делает свет более равномерным и уменьшает нежелательные отражения. Оптическое волокно позволяет собирать световой луч в оптоволоконную трубку для передачи, что делает установку источника света более гибкой и удобной. Применение вспомогательных оптических устройств может оказать большую помощь в обнаружении промышленных дефектов. Например, металлическая поверхность имеет высокий коэффициент отражения, что затрудняет разработку подходящей системы освещения для усиления дефектов. Для подавления этого света Чжан и др. [22] разработали диффузную подсветку заднего поля и установили поляризационный фильтр перед камерой, ориентируя его таким образом, чтобы подавить поляризованный свет.

2.3. Проектирование системы освещения

Источник света может иметь различные формы и конструкции, благодаря чему излучаемый свет будет обладать разными характеристиками. Эффективный способ достижения конкретной функции освещения — это инновационный дизайн, сочетающий различные основные методы освещения и некоторые вспомогательные оптические устройства. Для особых случаев доступны специальные методы освещения, включая точечное освещение, бестеневое освещение, освещение с помощью параллельного светового оптического блока, освещение микроскопа и индивидуальное освещение в соответствии с требованиями заказчика.

Для проекта визуального контроля, направленного на получение высококачественных изображений, необходимо разработать целенаправленную оптическую систему освещения. Во-первых, в соответствии со специфическими потребностями проекта следует проанализировать ключевые факторы, такие как характеристики и состояние движения объектов, окружающая среда и тип камеры. Затем изучается разница между объектом и фоном, чтобы выявить различия в оптических явлениях между ними.

В соответствии с характеристиками материалов и взаимодействием источника света с объектами, необходимо предварительно определить тип и цвет источника света. Наконец, следует провести эксперименты и на основе результатов испытаний скорректировать систему освещения до тех пор, пока она не будет соответствовать требованиям визуального контроля. Далее приводится анализ нескольких примеров применения, соответственно, для сильно отражающих поверхностей, гетероморфных структур, движущихся объектов и малоинвазивной хирургии (МИХ).

1. Высокоотражающие поверхности широко используются в автомобильной, авиационной, биотехнологической и аэрокосмической промышленности. В этих областях применения предъявляются высокие требования к качеству поверхности. Оптическая двухпроходная ретрорефлективная инспекция поверхности — это типичный оптический метод обнаружения, реализуемый путем грамотного проектирования пути отражения света, как показано на рис. 4. Он позволяет проверять очень мелкие внеплоскостные искажения поверхности на зеркально отражающей поверхности, такие как вмятины и выступы [53]. Преимущество оптической двухпроходной ретрорефлективной инспекции поверхности заключается в том, что можно наблюдать большую площадь поверхности в режиме реального времени, поэтому ее можно использовать для визуального контроля в режиме реального времени.
2. Для системы мониторинга состояния ленты, из-за особой формы ленты, предъявляются уникальные требования к конструкции системы освещения. Ян и др. [ 54 ] расположили линейные источники света высокой яркости в сводчатой форме. Такая конструкция освещения может адаптироваться к структурным характеристикам верхней части ленты и повысить эффективность обнаружения.
3. Чтобы учесть разнообразные характеристики отражения поверхности полос оловянной стали и различные скорости линии лужения, Пэн и Хэ [55] предложили адаптивный источник света. Этот источник света был интегрирован с прибором с зарядовой связью и временной задержкой для захвата изображений движущихся объектов и облегчения контроля качества поверхности полос оловянной стали.
4. Сочетание структурированного света и белого света позволяет использовать их преимущества для достижения желаемого эффекта. Клэнси и др. [56] предложили стробоскопическую систему освещения MIS, в которой структурированный свет и белый свет чередуются во время высокоскоростной съемки камерой. Помимо своей роли в соответствующих циклах, структурированный свет не воспринимается, а белый свет может использоваться исключительно для навигации и визуальной оценки в период экранирования структурированным светом.

Рис. 4. Схема системы двухпроходного ретроотражательного освещения [53].

Оптическое освещение играет важную роль в визуальном контроле. Для достижения соответствующего эффекта освещения в конкретной ситуации необходимо использовать подходящий источник света, учитывая его характеристики и взаимодействие света с объектами. Для реализации инновационной конструкции системы оптического освещения предпочтительным подходом является эффективное сочетание нескольких основных моделей освещения, а также значительное содействие со стороны дополнительных вспомогательных оптических устройств.

3. Получение изображения

В подходящих условиях оптического освещения поверхность объекта может быть сфотографирована на датчик камеры с помощью оптической линзы. Затем оптический сигнал преобразуется в электрический сигнал, а затем в цифровой сигнал, который может быть обработан компьютером для завершения процесса получения изображения поверхности изделия.

Технология получения изображений фокусируется на характеристиках сенсорных устройств и проектировании поля зрения. Типичные фоточувствительные устройства промышленных камер в основном основаны на приборах с зарядовой связью (CCD) или комплементарных металлооксидных полупроводниковых (CMOS) чипах [57, 58].

Технология получения изображений во многих традиционных сценариях стала относительно зрелой, что не рассматривается в данном исследовании. Однако для некоторых особых требований к обнаружению разумное проектирование поля зрения и эффективный выбор фоточувствительного сенсора могут иметь очень важное значение. Будут рассмотрены несколько репрезентативных схем получения изображений для некоторых конкретных сценариев получения изображений.

3.1. ПЗС и КМОП

Технология CCD или CMOS-датчиков изображения имеет важное значение для захвата изображений. Они преобразуют оптические сигналы в электрические. Однако эти два типа микросхем используют разные методы и средства передачи информации, и их конструкция совершенно различна.

ПЗС-матрица, являющаяся фотоэлектрическим преобразователем, появилась в начале 1970-х годов и достигла зрелости в 1990-х [59, 60]. В 1974 году Уайт и др. [61] обсудили характеристики матрицы изображений ПЗС-матрицы с низкой освещенностью.

В 1978 году Диллон и др. [62] обсудили систему цветной визуализации с использованием одной ПЗС-матрицы. В 1990 году Бейер [63] обсудил калибровку ПЗС-матриц для машинного зрения и робототехники. В ПЗС-чипе заряд фоточувствительного пикселя смещается и преобразуется в сигнал. ПЗС-матрица обладает рядом преимуществ, таких как малое искажение, малый объем, низкий уровень системного шума, самосканирование, малый вес, малое энергопотребление, длительный срок службы, широкий диапазон спектра чувствительности и высокая надежность.

Она может быть выполнена в виде высокоинтегрированной сборки. КМОП-датчики изображения существуют почти столько же, сколько и ПЗС-матрицы; Однако коммерческое производство микросхем CMOS-сенсоров началось лишь в 1990-х годах [60].

В настоящее время ПЗС-датчики широко используются в машинном зрении [64, 65, 66]. КМОП-датчики изображения все еще находятся на ранних стадиях развития и еще не достигли зрелости [67, 68]. КМОП-датчики изображения могут обеспечить качество изображения, аналогичное качеству ПЗС-датчиков, и достигли значительных успехов в плане энергопотребления и интеграции.

3.2. Схемы получения изображений

В этом разделе рассматривается современное состояние проектирования систем получения изображений с точки зрения множественных ракурсов, всенаправленного зрения, микродоменного зрения и мультиспектрального анализа.

3.2.1. Множественные виды

При визуальном осмотре деталей со сложной структурой сложно получить всю ключевую информацию на основе одного изображения. В этом случае только набор нескольких изображений может показать проверяемые особенности.

Сунь и др. [69] разработали систему машинного зрения для получения трехмерных изображений одного электрического контакта (ЭК). Для каждого ракурса система включала различные методы предварительной обработки изображений и извлечения признаков для улучшения и обнаружения дефектов поверхности. Чиоу и Ли [70] предложили многоракурсную систему для контроля полиуретановой упаковки. Их система состояла из трех инспекционных станций.

Станция 1 фокусируется на получении информации об изображении верхней и нижней поверхностей упаковки. Станция 2 использует другую камеру для проверки внутренней части упаковки. Станция 3 использует две линейные сканирующие камеры для одновременного сканирования внутренней и внешней цилиндрических поверхностей. Благодаря этому методу каждая из инспекционных станций выполняет свои задачи, и можно эффективно собирать многоракурсные изображения полиуретановой упаковки на эффективной рабочей линии.

Для обнаружения дефектов в подшипниках необходимо проверять множество деталей, таких как внутренние и внешние кольца. Шен и др. [71] разработали новую систему получения изображений для контроля крышки подшипника. Для получения более подробной информации о деформациях, три подшипника были запечатлены на одном изображении. Левый и правый подшипники были осмотрены на наличие дефектов деформации, в то время как центральный подшипник был осмотрен на наличие других дефектов, помимо деформаций. Это была эффективная и оригинальная система получения изображений.

3.2.2. Всенаправленное зрение

Всенаправленное зрение в основном реализуется путем установки объектива «рыбий глаз» [72]. Трубы используются для транспортировки газа, жидкости или жидкости с твердыми частицами. Обнаружение их безопасности часто включает визуальное обнаружение внутренней стенки труб. Для перспективных стереокамер с ограниченным углом обзора необходимо создать кольцо камер.

Хансен и др. [73] представили систему на основе визуальной одометрии, использующую калиброванные изображения объектива «рыбий глаз» и разреженное структурированное освещение для создания высокоточных 3D текстурированных моделей поверхности внутренней стенки трубы.

Прототип робота с объективом «рыбий глаз» и сетью труб из стекловолокна, используемой для тестирования, показан на рис. 5. Результаты их исследований показали, что с помощью одной камеры «рыбий глаз» можно достичь высокоточной карты труб. Преимущество этой широкоугольной системы с объективом «рыбий глаз» заключается в том, что она позволяет использовать одну камеру для полного охвата трубы, тем самым избегая проблем калибровки нескольких камер и сохраняя компактные размеры. Этот метод, очевидно, имеет большое значение для повышения эффективности инспекции труб.

Рис. 5. Прототип робота и сеть труб из стекловолокна, используемые для тестирования [73].

Контактные линзы обладают такими характеристиками, как контактность, легкость и удобство. Качество контактных линз оказывает существенное влияние на человеческий глаз. Для обнаружения контактных линз Чен и др. [74] представили всенаправленное изображение линзы «рыбий глаз» для системы контроля контактных линз и доказали ее осуществимость.

Оптическое отражение поверхности объекта зависит от материала и микроструктуры. При контроле промышленных деталей измерение отражения света является важной задачей. Когумасака и др. [75] разработали небольшую систему измерения отражения с использованием камеры «рыбий глаз» и продемонстрировали, что система с камерой «рыбий глаз» является эффективным средством для высокоточной проверки качества поверхности.

3.2.3. Микродоменное зрение

Контроль качества в процессе массового производства микродеталей представляет собой серьезную проблему [76, 77]. В процессе микропроизводства возникновение дефектов поверхности является критической проблемой [78]. Тем не менее, некоторые традиционные платформы обнаружения часто не способны обнаруживать микродефекты на микродеталях [79]. В связи с этим некоторые исследователи предложили технологии обнаружения с помощью микродоменного зрения для получения и анализа 2D-текстур и 3D-информации о форме, что эффективно решило эту проблему.

Для металлических микрокомпонентов Веймер и др. [80] предложили технологию получения изображений на основе пленоптических камер. Конструкция пленоптических камер относительно компактна и позволяет легко реализовать интегрированное производство. Эффективная 2D и 3D информация может быть получена за один этап измерения с помощью пленоптических камер для получения изображений микрокомпонентов.

Этот метод отвечает требованиям контроля качества в микрообласти. Для реализации оперативного обнаружения поверхности Шольц-Рейтер и др. [76] разработали систему получения изображений дефектов поверхности микродеталей с использованием конфокальной лазерной микроскопии и реализовали автоматическое обнаружение дефектов. Ли и др. [81] разработали систему контроля качества с использованием технологии микрозрения для получения графической информации о микроаксессуаре. В этих методах технология микрообластного зрения сыграла значительную роль в задаче получения изображений высокого разрешения.

3.2.4. Многоспектральный

В некоторых сценариях промышленного обнаружения необходимо выбирать несколько фоточувствительных устройств визуализации для эффективного комбинирования на основе характеристик длины волны света, чтобы в полной мере отобразить характеристики объектов, подлежащих обнаружению, на полученных изображениях. Многоспектральная система визуализации может компенсировать недостатки традиционной ПЗС-матрицы для фоточувствительной визуализации.

Машинное зрение обладает большим потенциалом для обнаружения состояния локомотивов и подвижного состава. Многоспектральная съемка позволяет регистрировать физические и тепловые условия, а также их корреляции. Объединив многоспектральную съемку с машинным зрением, Харт и др. [82] предложили технологию многоспектрального машинного зрения, в которой некоторые видимые и инфракрасные (тепловые) камеры были размещены под рельсами для получения изображений. Эта технология может более эффективно контролировать физическое и тепловое состояние железнодорожного оборудования, чем существующие методы и технологии.

Помимо вышеперечисленных методов, существуют системы визуализации с высоким динамическим диапазоном [83, 84] и многовидовые системы визуализации [85] и т. д. В каждом конкретном проекте визуального обнаружения необходимо учитывать характеристики и требования к обнаружению тестируемых объектов, чтобы выбрать подходящий метод получения изображений.

4. Обработка изображений и обнаружение дефектов

Изображения являются носителями информации в машинном зрении. Обработка и анализ изображений являются ключевыми технологиями для автоматического получения понимания изображений, полученных аппаратным обеспечением в системах обнаружения зрения [86].

Обработка изображений имеет долгую историю развития. В 1920-х годах первое изображение было успешно передано с использованием технологии цифрового сжатия из Лондона в Нью-Йорк по подводным кабелям. Это стало началом технологии цифровой обработки изображений [87].

На ранних этапах простое обнаружение дефектов могло быть достигнуто с помощью примитивных методов фильтрации. Например, в 1973 году, в одной из первых попыток применения визуального контроля в промышленном производстве, Эджири и др. [88] описали метод, использующий двумерную нелинейную логическую фильтрацию для обнаружения дефектов в сложных структурах, таких как печатные платы. Он мог обнаруживать дефекты в сложных структурах в реальном времени. Впоследствии Хара и др. [89] предложили алгоритм для сравнения локальных характеристик проверяемых структур с характеристиками эталонной структуры, предназначенный для применения в автоматизированной системе контроля печатных плат.

В настоящее время, с развитием компьютерных технологий и математической теории, методы обработки и анализа изображений стали более многочисленными и совершенными. Гибкие конфигурации в современных производственных системах позволяют быстро переключаться с одного продукта на другой [90, 91].

Для традиционного машинного обучения необходимо разрабатывать сложные экстракторы признаков для конкретных случаев, чтобы можно было извлекать желаемые признаки. Кроме того, новые продукты могут иметь сложные текстурные узоры или изменения интенсивности, а дефекты поверхности могут быть любого размера, направления и формы.

Поэтому признаки, разработанные вручную, могут привести к недостаточной или неудовлетворительной эффективности контроля в сложных сценариях поверхности или динамических процессах. По сравнению с традиционным машинным обучением, главное преимущество глубокого обучения заключается в том, что эти богатые признаки не разрабатываются инженерами-людьми, а изучаются автоматически с помощью сверточных нейронных сетей на основе исходных данных [92].

Глубокое обучение доказало свою высокую эффективность в обнаружении сложных структур в многомерных данных [93]. Поэтому для обнаружения дефектов системами машинного зрения, основанными на технологиях обработки изображений, глубокое обучение может сыграть важную роль в начале эры интеллектуального обнаружения с помощью машинного зрения.

В промышленном производстве существует три типа типичных задач обнаружения дефектов на основе машинного зрения: классификация, локализация и сегментация. Некоторые примитивные методы предварительной обработки изображений могут помочь последующему анализу изображений и иногда могут решать несколько простых задач обнаружения дефектов.

Для большинства сценариев обнаружения дефектов требуется больше методов обработки изображений для извлечения достаточного количества признаков для понимания информации о дефекте. Для обучения признакам изображений основные типы архитектуры глубоких нейронных сетей включают сверточные нейронные сети (CNN) [94], глубокие сети доверия (DBN) [95] и стековые автокодировщики (SAE) [96]. Кроме того, долговременная кратковременная память (LSTM) [97] играет важную роль в изображениях с временной последовательностью характеристик. DBN и SAE могут помочь обнаружению слияния нескольких признаков достичь лучшего эффекта и точности.

4.1. Предварительная обработка изображений

Цель предварительной обработки изображений заключается в том, чтобы позволить машине лучше понимать изображение и подготовиться к следующему этапу анализа изображения [98]. Принцип предварительной обработки изображений состоит в устранении нерелевантной информации и восстановлении полезной реальной информации.

Некоторые факторы могут вызывать шум изображения, такие как полевая среда машинного зрения, фотоэлектрическое преобразование изображения ПЗС-матрицы, схема передачи и электронные компоненты. Эти шумы снижают качество изображения, что, в свою очередь, негативно влияет на анализ изображения. Поэтому шумоподавление является основной целью предварительной обработки изображений.

Предварительная обработка изображений обычно включает методы пространственной области и методы частотной области [86]. Основные алгоритмы предварительной обработки включают преобразование в оттенки серого, выравнивание гистограммы, различные алгоритмы фильтрации на основе пространственной и частотной областей [99, 100] и т. д. Кроме того, для шумоподавления изображений может использоваться математическая морфология [101].

Основным методом преобразования из пространственной области в частотную является преобразование Фурье, а репрезентативным инструментом обработки изображений в частотной области — вейвлет-преобразование.

4.1.1. Преобразование Фурье

Преобразование Фурье способствовало беспрецедентному процветанию промышленности и академической среды [ 102 ]. До преобразования Фурье обработка изображений ограничивалась операциями в пространственной области. Функция различных алгоритмов пространственной фильтрации заключается в свертывании изображения с различными шаблонами. Например, прямое преобразование в оттенки серого преобразует каждый пиксель изображения в соответствии с определенной функцией для получения улучшенного изображения. В целом, алгоритм пространственной фильтрации прост в использовании и обладает высокой производительностью в реальном времени; однако он не подходит для. сложной обработки изображений.

Преобразование Фурье позволяет преобразовать изображение из пространственной области в частотную, а его обратное преобразование позволяет преобразовать изображение из частотной области обратно в пространственную [103, 104]. Для обработки изображений двумерное дискретное преобразование Фурье (ДПФ) представляется следующим образом:

а обратное дискретное преобразование Фурье (ОДПФ) — это

где f(x, y) представляет собой цифровое изображение размером M × N , а затем представление в частотной области F(u, v) может быть получено с помощью формулы ( 1 ) [87].

В формулах (1) и (2) u(u = 0, 1, 2, …, M − 1) и v(v = 0, 1, 2, …, N − 1) представляют собой переменные в частотной области; x(x = 0, 1, 2, …, M − 1) и y(y = 0, 1, 2, …, N − 1) представляют собой переменные в пространственной области. Кроме того, j — мнимая единица, равная квадратному корню из −1.

С помощью преобразования Фурье изображение можно преобразовать в частотную область для преобразования и обработки. В частотной области данные отражают интенсивность изменений оттенков серого в изображении.

Фильтрация в частотной области модифицирует преобразование Фурье изображения, а затем вычисляет его обратное преобразование для получения обработанного результата. Например, фильтр скользящего среднего окна и линейный фильтр Винера используют фильтр нижних частот для шумоподавления, исходя из предположения, что энергия шума сосредоточена в высокочастотном диапазоне, а спектр изображения распределен в ограниченном диапазоне [87].

Для удаления шума Бай и Фэн [98] ввели новый класс уравнений анизотропной диффузии дробного порядка с использованием ДПФ. Их эксперименты показали, что предложенные уравнения дают хорошие визуальные эффекты и лучшее отношение сигнал/шум при шумоподавлении реальных изображений. Однако преобразование в частотной области является сложным, и стоимость операций высока.

4.1.2. Вейвлет-преобразование

В последние годы вейвлет-преобразование продемонстрировало свою эффективность в снижении шума и стало одним из основных направлений исследований в области обработки изображений [105, 106]. Вейвлет-преобразование обеспечивает локализационный анализ временной или пространственной частоты и постепенно уточняет сигнал путем масштабирования и сдвига [107]. Вейвлет-преобразование может разделять время на высокочастотные и низкочастотные составляющие, автоматически адаптируясь к требованиям анализа частотно-временного сигнала.

Вейвлет-преобразование играет важную роль в обработке изображений. Луисье и др. [108] представили алгоритм пороговой обработки ортонормированных вейвлетов в межмасштабном диапазоне. В этом методе процесс шумоподавления параметризовался суммой основных нелинейных процессов с неизвестными весами, а среднеквадратная ошибка очищенного изображения и чистого изображения минимизировалась.

Джайн и Тьяги [109] представили метод шумоподавления с сохранением границ, основанный на вейвлет-преобразованиях. Они разложили зашумленное изображение и улучшили качество шумоподавления за счет кластеризации. Янь и др. [110] представили новую процедуру пороговой обработки вейвлетами для подавления аддитивных гауссовых шумов в изображениях.

Этот метод эффективно преодолел разрывность жесткой пороговой функции. Для исследования сильно отражающих дефектов металлической поверхности Чжан и др. [22] эффективно удалили шум из изображения, обнулив определенные коэффициенты с помощью вейвлет-сглаживания.

Кроме того, вейвлет-преобразование также широко используется в слиянии изображений [111, 112], кодировании изображений [107, 113], сжатии изображений [114], шифровании изображений [115] и улучшении изображений [116, 117].

4.2. Классификация

Классификация дефектов обычно используется для обнаружения наличия определенного дефекта на изображении. Традиционный способ решения проблемы компьютерного зрения заключается в классификации предварительно обработанных изображений на основе признаков, созданных вручную. Большая часть исследований сосредоточена на построении признаков, созданных вручную, и алгоритмах классификации, и появились некоторые выдающиеся работы.

Извлечение признаков извлекает информацию, описывающую характеристики цели, из пикселей изображения, а затем отображает различия между различными целями в пространство признаков меньшей размерности, что помогает сжать объем данных и повысить эффективность распознавания. К распространенным признакам дефектов, используемым при визуальном осмотре, относятся признаки в оттенках серого, признаки формы и размера, а также текстурные признаки.

Признаки в оттенках серого являются наиболее интуитивно понятными признаками изображения, такими как статистические характеристики оттенков серого и статистические характеристики разницы оттенков серого. Признаки формы и размера являются важной информацией для идентификации различных дефектов. Распространенные дефекты могут быть обнаружены по информации о форме, такой как линии, кривые, эллипсы и прямоугольники, и информации о размере, такой как площадь и периметр. Текстура является важным признаком изображения. Она не использует цвет или яркость для отражения однородности изображений. Она представляет важную информацию о расположении поверхностных структур и их взаимосвязи с окружающей средой [118, 119].

В зависимости от характеристик дефектов существует множество методов извлечения признаков, которые можно использовать для классификации дефектов.

Гистограммы, как простые и эффективные дескрипторы признаков, основанные на статистических характеристиках, широко используются в области компьютерного зрения. Например, Ли и др. [120] предложили алгоритм классификации дефектов на основе признаков гистограммы для автоматического обнаружения дефектов как в неструктурированных, так и в структурированных тканях.

К общим статистическим признакам гистограмм относятся максимум, минимум, среднее значение, медиана, размах, энтропия, дисперсия, норма L1, норма L2, расстояние Бхаттачарьи и нормированный коэффициент корреляции. Вычисления просты и инвариантны относительно сдвига и вращения. Однако эти признаки отражают только вероятность уровня серого изображения, а не пространственное распределение пикселей [121, 122].

Матрица совместной встречаемости уровней серого (GLCM) — распространенный метод описания текстуры путем изучения пространственных корреляционных свойств оттенков серого. Она отражает исчерпывающую информацию об уровнях серого изображения относительно направления, смежного интервала и амплитуды изменения, которая может быть использована для анализа примитивов изображения и структуры расположения [123, 124, 125].

Преобразование Габора — это тип оконного кратковременного преобразования Фурье. Оконная функция — это функция Гаусса. Это преобразование имитирует биологическое действие человеческого глаза и может извлекать релевантные признаки в разных масштабах и направлениях в частотной области [126, 127].

Рахеджа и др. [128] представили новую схему автоматизированной системы обнаружения дефектов ткани с использованием GLCM и метода фильтра Габора. Экспериментальные результаты показали, что по сравнению с методом фильтра Габора, GLCM обладает большей точностью и вычислительной эффективностью в той же среде.

Локальный бинарный шаблон (ЛБШ) выражает связь между локальной соседней точкой и центральной точкой посредством бинарных битов [129]. Он обладает высокой устойчивостью к изменениям уровня серого изображения, вызванным изменениями освещения [127, 130, 131]. Для классификации дефектов ткани Чжан и др. [ 132 ] предложили алгоритм, который объединяет ЛБШ и GLCM. ЛБШ и GLCM используются для извлечения информации о локальных признаках и общей текстурной информации изображений дефектов соответственно. Однако алгоритм ЛБШ строит гистограмму изображений дефектов на основе пространственного кодирования пикселей соседней области, что может привести к потере информации о различении изображений дефектов.

Масштабно-инвариантное преобразование признаков (SIFT) — это дескриптор изображения для сопоставления и распознавания на основе изображений [133, 134]. Он позволяет добиться надежного сопоставления признаков с разных ракурсов путем извлечения уникальных инвариантных признаков из изображений. Извлеченные признаки инвариантны относительно масштабирования изображения, вращения, 3D-аффинных преобразований в определенном диапазоне, наложения шума и изменений освещения.

Дандердейл и др. [135] использовали дескриптор SIFT в сочетании с классификатором случайного леса для идентификации дефектных фотоэлектрических модулей. Дескриптор SIFT показал хорошие результаты и мог использоваться как для обнаружения, так и для описания локальных точек признаков. Однако SIFT предъявляет высокие требования к качеству изображения, что ограничивает его применение.

Гистограммы ориентированных градиентов (HOG) формируются путем вычисления статистических гистограмм направлений градиентов в локальных областях изображения [136]. Это позволяет поддерживать хорошую инвариантность к геометрическим и оптическим деформациям изображения. Халфави и Хенгмичай [137] представили эффективный алгоритм распознавания образов, использующий HOG и метод опорных векторов (SVM) для автоматического обнаружения и классификации дефектов труб. По сравнению с LBP, HOG позволяет легче извлекать информацию о краях и учитывать структурную информацию изображения. Однако алгоритм HOG может столкнуться с проблемами высокой размерности и пренебрежения текстурной информацией.

В извлечении признаков также используются ускоренные устойчивые признаки (SURF) [ 138 ], бинарные устойчивые независимые элементарные признаки (BRIEF) [139] и ориентированные FAST и повернутые BRIEF (ORB) [140]. Кроме того, существует множество вариаций классического метода; например, семейство LBP включает в себя завершенный локальный бинарный шаблон (CLBP) [141], эллиптический локальный бинарный шаблон (ELBP) [142], завершенный локальный бинарный шаблон смежной оценки (AECLBP) [5] и устойчивый локальный бинарный шаблон (RLBP) [ 143 ].

На основе этих классических алгоритмов в последние годы были предложены и некоторые новые алгоритмы извлечения признаков; например, Чжао и др. [144] предложили алгоритм дискриминантного многообразия с регуляризацией локального дескриптора (DMRLD) для классификации дефектов поверхности стали. По сравнению с гистограммами, созданными вручную, DMRLD обеспечивает лучшую устойчивость за счет использования структуры многообразия с механизмом обучения для представления информации, содержащейся в изображении.

Существует множество методов извлечения признаков, каждый из которых имеет свои преимущества и недостатки. Для конкретных объектов визуального контроля следует учитывать, насколько метод извлечения признаков использует общую информацию, насколько удобны его вычисления, может ли он соответствовать потребностям реального времени и т.д. Для многих прикладных задач использование комбинации нескольких методов извлечения признаков также является хорошим способом повышения эффективности и точности.

Для определения категорий дефектов изображения необходимо, чтобы выбранные признаки не только правильно описывали изображение, но и различали различные категории изображений. Основная задача классификации дефектов — обучить классификатор на основе извлеченного набора признаков, а затем научить его правильно определять тип каждого поверхностного дефекта с помощью методов распознавания образов с учителем или без учителя.

Метод опорных векторов (SVM) [145] и метод k-ближайших соседей (KNN) [146] являются репрезентативными классификаторами в контролируемом распознавании образов.

SVM подходят для небольших и средних выборок данных, а также для нелинейных, многомерных задач классификации, и широко используются в области промышленного визуального обнаружения. Например, Цзя и др. [147] описали систему машинного зрения в реальном времени, которая использует SVM для автоматического изучения сложных паттернов дефектов.

Ли и Хуан [148] предложили метод бинарной классификации паттернов дефектов, который сочетает в себе контролируемый SVM-классификатор с неконтролируемой кластеризацией самоорганизующихся карт, в которой SVM используется для классификации и идентификации производственных дефектов. Результаты показали, что этот метод может достичь точности классификации более 90%, что лучше, чем у нейронной сети обратного распространения. Однако это исследование было сосредоточено только на бинарной классификации карт.

Валаванис и Космопулос [149] предложили метод многоклассового обнаружения и классификации дефектов на основе многоклассового SVM и нейронной сети для рентгенограмм сварных швов. Для анализа спектральных данных в реальном времени Хуан и др. [150] разработали улучшенную модель классификации SVM на основе генетического алгоритма для точной оценки различных типов дефектов пористости в процессе сварки алюминиевого сплава. Кроме того, классификатор SVM сыграл значительную роль в контроле поверхностных дефектов медных полос [151, 152], мониторинге процесса лазерной сварки и диагностике дефектов [153], обнаружении дефектов подшипников колес [154] и т. д.

Алгоритм KNN оказался проще и стабильнее, чем нейронные сети [155, 156]. Для обнаружения дефектов ткани Йылдыз и др. [157] предварительно обработали изображения с помощью вейвлет-преобразования, пороговой обработки и патологических операций, а затем использовали метод GLCM для извлечения признаков. Наконец, изображения дефектов были классифицированы на основе алгоритма KNN со средней точностью 96%.

Четинер и др. [158] предложили метод извлечения признаков на основе вейвлет-моментов и классификации изображений дефектов на основе KNN, который может быть использован в системах автоматической классификации дефектов в лесной промышленности. Дас и Йена [159] представили метод, сочетающий методы извлечения признаков текстуры изображения.

Сначала для извлечения признаков изображения были объединены LBP и матрица длин серий уровней серого (GLRLM), а затем для классификации использовались KNN и SVM. Результаты экспериментов показали, что комбинация LBP и GLRLM может улучшить производительность извлечения признаков, а SVM демонстрирует лучшие результаты классификации, чем метод ближайшего соседа, в классификации текстурных признаков.

Поэтому Лэй и Цзуо [156] предложили алгоритм взвешенного K ближайших соседей (WKNN), основанный на двухэтапной технике выбора и взвешивания признаков (TFSWT), для улучшения производительности алгоритма KNN, и они успешно применили метод WKNN для идентификации трещин в зубчатых передачах.

Для классификации дефектов также можно использовать алгоритм без учителя. На основе кластеризации методом K-средних Мджахед и др. [160] представили эффективный алгоритм для решения многоцелевой задачи диагностики сигналов неисправностей с использованием генетического алгоритма. Хамди и др. [161] представили алгоритм обнаружения дефектов без учителя для узорчатых тканей.

Изображение, отфильтрованное по неэкстенсивному стандартному отклонению, было разделено на ряд блоков, а затем квадратичная разница между медианой каждого блока и средним значением медиан всех блоков была введена в алгоритм кластеризации методом K-средних для классификации блоков как дефектных или недефектных, при этом общая успешность обнаружения достигла 95%.

В таблице 2 сравниваются некоторые традиционные методы извлечения признаков и классификации дефектов.

Таблица 2. Эффективность традиционных методов извлечения признаков и классификации дефектов.

Методы	Представления
Histograms	Вычисления просты и инвариантны относительно смещения и вращения. Однако эти характеристики отражают только вероятность уровня серого изображения, а не пространственное распределение пикселей.
GLCM	Это отражает исчерпывающую информацию об уровнях серого изображения, включая направление, интервал между соседними участками и амплитуду изменения, что позволяет анализировать примитивы изображения и структуру его расположения.
Gabor transform	Он имитирует биологическую функцию человеческих глаз и позволяет извлекать релевантные признаки в различных масштабах и направлениях в частотной области.
LBP	Он обладает высокой устойчивостью к изменениям уровня серого изображения, вызванным изменениями освещения. Его часто используют для извлечения локальных текстурных признаков.
SIFT	Его можно использовать как для обнаружения, так и для описания локальных точек. Однако он предъявляет высокие требования к качеству изображения, что ограничивает его применение.
HOG	Этот метод позволяет легче извлекать информацию о границах и учитывать структурную информацию изображения. Однако он обладает низкой производительностью в реальном времени и чувствителен к шуму.
SURF	По сравнению с SIFT, его вычислительная скорость улучшена.
BRIEF	Отличная производительность в реальном времени, но необходимо улучшить инвариантность к вращению.
ORB	Он обладает высокой скоростью и хорошей устойчивостью к вращению. Однако погрешность масштабирования велика, а точность совмещения низкая.
SVM	Он обладает высокой скоростью, хорошей обобщающей способностью, а результаты легко объяснимы. Недостатком является непригодность для множественной классификации, чувствительность к отсутствующим данным, а также к выбору параметров и ядерной функции.
KNN	Это простой, понятный и легко реализуемый метод, не требующий обучения. Однако вычислительные затраты слишком велики, а надежность низкая.
K-means clustering	Принципиально это просто, и реализовать это легко. Однако параметры необходимо устанавливать вручную. Система чувствительна к шуму и выбросам.

В последние годы технологии искусственного интеллекта принесли огромную пользу промышленному производству. Нейронные сети являются важной ветвью в развитии искусственного интеллекта [162]. С повышением вычислительной мощности и появлением больших данных глубокое обучение, в основе которого лежит идея о том, что машины могут автоматически учиться на данных путем увеличения количества слоев сети, быстро развивалось и оказало значительное влияние на область машинного зрения. Методы глубокого обучения могут автоматически извлекать и комбинировать существенную информацию о признаках объектов, и они особенно хорошо подходят для классификации изображений.

CNN — наиболее популярная архитектура для классификации изображений. В 1998 году появление LeNet открыло эру CNN [94]. В 2012 году успех AlexNet [163] в конкурсе ImageNet способствовал применению глубокого обучения в компьютерном зрении. После этого появилась серия моделей CNN, таких как Network-in-network [164], VGGNet [ 165 ], GoogLeNet [166, 167, 168, 169], ResNet [170] и DenseNet [171]. В CNN существует три основных типа нейронных слоев, которые играют разные роли: сверточные слои, слои пулинга и полносвязные слои [172, 173].

Сверточные слои предназначены для обнаружения локальных комбинаций признаков из предыдущего слоя, слои пулинга предназначены для объединения семантически схожих признаков в один, а полносвязные слои в конечном итоге преобразуют карты признаков в вектор признаков [174], как показано на рис. 6.

Рис. 6. Архитектура модели CNN [174].

CNN изначально был разработан для анализа изображений; поэтому он хорошо подходит для автоматической классификации дефектов при визуальном контроле [175, 176, 177]. Согласно соответствующей литературе последних лет, применение глубокого обучения в промышленной классификации дефектов охватывает многие области, такие как промышленное производство и электронные компоненты.

Для контролируемой классификации дефектов стали Маски и др. [178] представили подход CNN с максимальным пулингом. По сравнению с классификаторами SVM, CNN дает гораздо лучшие результаты и может корректно работать с различными типами дефектов. Качество поверхности влияет не только на внешний вид изделий, но и на их характеристики.

Парк и др. [14] предложили универсальный подход на основе CNN для автоматического визуального контроля загрязнений, царапин, заусенцев и износа на поверхностях деталей. Их результаты показали, что предварительно обученная модель CNN хорошо работает на небольших наборах данных с улучшенной точностью для системы визуального контроля качества поверхности.

Для обнаружения дефектов литья с помощью рентгеновского контроля Лин и др. [179] предложили надежный метод обнаружения, основанный на механизме визуального внимания и глубоком обучении с отображением признаков, и создали CNN для извлечения признаков дефектов из потенциально дефектных областей и получения вектора признаков глубокого обучения.

Затем сходство подозрительных дефектных областей можно было рассчитать с помощью вектора признаков. Их результаты показали, что метод эффективен в решении проблемы ложных и пропущенных проверок. Нгуен и др. [180] предложили систему контроля на основе CNN для классификации дефектов в литых изделиях.

Однако модель глубокого обучения CNN может хорошо работать только при наличии большого количества высококачественных наборов данных. Ким и др. [181] предложили индикатор, который может различать дефекты и фоновую область для классификации типов дефектов в жидкокристаллических дисплеях на тонкопленочных транзисторах. Для процесса промышленного производства была выполнена автоматическая классификация дефектов на основе CNN.

Как один из наиболее представительных алгоритмов машинного зрения, сверточные нейронные сети (CNN) играют важную роль в классификации дефектов. Однако CNN становятся все более глубокими, и для их обучения требуются большие наборы данных и огромные вычислительные мощности. Кроме того, сбор размеченных наборов данных требует значительных человеческих усилий. Таким образом, в качестве дальнейшего направления исследований перспективным может стать обучение без учителя с помощью CNN.

Перенос обучения — это метод машинного обучения, при котором предварительно обученная модель используется в другой задаче. Перенос обучения может помочь решить проблему нехватки размеченных данных. Имото и др. [182] предложили метод переноса обучения на основе CNN для автоматической классификации дефектов. Результаты показали, что этот метод устойчив к нехватке размеченных данных и может достичь точности более 80% всего лишь с несколькими десятками размеченных точек данных.

4.3. Локализация

Для локализации дефекта необходимо точно определить его местоположение на заданном изображении и указать категорию дефекта. Как правило, локализация дефекта выполняется с помощью ряда методов обнаружения объектов.

Традиционные стратегии и алгоритмы обнаружения объектов включают в себя алгоритм Виолы-Джонса [183], HOG + SVM, подавление немаксимумов (NMS) [184], модель деформируемой части (DPM) [185], селективный поиск [186, 187] и граничные рамки [188]. Дин и др. [189] предложили схему обнаружения на основе HOG и SVM. HOG использовался для кодирования каждого блочного признака, а SVM — для классификации дефектов ткани.

Экспериментальные результаты показали, что этот метод на основе HOG и SVM относительно прост и легко реализуем в онлайн-приложениях. Доу и др. [190] предложили быстрый алгоритм сопоставления шаблонов (FTM) для обнаружения железнодорожных болтов и классификатор ближайшего соседа для определения правильного положения болта, который достиг более низкого уровня ложноположительных результатов, чем предыдущие методы. DPM — один из наиболее эффективных подходов, основанных на шаблонах, используемых в обнаружении объектов.

Для обнаружения дефектов железнодорожных крепежных элементов Хе и др. [191] предложили алгоритм деформируемой модели части с гауссовой смесью (GMDPM), основанный на признаках HOG. Вэй и др. [192] предложили эффективный алгоритм обнаружения дефектов в виде экспресс-боксов для определения формы и размера дефектов, и этот метод достиг точности 95,83%.

В последние годы, после успешного применения методов классификации изображений на основе CNN, технология обнаружения объектов на основе глубокого обучения также значительно продвинулась. Методы обнаружения объектов на основе глубокого обучения можно разделить на две основные категории. Одна генерирует регионы, а затем классифицирует каждый регион для получения различных категорий объектов.

Другая рассматривает обнаружение объектов как задачу регрессии или классификации и использует единую структуру для непосредственного получения окончательных категорий и местоположений [193]. Методы, основанные на предложении регионов, в основном включают регионы с признаками CNN (R-CNN) [194], пространственное пирамидальное объединение (SPP-net) [195], Fast R-CNN [196], Faster R-CNN [197], регионально-ориентированные полностью сверточные сети (R-FCN) [198], сети пирамид признаков (FPN) [199] и Mask R-CNN [200].

К методам, основанным на регрессии и классификации, относятся в основном MultiBox [201], AttentionNet [202], G-CNN [203], You Only Look Once (YOLO) [204], детектор MultiBox с одним прогоном (SSD) [205], YOLOv2 [206], RetinaNet [207], YOLOv3 [208] и YOLOv4 [209]. С точки зрения производительности, методы, основанные на предложении регионов, отличаются высокой точностью, но низкой скоростью; методы, основанные на регрессии и классификации, отличаются высокой скоростью, но низкой точностью.

На основе каскадной смешанной FPN Ву и др. [210] предложили двухэтапный детектор дефектов ткани. Архитектура сквозного обнаружения дефектов показана на рис. 7. Для решения проблем, вызванных малым пространством признаков дефектов и фоновым шумом, была предложена базовая модель извлечения признаков с параметрами соответствия и степенью соответствия.

Были созданы многоуровневые пирамидальные сети признаков для интеграции межмасштабных паттернов дефектов с целью слияния и улучшения признаков в модуле шеи. Для уточнения центров якорей и форм, используемых для генерации якорей, были предложены каскадные сети предложений управляемых областей (RPN). Экспериментальные результаты показали, что этот метод может улучшить производительность распознавания включенных и изменяющихся по размеру дефектов ткани.

Рис. 7. Архитектура обнаружения дефектов ткани от начала до конца [210]

Faster R-CNN — это современный метод обнаружения объектов в реальном времени, который позволяет генерировать области интереса (ROI) с помощью RPN вместо селективного поиска [197, 211]. Лей и др. [211] использовали Faster R-CNN для обнаружения дефектов в поляризаторе и для быстрого обнаружения и эффективного позиционирования дефектов.

Для дальнейшего повышения точности и эффективности обнаружения можно изменить количество слоев сети и скорректировать некоторые параметры сети для оптимизации тестовой модели. Лей и Суй [212] предложили метод Faster R-CNN для интеллектуального обнаружения неисправностей в высоковольтных линиях. Для обнаружения дефектов на изображении Faster R-CNN выбирает случайную область в качестве области предложения, а затем после обучения получает соответствующую категорию и местоположение определенного компонента. Эксперименты показали, что метод обнаружения, основанный на сетевой модели ResNet-101, может эффективно обнаруживать повреждения изоляторов и птичьи гнезда на высоковольтной линии.

Сунь и др. [213] предложили улучшенный метод Faster R-CNN для распознавания дефектов поверхности в ступицах колес. Последний слой максимального пулинга был заменен слоем пулинга ROI, как показано на рис. 8. Технология пулинга ROI использовалась для применения единой карты признаков для всех предложений, сгенерированных RPN за один проход.

Это позволило сетям обнаружения объектов использовать входную карту признаков с гибким размером и выводить карту признаков фиксированного размера. Экспериментальные результаты показали, что улучшенный метод Faster R-CNN обладает более высокой точностью обнаружения. Однако скорость обнаружения метода Faster R-CNN может не соответствовать требованиям реального времени промышленных приложений.

Рис. 8. Структура улучшенной Faster R-CNN [213]

YOLO — это алгоритм распознавания и определения местоположения объектов, основанный на глубокой нейронной сети, который выполняет обнаружение объектов с помощью регрессии с фиксированной сеткой [214]. Его основная характеристика — это скорость работы и возможность использования в системах реального времени. Основываясь на идее регрессии, YOLO принимает все изображение в качестве входных данных сети и напрямую регрессирует границы объекта и категорию объекта в нескольких положениях изображения.

Адибхатла и др. [215] использовали модель YOLO/CNN для обнаружения дефектов печатных плат и достигли точности обнаружения дефектов 98,79%. Однако типы дефектов, которые могут быть обнаружены этим методом, ограничены и нуждаются в оптимизации. Лю и др. [216] предложили подход активного обучения для контроля дефектов поверхности стали на основе YOLOv2. Эта модель достигает высокой эффективности, но за счет точности.

Цзин и др. [217] предложили улучшенную модель YOLOv3, используя алгоритм K-средних для кластеризации данных маркеров. Экспериментальные результаты показали, что улучшенная модель YOLOv3 обеспечивает лучшую производительность при обнаружении дефектов ткани. Однако производительность в реальном времени нуждается в улучшении. Как метод обнаружения на основе регрессии, сеть YOLOv4 обладает отличной скоростью обнаружения.

Однако точность обнаружения для небольших целей нуждается в улучшении. Для обнаружения трещин в железном материале Денг и др. [218] предложили каскадную сеть YOLOv4 (C-YOLOv4). Экспериментальные результаты показали, что C-YOLOv4 обладает лучшей устойчивостью и точностью обнаружения трещин.

SSD сочетает в себе некоторые стратегии YOLO и Faster R-CNN и использует многомасштабные региональные признаки для регрессии, что не только сохраняет высокую скорость метода YOLO, но и обеспечивает определенную точность работы.

Чжай и др. [219] предложили метод обнаружения объектов DF-SSD на основе DenseNet и слияния признаков. Сеть извлечения признаков DenseNet-S-32-1 была разработана для замены VGG-16 в SSD. Для эффективной интеграции низкоуровневых визуальных признаков и высокоуровневых семантических признаков они также разработали механизм слияния для многомасштабных слоев признаков. Экспериментальные результаты показали, что предложенный метод DF-SSD может обеспечить улучшенную производительность при обнаружении мелких объектов и объектов со специфическими связями.

4.4. Сегментация

Классификация и локализация дефектов позволяют получить информацию о типах дефектов и их относительном положении на изображениях. Кроме того, в интеллектуальном визуальном обнаружении сегментация дефектов, особенно на уровне пикселей, может служить важным ориентиром для оценки степени тяжести дефекта и проведения оценки его состояния.

Сегментация изображения — это процесс, который делит изображение на несколько конкретных и уникальных областей и предлагает объекты, представляющие интерес [220]. Цель сегментации изображения — предсказать категорию каждого пикселя на изображении. Для решения проблемы сегментации изображения для различных признаков исследователи предложили множество методов сегментации. В таблице 3 перечислены некоторые традиционные методы сегментации изображений и их характеристики.

Таблица 3. Традиционные методы сегментации изображений и их характеристики.

Классификации	Методы	Иллюстрации	Характеристики
Региональный	Пороговая сегментация [221, 222]	Пиксели изображения делятся на несколько категорий путем установки различных пороговых значений оттенков серого.	Это простой метод, требующий меньше вычислений, обеспечивающий стабильную работу и широко используемый. Он имеет решающее значение при выборе порогового значения.
	Региональный рост [223]	На основе определенных критериев роста несколько схожих субрегионов объединяются в более крупные регионы.	Этот метод прост и обеспечивает хорошую сегментацию даже связанных объектов. Однако он зависит от выбора начальных условий и требует больших вычислительных ресурсов; поэтому он не подходит для обнаружения в реальном времени.
	Кластеризация [224, 225]	На основе кластеризации пространство признаков сегментируется, а затем отображается в пространство исходного изображения для получения результатов сегментации.	Его преимущество заключается в хорошей гибкости и отсутствии необходимости в обучающих наборах данных. Однако иногда результаты зависят от выбора некоторых эмпирических параметров.
	Разделение и слияние [226]	На основе неоднородности области она делится на новые подобласти; затем области с одинаковым содержимым объединяются в новые, более крупные области, и, наконец, получается сегментированное изображение.	Ключевым моментом является разработка критериев разделения и слияния. Этот метод хорошо подходит для сегментации сложных изображений; однако алгоритм более сложный, вычислительные затраты велики, а сегментация может также разрушить границы областей.
На основе периферии	Дифференциальный оператор первого порядка [227, 228]	На основе разрывов локальных характеристик изображения используется алгоритм для выделения границы между объектом и фоном. Он включает операторы Роберта, Собеля, Превитта и Кирша.	Расчет прост и быстр; однако точность позиционирования невысока.
На основе периферии	Дифференциальный оператор второго порядка [227, 228]	Граница определяется путем нахождения точки пересечения с нулем второй производной шкалы серого изображения с использованием таких операторов, как операторы Кэнни, логарифмический оператор и оператор Лапласа.	Данный метод точен в определении границ, однако он чувствителен к шуму.
Основанный на конкретной теории	Вейвлет-преобразование [229, 230]	Главное преимущество метода многомасштабного обнаружения границ заключается в том, что он точно определяет границы в крупном масштабе и точно определяет местоположение точек границ в меньшем масштабе.	Вейвлет-преобразование позволяет сфокусироваться на любой детали объектов и обладает хорошими локализационными свойствами. Однако при обнаружении границ всё ещё существует противоречие между устойчивостью к шуму и точностью обнаружения.
Основанный на конкретной теории	Математическая морфология [231, 232]	Для достижения цели анализа и распознавания изображений соответствующая форма изображения извлекается с помощью структурных элементов определенной формы.	Выбор структурных элементов является гибким, однако одновременно приводит к низкой адаптивности алгоритма.

Эти методы основаны на различных моделях изображений, используют разные характеристики и имеют определенную область применения. Некоторые исследователи также интегрировали генетические алгоритмы [233] и вейвлет-методы [ 234 ] в сегментацию изображений и достигли положительных результатов.

Среди этих методов алгоритм кластеризации широко используется для сегментации дефектов. Алгоритм кластеризации — это алгоритм без учителя, который не требует обучающего набора данных. Он прост и быстр. Сегментация изображения делит изображение на несколько непересекающихся областей, что представляет собой процесс кластеризации пикселей [235].

Существует множество алгоритмов кластеризации, таких как нечеткий c-средний (FCM) [236], BIRCH [237], CURE [238], CLARANS [239], K-средний [240], CLARA [241], CHAMELEON [242], K-медоиды [242], DBSCAN [244], K-прототипы [245] и MAPK-средний [246]. Выбор алгоритма кластеризации зависит от цели кластеризации и типа данных.

Сюн и др. [247] предложили новую систему 3D-лазерного профилирования для обнаружения дефектов поверхности рельсов. В процессе обнаружения и классификации дефектов поверхности рельсов для объединения потенциальных дефектных точек в потенциальные дефектные области использовался алгоритм кластеризации K-средних.

Цзянь и др. [248] разработали систему обнаружения дефектов поверхности стекла экрана мобильного телефона. В этой системе была предложена улучшенная кластеризация методом нечетких c-средних (FCM) для более точной сегментации дефектов поверхности. Мельник и Тушницкий [249] предложили систему обнаружения и классификации дефектов печатных плат, в которой реализован алгоритм кластеризации K-средних. Ли и др. [250] предложили алгоритм кластеризации, который связывает области, расположенные близко друг к другу, для обнаружения кластерных дефектов, состоящих из множества мелких точечных дефектов. Схема процесса соединения областей A и B в методе кластеризации показана на рис. 9.

Рис. 9. Процесс соединения доменов А и В. Два отдельных домена А и В показаны на ( а ). Результат булевого объединения доменов А′ и В′ показан на ( б ). Результат соединения доменов А и В показан на ( в ) [250].

Глубокое обучение также принесло значительный прогресс в технологии сегментации изображений. Полностью сверточная сеть (FCN) — это прорывная модель семантической сегментации, которая обладает более высокой точностью, чем традиционные подходы [251]. FCN могут эффективно обучаться делать плотные предсказания для задач на уровне пикселей, например, для семантической сегментации, как показано на рис. 10.
Рис. 10. Полностью сверточная сеть [252]

Методы сегментации на основе FCN также играют важную роль в промышленных приложениях. Ю и др. [253] представили новую двухэтапную структуру FCN для сегментации дефектов поверхности. Двухэтапная структура повышает обобщаемость и возможность повторного использования FCN. Ли и др. [254] использовали регионально-ориентированные полностью сверточные сети (R-FCN) для исследования дефектов изоляторов.

Экспериментальные результаты показали, что алгоритм R-FCN обладает хорошей устойчивостью и адаптивностью к окружающей среде. При исследовании трещин традиционные подходы не позволяют одновременно идентифицировать и измерять различные типы трещин на пиксельном уровне. Ян и др. [255] применили FCN для изучения автоматического обнаружения и измерения трещин на пиксельном уровне, и их результаты показали, что точность прогнозирования улучшилась на пиксельном уровне, а время обучения значительно сократилось.

Однако разрешение карт признаков, генерируемых FCN, было низким, а результаты прогнозирования — грубыми из-за большой потери пространственной информации при уменьшении разрешения. Цю и др. [256] представили 3-этапную FCN для попиксельной сегментации дефектов поверхности. FCN — это современный алгоритм для сегментации общих объектов. Однако для небольших наборов данных его производительность не соответствует требованиям. Экспериментальные результаты показали, что метод нарезки может повысить эффективность FCN на небольших наборах данных в промышленных условиях.

В настоящее время распространенными алгоритмами сегментации изображений, помимо FCN, являются U-Net [257], SegNet [258], Mask R-CNN и PSPNet [259]. Эти модели имеют архитектуру кодировщик-декодировщик, где CNN используется в качестве кодировщика для извлечения признаков, а сеть деконволюции и пропускные соединения используются в качестве декодеров для отображения признаков на выходное изображение. U-Net изначально был предложен для сегментации изображений в оттенках серого в биомедицинских изображениях. SegNet обеспечивает хороший компромисс между эффективностью, объемом памяти и точностью. Mask R-CNN может использоваться для сегментации экземпляров. PSPNet использует структуру модуля пирамидального пулинга, которая может извлекать более мелкие и локализованные признаки, в то время как слои большого размера могут извлекать глобальную информацию.

Кроме того, в зависимости от конкретного сценария применения визуального контроля постоянно предлагались дополнительные методы сегментации дефектов. Например, Ю и др. [260] предложили адаптивную сеть выбора глубины и рецептивного поля. В этом методе был разработан адаптивный механизм выбора глубины для извлечения признаков различной глубины, а также предложен адаптивный блок рецептивного поля для выбора наилучшей области принятия. Экспериментальные результаты для набора данных сегментации дефектов литья показали, что предложенный метод достиг лучших результатов, чем существующие алгоритмы сегментации.

Таберник и др. [261] предложили архитектуру глубокого обучения на основе сегментации для обнаружения дефектов поверхности. Архитектура сети была разработана в два этапа, как показано на рис. 11. На первом этапе использовалась сеть сегментации для точного определения местоположения дефектов поверхности на пиксельном уровне. После сегментации дефектов каждый пиксель обучался как независимый образец, что увеличило эффективное количество обучающих образцов.

Затем на втором этапе была создана сеть принятия решений для бинарной классификации изображений. Результаты экспериментов показали, что этот метод позволяет завершить обучение на небольшом наборе данных с примерами дефектов, для чего требуется всего 25–30 обучающих выборок. Это имеет большое значение для некоторых сценариев промышленного применения с ограниченным количеством обучающих выборок, и данный метод эффективно повышает практическую применимость методов глубокого обучения.

Рис. 11. Двухэтапная архитектура с сегментацией и сетями принятия решений [261].

4.5. Распознавание периодических дефектов на основе LSTM

Как архитектура глубокого обучения, специально разработанная для прогнозирования временных рядов, RNN разделяет параметры между всеми временными шагами, чтобы изучить информацию, которая повторялась в прошлом [262]. LSTM является одной из представительных архитектур в RNN [97]. В промышленной визуальной инспекции LSTM является эффективным методом для обнаружения дефектов с выраженными временными характеристиками.

Ху и др. [262] предложили модель рекуррентной нейронной сети LSTM (LSTM-RNN) для классификации распространенных дефектов в задаче неразрушающего контроля сотовых материалов с использованием инфракрасной термографии. Аналогично, Ван и др. [263] использовали метод LSTM-RNN для определения глубины дефектов внутри полимерных структур, армированных углеродным волокном, достигнув лучших результатов, чем CNN.

Алгоритм слияния CNN и LSTM также является широко используемым методом обнаружения дефектов. Для задачи онлайн-мониторинга расплавленной ванны Лю и др. [264] предложили алгоритм CNN-LSTM, сочетающий преимущества CNN и LSTM. Сначала из изображений расплавленной ванны извлекались векторы признаков с помощью CNN, а затем LSTM использовался для распознавания дефектов сварки. Экспериментальные результаты показали, что точность алгоритма CNN-LSTM может достигать 94% в задаче обнаружения дефектов для расплавленной ванны при сварке CO2, описанной в литературе, и что он обладает высокой эффективностью (время обработки каждого изображения составляло 0,067 мс), что полностью соответствует промышленным требованиям мониторинга в реальном времени.

На основе особенностей периодических дефектов в виде следов прокатки на пластинах Лю и др. [265] предложили метод обнаружения дефектов, основанный на гибридной сверточной нейронной сети (CNN) и сети LSTM. Для повышения эффективности обнаружения в метод также был интегрирован алгоритм механизма внимания. Полная архитектура сети показана на рис. 12.

В качестве конечного выхода O обозначает наличие периодического дефекта в последовательности изображений. Экспериментальные результаты показали, что метод обнаружения обладает хорошей эффективностью в идентификации периодических дефектов и имеет показатель обнаружения 86,2% в экспериментальных условиях, описанных в литературе. Однако интеграция механизма внимания увеличивает сложность алгоритма и требует более высокой вычислительной мощности.

Рис. 12. Архитектура сети CNN + LSTM + алгоритм внимания [265]

4.6. Многофакторное слияние признаков на основе DBN и SAE

SAE — это метод предварительного обучения без учителя, который кодирует входные данные из многомерного пространства в низкомерное пространство, а затем декодирует данные из низкомерного пространства в многомерное пространство стек за стеком [266, 267].

Секер и Юксек [268] выполнили обнаружение дефектов ткани на основе метода SAE. После тонкой настройки гиперпараметров модели глубокого обучения они достигли показателя обнаружения 96% на своих собственных наборах данных. Ян и Цзян [267] предложили унифицированную глубокую нейронную сеть с многоуровневыми признаками для классификации дефектов сварных швов.

Для обнаружения дефектов сварных швов на рентгеновских снимках они исследовали SAE для стратегий предварительного обучения и тонкой настройки. Как своего рода алгоритм предварительного обучения без учителя, SAE может улучшить обобщающую способность и уменьшить вероятность переобучения, как показано на рис. 13. Результаты показывают, что единая глубокая нейронная сеть может в полной мере использовать многоуровневые признаки, извлеченные из каждого скрытого слоя.

Рис. 13. Многослойные автокодировщики для предварительного обучения глубоких нейронных сетей [267].

В DBN используется ограниченная машина Больцмана (RBM) в качестве обучающего модуля [269]. В DBN два верхних слоя образуют неориентированный граф, а остальные слои образуют сеть доверия с направленными нисходящими связями [173]. Графическое изображение DBN показано на рис. 14.

Рис. 14. Графическое изображение ДБН [173]

Чен и др. [270] разработали классификатор Softmax на основе DBN для классификации неисправностей подшипников. DBN может использоваться для автоматической классификации исходных данных по соответствующим классам. Кроме того, был предложен новый метод слияния признаков нескольких датчиков для диагностики неисправностей подшипников на основе DBN и SAE [271].

В этом исследовании SAE извлекал признаки из нескольких датчиков и объединял их в один поток. Затем признаки, объединенные SAE, использовались для обучения DBN для диагностики и классификации неисправностей. Экспериментальные результаты показали, что этот метод SAE-DBN может эффективно определять условия работы машины.

С появлением Manufacturing III [272] обнаружение дефектов будет развиваться от обнаружения на основе изображений к комплексному обнаружению с использованием множества датчиков. Архитектуры глубокого обучения, такие как DBN и SAE, могут помочь обнаружению с использованием множества признаков достичь лучшего эффекта и точности, что заслуживает дальнейших исследований.

5. Выводы и перспективы

Машинное зрение значительно расширило возможности, повысило эффективность, качество и надежность промышленного контроля, что привело к ряду достижений, которые нельзя игнорировать в современной промышленности. Однако в области применения машинного зрения еще предстоит провести дальнейшие исследования.

Во-первых, машинное зрение — это тип обнаружения в реальном времени на линии, который включает в себя большие объемы данных, избыточную информацию и многомерное пространство признаков. Скорость обработки изображений является одним из основных узких мест, влияющих на производительность систем машинного зрения в реальном времени. До сих пор сложно обеспечить обнаружение в реальном времени на линии для объектов со сложной формой.

Вторая проблема — это помехоустойчивость систем визуального обнаружения. Визуальный контроль должен быть способен повысить надежность обнаружения, чтобы уменьшить зависимость от среды получения изображения.

Уровень интеллекта системы визуального обнаружения — еще одно узкое место; в то время как сложную помеховую среду можно определить вручную с первого взгляда, машине это сделать сложно, и она может даже допустить ошибку.

Хотя технология машинного зрения, возможно, и не идеальна, обнаружение дефектов на основе машинного зрения по-прежнему остается основным направлением будущих исследований и разработок в этой области. Поэтому в дальнейшем развитии необходимо учитывать ряд важных моментов.

5.1. Надежный универсальный алгоритм для баланса между эффективностью и точностью.

Искусственный интеллект, представленный глубоким обучением, стал важной областью в промышленности в результате стремительного технологического развития последних лет. Глубокое обучение знаменует собой значительную веху в визуальном контроле. Многие алгоритмы могут быть использованы для достижения высокой точности, но не могут быть использованы для обнаружения в реальном времени. Напротив, некоторые алгоритмы очень быстры, но не могут достичь идеальной точности. Кроме того, некоторые алгоритмы могут работать для обнаружения продуктов в экспериментальных случаях, но могут не подходить для практического производства. Поэтому изучение надежного алгоритма, который обеспечивает как эффективность, так и точность, является значимым направлением исследований.

Более того, большинство алгоритмов глубокого обучения сильно зависят от больших наборов данных, что стало основным фактором, ограничивающим применение этих методов в некоторых областях. Перенос обучения наиболее эффективен, когда исходная сеть была обучена на данных, аналогичных целевой сети [273]. Слабо контролируемое обучение, включая неполное, неточное или неточное обучение, может стать эффективным способом решения проблемы дорогостоящего сбора данных [274, 275, 276].

5.2. Объединение нескольких технологий обнаружения

Визуальный осмотр — это технология обнаружения на основе изображений, которая в основном направлена на поверхность объектов. Однако во многих случаях промышленный контроль касается не только поверхности, но и характеристик всего объекта в целом.

В эпоху Индустрии 4.0, чтобы сделать машины более интеллектуальными, необходимо продолжить изучение комплексных технологий обнаружения [277]. Визуальный осмотр может быть объединен с микротермическими датчиками [278], ультразвуковыми направленными волнами [279], вихретоковым детектором [280], лазерной сканирующей термографией [281] и т. д., чтобы обеспечить полный спектр осмотра и оценки объектов.

5.3. Производительность в реальном времени

Машинное зрение в основном используется на промышленных производственных линиях, где требуется обработка данных в реальном времени. Объём данных, задействованных в визуальном контроле, очень велик. Однако обработка изображений требует времени, что приводит к задержкам во всей системе. Главная трудность в разработке систем обнаружения в реальном времени заключается в скорости обработки изображений.

Алгоритмы обработки и анализа изображений следует дополнительно оптимизировать для повышения скорости системы визуального контроля, что является ключевой технологией для дальнейших исследований в будущем. Конечно, отличные аппаратные средства также очень важны, например, высокопроизводительные компьютеры.

Предсказуемо, что с развитием технологии связи 5G с низкой задержкой использование сети для загрузки данных изображений на мощные облачные серверы для обработки также является достойным решением [282]. Кроме того, ожидается, что следующее поколение вычислительных технологий, представленное квантовыми вычислениями [283], внесет свой вклад в повышение вычислительной мощности процесса визуального контроля.

5.4. Визуальный осмотр в экстремально малых масштабах

Производство III рассматривает атомное и близкое к масштабу производство (ACSM) как основную технологию и стало главной тенденцией развития производства в будущем [79, 272, 284]. Для развития ACSM очень важной областью станет обнаружение дефектов. Например, нейронная сеть может рассматривать поверхность образца под микроскопом и в режиме реального времени возвращать информацию об атомной структуре и дефектах решетки. На атомном уровне размер наборов данных растет экспоненциально; поэтому применение глубокого обучения может стать эффективным подходом для достижения больших прорывов.

Литература

Wang, T., Chen, Y., Qiao, M., & Snoussi, H. (2018). A fast and robust convolutional neural network-based defect detection model in product quality control. The International Journal of Advanced Manufacturing Technology, 94(9–12), 3465–3471.
Liao, Z., Abdelhafeez, A., Li, H., Yang, Y., Diaz, O. G., & Axinte, D. (2019). State-of-the-art of surface integrity in machining of metal matrix composites. International Journal of Machine Tools and Manufacture, 143, 63–91.
Kim, D. H., Kim, T. J., Wang, X. L., Kim, M., Quan, Y. J., Oh, J. W., et al. (2018). Smart machining process using machine learning: A review and perspective on machining industry. International Journal of Precision Engineering and Manufacturing-Green Technology, 5(4), 555–568.
Bulnes, F. G., Usamentiaga, R., Garcia, D. F., & Molleda, J. (2016). An efficient method for defect detection during the manufacturing of web materials. Journal of Intelligent Manufacturing, 27(2), 431–445.
Song, K., & Yan, Y. (2013). A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects. Applied Surface Science, 285, 858–864.
Zhang, H., Shen, X., Bo, A., Li, Y., Zhan, H., & Gu, Y. (2017). A multiscale evaluation of the surface integrity in boring trepanning association deep hole drilling. International Journal of Machine Tools and Manufacture, 123, 48–56.
Rao, X., Zhang, F., Lu, Y., Luo, X., & Chen, F. (2020). Surface and subsurface damage of reaction-bonded silicon carbide induced by electrical discharge diamond grinding. International Journal of Machine Tools and Manufacture, 154, 103564.
Huang, S. H., & Pan, Y. C. (2015). Automated visual inspection in the semiconductor industry: A survey. Computers in industry, 66, 1–10.
Ravimal, D., Kim, H., Koh, D., Hong, J. H., & Lee, S.-K. (2020). Image-based inspection technique of a machined metal surface for an unmanned lapping process. International Journal of Precision Engineering and Manufacturing-Green Technology, 7(3), 547–557.
Mital, A., Govindaraju, M., & Subramani, B. (1998). A comparison between manual and hybrid methods in parts inspection. Integrated Manufacturing Systems, 9(6), 344–349.
Malamas, E. N., Petrakis, E. G., Zervakis, M., Petit, L., & Legat, J.-D. (2003). A survey on industrial vision systems, applications and tools. Image and Vision Computing, 21(2), 171–188.
Kopardekar, P., Mital, A., & Anand, S. (1993). Manual, hybrid and automated inspection literature and current research. Integrated Manufacturing Systems, 4(1), 18–29.
Davies, E. R. (2012). Computer and machine vision: Theory, algorithms, practicalities. Academic.
Park, J. K., Kwon, B. K., Park, J. H., & Kang, D. J. (2016). Machine learning-based imaging system for surface defect inspection. International Journal of Precision Engineering and Manufacturing-Green Technology, 3(3), 303–310.
Kim, J., & Lee, S. (2017). Deep learning of human visual sensitivity in image quality assessment framework. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1676–1684).
Batchelor, B. G. (2012). Machine vision handbook. . Springer.
Penumuru, D. P., Muthuswamy, S., & Karumbu, P. (2019). Identification and classification of materials using machine vision and machine learning in the context of industry 4.0. Journal of Intelligent Manufacturing, 31, 1229–1241.
Ali, M. A., & Lun, A. K. (2019). A cascading fuzzy logic with image processing algorithm–based defect detection for automatic visual inspection of industrial cylindrical object’s surface. The International Journal of Advanced Manufacturing Technology, 102(1–4), 81–94.
Badmos, O., Kopp, A., Bernthaler, T., & Schneider, G. (2020). Image-based defect detection in lithium-ion battery electrode using convolutional neural networks. Journal of Intelligent Manufacturing, 31(4), 885–897.
Di Leo, G., Liguori, C., Pietrosanto, A., & Sommella, P. (2017). A vision system for the online quality monitoring of industrial manufacturing. Optics and Lasers in Engineering, 89, 162–168.
Sun, T. H., Tien, F. C., Tien, F. C., & Kuo, R. J. (2016). Automated thermal fuse inspection using machine vision and artificial neural networks. Journal of Intelligent Manufacturing, 27(3), 639–651.
Zhang, X. W., Ding, Y. Q., Lv, Y. Y., Shi, A. Y., & Liang, R. Y. (2011). A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM. Expert Systems with Applications, 38(5), 5930–5939.
Sun, X., Gu, J., Tang, S., & Li, J. (2018). Research progress of visual inspection technology of steel products—A review. Applied Sciences, 8(11), 2195.
Liu, H. J., Wang, Y. N., & Duan, F. (2003). Image capture in machine vision. Computer and Information Technology, (1), 18–21.
Wang, J. L., Qu, X. H., & Zhao, Y. (2009). Design of lighting system in multi vision detection. Electro-Optic Technology Application, 24(4), 1–5.
Mersch, S. (1987). Overview of machine vision lighting techniques. In Optics, illumination, and image sensing for machine vision (Vol. 728, pp. 36–38). International Society for Optics and Photonics.
Cowan, C. K. (1991). Automatic camera and light-source placement using CAD models. In Workshop on directions in automated CAD-based vision (pp. 22–32). IEEE Computer Society.
Sieczka, E. J., & Harding, K. G. (1992). Light source design for machine vision. In Optics, illumination, and image sensing for machine vision VI (Vol. 1614, pp. 2–10). International Society for Optics and Photonics.
Yi, S., Haralick, R. M., & Shapiro, L. G. (1995). Optimal sensor and light source positioning for machine vision. Computer Vision and Image Understanding, 61(1), 122–137.
Kopparapu, S. K. (2006). Lighting design for machine vision application. Image and Vision Computing, 24(7), 720–726.
Li, Y., Wang, S., Tian, Q., & Ding, X. (2015). A survey of recent advances in visual feature detection. Neurocomputing, 149, 736–751.
Dan, D., Lei, M., Yao, B., Wang, W., Winterhalder, M., Zumbusch, A., et al. (2013). DMD-based LED-illumination super-resolution and optical sectioning microscopy. Scientific Reports, 3, 1116.
Moreno, I. (2012). Image-like illumination with LED arrays: design. Optics Letters, 37(5), 839–841.
Chertov, A. N., Gorbunova, E. V., Korotaev, V. V., & Peretyagin, V. S. (2014). Solution of multi-element LED light sources development automation problem. In Thirteenth international conference on solid state lighting (Vol. 9190, p. 919015). International Society for Optics and Photonics.
Moreno, I., Avendaño-Alejo, M., & Tzonchev, R. I. (2006). Designing light-emitting diode arrays for uniform near-field irradiance. Applied Optics, 45(10), 2265–2272.
Hou, T.-H.T. (2001). Automated vision system for IC lead inspection. International Journal of Production Research, 39(15), 3353–3366.
Perng, D. B., Liu, H. W., & Chang, C. C. (2011). Automated SMD LED inspection using machine vision. The International Journal of Advanced Manufacturing Technology, 57(9–12), 1065–1077.
Albeanu, D. F., Soucy, E., Sato, T. F., Meister, M., & Murthy, V. N. (2008). LED arrays as cost effective and efficient light sources for widefield microscopy. PLoS ONE, 3(5), e2146.
Gao, F., Li, Z., Xiao, G., Yuan, X., & Han, Z. (2012). An online inspection system of surface defects for copper strip based on computer vision. In 2012 5th international congress on image and signal processing (pp. 1200–1204). IEEE.
Liu, Y. J., Kong, J. Y., Wang, X. D., & Jiang, F. Z. (2010). Research on image acquisition of automatic surface vision inspection systems for steel sheet. In 2010 3rd international conference on advanced computer theory and engineering (ICACTE) (Vol. 6, pp. 189–192). IEEE.
Ryer, A., & Light, V. (1997). Light measurement handbook. Newburyport, MA: International Light.
Braun, D., & Heeger, A. J. (1991). Visible light emission from semiconducting polymer diodes. Applied Physics Letters, 58(18), 1982–1984.
Lee, D.-J., Schoenberger, R., Archibald, J., & McCollum, S. (2008). Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging. Journal of Food Engineering, 86(3), 388–398.
Al-Mallahi, A., Kataoka, T., Okamoto, H., & Shibata, Y. (2010). Detection of potato tubers using an ultraviolet imaging-based machine vision system. Biosystems Engineering, 105(2), 257–265.
Mery, D., Lillo, I., Loebel, H., Riffo, V., Soto, A., Cipriano, A., et al. (2011). Automated fish bone detection using X-ray imaging. Journal of Food Engineering, 105(3), 485–492.
Rocha, H., Peretta, I. S., Lima, G. F. M., Marques, L. G., & Yamanaka, K. (2016). Exterior lighting computer-automated design based on multi-criteria parallel evolutionary algorithm: Optimized designs for illumination quality and energy efficiency. Expert Systems with Applications, 45, 208–222.
Sansoni, G., Biancardi, L., Minoni, U., & Docchio, F. (1994). A novel, adaptive system for 3-D optical profilometry using a liquid crystal light projector. IEEE Transactions on Instrumentation and Measurement, 43(4), 558–566.
Yang, S., Yang, L., Zhang, G., Wang, T., & Yang, X. (2018). Modeling and calibration of the galvanometric laser scanning three-dimensional measurement system. Nanomanufacturing and Metrology, 1(3), 180–192.
Zhang, S. (2018). High-speed 3D shape measurement with structured light methods: A review. Optics and Lasers in Engineering, 106, 119–131.
Li, Y., Wang, Q. L., Li, Y. F., Xu, D., & Tan, M. (2008). On-line visual measurement and inspection of weld bead using structured light. In 2008 IEEE instrumentation and measurement technology conference (pp. 2038–2043). IEEE.
Lilienblum, E., & Al-Hamadi, A. (2015). A structured light approach for 3-D surface reconstruction with a stereo line-scan system. IEEE Transactions on Instrumentation and Measurement, 64(5), 1258–1266.
Chen, J. H., Shen, K., Wu, X., Zhou, X., Han, F. F., & Li, J. W. (2015). Design of stroboscopic light source used in measurement for high-speed motion object. In 2015 fifth international conference on instrumentation and measurement, computer, communication and control (IMCCC) (pp. 1135–1138). IEEE.
Tian, G. Y., Lu, R. S., & Gledhill, D. (2007). Surface measurement using active vision and light scattering. Optics and Lasers in Engineering, 45(1), 131–139.
Yang, Y., Miao, C., Li, X., & Mei, X. (2014). On-line conveyor belts inspection based on machine vision. Optik, 125(19), 5803–5807.
Peng, T. G., & He, Y. H. (2013). Adaptive illumination light source for online machine vision inspection of tin steel strips. Baosteel Technical Research, 7(4), 25.
Clancy, N. T., Stoyanov, D., Yang, G.-Z., & Elson, D. S. (2012). Stroboscopic illumination scheme for seamless 3D endoscopy. In Advanced biomedical and clinical diagnostic systems X (Vol. 8214, pp. 82140M). International Society for Optics and Photonics.
Golnabi, H., & Asadpour, A. (2007). Design and application of industrial machine vision systems. Robotics and Computer-Integrated Manufacturing, 23(6), 630–637.
Bigas, M., Cabruja, E., Forest, J., & Salvi, J. (2006). Review of CMOS image sensors. Microelectronics Journal, 37(5), 433–451.
Schroder, D. (1974). A two-phase germanium charge-coupled device. Applied Physics Letters, 25(12), 747–749.
Taylor, S. A. (1998). CCD and CMOS imaging array technologies: Technology review. Xerox Research Centre Europe.
White, M. H., Lampe, D. R., Blaha, F. C., & Mack, I. A. (1974). Characterization of surface channel CCD image arrays at low light levels. IEEE Journal of Solid-State Circuits, 9(1), 1–12.
Dillon, P. L., Lewis, D. M., & Kaspar, F. G. (1978). Color imaging system using a single CCD area array. IEEE Journal of Solid-State Circuits, 13(1), 28–33.
Beyer, H. A. (1990). Calibration of CCD-cameras for machine vision and robotics. In Automated inspection and high-speed vision architectures III (Vol. 1197, pp. 88–98). International Society for Optics and Photonics.
Jurkovic, J., Korosec, M., & Kopac, J. (2005). New approach in tool wear measuring technique using CCD vision system. International Journal of Machine Tools and Manufacture, 45(9), 1023–1030.
Dworkin, S., & Nye, T. (2006). Image processing for machine vision measurement of hot formed parts. Journal of Materials Processing Technology, 174(1–3), 1–6.
Nehir, M., Frank, C., Aßmann, S., & Achterberg, E. P. (2019). Improving optical measurements: non-linearity compensation of compact charge-coupled device (CCD) spectrometers. Sensors, 19(12), 2833.
Mehta, S., Patel, A., & Mehta, J. (2015). CCD or CMOS Image sensor for photography. In 2015 international conference on communications and signal processing (ICCSP) (pp. 0291–0294). IEEE.
Akhlaq, M., Sheltami, T. R., Helgeson, B., & Shakshuki, E. M. (2012). Designing an integrated driver assistance system using image sensors. Journal of Intelligent Manufacturing, 23(6), 2109–2132.
Sun, T. H., Tseng, C. C., & Chen, M.-H. (2010). Electric contacts inspection using machine vision. Image and Vision Computing, 28(6), 890–901.
Chiou, Y. C., & Li, W. C. (2009). Flaw detection of cylindrical surfaces in PU-packing by using machine vision technique. Measurement, 42(7), 989–1000.
Shen, H., Li, S., Gu, D., & Chang, H. (2012). Bearing defect inspection based on machine vision. Measurement, 45(4), 719–733.
Sun, J., & Zhu, J. H. (2008). Calibration and correction for omnidirectional image with a fisheye lens. In 2008 fourth international conference on natural computation (Vol. 6, pp. 133–137). IEEE.
Hansen, P., Alismail, H., Rander, P., & Browning, B. (2015). Visual mapping for natural gas pipe inspection. The International Journal of Robotics Research, 34(4–5), 532–558.
Chen, Y. H., Chang, C. L., Hwang, C. H., & Wang, W. C. (2013). Omnidirectional image of fish-eye lens for contact lens inspection system. In 2013 IEEE International instrumentation and measurement technology conference (I2MTC) (pp. 1152–1155). IEEE.
Kogumasaka, N., Ohtani, K., & Baba, M. (2017). Surface finishing inspection using a fisheye camera system. In 2017 56th annual conference of the society of instrument and control engineers of Japan (SICE) (pp. 487–491). IEEE.
Scholz-Reiter, B., Weimer, D., & Thamer, H. (2012). Automated surface inspection of cold-formed micro-parts. CIRP Annals, 61(1), 531–534.
Zhang, S., Zhou, Y., Zhang, H., Xiong, Z., & To, S. (2019). Advances in ultra-precision machining of micro-structured functional surfaces and their typical applications. International Journal of Machine Tools and Manufacture, 142, 16–41.
Fang, F. Z., Zhang, X. D., Gao, W., Guo, Y. B., Byrne, G., & Hansen, H. N. (2017). Nanomanufacturing-Perspective and applications. CIRP Annals, 66(2), 683–705.
Mathew, P. T., Rodriguez, B. J., & Fang, F. Z. (2020). Atomic and close-to-atomic scale manufacturing: A review on atomic layer removal methods using atomic force microscopy. Nanomanufacturing and Metrology, 3, 167–186.
Weimer, D., Thamer, H., Fellmann, C., Lütjen, M., Thoben, K.-D., & Scholz-Reiter, B. (2014). Towards 100% in-situ 2D/3D quality inspection of metallic micro components using plenoptic cameras. Procedia CIRP, 17, 847–852.
Li, D. J., Wang, S. W., & Fu, Y. (2017). Quality detection system and method of micro-accessory based on microscopic vision. Modern Physics Letters B, 31(29), 1750270.
Hart, J. M., Resendiz, E., Freid, B., Sawadisavi, S., Barkan, C., & Ahuja, N. (2008). Machine vision using multi-spectral imaging for undercarriage inspection of railroad equipment. In Proceedings of the 8th world congress on railway research, Seoul, Korea (Vol. 18).
Banterle, F. (2011). Advanced high dynamic range imaging: Theory and practice (1st ed.). A K Peters/CRC Press.
Feng, W., Zhang, F. M., Wang, W. J., Xing, W., & Qu, X. H. (2017). Digital micromirror device camera with per-pixel coded exposure for high dynamic range imaging. Applied Optics, 56(13), 3831–3840.
Zhang, T., Liu, J. H., Liu, S. L., Tang, C. T., & Jin, P. (2017). A 3D reconstruction method for pipeline inspection based on multi-vision. Measurement, 98, 35–48.
Rongsheng, L., Ang, W., Tengda, Z., & Yonghong, W. (2018). Review on automated optical (visual) inspection and its applications in defect detection. Acta Optica Sinica, 38(8), 0815002.
Gonzalez, R. C., & Woods, R. E. (2007). Digital image processing. (3rd ed.). Prentice-Hall Inc.
Ejiri, M., Uno, T., Mese, M., & Ikeda, S. (1973). A process for detecting defects in complicated patterns. Computer Graphics and Image Processing, 2(3–4), 326–339.
Hara, Y., Akiyama, N., & Karasaki, K. (1983). Automatic inspection system for printed circuit boards. IEEE Transactions on Pattern Analysis and Machine Intelligence, 6, 623–630.
Kang, H. S., Lee, J. Y., Choi, S., Kim, H., Park, J. H., Son, J. Y., et al. (2016). Smart manufacturing: Past research, present findings, and future directions. International Journal of Precision Engineering and Manufacturing-Green Technology, 3(1), 111–128.
Herrmann, C., Schmidt, C., Kurle, D., Blume, S., & Thiede, S. (2014). Sustainability in manufacturing and factories of the future. International Journal of Precision Engineering and Manufacturing-Green Technology, 1(4), 283–292.
Rusk, N. (2016). Deep learning. Nature Methods, 13(1), 35–35.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.
LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324.
Hinton, G. E., Osindero, S., & Teh, Y.-W. (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18(7), 1527–1554.
Bengio, Y. (2009). Learning deep architectures for AI. . Now Publishers Inc.
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
Bai, J., & Feng, X. C. (2007). Fractional-order anisotropic diffusion for image denoising. IEEE Transactions on Image Processing, 16(10), 2492–2502.
Thakur, K. V., Damodare, O. H., & Sapkal, A. M. (2016). Poisson noise reducing bilateral filter. Procedia Computer Science, 79, 861–865.
Fukushima, N., Sugimoto, K., & Kamata, S.-I. (2018). Guided image filtering with arbitrary window function. In 2018 IEEE international conference on acoustics, speech and signal processing (ICASSP) (pp. 1523–1527) . IEEE.
Torres-Huitzil, C. (2013). Fast hardware architecture for grey-level image morphology with flat structuring elements. IET Image Processing, 8(2), 112–121.
Brigham, E. O., & Morrow, R. (1967). The fast Fourier transform. IEEE Spectrum, 4(12), 63–70.
Cooley, J. W., & Tukey, J. W. (1965). An algorithm for the machine calculation of complex Fourier series. Mathematics of Computation, 19(90), 297–301.
Zhang, Z., Wang, Y., & Wang, K. (2013). Fault diagnosis and prognosis using wavelet packet decomposition, Fourier transform and artificial neural network. Journal of Intelligent Manufacturing, 24(6), 1213–1227.
Shao, H., Shi, X., & Li, L. (2011). Power signal separation in milling process based on wavelet transform and independent component analysis. International Journal of Machine Tools and Manufacture, 51(9), 701–710.
Pislaru, C., Freeman, J., & Ford, D. G. (2003). Modal parameter identification for CNC machine tools using wavelet transform. International Journal of Machine Tools and Manufacture, 43(10), 987–993.
Boujelbene, R., Jemaa, Y. B., & Zribi, M. (2019). A comparative study of recent improvements in wavelet-based image coding schemes. Multimedia Tools and Applications, 78(2), 1649–1683.
Luisier, F., Blu, T., & Unser, M. (2007). A new SURE approach to image denoising: Interscale orthonormal wavelet thresholding. IEEE Transactions on Image Processing, 16(3), 593–606.
Jain, P., & Tyagi, V. (2015). LAPB: Locally adaptive patch-based wavelet domain edge-preserving image denoising. Information Sciences, 294, 164–181.
Yan, Z., Xu, W., & Yang, C. (2018). A power thresholding function-based wavelet image denoising method. Journal of Imaging Science and Technology, 62(1), 10506–10501.
Xu, X., Wang, Y., & Chen, S. (2016). Medical image fusion using discrete fractional wavelet transform. Biomedical Signal Processing and Control, 27, 103–111.
Daniel, E. (2018). Optimum wavelet-based homomorphic medical image fusion using hybrid genetic–grey wolf optimization algorithm. IEEE Sensors Journal, 18(16), 6804–6811.
Rein, S. A., Fitzek, F. H., Gühmann, C., & Sikora, T. (2015). Evaluation of the wavelet image two-line coder: A low complexity scheme for image compression. Signal Processing: Image Communication, 37, 58–74.
Bruylants, T., Munteanu, A., & Schelkens, P. (2015). Wavelet based volumetric medical image compression. Signal Processing: Image Communication, 31, 112–133.
Mehra, I., & Nishchal, N. K. (2015). Optical asymmetric image encryption using gyrator wavelet transform. Optics Communications, 354, 344–352.
Yang, Y., Su, Z., & Sun, L. (2010). Medical image enhancement algorithm based on wavelet transform. Electronics Letters, 46(2), 120–121.
Jung, C., Yang, Q., Sun, T., Fu, Q., & Song, H. (2017). Low light image enhancement with dual-tree complex wavelet transform. Journal of Visual Communication and Image Representation, 42, 28–36.
Nixon, M., & Aguado, A. (2019). Feature extraction and image processing for computer vision. Academic.
Lin, Z., Fu, J., Shen, H., Xu, G., & Sun, Y. (2016). Improving machined surface texture in avoiding five-axis singularity with the acceptable-texture orientation region concept. International Journal of Machine Tools and Manufacture, 108, 1–12.
Li, M., Wan, S., Deng, Z., & Wang, Y. (2019). Fabric defect detection based on saliency histogram features. Computational Intelligence, 35(3), 517–534.
Chatzichristofis, S. A., & Boutalis, Y. S. (2008). Fcth: Fuzzy color and texture histogram-a low level feature for accurate image retrieval. In 2008 ninth international workshop on image analysis for multimedia interactive services (pp. 191–196). IEEE.
Hadjidemetriou, E., Grossberg, M. D., & Nayar, S. K. (2004). Multiresolution histograms and their use for recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(7), 831–847.
Mohanaiah, P., Sathyanarayana, P., & GuruKumar, L. (2013). Image texture feature extraction using GLCM approach. International Journal of Scientific and Research Publications, 3(5), 1.
Pushpalatha, K., Karegowda, A. G., & Ramesh, D. (2017). Identification of similar looking bulk split grams using GLCM and CGLCM texture features. International Journal of Computer Applications, 167(6), 30–36.
Zhu, D., Pan, R., Gao, W., & Zhang, J. (2015). Yarn-dyed fabric defect detection based on autocorrelation function and GLCM. Autex Research Journal, 15(3), 226–232.
Wang, X., Ding, X., & Liu, C. (2005). Gabor filters-based feature extraction for character recognition. Pattern Recognition, 38(3), 369–379.
Tan, X., & Triggs, B. (2007). Fusing Gabor and LBP feature sets for kernel-based face recognition. In International workshop on analysis and modeling of faces and gestures (pp. 235–249). Springer.
Raheja, J. L., Kumar, S., & Chaudhary, A. (2013). Fabric defect detection based on GLCM and Gabor filter: A comparison. Optik, 124(23), 6469–6474.
Ojala, T., Pietikainen, M., & Maenpaa, T. (2002). Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(7), 971–987.
Nosaka, R., Ohkawa, Y., & Fukui, K. (2011). Feature extraction based on co-occurrence of adjacent local binary patterns. In Pacific-rim symposium on image and video technology (pp. 82–91). Springer.
Shan, C. (2012). Learning local binary patterns for gender classification on real-world face images. Pattern Recognition Letters, 33(4), 431–437.
Zhang, L., Jing, J., & Zhang, H. (2015). Fabric defect classification based on LBP and GLCM. Journal of Fiber Bioengineering and Informatics, 8(1), 81–89.
Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2), 91–110.
Lindeberg, T. (2012). Scale invariant feature transform. Scholarpedia, 7(5), 10491.
Dunderdale, C., Brettenny, W., Clohessy, C., & van Dyk, E. E. (2020). Photovoltaic defect classification through thermal infrared imaging using a machine learning approach. Progress in Photovoltaics: Research and Applications, 28(3), 177–188.
Dalal, N., & Triggs, B. (2005). Histograms of oriented gradients for human detection. In 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR’05) (Vol. 1, pp. 886–893). IEEE.
Halfawy, M. R., & Hengmeechai, J. (2014). Automated defect detection in sewer closed circuit television images using histograms of oriented gradients and support vector machine. Automation in Construction, 38, 1–13.
Bay, H., Ess, A., Tuytelaars, T., & Van Gool, L. (2008). Speeded-up robust features (SURF). Computer Vision and Image Understanding, 110(3), 346–359.
Calonder, M., Lepetit, V., Strecha, C., & Fua, P. (2010). Brief: Binary robust independent elementary features. In European conference on computer vision (pp. 778–792). Springer.
Rublee, E., Rabaud, V., Konolige, K., & Bradski, G. (2011). ORB: An efficient alternative to SIFT or SURF. In 2011 International conference on computer vision (pp. 2564–2571). Ieee.
Guo, Z., Zhang, L., & Zhang, D. (2010). A completed modeling of local binary pattern operator for texture classification. IEEE Transactions on Image Processing, 19(6), 1657–1663.
Liu, L., Zhao, L., Long, Y., Kuang, G., & Fieguth, P. (2012). Extended local binary patterns for texture classification. Image and Vision Computing, 30(2), 86–99.
Chen, J., Kellokumpu, V., Zhao, G., & Pietikäinen, M. (2013). RLBP: Robust local binary pattern. In BMVC.
Zhao, J., Peng, Y., & Yan, Y. (2018). Steel surface defect classification based on discriminant manifold regularized local descriptor. IEEE Access, 6, 71719–71731.
Suykens, J. A., & Vandewalle, J. (1999). Least squares support vector machine classifiers. Neural Processing Letters, 9(3), 293–300.
Keller, J. M., Gray, M. R., & Givens, J. A. (1985). A fuzzy k-nearest neighbor algorithm. IEEE Transactions on Systems, Man, and Cybernetics, 4, 580–585.
Jia, H., Murphey, Y. L., Shi, J., & Chang, T.-S. (2004). An intelligent real-time vision system for surface defect detection. In Proceedings of the 17th international conference on pattern recognition, 2004. ICPR 2004. (Vol. 3, pp. 239–242). IEEE.
Li, T.-S., & Huang, C.-L. (2009). Defect spatial pattern recognition using a hybrid SOM–SVM approach in semiconductor manufacturing. Expert Systems with Applications, 36(1), 374–385.
Valavanis, I., & Kosmopoulos, D. (2010). Multiclass defect detection and classification in weld radiographic images using geometric and texture features. Expert Systems with Applications, 37(12), 7606–7614.
Huang, Y., Wu, D., Zhang, Z., Chen, H., & Chen, S. (2017). EMD-based pulsed TIG welding process porosity defect detection and defect diagnosis using GA-SVM. Journal of Materials Processing Technology, 239, 92–102.
Zhang, X. W., Gong, F., & Xu, L. Z. (2012). Inspection of surface defects in copper strip using multivariate statistical approach and SVM. International Journal of Computer Applications in Technology, 43(1), 44–50.
Liang, R., Ding, Y., Zhang, X., & Chen, J. (2008). Copper strip surface defects inspection based on SVM-RBF. In 2008 fourth international conference on natural computation (Vol. 2, pp. 41–45). IEEE.
You, D., Gao, X., & Katayama, S. (2014). WPD-PCA-based laser welding process monitoring and defects diagnosis by using FNN and SVM. IEEE Transactions on Industrial Electronics, 62(1), 628–636.
Chen, B., Yan, Z., & Chen, W. (2014). Defect detection for wheel-bearings with time-spectral kurtosis and entropy. Entropy, 16(1), 607–626.
Wang, J., Neskovic, P., & Cooper, L. N. (2006). Neighborhood size selection in the k-nearest-neighbor rule using statistical confidence. Pattern Recognition, 39(3), 417–423.
Lei, Y. G., & Zuo, M. J. (2009). Gear crack level identification based on weighted K nearest neighbor classification algorithm. Mechanical Systems and Signal Processing, 23(5), 1535–1547.
Yıldız, K., Buldu, A., & Demetgul, M. (2016). A thermal-based defect classification method in textile fabrics with K-nearest neighbor algorithm. Journal of Industrial Textiles, 45(5), 780–795.
Cetiner, I., Var, A. A., & Cetiner, H. (2016). Classification of knot defect types using wavelets and KNN. Elektronika ir elektrotechnika, 22(6), 67–72.
Das, S., & Jena, U. R. (2016). Texture classification using combination of LBP and GLRLM features along with KNN and multiclass SVM classification. In 2016 2nd international conference on communication control and intelligent systems (CCIS) (pp. 115–119). IEEE.
Mjahed, S., El Hadaj, S., Bouzaachane, K., & Raghay, S. (2018). Engine fault signals diagnosis using genetic algorithm and K-means based clustering. In Proceedings of the international conference on learning and optimization algorithms: theory and applications (pp. 1–6).
Hamdi, A. A., Sayed, M. S., Fouad, M. M., & Hadhoud, M. M. (2018). Unsupervised patterned fabric defect detection using texture filtering and K-means clustering. In 2018 international conference on innovative trends in computer engineering (ITCE) (pp. 130–144). IEEE.
Jiao, L. C., Yang, S. Y., Liu, F., Wang, S. G., & Feng, Z. X. (2016). Seventy years beyond neural networks: retrospect and prospect. Chinese Journal of Computers, 39(8), 1697–1716.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6), 84–90.
Lin, M., Chen, Q., & Yan, S. (2013). Network in network. arXiv:1312.4400
Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv: arXiv:1409.1556
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., et al. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1–9).
Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv:1502.03167
Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2818–2826).
Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. (2017). Inception-v4, inception-resnet and the impact of residual connections on learning. In Proceedings of the AAAI conference on artificial intelligence (Vol. 31, p. 1).
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770–778).
Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). Densely connected convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4700–4708).
Zhang, Q., Zhang, M., Chen, T., Sun, Z., Ma, Y., & Yu, B. (2019). Recent advances in convolutional neural network acceleration. Neurocomputing, 323, 37–51.
Voulodimos, A., Doulamis, N., Doulamis, A., & Protopapadakis, E. (2018). Deep learning for computer vision: A brief review. Computational intelligence and neuroscience, 2018, 1–13.
Wang, J., Ma, Y., Zhang, L., Gao, R. X., & Wu, D. (2018). Deep learning for smart manufacturing: Methods and applications. Journal of Manufacturing Systems, 48, 144–156.
Gollapudi, S. (2019). Deep learning for computer vision. In Learn computer vision using OpenCV (pp. 51–69). Springer.
Du, W., Shen, H., Fu, J., Zhang, G., Shi, X., & He, Q. (2020). Automated detection of defects with low semantic information in X-ray images based on deep learning. Journal of Intelligent Manufacturing, 32, 141–156.
Zhang, Y., You, D., Gao, X., Wang, C., Li, Y., & Gao, P. P. (2019). Real-time monitoring of high-power disk laser welding statuses based on deep learning framework. Journal of Intelligent Manufacturing, 31, 799–814.
Masci, J., Meier, U., Ciresan, D., Schmidhuber, J., & Fricout, G. (2012) Steel defect classification with max-pooling convolutional neural networks. In The 2012 international joint conference on neural networks (IJCNN) (pp. 1–6) . IEEE.
Lin, J., Yao, Y., Ma, L., & Wang, Y. (2018). Detection of a casting defect tracked by deep convolution neural network. The International Journal of Advanced Manufacturing Technology, 97(1–4), 573–581.
Nguyen, T. P., Choi, S., Park, S.-J., Park, S. H., & Yoon, J. (2020). Inspecting method for defective casting products with convolutional neural network (CNN). International Journal of Precision Engineering and Manufacturing-Green Technology, 8, 583–594.
Kim, M., Lee, M., An, M., & Lee, H. (2020). Effective automatic defect classification process based on CNN with stacking ensemble model for TFT-LCD panel. Journal of Intelligent Manufacturing, 31(5), 1165–1174.
Imoto, K., Nakai, T., Ike, T., Haruki, K., & Sato, Y. (2018). A CNN-based transfer learning method for defect classification in semiconductor manufacturing. In 2018 international symposium on semiconductor manufacturing (ISSM) (pp. 1–3). IEEE.
Viola, P., & Jones, M. (2001). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001 (Vol. 1). IEEE.
Neubeck, A., & Van Gool, L. (2006). Efficient non-maximum suppression. In 18th International Conference on Pattern Recognition (ICPR’06) (Vol. 3, pp. 850–855). IEEE.
Felzenszwalb, P., McAllester, D., & Ramanan, D. (2008). A discriminatively trained, multiscale, deformable part model. In 2008 IEEE conference on computer vision and pattern recognition (pp. 1–8). IEEE.
Van de Sande, K. E., Uijlings, J. R., Gevers, T., & Smeulders, A. W. (2011). Segmentation as selective search for object recognition. In 2011 international conference on computer vision (pp. 1879–1886). IEEE.
Uijlings, J. R., Van De Sande, K. E., Gevers, T., & Smeulders, A. W. (2013). Selective search for object recognition. International Journal of Computer Vision, 104(2), 154–171.
Zitnick, C. L., & Dollár, P. (2014). Edge boxes: Locating object proposals from edges. In European conference on computer vision (pp. 391–405). Springer.
Shumin, D., Zhoufeng, L., & Chunlei, L. (2011). AdaBoost learning for fabric defect detection based on HOG and SVM. In 2011 International conference on multimedia technology (pp. 2903–2906). IEEE.
Dou, Y., Huang, Y., Li, Q., & Luo, S. (2014). A fast template matching-based algorithm for railway bolts detection. International Journal of Machine Learning and Cybernetics, 5(6), 835–844.
He, B., Hou, Y., Xiong, Y., & Li, B. (2019). Railway fastener defects detection using Gaussian mixture deformable part model. In Journal of physics: Conference series (Vol. 1302, pp. 022102, Vol. 2). IOP Publishing.
Wei, L., Zhang, N., Xue, M., & Huo, J. (2020). Research of express box defect detection based on machine vision. In Proceedings of the 5th international conference on multimedia and image processing (pp. 12–17).
Zhao, Z. Q., Zheng, P., Xu, S. T., & Wu, X. D. (2019). Object detection with deep learning: A review. IEEE Transactions on Neural Networks and Learning Systems, 30(11), 3212–3232.
Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580–587).
He, K., Zhang, X., Ren, S., & Sun, J. (2015). Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(9), 1904–1916.
Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 1440–1448).
Ren, S., He, K., Girshick, R., & Sun, J. (2016). Faster r-cnn: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137–1149.
Dai, J., Li, Y., He, K., & Sun, J. (2016). R-fcn: Object detection via region-based fully convolutional networks. arXiv:1605.06409
Lin, T.-Y., Dollár, P., Girshick, R., He, K., Hariharan, B., & Belongie, S. (2017). Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2117–2125).
He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 2961–2969) .
Erhan, D., Szegedy, C., Toshev, A., & Anguelov, D. (2014). Scalable object detection using deep neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2147–2154).
Yoo, D., Park, S., Lee, J.-Y., Paek, A. S., & So Kweon, I. (2015) Attentionnet: Aggregating weak directions for accurate object detection. In Proceedings of the IEEE international conference on computer vision (pp. 2659–2667).
Najibi, M., Rastegari, M., & Davis, L. S. (2016). G-cnn: An iterative grid based object detector. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2369–2377).
Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 779–788).
Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., et al. (2016). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21–37). Springer.
Redmon, J., & Farhadi, A. (2017). YOLO9000: better, faster, stronger. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 7263–7271) .
Lin, T.-Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision (pp. 2980–2988).
Redmon, J., & Farhadi, A. (2018). Yolov3: An incremental improvement. arXiv:1804.02767
Bochkovskiy, A., Wang, C.-Y., & Liao, H.-Y. M. (2020). YOLOv4: Optimal speed and accuracy of object detection. arXiv:2004.10934
Wu, Y., & Zhang, X. (2020). Automatic fabric defect detection using cascaded mixed feature pyramid with guided localization. Sensors, 20(3), 871.
Lei, H. W., Wang, B., Wu, H. H., & Wang, A. H. (2018). Defect detection for polymeric polarizer based on faster R-CNN. Journal of Intelligent Information Hiding and Multimedia Signal Processing, 9, 1414–1420.
Lei, X., & Sui, Z. (2019). Intelligent fault detection of high voltage line based on the faster R-CNN. Measurement, 138, 379–385.
Sun, X., Gu, J., Huang, R., Zou, R., & Giron Palomares, B. (2019). Surface defects recognition of wheel hub based on improved faster R-CNN. Electronics, 8(5), 481.
Wang, K.-J., Rizqi, D. A., & Nguyen, H.-P. (2020). Skill transfer support model based on deep learning. Journal of Intelligent Manufacturing, 32, 1129–1146.
Adibhatla, V. A., Chih, H.-C., Hsu, C.-C., Cheng, J., Abbod, M. F., & Shieh, J.-S. (2020). Defect detection in printed circuit boards using you-only-look-once convolutional neural networks. Electronics, 9(9), 1547.
Lv, X. M., Duan, F. J., Jiang, J. J., Fu, X., & Gan, L. (2020). Deep active learning for surface defect detection. Sensors, 20(6), 1650.
Jing, J., Zhuo, D., Zhang, H., Liang, Y., & Zheng, M. (2020). Fabric defect detection using the improved YOLOv3 model. Journal of Engineered Fibers and Fabrics, 15, 1558925020908268.
Deng, H., Cheng, J., Liu, T., Cheng, B., & Sun, Z. (2020). Research on iron surface crack detection algorithm based on improved YOLOv4 network. In Journal of physics: Conference series (Vol. 1631, pp. 012081, Vol. 1). IOP Publishing.
Zhai, S., Shang, D., Wang, S., & Dong, S. (2020). DF-SSD: An improved SSD object detection algorithm based on DenseNet and feature fusion. IEEE Access, 8, 24344–24357.
Haralick, R. M., & Shapiro, L. G. (1985). Image segmentation techniques. Computer Vision, Graphics, and Image Processing, 29(1), 100–132.
Cuevas, E., Zaldivar, D., & Pérez-Cisneros, M. (2010). A novel multi-threshold segmentation approach based on differential evolution optimization. Expert Systems with Applications, 37(7), 5265–5271.
Pernkopf, F., & O’Leary, P. (2002). Visual inspection of machined metallic high-precision surfaces. EURASIP Journal on Advances in Signal Processing, 2002(7), 650750.
Tang, J. (2010). A color image segmentation algorithm based on region growing. In 2010 2nd international conference on computer engineering and technology (Vol. 6, pp. V6-634–V636-637). IEEE.
Chuang, K.-S., Tzeng, H.-L., Chen, S., Wu, J., & Chen, T.-J. (2006). Fuzzy c-means clustering with spatial information for image segmentation. Computerized Medical Imaging and Graphics, 30(1), 9–15.
Dhanachandra, N., Manglem, K., & Chanu, Y. J. (2015). Image segmentation using K-means clustering algorithm and subtractive clustering algorithm. Procedia Computer Science, 54, 764–771.
Mia, S., & Rahman, M. M. (2018). An efficient image segmentation method based on linear discriminant analysis and K-means algorithm with automatically splitting and merging clusters. International Journal of Imaging and Robotics, 18(1), 62–72.
Brejl, M., & Sonka, M. (2000). Object localization and border detection criteria design in edge-based image segmentation: Automated learning from examples. IEEE Transactions on Medical imaging, 19(10), 973–985.
Bo, T., Jianyi, K., & Shiqian, W. (2017). Review of surface defect detection based on machine vision. Journal of Image and Graphics, 22(12), 1640–1663.
Celik, T., & Tjahjadi, T. (2010). Unsupervised colour image segmentation using dual-tree complex wavelet transform. Computer Vision and Image Understanding, 114(7), 813–826.
Lo, E. H., Pickering, M. R., Frater, M. R., & Arnold, J. F. (2011). Image segmentation from scale and rotation invariant texture features from the double dyadic dual-tree complex wavelet transform. Image and Vision Computing, 29(1), 15–28.
Shih, F. Y. (2009). Image processing and mathematical morphology: Fundamentals and applications. CRC Press.
Putera, S. I., & Ibrahim, Z. (2010). Printed circuit board defect detection using mathematical morphology and MATLAB image processing tools. In 2010 2nd international conference on education technology and computer (Vol. 5, pp. V5-359-V355-363). IEEE.
Hammouche, K., Diaf, M., & Siarry, P. (2008). A multilevel automatic thresholding method based on a genetic algorithm for a fast image segmentation. Computer Vision and Image Understanding, 109(2), 163–175.
Sengur, A., & Guo, Y. (2011). Color texture image segmentation based on neutrosophic set and wavelet transformation. Computer Vision and Image Understanding, 115(8), 1134–1144.
Shirkhorshidi, A. S., Aghabozorgi, S., Wah, T. Y., & Herawan, T. (2014). Big data clustering: A review. In International conference on computational science and its applications (pp. 707–720). Springer.
Dunn, J. C. (1973). A fuzzy relative of the ISODATA process and its use in detecting compact well-separated clusters. Journal of Cybernetics, 3(3), 32–57.
Zhang, T., Ramakrishnan, R., & Livny, M. (1997). BIRCH: A new data clustering algorithm and its applications. Data Mining and Knowledge Discovery, 1(2), 141–182.
Guha, S., Rastogi, R., & Shim, K. (1998). CURE: an efficient clustering algorithm for large databases. ACM Sigmod Record, 27(2), 73–84.
Ng, R. T., & Han, J. (2002). CLARANS: A method for clustering objects for spatial data mining. IEEE Transactions on Knowledge and Data Engineering, 14(5), 1003–1016.
Khan, S. S., & Ahmad, A. (2004). Cluster center initialization algorithm for K-means clustering. Pattern Recognition Letters, 25(11), 1293–1302.
Zhao, G. F., & Qu, G. Q. (2006). Analysis and implementation of CLARA algorithm on clustering. Journal of Shandong University of Technology (Science and Technology), 2, 45–48.
Li, J., Wang, K., & Xu, L. (2009). Chameleon based on clustering feature tree and its application in customer segmentation. Annals of Operations Research, 168(1), 225–245.
Park, H.-S., & Jun, C.-H. (2009). A simple and fast algorithm for K-medoids clustering. Expert Systems with Applications, 36(2), 3336–3341.
Tran, T. N., Drab, K., & Daszykowski, M. (2013). Revised DBSCAN algorithm to cluster data with dense adjacent clusters. Chemometrics and Intelligent Laboratory Systems, 120, 92–96.
Maillo, J., Triguero, I., & Herrera, F. (2015). A mapreduce-based k-nearest neighbor approach for big data classification. In 2015 IEEE Trustcom/BigDataSE/ISPA (Vol. 2, pp. 167–172). IEEE.
El Moussawi, A., Giacometti, A., Labroche, N., & Soulet, A. (2020). MAPK-means: A clustering algorithm with quantitative preferences on attributes. Intelligent Data Analysis, 24(2), 459–489.
Xiong, Z., Li, Q., Mao, Q., & Zou, Q. (2017). A 3D laser profiling system for rail surface defect detection. Sensors, 17(8), 1791.
Jian, C., Gao, J., & Ao, Y. (2017). Automatic surface defect detection for mobile phone screen glass based on machine vision. Applied Soft Computing, 52, 348–358.
Melnyk, R., & Tushnytskyy, R. (2020). Detection of defects in printed circuit boards by clustering the etalon and defected samples. In 2020 IEEE 15th international conference on advanced trends in radioelectronics, telecommunications and computer engineering (TCSET) (pp. 961–964). IEEE.
Li, C., Zhang, X., Huang, Y., Tang, C., & Fatikow, S. (2020). A novel algorithm for defect extraction and classification of mobile phone screen based on machine vision. Computers & Industrial Engineering, 146, 106530.
Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431–3440).
Liu, X. L., Deng, Z. D., & Yang, Y. H. (2019). Recent progress in semantic image segmentation. Artificial Intelligence Review, 52(2), 1089–1106.
Yu, Z., Wu, X., & Gu, X. (2017). Fully convolutional networks for surface defect inspection in industrial environment. In International conference on computer vision systems (pp. 417–426). Springer.
Li, S. J., Zhou, H. M., Wang, G. Y., Zhu, X. H., Kong, L. F., & Hu, Z. Y. (2018). Cracked insulator detection based on R-FCN. In Journal of physics: Conference series (Vol. 1069, pp. 012147, Vol. 1).
Yang, X., Li, H., Yu, Y., Luo, X., Huang, T., & Yang, X. (2018). Automatic pixel-level crack detection and measurement using fully convolutional network. Computer-Aided Civil and Infrastructure Engineering, 33(12), 1090–1109.
Qiu, L., Wu, X., & Yu, Z. (2019). A high-efficiency fully convolutional networks for pixel-wise surface defect detection. IEEE Access, 7, 15884–15893.
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks for biomedical image segmentation. In International conference on medical image computing and computer-assisted intervention (pp. 234–241). Springer.
Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12), 2481–2495.
Zhao, H., Shi, J., Qi, X., Wang, X., & Jia, J. (2017). Pyramid scene parsing network. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2881–2890).
Yu, H., Li, X., Song, K., Shang, E., Liu, H., & Yan, Y. (2020). Adaptive depth and receptive field selection network for defect semantic segmentation on castings X-rays. NDT & E International, 116, 102345.
Tabernik, D., Šela, S., Skvarč, J., & Skočaj, D. (2020). Segmentation-based deep-learning approach for surface-defect detection. Journal of Intelligent Manufacturing, 31(3), 759–776.
Hu, C., Duan, Y., Liu, S., Yan, Y., Tao, N., Osman, A., et al. (2019). LSTM-RNN-based defect classification in honeycomb structures using infrared thermography. Infrared Physics & Technology, 102, 103032.
Wang, Q., Liu, Q., Xia, R., Li, G., Gao, J., Zhou, H., et al. (2020). Defect depth determination in laser infrared thermography based on LSTM-RNN. IEEE Access, 8, 153385–153393.
Liu, T., Bao, J., Wang, J., & Zhang, Y. (2018). A hybrid CNN–LSTM algorithm for online defect recognition of CO2 welding. Sensors, 18(12), 4369.
Liu, Y., Xu, K., & Xu, J. (2019). Periodic surface defect detection in steel plates based on deep learning. Applied Sciences, 9(15), 3127.
Jia, F., Lei, Y., Lin, J., Zhou, X., & Lu, N. (2016). Deep neural networks: A promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data. Mechanical Systems and Signal Processing, 72, 303–315.
Yang, L., & Jiang, H. (2020). Weld defect classification in radiographic images using unified deep neural network with multi-level features. Journal of Intelligent Manufacturing, 32, 459–469.
Seker, A., & Yuksek, A. G. (2017). Stacked autoencoder method for fabric defect detection. Cumhuriyet Science Journal, 38(2), 342–354.
Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.
Chen, Z., Zeng, X., Li, W., & Liao, G. (2016). Machine fault classification using deep belief network. In 2016 IEEE international instrumentation and measurement technology conference proceedings (pp. 1–6). IEEE.
Chen, Z., & Li, W. (2017). Multisensor feature fusion for bearing fault diagnosis using sparse autoencoder and deep belief network. IEEE Transactions on instrumentation and measurement, 66(7), 1693–1702.
Fang, F. Z. (2020). On atomic and close-to-atomic scale manufacturing—Development trend of manufacturing technology. Chinese Mechanical Engineering, 31(09), 1009–1021.
Kim, S., Noh, Y.-K., & Park, F. C. (2020). Efficient neural network compression via transfer learning for machine vision inspection. Neurocomputing, 413, 294–304.
Zhou, Z. H. (2018). A brief introduction to weakly supervised learning. National Science Review, 5(1), 44–53.
Barlow, H. B. (1989). Unsupervised learning. Neural Computation, 1(3), 295–311.
Mei, S., Yang, H., & Yin, Z. (2018). An unsupervised-learning-based approach for automated defect inspection on textured surfaces. IEEE Transactions on Instrumentation and Measurement, 67(6), 1266–1277.
Xu, L. D., Xu, E. L., & Li, L. (2018). Industry 4.0: State of the art and future trends. International Journal of Production Research, 56(8), 2941–2962.
Shimizu, Y., Matsuno, Y., Chen, Y.-L., Matsukuma, H., & Gao, W. (2018). Design and testing of a micro-thermal sensor probe for nondestructive detection of defects on a flat surface. Nanomanufacturing and Metrology, 1(1), 45–57.
Liu, S., Zuo, Y., & Zhang, Z. (2018). A new detecting technology for external anticorrosive coating defects of pipelines based on ultrasonic guided wave. E&ES, 108(2), 022073.
Li, X., Liu, Z., Jiang, X., & Lodewijks, G. (2018). Method for detecting damage in carbon-fibre reinforced plastic-steel structures based on eddy current pulsed thermography. Nondestructive Testing and Evaluation, 33(1), 1–19.
Hwang, S., An, Y.-K., Yang, J., & Sohn, H. (2020). Remote inspection of internal delamination in wind turbine blades using continuous line laser scanning thermography. International Journal of Precision Engineering and Manufacturing-Green Technology, 7, 699–712.
Tran, T. X., Hajisami, A., Pandey, P., & Pompili, D. (2017). Collaborative mobile edge computing in 5G networks: New paradigms, scenarios, and challenges. IEEE Communications Magazine, 55(4), 54–61.
Preskill, J. (2018). Quantum computing in the NISQ era and beyond. Quantum, 2, 79.
Fang, F. Z. (2020). Atomic and close-to-atomic scale manufacturing: perspectives and measures. International Journal of Extreme Manufacturing, 2(3), 030201.

Авторы: Zhonghe Ren, Fengzhou Fang, Ning Yan & You Wu

ЗАКАЗАТЬ СИСТЕМУ