Компьютерное зрение для контроля качества в полиграфической промышленности

3.1.1. Экспериментальная установка

Эксперименты в данном исследовании проводились на компьютере, оснащенном процессором Intel(R) Xeon(R) Gold 6154 3,00 ГГц и графическим процессором NVIDIA Quadro P4000 с 96 ГБ оперативной памяти (RAM). В качестве операционной системы использовалась  Red Hat Linux  16.04 64-битная версия.

Обучение и тестирование модели глубокого обучения проводились с помощью  Keras, интерфейса для  TensorFlow  (версия 1.8), а модель была построена на  языке Python  (версия 2.7) [40]. TensorFlow — это интерфейс для выражения алгоритмов машинного обучения и приложение для выполнения таких алгоритмов, включая алгоритмы обучения и вывода для моделей DNN.

В частности, для создания, настройки, обучения и оценки DNN был использован модуль TF.Learn из TensorFlow. TF.Learn — это высокоуровневый модуль Python для распределенного машинного обучения внутри TensorFlow. Он интегрирует широкий спектр современных алгоритмов машинного обучения, построенных на основе низкоуровневых API TensorFlow для задач обучения с учителем и без учителя малого и большого масштаба.

Были использованы дополнительные интерфейсы Python:  OpenCV  для алгоритмов компьютерного зрения и обработки изображений,  Numpy  для научных вычислений и вычислений с массивами и  Matplotlib  для отображения графиков. Подробности создания модели DNN для OQC с использованием Python доступны в онлайн-репозитории с открытым доступом и были созданы с помощью  Jupyter Notebook .

3.1.2. Предварительная обработка данных

Для обучения глубокой нейронной сети (DNN) необходимы стандартизированные классифицированные входные данные. Поэтому предварительная обработка данных разделена на три этапа: (1) определение размера изображения, которое служит входными данными для DNN, и размера сверточного окна, используемого DNN, (2) регулировка яркости путем растяжения гистограммы и (3) автоматизация выбора и маркировки структуры файлов, подаваемых на вход DNN.

• Размер изображения для входных данных DNN и размер окна свертки.

  В связи с необходимостью стандартизации входных данных необходимо принять решение о том, какими размерами должны обладать входные изображения. Первое решение — это соотношение сторон. Следующим шагом должно быть определение ширины и высоты входных изображений в пикселях. Чтобы получить первое представление о существующих размерах, проводится краткий анализ ранее подтвержденных вручную ошибок. Согласно данным, среднее значение ширины немного выше, чем высота. В среднем соотношении сторон это становится еще более очевидным, составляя около 1,5. Вероятно, это результат некоторых ошибок, которые удлиняются при вращении цилиндра. Медианное соотношение сторон составляет ровно 1,0. Поскольку медиана лучше описывает больший процент ошибок, это также должно быть соотношением сторон входных данных нейронной сети. Как показано на представлении ширины и высоты ошибки в пикселях в зависимости от логарифма количества ошибок ( рис. 6) .

  Поскольку размер ошибки также играет роль в ее оценке, операции масштабирования следует свести к минимуму. Из-за диапазона размеров это не всегда возможно. Время обучения нейронной сети резко возрастет при больших размерах входных данных, а малые ошибки будут в основном представлять собой  поверхности OK -цилиндра. Поэтому необходим компромиссный вариант, чтобы большинство входных изображений можно было отображать без значительного масштабирования или добавления  поверхностей OK -цилиндра. Промежуточный размер составляет 100 пикселей. Поэтому мы вычисляем процент ошибок с шириной меньше или равной 100. Результаты показывают, что около 90% всех ошибок имеют высоту и ширину меньше или равную 100, а почти 74% имеют высоту и ширину меньше или равную 10. Одним из вариантов может быть использование размера входных данных 100 × 100.

• Регулировка яркости

  Для получения сопоставимых данных для всех изображений цилиндра необходима предварительная обработка, которая выполняется на полном скане цилиндра. Из этого скана берется несколько примеров. Поскольку могут быть небольшие отклонения из-за множества факторов, влияющих на запись поверхности цилиндра, этого можно достичь только при одинаковой яркости поверхности цилиндра и гравированных частей. Еще один важный момент заключается в том, что из изображений не теряется важная информация, и что яркость гравированных и негравированных частей должна быть сопоставима для всех сканов цилиндра. Поэтому необходимо растяжение яркости, но только небольшое количество пикселей может стать самыми темными или самыми светлыми. Тем не менее, количество пикселей, которые становятся самыми темными и самыми светлыми, не может быть установлено на очень низкое значение, поскольку шум в данных изображения приведет к большим различиям. В заключение следует установить низкий процент пикселей как самые темные и самые светлые. Например, самый низкий и самый высокий процент должны составлять максимум 0,5% каждый.  На рисунке 7  показан пример растяжения для регулировки яркости одного изображения таким образом, чтобы 0,5% всех пикселей имели значение 0, а 0,5% всех пикселей имели значение 255.

• Автоматический выбор и маркировка наборов данных

  Для упрощения последующих шагов изображения необходимо вырезать из исходного файла и сохранить в две папки: с примерами  «хороших » цилиндров (рис. 8а) и примерами  «нехороших» цилиндров (рис. 8б). Большое разнообразие представленных в спектре паттернов можно наблюдать на рисунках. Сама природа процесса подразумевает, что каждый новый продукт представляет собой новую задачу для DNN, поскольку она, вероятно, никогда ранее не сталкивалась с этими изображениями. По этой причине ошибки могут иметь совершенно разный характер. Это подразумевает высокую сложность решения задачи обучения и тестирования DNN. Аналогично, различные оттенки черного и серого, которые очень трудно заметить невооруженным глазом при ручной сортировке изображений, представляют собой дополнительную сложность, которую необходимо решить с помощью архитектуры DNN.

  Если ошибки по ширине или высоте меньше 100, область интереса (ROI) увеличивается до 100. Если какой-либо размер превышает 100 пикселей, он игнорируется. Для последующей проверки большие входные данные разбиваются на части размером 100 × 100. Если какая-либо из этих частей обнаруживается как ошибка, все части помечаются как ошибки. Как показано в репозитории открытого доступа, существует несколько возможных способов обработки больших данных. Каждый пример также содержит фактические и целевые данные. Существуют разные способы использования этих данных в качестве входных. Один из способов — использовать только фактические данные. Другой вариант — использовать разницу между фактическими и ожидаемыми данными. Проблема в обоих случаях заключается в потере информации. Лучшие результаты были достигнуты при использовании разницы. Она корректируется таким образом, чтобы входные данные находились в диапазоне [−1,1]. После выполнения этой процедуры, и поскольку сбалансированный набор данных важен для обучения нейронной сети, а  количество примеров с цилиндрами в состоянии «OK» значительно превышает количество примеров с цилиндрами  в состоянии « not-OK» ,  пример с цилиндром в состоянии «OK» сохраняется только в том случае, если  ранее был найден пример с цилиндром в состоянии «not-OK» .

Рисунок 6.  Проверка соотношения сторон.

Рисунок 7.  Гистограмма предварительной обработки для регулировки яркости.

Рисунок 8.  Примеры изображений цилиндра в исправном состоянии и цилиндра, не в исправном состоянии.

3.1.3. Автоматическое обнаружение ошибок цилиндров с использованием программного датчика на основе нейронных сетей.

Архитектура программного датчика на основе глубокой нейронной сети (DNN) разрабатывается с учетом двух основных целей: классификация и производительность.

• Классификация.  Первая цель этой архитектуры — не идентифицировать различные объекты внутри части изображений, а разделить два класса ( неправильные  и  правильные  изображения), где основным источником шума является фактор освещения сканера. Поэтому в нашем случае не нужны ни такие глубокие архитектуры, ни перенос идентичности, который был ключевым для ResNet [41], и достаточно нескольких сверток, чтобы идентифицировать удобные структурные признаки, на которые можно полагаться.
• Производительность. Предложенная архитектура еще проще, чем AlexNet [42], поскольку мы используем не пять сверточных слоев, а всего три. Основная причина заключается в поиске компромисса между количеством параметров и доступным набором данных изображений. Наша архитектура всегда стремилась быть  экономной  с точки зрения ресурсов, поскольку предполагается, что это будет программный датчик, работающий в реальном времени и обладающий встроенной возможностью переобучения для обучения с подкреплением, что близко к ограничениям реального времени.

После сбора и предварительной обработки данных входными данными для глубокой нейронной сети являются фигуры, представленные в виде тензоров. Тип сети, хорошо справляющийся с задачей классификации таких данных, обычно делится на две основные части: экстракторы признаков и классификаторы, как показано на  рисунке 5:

• Извлечение признаков. Извлечение признаков выполняется с помощью глубокого стека чередующихся полносвязанных сверточных слоев и слоев максимального пулинга с субдискретизацией; слои с четными номерами предназначены для сверток, а слои с нечетными номерами — для операций максимального пулинга.

• • Сверточные слои и активированные ReLU (выпрямленный линейный блок). Сверточные операции, посредством функций активации, извлекают признаки из входной информации, которые затем распространяются на более глубокие слои.  Функция активации ReLU  — это функция, предназначенная для обнуления отрицательных значений.  Функция активации ReLU  была впервые представлена ​​в AlexNet [42] и решает проблему затухания градиента при обучении DNN. 
  • Максимальное пулинг. Заключается в извлечении окон из входных карт признаков и выводе максимального значения каждого канала. Концептуально он похож на свертку, за исключением того, что вместо преобразования локальных фрагментов с помощью обученного линейного преобразования (ядра свертки) они преобразуются с помощью операции максимального тензора.

• Классификация. Классификация выполняется с помощью полносвязных слоев активации [ 43 ]. Примерами таких моделей являются LeNet [ 44 ], AlexNet [ 42 ], Network in Network [ 45 ], GoogLeNet [ 46 , 47 , 48 ], DenseNet [ 49 ].

• • Полносвязные слои активации выдают распределение вероятностей по выходным классам [ 25 ]. Поскольку мы сталкиваемся с задачей бинарной классификации, и выход нашей сети представляет собой вероятность, лучше всего использовать функцию потерь бинарной кроссэнтропии. Кроссэнтропия — это величина из области теории информации, которая измеряет расстояние между распределениями вероятностей или, в данном случае, между распределением истинности и предсказаниями. Это не единственный жизнеспособный вариант: мы могли бы использовать, например, среднеквадратичную ошибку. Однако кроссэнтропия обычно является лучшим выбором при работе с моделями, которые выдают вероятности. Поскольку мы решаем  задачу  бинарной классификации, мы завершаем сеть одним блоком (плотным слоем размером 1) и сигмоидной активацией. Этот блок будет кодировать вероятность того, что сеть рассматривает тот или иной класс [25].

Как показано в репозитории открытого доступа, с использованием Keras, бэкенда Tensorflow для DNN и OpenCV/Numpy для обработки изображений, используется сбалансированный набор данных из 13335 примеров цилиндров с неудовлетворительными и 13335 примеров цилиндров с удовлетворительными характеристиками , что в сумме составляет 26670.

Эти данные были собраны в течение 14 месяцев из почти 4000 сканирований цилиндров. Обучающая часть зеркально отражена по вертикали и горизонтали, в результате чего общее количество обучающих выборок составляет 85344. Все  примеры цилиндров с неудовлетворительными характеристиками помечены как  0, а все примеры цилиндров с удовлетворительными характеристиками — как  1.

В качестве стандартной процедуры данные разделены на  обучающий набор данных  (80%),  тестовый набор данных  (10%) и  проверочный набор данных (10%).  Обучающий набор данных  используется для обучения DNN на протяжении нескольких эпох, как показано на  рисунке 9. Можно заметить, что точность и потери существенно не увеличиваются и не уменьшаются после 10-й эпохи.

Рисунок 9.  Результаты обучения и тестирования DNN.

Тестовый набор данных впоследствии используется для проверки производительности DNN. Матрица ошибок — это стандартная процедура для обобщения результатов такого обучения, обычно объединяющая классы условий (TRUE,  FALSE) и (OK,  not-OK), таким образом формируя четыре категории: (1) истинно отрицательный результат (TN), который является ошибкой и был предсказан как ошибка; (2) ложноположительный результат (FP), который является ошибкой, но не был предсказан как ошибка, и является наиболее вредной категорией; (3) ложноотрицательный результат (FN), который не является ошибкой, но был предсказан как ошибка; и (4) истинноположительный результат (TP), который не является ошибкой и не был предсказан как ошибка. В частности, при выбранном сбалансированном наборе данных точность (ACC), обеспечиваемая программным датчиком DNN, определяемая выражением  𝐴𝐶𝐶 = (𝑇𝑃 + 𝑇𝑁) / (𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁), составляет 98,4%.  Доля истинно положительных  результатов (TN) составляет 97,85%, доля истинно положительных результатов (TP) — 99,01%, доля ложноотрицательных результатов (FN)  — 2,15%, а  доля ложноположительных результатов (FP)  — 0,99%. Эти уровни  ACC  можно считать приемлемыми для такой сложной задачи промышленной классификации. Результаты суммированы на  рисунке 10.

Рисунок 10.  Матрица ошибок тестирования модели DNN.

В  таблице 2  архитектура DNN, показанная на  рисунке 5  , описана послойно, с объяснением причин выбора того или иного слоя. Более того, для сравнения производительности предлагаемого программного датчика на основе DNN, он был сопоставлен с тремя аналогичными архитектурами. Результаты этого сравнения представлены в репозитории с открытым доступом и обобщены на  рисунке 11  , где четко видно, что предлагаемый программный датчик на основе DNN демонстрирует превосходные характеристики по сравнению с другими альтернативными архитектурами.

Рисунок 11.  Сравнение архитектур глубокого обучения. Время обучения против точности.

Рисунок 12.  Визуализация всех слоев DNN в виде цветных изображений  TN-  изображения.

Два параметра — точность и время вычислений — были измерены последовательно с использованием одного и того же обучающего и тестового наборов данных, а затем сравнены. Сначала проводилось тестирование с идентичной архитектурой с добавлением Dropout, затем — с более глубокой архитектурой и, наконец, с более мелкой DNN с меньшим количеством слоев.

Точность должна быть максимально высокой, чтобы обеспечить минимальную ошибку при характеризации данных, а время вычислений — минимально низким, чтобы гарантировать эффективную интеграцию сенсора на основе DNN в среду Индустрии 4.0, обеспечивая тем самым максимальную эффективность и производительность соответственно. Сенсор на основе DNN должен быть не только точным, но и быстрым, чтобы, помимо прочего, минимизировать влияние времени выполнения на процесс создания ценности и снизить выбросы CO2.2.  Выбросы, связанные с потреблением энергии при вычислениях.

3.1.4. Визуализация изученных признаков

Опыт показывает, что визуализация того, чему учится каждый из слоев глубокой нейронной сети (DNN), может помочь разработчикам глубокой архитектуры улучшить понимание процесса обучения скрытых слоев DNN и, таким образом, поддержать соответствующую тонкую настройку их проекта в целях улучшения. Это связано с тем, что визуализация того, чему научилась DNN, может помочь в понимании процесса принятия решений. Существуют различные способы визуализации того, чему научилась сеть, путем отображения различных частей. Это может облегчить понимание того, почему некоторые вещи работают не так, как ожидалось. Например, почему некоторые изображения с ошибками не были отнесены к категории ошибок (FP).

Визуализацию можно выполнить различными способами. Например, если взять изображение цилиндра,  не соответствующего норме,  показанное на  рисунке 13a , можно визуализировать данные, полученные с помощью DNN, используя тепловые карты активации классов. Тепловая карта активации класса — это двумерная сетка оценок, связанных с определенным выходным классом, вычисляемая для каждого местоположения на любом входном изображении и указывающая, насколько важно каждое местоположение по отношению к рассматриваемому классу. Пример показан на  рисунке 13b .

Рисунок 13.  Пример изображения  : неисправный цилиндр и тепловая карта активации.

Другой вариант — вычислить входное изображение, которое вызывает наибольший отклик от слоя. Это делается путем отображения визуального шаблона, на который должен реагировать каждый фильтр. Это можно сделать с помощью градиентного подъема во входном пространстве: применение градиентного спуска к значению входного изображения сверточной сети для максимизации отклика конкретного фильтра, начиная с пустого входного изображения. Полученное входное изображение будет таким, на которое выбранный фильтр будет реагировать максимально. Пример показан на  рисунке 14.

Рисунок 14.  Наиболее реагирующий входной сигнал.

Наконец, альтернативный подход заключается в отображении выходных данных всех слоев DNN в виде цветных изображений. Визуализация промежуточных активаций состоит в отображении карт признаков, которые выдаются различными сверточными и пулинговыми слоями сети при заданном входном сигнале (выход слоя часто называют его активацией, выходом функции активации). Это позволяет увидеть, как входной сигнал разлагается на различные фильтры, изученные сетью.

Мы хотим визуализировать карты признаков в трех измерениях: ширина, высота и глубина (каналы). Каждый канал кодирует относительно независимые признаки, поэтому правильный способ визуализации этих карт признаков — это независимое отображение содержимого каждого канала в виде двумерного изображения. В пояснительных целях в репозитории открытого доступа представлены четыре различных примера таких карт признаков:  TP, TN, FP, FN. Они помогут читателю лучше понять, что  видит DNN  и как она  реагирует  в различных условиях. Один из этих примеров,  TN, визуализирован на рисунке 12.