Зачем использовать гибридное машинное зрение? Как можно производить быстрее? С более высоким качеством? С меньшими трудозатратами? Более экологично?
Развитие промышленного производства всегда было обусловлено потребностью в оптимизации, и здесь автоматизация играет ключевую роль. Это также касается контроля качества и визуального контроля.
Сегодня потребность в автоматизированном контроле качества становится всё более важной. Ключевым фактором является растущая тенденция европейских производителей к ниашорингу. Эта стратегия направлена на обеспечение надёжных цепочек поставок, но имеет побочный эффект в виде роста стоимости труда на внутреннем рынке. Сложившаяся экономическая ситуация усиливает необходимость автоматизации ручного контроля.
В некоторых случаях визуальный осмотр прост, но как автоматизировать более сложные задачи осмотра — те, которые нелегко вписать в формулу?
Стремительное развитие искусственного интеллекта и машинного обучения открывает новые возможности, но ИИ не может существовать в одиночку. Необходимо использовать множество инструментов, поэтому мы представим вам в этой статье возможности гибридного машинного зрения.
Гибридное машинное зрение сочетает традиционное машинное зрение в 2D или 3D с машинным обучением и дополняет их третьим элементом: мастерством. Результатом являются решения, которые расширяют границы возможностей машинного зрения в области контроля качества.
В этом руководстве мы объясним, как работает гибридное машинное зрение, и опишем 5 вариантов использования этой технологии, чтобы вы могли вдохновиться и увидеть новые способы оптимизации своего производства.
Что такое гибридное зрение?
Гибридное зрение представляет собой сочетание традиционного 2D или 3D машинного зрения, машинного обучения и мастерства.
Традиционное 2D-машинное зрение десятилетиями использовалось для автоматизированного контроля качества в обрабатывающей промышленности. Оно, по сути, состоит из одной или нескольких камер, которые получают изображение, и компьютера, который обрабатывает его и, на основе запрограммированного инженером алгоритма, определяет, соответствует ли проинспектированная деталь заданным требованиям к качеству.
В последние годы 3D-технологии буквально добавили новое измерение к возможностям машинного зрения.
Традиционное машинное зрение идеально подходит для проверки размеров, форм, чисел, позиционирования и широкого спектра типов дефектов, которые можно описать и сузить круг поиска.
Машинное обучение часто применяется, когда пространство образца сложно описать в алгоритме, например, при осмотре эстетических дефектов поверхности, для выявления и оценки которых требуется опытный инспектор. Обучая нейронную сеть на изображениях качественных и некачественных образцов, мы можем использовать машинное обучение для имитации оценки опытного инспектора и достижения более последовательного и точного процесса осмотра.
Несмотря на то, что стандартные компоненты машинного обучения стали доступны в готовом виде, купить умную камеру и настроить её в сложных промышленных производственных условиях всё ещё не так просто, как в случае с Plug-and-Play. Обычно для этого требуется индивидуальное решение. Для достижения оптимального результата необходимы глубокие познания в области машинного обучения и навыки работы с технологиями машинного зрения, включая креативное мышление и управление камерой и освещением для получения изображений, подходящих для проверки.
В гибридном машинном зрении комбинация элементов могла бы выглядеть следующим образом, если бы вы, например, осматривали деревянную панель на предмет эстетических дефектов:
Предварительная обработка с использованием традиционного зрения
Сначала мы предварительно обрабатываем изображение с помощью традиционного 2D/3D-зрения.
Чтобы оптимизировать процесс и избежать необходимости обработки нейронной сетью всего изображения, что является ресурсоемким и отнимает много времени, используются традиционные технологии машинного зрения для выявления возможных дефектов в заданном объекте — другими словами, для указания областей, требующих дальнейшего исследования.
Шаг 2
Обработка с помощью машинного обучения
Выбранные области затем передаются в нейронную сеть, обученную на большом количестве хороших и плохих образцов, которая обрабатывает изображение и присваивает ему оценку, определяющую, соответствует ли оно установленному стандарту качества.
Шаг 3
Постобработка с использованием традиционного зрения
Если оценка представляет собой пограничный случай, вы можете выполнить постобработку с использованием традиционной технологии машинного зрения, выявив конкретные, предопределенные типы дефектов или, например, измерив размер дефектов.
Мастерство как основа
Качество изображения всегда будет иметь первостепенное значение для результата проверки, поэтому «мастерство» является связующим звеном, которое связывает воедино элементы гибридного машинного зрения.
Как с точки зрения освещения, экспозиции, оптики и других параметров съемки, так и с точки зрения возможности оптимально обучить нейронную сеть для конкретной задачи.
Суть в том, что именно сочетание всех элементов позволяет раздвинуть границы возможностей машинного зрения.
Когда следует выбирать гибридное машинное зрение?
Часто потребность в гибридном зрении возрастает по мере увеличения сложности задачи. Гибридное зрение особенно хорошо подходит для задач, которые в противном случае потребовали бы наметанного глаза и определённого опыта. Лучшим примером является осмотр поверхностей на предмет эстетических дефектов — другими словами, проверка того, «выглядит ли поверхность достаточно хорошо», чтобы пройти контроль качества.
Обычно эта оценка основана на таком количестве параметров, что сложно определить выборочное пространство достаточно точно для разработки достаточно надёжного алгоритма. Именно поэтому мы обращаемся к искусственному интеллекту, поскольку можем обучить сеть машинного обучения проводить ту же оценку, что и опытный инспектор.
В случае больших поверхностей, требующих проверки на наличие дефектов, обработка всего изображения с помощью сети машинного обучения зачастую требует значительных ресурсов. Это требует применения гибридного подхода, при котором мы можем использовать традиционное двумерное зрение для предварительной обработки изображений и выявления областей изображения, содержащих потенциальные дефекты, чтобы через нейронную сеть проходили только соответствующие пиксели.
Таким образом, гибридное зрение имеет смысл, когда традиционное зрение и машинное обучение можно объединить для создания более надежного решения, а также когда для получения подходящих изображений требуются глубокие познания в области зрения.
Это часто происходит в условиях промышленного производства, где физические условия затрудняют получение качественных изображений. Это могут быть как размер объектов, поверхность, материал и т. д., так и физические условия, например, скорость конвейерной ленты, условия освещения, температура, наличие чистых помещений, запыленность производственных помещений и т. д.
Когда гибридное зрение не нужно?
Если задача заключается всего лишь в «подсчёте пикселей» и измерении размеров, количества и т.п. для оценки соответствия детали заданным допускам, машинное обучение требуется редко. В таких случаях традиционное 2D- или 3D-зрение может оказаться наиболее эффективным способом достижения цели.
Аналогично, некоторые задачи можно решить с помощью стандартных решений машинного обучения. Как правило, это относительно простые задачи, в которых легко выявить и аннотировать ошибки, а выборочное пространство для ошибок меньше. В стандартных решениях машинного обучения предварительная обработка для выбора фрагментов изображения с кандидатами не производится, вместо этого обрабатывается всё изображение целиком. Поэтому обычно необходимо, чтобы процесс генерации изображений происходил на относительно низкой скорости или полностью останавливался, чтобы сеть успела обработать изображение и найти ошибки.
Для чего не подходит гибридное машинное зрение?
Если объем производства небольшой или состоит из небольших партий различных изделий, гибридное видение, как правило, не является подходящим подходом.
Это связано с тем, что для обучения сети машинного обучения и обеспечения ее надежности требуется много работы, и поэтому нелегко адаптировать решение для машинного обучения к новому производству, где необходимо учитывать новые факторы.
5 примеров использования гибридного машинного зрения
1. Проверка эстетических дефектов на клееных досках
Цель: Проверка сучков и смоляных карманов в клееных досках.
Испытание
При использовании деревянных досок для изготовления качественной мебели крайне важно обнаружить сучки, которые могут привести к образованию отверстий или выпадению, прежде чем использовать доску в дорогостоящем производстве. Некоторые смоляные кармашки также могут стать причиной проблем, поскольку смола становится более жидкой при хранении мебели в тёплом помещении и может привести к появлению жёлтых пятен при последующем лакировании древесины.
При таком виде осмотра древесины очень сложно отличить допустимые сучки и смоляные карманы от тех, которые требуют выбраковки или ремонта. Качество доски определяется сочетанием нескольких факторов, и традиционно для этого требуется опытный инспектор.
Это ресурсоемкий процесс, и поскольку на линии будет работать несколько инспекторов, их субъективные оценки часто будут давать противоречивые результаты.
Решение
Клееные доски сканируются несколькими камерами линейного сканирования при прохождении через систему контроля на конвейере.
Сначала используется традиционное машинное зрение для выявления потенциальных дефектов и отбора кандидатов на дальнейшую обработку. Мы используем двумерный контроль для выявления сучков и смоляных карманов, а также трёхмерный контроль для проверки поверхности на наличие неровностей и отверстий.
Затем отобранные кандидаты обрабатываются в сети машинного обучения, обученной на 30 000 качественных и плохих изображениях, чтобы определить, какие сучки и смоляные карманы могут пройти проверку качества.
Это обеспечивает очень высокий уровень точности +95%, что значительно лучше и стабильнее, чем при ручном контроле. Это означает, что меньше дефектов проходит контроль качества и меньше годных плат отбраковывается по ошибке.
Это решение Hybrid Vision также выполняет постобработку дефектов, выявленных сетью машинного обучения. Важно, чтобы узел был развязан, и это невозможно оценить, просто взглянув на изображение. Однако, сопоставив изображения верхней и нижней частей пластин, можно определить, проходят ли узлы насквозь, что повышает вероятность их развязки.
Сеть машинного обучения не может определить размер обнаруженных узлов, но эта информация необходима для их ремонта. Поэтому изображения узлов обрабатываются с помощью двумерного машинного зрения. Алгоритм рассчитывает размер узлов, требующих ремонта. Эта информация затем передаётся на ремонтное оборудование на производственной линии.
Почему необходимо гибридное видение
Вариабельность сучков и смоляных карманов высока, и создание алгоритма, способного классифицировать все типы дефектов, обошлось бы очень дорого или было бы просто невозможно. В то же время, обработка изображения всей доски клееного бруса с помощью нейронной сети потребовала бы слишком много времени. Это потребовало бы замедления производственной линии, что было бы контрпродуктивно.
Однако, объединив два подхода, можно получить лучшее из обоих миров и добиться эффективной, автоматизированной внутритрубной инспекции с высоким уровнем точности.
2. Проверка трещин в кирпичах
Цель: Для обнаружения небольших трещин на поверхности кирпича
Испытание
Кирпичи изготавливаются из органического материала с естественной текстурой поверхности, которая может различаться от кирпича к кирпичу. Однако на кирпичах не должно быть трещин, так как, помимо эстетической привлекательности, проникновение воды может стать проблемой функционального характера.
Однако отличить небольшие трещины от других структур поверхности может быть сложно, и не все трещины представляют собой проблему. Проблема возникает только в том случае, если они превышают определённый размер. Поскольку существует ряд пограничных случаев, задача заключается в разработке решения, позволяющего надёжно определить кирпичи с критическими трещинами, которые необходимо отбраковать.
Решение
Разработанное решение состоит из трех частей:
- Сначала проводится предварительная обработка изображений кирпичей, на которой отбираются потенциальные дефекты. Затем фрагменты изображений с потенциальными дефектами обрабатываются в сети машинного обучения, а затем выполняется постобработка с использованием традиционного двумерного машинного зрения для определения размера обнаруженных трещин.
- Для высокоточного выявления трещин мы используем сеть машинного обучения, обученную на большом количестве изображений кирпичей без дефектов и с трещинами. Таким образом, сеть научилась распознавать трещины и присваивает каждому кирпичу оценку, основанную на вероятности наличия трещины.
- Затем отобранные кандидаты обрабатываются с использованием традиционного 2D-машинного зрения, которое измеряет размер трещины и определяет, выходит ли дефект за пределы допуска и следует ли его отбраковать.
Почему необходимо гибридное видение
Гибридное зрение — это сочетание лучших инструментов для создания наиболее эффективного решения, в данном случае для строительной отрасли . Традиционное 2D/3D машинное зрение неэффективно, когда речь идёт о выявлении эстетических дефектов поверхности, которые могут проявляться по-разному.
С другой стороны, это очень эффективный инструмент для измерения размеров. Таким образом, можно доверить нейронной сети выявление трещин, требующих дальнейшего исследования, а затем использовать традиционные технологии машинного зрения для измерения точного размера дефекта и определения, находится ли он в пределах допуска или камень следует отбраковать.
3. Проверка содержимого
Цель: Контроль качества упаковки деталей
Испытание
Многие изделия состоят из различных компонентов, которые необходимо собрать в единую упаковку — например, строительные наборы, мебель, кухонные принадлежности и т. д.
Крайне важно упаковать все необходимые детали вместе, но во время упаковки, которая часто выполняется вручную, легко могут возникнуть ошибки. В результате покупатель испытывает разочарование и получает продукт, который невозможно собрать.
Содержимое таких упаковок можно контролировать с помощью машинного зрения в процессе. Однако сложность заключается в том, что содержимое может быть размещено множеством разных способов. Пакет с винтами может быть наполовину скрыт под листом бумаги. Тарелка может быть помещена в коробку, но перевернута. Другими словами, мы рассматриваем большое пространство для образцов.
Решение
Задача решается путём размещения нескольких 2D-камер над конвейерной лентой в определённых местах, где необходимо проверить содержимое. Сначала традиционная технология машинного зрения используется для выявления потенциально бракованных упаковок, что исключает необходимость использования машинного обучения для заведомо годных товаров.
Изображения, отклоняющиеся от заданного стандарта, затем обрабатываются нейронной сетью, обученной на большом количестве изображений различных корректных упаковок.
Используя технологию обнаружения аномалий, нейронная сеть может идентифицировать упаковки, которые слишком сильно отклоняются от нормы, чтобы быть одобренными.
Почему необходимо гибридное видение
Поскольку диапазон результатов настолько велик, что использование традиционных технологий машинного зрения для решения этой задачи требует слишком больших ресурсов, необходимо задействовать машинное обучение.
Сеть машинного обучения можно обучить оценивать объект так же, как это сделал бы опытный инспектор. Поэтому эта технология особенно хорошо подходит для задач, где сложно дать точное и полное описание того, как выглядит хороший или плохой объект.
4. Проверка стеклянной трубки
Цель: Классификация открытых и закрытых воздуховодов в стеклянных трубках
Испытание
С помощью традиционного машинного зрения можно обнаружить дефекты в стеклянных трубках, например,
в воздуховодах.
Проблема возникает, когда контроль качества требует различать различные типы дефектов, например, открытые и закрытые торцы. Закрытые торцы допустимы, а открытые торцы — критическая ошибка. Стандартная система контроля качества стекла не может надёжно распознать это различие.
Решение
Машинное зрение способно обнаружить любые дефекты, включая дефекты в авиалиниях, поэтому первым шагом в этом процессе является выявление областей с дефектами. Изображения выявленных дефектов затем передаются в сеть машинного обучения, обученную на изображениях, полученных стандартной системой. Нейронная сеть обрабатывает изображение и присваивает каждой неисправности вероятность того, что она является признаком открытой или закрытой авиалинии.
Почему необходимо гибридное видение
До появления этого решения автоматическая сортировка между открытыми и закрытыми воздуховодами в стеклянных трубках была невозможна.
Однако, добавив уровень машинного обучения к традиционной системе машинного зрения, можно вывести автоматизированный контроль на новый уровень.
При этом синергия стандартного машинного зрения и машинного обучения позволяет быстро внедрить решение.
Вместо того, чтобы обучать сеть машинного обучения на большом объёме обучающих данных, это делается в течение первой недели после внедрения системы, обучая её на реальных изображениях из стандартной системы. Они постоянно аннотируются, чтобы сеть научилась распознавать типы ошибок.
5. Лакированные поверхности
Цель: Проверка дефектов поверхности лакированных досок
Испытание
Сложность проверки окрашенных поверхностей на наличие дефектов (в данном примере окрашенных кухонных фасадов) заключается в большом количестве различных дефектов, которые алгоритм должен идентифицировать и классифицировать.
В лаке может быть более 25 различных типов дефектов — небольшие отверстия, царапины, апельсиновая корка, пыль и т. д. Разработка алгоритма, способного находить и классифицировать все дефекты, потребовала бы очень больших ресурсов, особенно с учетом высокой дисперсии дефектов.
Решение
В этом примере мы разработали решение, которое сначала выполняет предварительную обработку изображения и выявляет области на нём, которые, вероятно, содержат дефект. Для этой части мы можем использовать традиционное машинное зрение, поскольку ему не нужно ничего делать, кроме поиска областей, отклоняющихся от внешнего вида поверхности.
Затем мы обрабатываем эти фрагменты изображения в нейронной сети, обученной на большом количестве качественных и некачественных изображений с аннотациями, что позволяет ей распознавать различные типы дефектов. Сеть может с высокой вероятностью оценить наличие ошибки и одновременно определить её тип.
Нейронная сеть идентифицирует ошибки, устанавливая вероятность того, что определенная ошибка присутствует на участке изображения.
В некоторых случаях значение будет близко к пороговому значению, заданному нами для ошибки. Если есть определённые ошибки, которых особенно важно избежать, мы можем использовать традиционное машинное зрение для постобработки участков изображения с пограничными случаями.
Сузив выборочное пространство благодаря машинному обучению, мы теперь можем создать алгоритм, который ищет конкретные характеристики заданного дефекта. Таким образом, мы повышаем точность системы.
Почему необходимо гибридное видение
Обработка всего изображения с помощью машинного обучения часто оказывается неудачной идеей, поскольку это займёт слишком много времени и потребует слишком много ресурсов. Система становится гораздо эффективнее, когда мы используем традиционное двухмерное и трёхмерное зрение для определения областей изображения, которые нужно обработать с помощью сети машинного обучения.
Когда задача достаточно сложна, её часто невозможно решить стандартными методами машинного обучения. Обучение сети, достаточно устойчивой для выявления и классификации большого количества различных ошибок с высокой дисперсией, требует значительных профессиональных знаний.
