Краткое руководство по машинному зрению для самых любознательных

Далеко не все раньше использовали машинное зрение или системы машинного зрения в своих производственных процессах, многие впервые сталкиваются с машинным зрением. Поэтому важно понимать основы системы визуального контроля и то, как выглядит вся система в целом. Это поможет понять, как работает машина визуального контроля на элементарном уровне.

В состав системы машинного зрения входят следующие семь основных элементов. Хотя каждый из этих компонентов выполняет свою индивидуальную функцию и может встречаться во многих других системах, при совместной работе каждый из них играет свою особую роль. Для надежной работы и получения воспроизводимых результатов важно, чтобы эти критически важные компоненты эффективно взаимодействовали.

• Процесс машинного зрения начинается с   проверки детали или изделия .
• Когда деталь окажется в нужном месте,  датчик  запустит процесс получения цифрового изображения.
• Структурированное  освещение  используется для обеспечения оптимального качества получаемого изображения.
• Оптическая линза фокусирует изображение на сенсоре камеры.
• В зависимости от возможностей этого  цифрового датчика,  он может выполнять предварительную обработку, чтобы обеспечить выделение нужных элементов изображения.
• Затем изображение отправляется в  процессор  для анализа в соответствии с набором предварительно запрограммированных правил.
• Затем с помощью средств связи  осуществляется передача информации и запуск автоматических событий, таких как приемка или отбраковка детали.

Все начинается с проверяемой детали или изделия. Это связано с тем, что именно размер детали, заданные допуски и другие параметры помогут определить необходимое решение для машинного зрения. Для достижения желаемых результатов система должна быть спроектирована таким образом, чтобы размещение и ориентация детали были последовательными и воспроизводимыми.

Для обнаружения детали и запуска процесса используется датчик, часто оптический или магнитный:

• источник света для выделения ключевых элементов и
• камера для получения изображения

Эта часть процесса может также включать в себя то, что часто называют «постановкой». Представьте себе театр, и это будет эквивалентом размещения актера в центре сцены, в наилучшем для зрителей месте. Постановка часто носит механический характер и необходима для:

• Убедитесь, что к камере обращена правильная поверхность детали. Для проверки нескольких поверхностей может потребоваться поворот.
• Удерживайте объект неподвижно в тот момент, когда камера или объектив сделают снимок.
• Чтобы процессору было проще анализировать изображение, размещайте деталь в одном и том же месте на всем изображении.

Освещение имеет решающее значение, поскольку позволяет камере видеть необходимые детали. Фактически, плохое освещение является одной из основных причин сбоев. Для каждого применения существуют общие цели в отношении освещения:

• Максимальное увеличение контраста характеристик детали или объекта, подлежащего проверке.
• Снижение контраста на не представляющих интереса элементах
• Устранение отвлекающих факторов и различий для достижения согласованности.

В этом отношении  расположение и тип  освещения имеют ключевое значение для максимального увеличения контраста осматриваемых объектов и минимизации всего остального.

Конечно, в интегрированной системе контроля качества все эти аспекты уже будут учтены и реализованы в рамках подразделения контроля качества, но это лишь некоторые из основных элементов, составляющих основу системы машинного зрения.

Искусственный интеллект (ИИ) в машинном зрении  продолжает развиваться, и использование глубокого обучения ИИ в автоматизированном машинном зрении для контроля качества стало актуальным вариантом в тех приложениях, где доступны четкие тенденции, знания и данные для контроля процесса. Мы продолжаем наблюдать значительный рост использования систем машинного зрения на основе ИИ. Но на каком этапе принимается решение о том, какой процесс машинного зрения лучше всего подходит для конкретного приложения, и когда следует расширить контроль качества с помощью машинного зрения, включив в него элементы 100% глубокого обучения ИИ? И как улучшить и ускорить процесс контроля качества с помощью ИИ?

Термин «ИИ» — это дополнение к процессу, который существует в области машинного зрения последние двадцать лет, но только сейчас стал более распространенным (или, вернее, технология достигла зрелости, позволяющей ее массовое внедрение). В начале 2000-х годов мы предоставляли системы машинного зрения, используя низкоуровневые нейронные сети для дифференциации и классификации признаков. В основном они применялись для простой сегментации и проверки символов. Эти сети были простыми и имели ограниченные возможности. Тем не менее, процесс обучения сети, который мы использовали тогда, остался тем же, что и сейчас, но в гораздо большем масштабе. Тогда мы называли это «нейронной сетью»; сейчас это называется искусственным интеллектом.

Термин «искусственный интеллект» возник потому, что нейронная сеть обладает определенным уровнем «интеллекта», позволяющим ей учиться на примерах и расширять свои знания на итеративных уровнях обучения. Первоначальные исследования в области компьютерного зрения и ИИ показали, что человеческое зрение имеет иерархическую структуру в том, как нейроны реагируют на различные стимулы. Простые признаки, такие как края, обнаруживаются нейронами, которые затем преобразуются в более сложные признаки, такие как формы, которые, в свою очередь, формируют более сложные визуальные представления. Таким образом, отдельные блоки складываются в «изображения», которые может воспринимать мозг. В системах промышленного зрения пиксельные данные можно рассматривать как строительные блоки синтетических изображений. Пиксельные данные собираются на датчике изображения и передаются процессору в виде миллионов отдельных пикселей различной градации серого или цвета. Например, линия — это просто набор пикселей одинакового уровня, расположенных в ряд, с краями, которые переходят пиксель за пикселем по разнице уровней серого в соседнее местоположение.

Нейронные сети в области компьютерного зрения пытаются воссоздать то, как человеческий мозг изучает границы, формы и структуры. Нейронные сети состоят из слоев обрабатывающих блоков. Единственная функция первого слоя — принимать входные сигналы и передавать их на следующий слой и так далее. Последующие слои называются «скрытыми слоями», поскольку они не видны пользователю напрямую. Именно они выполняют фактическую обработку сигналов. Последний слой преобразует внутреннее представление созданного в результате обработки шаблона в выходной сигнал, напрямую кодирующий принадлежность входного шаблона к классу. Нейронные сети этого типа могут реализовывать произвольно сложные взаимосвязи между значениями признаков и обозначениями классов. Взаимосвязь, заложенная в сети, зависит от весов связей между слоями и количества слоев — и может быть получена с помощью специальных алгоритмов обучения из набора обучающих шаблонов. Конечным результатом является «сеть» связей между сетями нелинейным образом. Все это делается для того, чтобы попытаться имитировать работу мозга в процессе обучения.

В чём преимущества использования систем машинного зрения на основе искусственного интеллекта?

• Они принимают правильные решения в сложных условиях. Представьте, что для вашей детали, требующей автоматизированного контроля, поставщик постоянно поставляет детали с изменяющейся текстурой поверхности. Это стало бы головной болью для традиционных систем машинного зрения, практически неразрешимой проблемой. Для машинного зрения с использованием искусственного интеллекта подобные задачи идеально подходят.
• Они отлично подходят для обнаружения аномалий, выходящих за рамки обычного. Одно из главных преимуществ систем машинного зрения на основе ИИ — это способность обнаруживать дефекты, которые никогда раньше не встречались и были «неожиданными». В традиционных системах машинного зрения алгоритм разрабатывается для прогнозирования конкретного состояния, будь то градация серого цвета элемента, размер в пикселях, определяющий неисправность детали, или соответствие цвета для подтверждения исправности детали. Но если у вашей детали из миллиона неисправных есть незначительный дефект, который не был учтен, традиционная система машинного зрения может его пропустить, тогда как система машинного зрения на основе глубокого обучения с ИИ вполне может его обнаружить.
• Они полезны в качестве вторичного метода контроля. Вы исчерпали все традиционные методы обработки изображений, но у вас все еще остается небольшой процент неисправностей, которые трудно классифицировать по вашей известной базе данных классификации. У вас есть данные изображения, и деталь выходит из строя в нужное время, но вы хотите углубиться в детали, чтобы провести окончательный анализ и еще больше повысить производительность. Это идеальный сценарий для внедрения глубокого обучения на основе ИИ. У вас есть данные, вы понимаете неисправность и можете обучать модель на сегментах с более низким разрешением для более точной классификации. Вероятно, именно здесь в ближайшие годы будет расти рост внедрения глубокого обучения на основе ИИ в компьютерном зрении.
• Они полезны, когда традиционные алгоритмы использовать невозможно. Вы перепробовали все обычные методы сегментации, измерение пикселей, сопоставление цветов, проверку символов, проверку поверхности или общий анализ — ничего не работает! Вот тут-то и может пригодиться ИИ. Вероятная причина неработоспособности традиционных алгоритмов — это неоднородность самой детали, и именно здесь следует попробовать глубокое обучение.

Типичные примеры применения ИИ в системах машинного зрения

• Выявлять отклонения в процессе сборки и массового производства продукции.
• Легко классифицируйте визуально похожие товары с изменяющимися границами дефектов.
• Классификация дефектов для контроля качества и технологического процесса.
• Контроль косметических и поверхностных дефектов в высокоскоростном производстве
• Выявление непредсказуемых дефектов качества
• Осмотр в условиях изменяющегося освещения и состояния деталей.
• Классифицируйте дефекты, возникающие при традиционной обработке данных, с помощью более детального анализа на основе искусственного интеллекта.
• Учимся на примерах, используя данные изображений.
• Проверка там, где традиционные системы машинного зрения оказываются неэффективными.

Биоинспирированная автоматизированная визуальная инспекция

Глубокое обучение в контексте промышленного машинного зрения учит роботов и машины делать то, что естественно для человека, то есть учиться на примерах. Новые многослойные «биоинспирированные» глубокие нейронные сети позволяют новейшим решениям машинного зрения имитировать активность человеческого мозга при обучении, что позволяет системам машинного зрения распознавать изображения, выявлять тенденции и понимать тонкие изменения в изображениях, представляющие собой дефекты.

Машинное зрение хорошо справляется с количественным измерением высокоструктурированной сцены с постоянным разрешением камеры, оптикой и освещением. Глубокое обучение может обрабатывать вариации дефектов, требующие понимания допустимых отклонений от контрольной среды; например, когда происходят изменения текстуры, освещения, затенения или искажения изображения. Наши системы машинного зрения на основе глубокого обучения могут использоваться для контроля поверхности, распознавания объектов, обнаружения компонентов и идентификации деталей. Глубокое обучение с использованием ИИ помогает в ситуациях, когда традиционное машинное зрение может испытывать трудности, например, при работе с деталями, имеющими различные размеры, форму, контрастность и яркость из-за производственных и технологических ограничений.

Технологии, лежащие в основе искусственного интеллекта в машинном зрении.

Традиционные системы машинного зрения отлично справляются с повторяющимися задачами, такими как контроль качества, инспекция и измерения. Однако они испытывают трудности при работе с вариациями и сложными обстоятельствами. Искусственный интеллект, благодаря своей способности обучаться на основе закономерностей данных и корректироваться в режиме реального времени, помогает преодолеть некоторые из этих ограничений. Такое взаимодействие позволяет системам машинного зрения не только распознавать устоявшиеся закономерности, но и понимать сложные отклонения и изменяющиеся паттерны, подобно когнитивным процессам человека.

Обнаружение дефектов, ранее ограничивавшееся заранее заданными неисправностями, теперь включает в себя выявление едва заметных аномалий, что снижает потери и повышает качество продукции. Машинное зрение станет более надежным по мере совершенствования ИИ и увеличения объемов данных, что произведет революцию в автоматизированном контроле качества во всех областях. Эра машинного зрения и понимания уже наступила, обещая будущее, в котором точность и интеллект объединятся для достижения выдающихся результатов.

Искусственный интеллект и машинное зрение для автоматизации производства

Если сравнивать ИИ с системами машинного зрения, основанными на правилах и требующими значительного программирования и высоких технических навыков, то решения для машинного зрения, использующие технологии ИИ, применяют обработку естественного языка для чтения и понимания разметки изображений, определенной человеком. Это позволяет более широкому кругу пользователей извлекать выгоду из ИИ и решать задачи машинного зрения, которые слишком сложны и трудоемки для программирования с использованием алгоритмов, основанных на правилах. Данные изображения первоначально размечаются и подтверждаются оператором, но затем система обучается на примерах на основе определений классов.

Системы машинного зрения на основе искусственного интеллекта дополняют машинное зрение, основанное на правилах. Когда система машинного зрения получает захваченное изображение, программное обеспечение ИИ сравнивает его с библиотекой «хороших» и «плохих» эталонных изображений и возвращает результат. Результат может быть простым, например, «хорошо/плохо» или «принято/отклонено», или более сложным в зависимости от потребностей. Этот метод обучения машинного зрения распознаванию закономерностей и извлечению выводов из аннотированных эталонных фотографий позволяет им различать допустимые и недопустимые отклонения в проверяемых объектах, что является основой визуального контроля с использованием ИИ.

Давайте подробнее рассмотрим, что нам нужно для применения машинного зрения с использованием ИИ. Для сбора обучающих данных нам необходима согласованная конфигурация с известными образцами для получения целой серии изображений. Изображения высокого разрешения позволяют запечатлеть больше деталей, что может значительно повысить точность системы машинного зрения. Нам нужны изображения для обучения классификатора ИИ, изображения для тестирования классификатора в процессе обучения и, наконец, набор ранее не встречавшихся изображений для подтверждения того, что обученный классификатор работает должным образом. Некоторые приложения естественным образом больше подходят для машинного зрения с использованием ИИ — например, контроль поверхности, поверхностные аномалии или незначительные изменения внешнего вида продукта.

Это отличается от приложений, требующих вычисления конкретных данных, таких как автоматизированное измерение и метрология, где определенные детали необходимо измерять с помощью системы машинного зрения с высокой точностью; это приложение не подходит и не реализуемо с помощью систем машинного зрения на основе ИИ (поскольку такие данные недоступны от классификатора ИИ).

Также следует учитывать, как можно развернуть производственные системы. Поскольку для обучения и работы ИИ во многих случаях требуется набор данных, систему необходимо установить и получить изображения с работающей системы, прежде чем можно будет определить, применима ли в данном случае система машинного зрения на основе ИИ. Например, в медицинских и фармацевтических приложениях это сложно, поскольку решение необходимо проверить и оформить подтверждающую документацию до окончательной квалификации установки, а проверить модель ИИ непросто. Но в других областях применения камеры можно установить и получить изображения в процессе установки. Всегда помните о преимуществах и недостатках  искусственного интеллекта в машинном зрении.

Где мы находимся сейчас, и каково наше будущее?

Искусственный интеллект (ИИ) для систем машинного зрения вызывает большой ажиотаж благодаря появлению языковых моделей ИИ, таких как ChatGPT, и моделей обработки изображений ИИ, таких как DALLE. ИИ начинает набирать популярность в системах машинного зрения, но что это такое? И насколько это жизнеспособно?

Где мы находимся?

Начнём с самого начала. Термин «ИИ» — это дополнение к процессу, который существует в области машинного зрения последние двадцать лет, но только сейчас стал более распространённым (или, вернее, технология достигла зрелости, позволяющей её массовое внедрение). В начале 2000-х годов мы предоставляли системы машинного зрения, используя низкоуровневые нейронные сети для дифференциации и классификации признаков. В основном они применялись для простой сегментации и проверки символов. Эти сети были простыми и имели ограниченные возможности. Тем не менее, процесс обучения сети, который мы использовали тогда, остался тем же, что и сейчас, но в гораздо большем масштабе. Тогда мы называли это «нейронной сетью»; сейчас это называется искусственным интеллектом.

Термин «искусственный интеллект» возник потому, что нейронная сеть обладает определенным уровнем «интеллекта», позволяющим ей учиться на примерах и расширять свои знания на итеративных уровнях обучения. Первоначальные исследования в области компьютерного зрения и ИИ показали, что человеческое зрение имеет иерархическую структуру в том, как нейроны реагируют на различные стимулы. Простые признаки, такие как края, обнаруживаются нейронами, которые затем преобразуются в более сложные признаки, такие как формы, которые, в свою очередь, формируют более сложные визуальные представления. Таким образом, отдельные блоки складываются в «изображения», которые может воспринимать мозг. В системах промышленного зрения пиксельные данные можно рассматривать как строительные блоки синтетических изображений. Пиксельные данные собираются на датчике изображения и передаются процессору в виде миллионов отдельных пикселей различной градации серого или цвета. Например, линия — это просто набор пикселей одинакового уровня, расположенных в ряд, с краями, которые переходят пиксель за пикселем по разнице уровней серого в соседнее местоположение.

Нейронные сети в области компьютерного зрения пытаются воссоздать то, как человеческий мозг изучает границы, формы и структуры. Нейронные сети состоят из слоев обрабатывающих блоков. Единственная функция первого слоя — принимать входные сигналы и передавать их на следующий слой и так далее. Последующие слои называются «скрытыми слоями», поскольку они не видны пользователю напрямую. Именно они выполняют фактическую обработку сигналов. Последний слой преобразует внутреннее представление созданного в результате обработки шаблона в выходной сигнал, напрямую кодирующий принадлежность входного шаблона к классу. Нейронные сети этого типа могут реализовывать произвольно сложные взаимосвязи между значениями признаков и обозначениями классов. Взаимосвязь, заложенная в сети, зависит от весов связей между слоями и количества слоев — и может быть получена с помощью специальных алгоритмов обучения из набора обучающих шаблонов. Конечным результатом является «сеть» связей между сетями нелинейным образом. Все это делается для того, чтобы попытаться имитировать работу мозга в процессе обучения.

Имея эту информацию, разработчики систем компьютерного зрения сосредоточили свои усилия на цифровом воспроизведении нейронной архитектуры человека, что и привело к появлению искусственного интеллекта. Что касается восприятия и анализа визуальных стимулов, системы компьютерного зрения используют иерархический подход, подобно своим биологическим аналогам. Традиционные системы машинного зрения продолжали работать в этом направлении, но ИИ требует целостного представления всех данных для сравнения и разработки.

Таким образом, за последние пять лет произошел взрывной рост развития искусственного интеллекта и систем компьютерного зрения на основе глубокого обучения. Эти системы основаны на разработке нейронных сетей в компьютерном зрении в сочетании с развитием ИИ в других областях разработки программного обеспечения. Все они, как правило, построены на основе библиотеки автоматического дифференцирования для реализации нейронных сетей в простом и легко настраиваемом решении. Решения в области компьютерного зрения на основе глубокого обучения включают в себя поиск дефектов с помощью искусственного интеллекта в сочетании с визуальными и статистическими корреляциями, чтобы помочь точно определить основную причину проблемы контроля качества.

Чтобы идти в ногу с этим развитием, системы машинного зрения эволюционировали в платформы для производства искусственного интеллекта и сбора данных, поскольку потребность в визуальных данных для обучения становится важнейшим элементом для всех систем машинного зрения по сравнению с использованием традиционных алгоритмов машинного зрения. Традиционным алгоритмам машинного зрения по-прежнему необходимы данные изображений для разработки, но не в такой степени, как для глубокого обучения. Это означает, что платформы машинного зрения развиваются таким образом, чтобы интегрировать визуальные и параметрические данные в единый цифровой поток, начиная с этапа разработки проекта и заканчивая внедрением контроля качества на производственном участке.

Одновременно с расширением потенциального использования ИИ в системах машинного зрения наблюдается взрывной рост числа поставщиков платформ сбора данных на основе ИИ. Эти системы представляют собой скорее вспомогательные операции по сбору, сегментации и классификации изображений перед передачей их в нейронную сеть, чем качественный скачок в обработке изображений или явное отличие от традиционного машинного зрения. Примечание: большинство этих компаний имеют в своих названиях слово «ИИ». Эти платформы позволяют наглядно представлять изображения и легко передавать их в сеть для вычисления нейронного алгоритма. Тем не менее, все они основаны на одной и той же общей архитектуре.

Что представляют собой фреймворки для глубокого обучения — TensorFlow или PyTorch?

TensorFlow и PyTorch — это две основные платформы глубокого обучения, используемые разработчиками систем искусственного интеллекта для машинного зрения. Каждая из них была разработана Google и Facebook соответственно. Они используются в качестве основы для разработки моделей ИИ на низком уровне, обычно с графическим пользовательским интерфейсом (GUI) поверх них для сортировки изображений.

TensorFlow — это инструментарий для символической математики, лучше всего подходящий для программирования потоков данных в различных рабочих нагрузках. Он предоставляет множество уровней абстракции для моделирования и обучения. Это перспективное и быстрорастущее решение для глубокого обучения для разработчиков машинного зрения. Он предоставляет гибкую и всеобъемлющую экосистему ресурсов сообщества, библиотек и инструментов для создания и развертывания приложений машинного обучения. Недавно TensorFlow интегрировал Keras в свой фреймворк, являющийся предшественником TensorFlow.

PyTorch — это высокооптимизированная библиотека для работы с тензорами в глубоком обучении, построенная на Python и Torch. Основное её применение — в приложениях, использующих графические процессоры (GPU) и центральные процессоры (CPU). Производители систем машинного зрения отдают предпочтение PyTorch перед другими фреймворками глубокого обучения, такими как TensorFlow и Keras, поскольку он использует динамические вычислительные сети и полностью написан на Python. Он предоставляет исследователям, инженерам-программистам и специалистам по отладке нейронных сетей возможность тестировать и запускать фрагменты кода в режиме реального времени. Благодаря этому пользователям не нужно ждать завершения разработки всего кода, чтобы определить, работает ли тот или иной его фрагмент.

Независимо от выбранного решения для развертывания, общие преимущества и недостатки решений машинного зрения, использующих глубокое обучение, остаются неизменными.

Каковы преимущества и недостатки использования глубокого обучения на основе искусственного интеллекта в системах машинного зрения?

Итак, есть несколько ключевых моментов, которые следует учитывать при рассмотрении возможности использования глубокого обучения на основе искусственного интеллекта в системах машинного зрения. Они описывают преимущества и недостатки, которые следует учитывать при оценке целесообразности применения ИИ в промышленных системах машинного зрения.

Минусы

– Промышленные системы машинного зрения должны обладать высокой производительностью , то есть речь идёт о 100% правильной идентификации неисправностей, вместо того чтобы мириться с определённым уровнем ложных срабатываний. В процессе настройки систем машинного зрения всегда существует компромисс, позволяющий действовать с осторожностью, чтобы гарантировать обнаружение реальных неисправностей и их автоматическое отклонение системой. Но в случае с ИИ-контролем производительность далека от идеала, главным образом потому, что пользователь не контролирует функциональность обработки, которая принимает решение о том, что считается неисправностью. Результат «пройдено» или «не пройдено» просто даётся. Нейронная сеть обучается на огромном количестве как хороших, так и плохих неисправностей. Такая «низкая» производительность (хотя и выше 96%) абсолютно приемлема для большинства требований глубокого обучения (например, электронная коммерция, языковые модели, общее компьютерное зрение), но для промышленного машинного зрения это неприемлемо в большинстве приложений. Это необходимо учитывать при планировании внедрения глубокого обучения.

– Для этого требуется огромное количество изображений . Иногда для запуска процесса в системе машинного зрения с использованием ИИ требуются тысячи или десятки тысяч обучающих изображений. Это не следует недооценивать. И подумайте о последствиях развертывания на производственном предприятии – вам нужно установить и запустить систему для сбора данных, прежде чем начнется обучение. В случае с традиционными решениями машинного зрения это не так, разработка может быть завершена до развертывания, поэтому время выхода на рынок сокращается.

– Большая часть обработки выполняется на изображениях с пониженным разрешением . Следует понимать, что большинство (если не все) системы глубокого обучения для обработки изображений уменьшают размер изображения до приемлемого для быстрой обработки размера. Поэтому разрешение изображения с мегапиксельным разрешением сразу же снижается до нескольких сотен пикселей. Данные оказываются скомпрометированы и теряются.

– Для конкретных задач систем машинного зрения не существует готовых наборов данных . В отличие от систем машинного зрения на основе глубокого обучения, используемых в других отраслях, таких как беспилотные автомобили или обнаружение скоплений людей, обычно нет заранее определенных наборов данных для работы. В этих отраслях, если вы хотите обнаружить «кошку», «собаку» или «человека», существуют доступные источники данных, позволяющие ускорить разработку вашей системы машинного зрения на основе ИИ. В промышленном машинном зрении мы неизменно рассматриваем конкретный элемент или дефект детали без заранее определенного источника визуальных данных, на который можно было бы ссылаться. Поэтому данные изображений необходимо собирать, сортировать и обучать.

– Вам нужны хорошие, плохие и тестовые изображения . Необходимо очень тщательно отбирать изображения по категориям для обработки. «Плохое» изображение среди «хороших» 10 000 изображений трудно заметить, и оно обучит сеть распознавать плохие изображения как хорошие. Таким образом, система глубокого обучения хороша настолько, насколько хороши предоставленные ей для обучения данные и как они классифицированы. Также необходим набор эталонных изображений для тестирования сети.

– Иногда не удается получить точные данные о причине сбоя . Алгоритм глубокого обучения ИИ можно рассматривать как черный ящик. Вы вводите данные, и он выдает результат. В большинстве случаев вы не будете знать, почему деталь прошла проверку или нет, или по какой причине, только то, что это произошло. Это делает внедрение таких систем машинного зрения на основе ИИ в проверенные отрасли (такие как медицинские приборы, биологические науки и фармацевтика) проблематичным.

– Для обучения вам потребуется очень мощный графический процессор и компьютер . Стандартного ПК будет недостаточно для обработки данных, необходимых для обучения нейронной сети. Хотя компьютер, используемый для выполнения программы, не должен быть чем-то особенным, вашим разработчикам понадобится компьютер с большим объемом графического памяти и процессором высшего класса. Не стоит недооценивать это.

Плюсы

– Они принимают правильные решения в сложных условиях . Представьте, что для вашей детали, требующей автоматизированного контроля, поставщик постоянно поставляет детали с изменяющейся текстурой поверхности. Это стало бы головной болью для традиционных систем машинного зрения, практически неразрешимой проблемой. Для машинного зрения с использованием ИИ подобные приложения идеально подходят.

– Они отлично подходят для обнаружения аномалий, выходящих за рамки обычного . Одно из главных преимуществ систем машинного зрения на основе ИИ – это способность обнаруживать дефекты, которые никогда раньше не встречались и были «неожиданными». В традиционных системах машинного зрения алгоритм разрабатывается для прогнозирования конкретного состояния, будь то градация серого цвета элемента, размер в пикселях, определяющий неисправность детали, или соответствие цвета для подтверждения исправности детали. Но если у вашей детали из миллиона неисправных есть незначительный дефект, который не был учтен, традиционная система машинного зрения может его пропустить, тогда как система машинного зрения на основе глубокого обучения с ИИ вполне может его обнаружить.

– Они полезны в качестве вторичной тактики контроля . Вы исчерпали все традиционные методы обработки изображений, но у вас все еще остается небольшой процент дефектов, которые трудно классифицировать по вашей известной базе данных классификации. У вас есть данные изображения, и деталь выходит из строя в нужное время, но вы хотите углубиться в детали, чтобы провести окончательный анализ и еще больше повысить производительность. Это идеальный сценарий для внедрения глубокого обучения на основе ИИ. У вас есть данные, вы понимаете дефект и можете обучать модель на сегментах с более низким разрешением для более точной классификации. Вероятно, именно здесь в ближайшие годы будет расти рост внедрения глубокого обучения на основе ИИ в компьютерном зрении.

– Они полезны, когда традиционные алгоритмы использовать невозможно . Вы перепробовали все обычные методы сегментации, измерение пикселей, сопоставление цветов, проверку символов, проверку поверхности или общий анализ – ничего не работает! Вот тут-то и может пригодиться ИИ. Вероятная причина неработоспособности традиционных алгоритмов – это неоднородность самой детали, и именно тогда следует попробовать глубокое обучение.

В конце концов, вполне возможно, что глубокое обучение в ИИ не является необходимым для применения в системах машинного зрения. Традиционные алгоритмы систем машинного зрения все еще находятся в стадии разработки. Они вполне подходят для использования во многих приложениях, где глубокое обучение в последнее время стало основным инструментом для решения задач машинного зрения. Рассматривайте искусственный интеллект в системах машинного зрения как отличное дополнение и потенциальный инструмент, но использовать его следует разумно и целесообразно для решения конкретных задач машинного зрения.

Как можно улучшить алгоритм машинного зрения на основе искусственного интеллекта?

Первый шаг в улучшении алгоритма машинного зрения на основе ИИ включает в себя показ новых изображений, большего количества отклонений от нормы, а также выбор возможности учета перекоса, изменений размера и общего отклонения изображения. Поэтому важно максимально эффективно использовать доступные данные, применяя методы аугментации данных. Это включает в себя вращение, отражение, масштабирование и добавление шума к изображениям. Аугментация данных увеличивает разнообразие обучающих данных без необходимости сбора новых изображений, что помогает предотвратить переобучение и улучшает обобщающие возможности модели ИИ.

Важно убедиться, что ваш набор данных отражает реальные сценарии, с которыми столкнется ваша система машинного зрения. Сбалансированный набор данных, включающий различные ракурсы, условия освещения и вариации объектов, имеет решающее значение для обучения надежной модели ИИ. Включение разнообразных примеров помогает избежать предвзятости и делает систему более адаптивной и точной.

Важно обеспечить обработку всех элементов, чтобы все варианты отклоненных результатов были известны и видны. Классификатор по-прежнему будет отмечать те части с отклонениями, которые он ранее не видел, но вы можете повысить производительность ИИ, предоставив ему больше данных для работы. Однако существует компромисс между временем, необходимым для переобучения классификатора на достаточно мощном ПК с графическим процессором, и повышением производительности вычислений в системе машинного зрения. Лучше всего использовать аппаратные ускорители, такие как графические процессоры (GPU), тензорные процессоры (TPU) или программируемые логические интегральные схемы (FPGA), чтобы ускорить обучение и вывод моделей машинного зрения.

В целом, чем больше данных у ИИ и чем больше сеть, тем точнее будет анализ. Внедрение методологии непрерывной интеграции и развертывания (CI/CD) для оптимизации обновления моделей в производственной среде имеет решающее значение.

Еще один способ улучшить систему машинного зрения на основе ИИ — это объединить ее функциональность с традиционными алгоритмами машинного зрения. Мы часто это делаем, понимая, что ИИ не является панацеей для всех задач. Например, можно использовать алгоритм для обнаружения конкретных состояний ошибок, а затем с помощью классификации ИИ — для выявления неоднозначных или труднообнаружимых отклонений поверхности/дефектов.

Непрерывный мониторинг и обновление системы компьютерного зрения на основе искусственного интеллекта.

Регулярный мониторинг производительности системы машинного зрения в производственной среде крайне важен. Обычно мы настраиваем автоматизированные системы для отслеживания ключевых показателей производительности и выявления любого снижения производительности с течением времени. Непрерывный мониторинг позволяет своевременно вносить изменения и обновления для поддержания высокой точности и надежности модели ИИ. Помните, что среда, в которой работают системы машинного зрения, может меняться со временем. Периодически обновляйте свои модели новыми данными, чтобы оставаться точными и актуальными.

Улучшение систем машинного зрения на основе ИИ предполагает целостный подход, включающий повышение качества данных, использование передовых алгоритмов, обеспечение возможностей обработки в реальном времени и внедрение надежных методов предварительной и постобработки. Кроме того, акцент на надежности, обобщаемости и непрерывном мониторинге гарантирует точность и надежность системы. Следуя этим стратегиям, вы можете значительно улучшить и расширить производительность и применимость ваших систем машинного зрения на основе ИИ, раскрыв их полный потенциал во многих отраслях промышленности и укрепив их использование в промышленной автоматизации.

Секрет машинного зрения: умелое использование оптики и зеркал

Иногда нам поручают самые сложные задачи машинного зрения и автоматизированного контроля качества. В дополнение к нашим стандартным готовым решениям для рынков медицинского оборудования, фармацевтики и автомобилестроения, мы часто участвуем в разработке новых приложений для машинного зрения. Обычно это заключается в адаптации наших стандартных решений к конкретным требованиям клиента. Стандартная камера или система машинного зрения не может быть применена из-за сложности требований к контролю, механической обработки, состояния поверхности детали, необходимого времени цикла или просто из-за ограничений в способе представления детали системе машинного зрения. Необходимо что-то новое.

Этот сложный вопрос часто обсуждается на встречах с заказчиками и инженерами, и команде инженеров часто приходится мыслить нестандартно и, возможно, применять некую «магию»! В таких случаях необходимо уникальным образом использовать оптику (линзы машинного зрения) для достижения желаемого результата. Этого можно добиться несколькими способами, обычно комбинируя оптические компоненты, зеркала и освещение.

Итак, какие оптические элементы и линзы используются в машинном зрении?
Основная функция любой линзы — собирать свет, рассеянный объектом, и воспроизводить изображение объекта на светочувствительном «датчике» (часто на основе ПЗС или КМОП-матрицы); это головка камеры машинного зрения. Полученное изображение затем используется для высокоскоростной промышленной обработки изображений. При выборе оптики необходимо учитывать несколько параметров, включая область изображения (поле зрения), толщину объекта или интересующих его элементов (глубина резкости), расстояние от линзы до объекта (рабочее расстояние), интенсивность света, тип оптики (например, телецентрическая) и так далее.

Следовательно, в оптике необходимо оценивать следующие фундаментальные параметры.

• Поле зрения (FoV)  — это вся область, которую объектив может видеть и отображать на сенсоре камеры.
• Рабочее расстояние (WD)  — это расстояние между объектом и объективом, на котором изображение находится в наиболее резком фокусе.
• Глубина резкости (DoF)  — это максимальный диапазон, в котором объект кажется находящимся в приемлемом фокусе.

Кроме того, необходимо оценивать увеличение системы машинного зрения (отношение размера сенсора к полю зрения) и разрешение (кратчайшее расстояние между двумя точками, которые все еще можно различить как отдельные точки).

Но что, если прямая линия обзора не видна из-за ограничений в представлении или доступном пространстве? Вот тут-то и происходит волшебство. Оптическое планирование пути используется для определения положения камеры (или камер) относительно детали и требуемого угла обзора. Комбинирование набора зеркал в линии обзора позволяет видеть на большем рабочем расстоянии, чем это было бы возможно без них. Применяются те же параметры (поле зрения, рабочее расстояние, глубина резкости и т. д.), но длинный оптический путь можно сложить с помощью зеркал, чтобы он поместился в более компактное пространство. Этот оптический путь можно складывать несколько раз, используя несколько зеркал, чтобы обеспечить непрерывное изображение на протяжении всего пути. Камеры также можно установить близко друг к другу с несколькими зеркальными проекциями, чтобы обеспечить 360-градусный обзор продукта. Это особенно актуально при проверке небольших продуктов, таких как визуально-контрольные проверки таблеток или пилюль. Несколько зеркал позволяют видеть все стороны и углы таблетки, обеспечивая комплексную автоматизированную проверку на наличие дефектов и недостатков поверхности для таких применений. Этот метод также применяется в тонкостях контроля кончиков игл (в медицинских шприцах) с использованием систем машинного зрения, в том числе зеркальных систем, позволяющих получить полный обзор кончика со всех сторон, иногда обеспечивая одно изображение с двумя ракурсами одного и того же изделия. Для создания наиболее надежного решения необходимо учитывать оптические пути, влияние специального освещения, обеспечиваемого системой машинного зрения, и механическую конструкцию.

Поэтому, когда наши инженеры говорят, что будут использовать «волшебную» оптику, я уже не жду, что кто-то взмахнет волшебной палочкой, а понимаю, что будет разработано очень остроумное применение оптики и зеркал, обеспечивающее надежное решение для поставленной задачи автоматизированной системы машинного зрения.

Как создать производство, основанное на данных, с использованием автоматизированных систем визуальной метрологии

Применение автоматизированных технологий визуальной метрологии для контроля производственных процессов до, во время и после сборки и механической обработки/литья стало обязательным условием в любой производственной среде, особенно в ортопедической и аддитивной промышленности. В этом месяце мы подробно рассмотрим данные и знания, которые вы можете получить для своего производственного процесса, внедрив системы визуальной метрологии для контроля качества продукции. Давайте посмотрим правде в глаза – всем нам хочется знать, где мы находимся по сравнению с производственным графиком!

Что представляют собой системы и приборы «визуальной метрологии»?

Речь идёт об использовании бесконтактных  систем машинного зрения и оборудования с применением метрологической оптики, освещения и программных алгоритмов, позволяющих повысить производительность контроля качества и сбора данных в режиме реального времени для производственного процесса.

В чём преимущества систем визуальной метрологии?

Прежде чем рассматривать данные, доступные в таких системах, и способы их использования для принятия решений в производственной сфере на основе данных, следует рассмотреть преимущества автоматизированных систем визуальной метрологии. Это, в сочетании с получаемыми данными, наглядно демонстрирует, почему такие системы следует внедрять в современных производственных условиях.

Повышенная производительность.  Одним из главных преимуществ использования автоматизированных систем визуальной метрологии является более высокая производительность по сравнению со старыми контактными и измерительными координатно-измерительными системами. В сочетании с интеграцией в системы автоматической загрузки и обслуживания, более высокие темпы производства, достигаемые за счет внедрения автоматизированных систем визуальной метрологии, позволяют ускорить производство и увеличить объем выпуска продукции прямо с порога завода.

Повышение производительности.  Поскольку системы бесконтактные, исключается риск повреждения или нанесения отметок на продукцию, что характерно для контактных и зондовых методов контроля. Проверка качества с помощью автоматизированной системы машинного зрения позволяет повысить производительность на всех этапах производственного процесса.

Более быстрая реакция на производственные проблемы.  В быстро меняющейся производственной среде данные играют ключевую роль. Обнаружение дефектов в режиме реального времени, выявление скачков качества и более быстрое определение проблем с качеством позволяют руководителям производства быстрее реагировать на изменения или сбои в производственных процессах. Визуальная метрология позволяет немедленно проводить анализ статистического контроля процессов на уровне партии, смены и в текущем режиме. Мониторинг хода выполнения производственных заказов в режиме реального времени.

Меньше простоев.  Благодаря отсутствию точек контакта и меньшему количеству движущихся частей, время простоя на техническое обслуживание при использовании автоматизированных машин визуальной метрологии сведено к минимуму. Техническое обслуживание может быть использовано для других задач, что повышает производительность всего производственного цеха.

Гарантирует ваш уровень качества.  В конечном счете, автоматизированная система визуальной метрологии — это хранитель ворот. Это позволяет команде контроля качества и производственным командам спать спокойно, зная, что детали не только проверяются, но и обеспечивается гарантийная защита благодаря фотосохранению каждого изделия на протяжении всего производственного процесса.

Как получить данные из автоматизированной системы контроля качества с использованием методов визуальной метрологии?

Именно здесь использование подобных технологий машинного зрения становится интересным. Ключевым аспектом является контроль качества и автоматизированная проверка важных параметров (обычно критически важных для качества характеристик CTQ). Тем не менее, данные, лежащие в основе решений по качеству, имеют первостепенное значение для руководителя. В целом, данные охватывают широкий спектр объектов, которые могут потребоваться при управлении современным производственным предприятием. К ним относятся данные OEE, информация SPC, записи о сменах, показатели KPI, информация о непрерывном совершенствовании, анализ первопричин и визуализация данных.

Данные OEE (общая эффективность оборудования).  Самый простой способ рассчитать OEE — это отношение времени полной производительности к запланированному времени производства. Время полной производительности — это просто другой способ сказать, что производство только качественных деталей осуществляется как можно быстрее (при идеальном времени цикла) без простоев. Полный анализ OEE включает в себя доступность (время работы/запланированное время производства), производительность ((идеальное время цикла x общее количество)/время работы) и качество (количество качественных деталей/общее количество). Набор данных визуальной метрологии позволяет легко рассчитать эти данные. Данные хранятся в автоматизированном устройстве визуальной метрологии или передаются непосредственно в заводскую информационную систему.

Статистический контроль процессов (СПК)  используется в промышленном производстве для управления, мониторинга и поддержания производственных процессов. Официальное определение — «использование статистических методов для контроля процесса или метода производства». Идея заключается в том, чтобы сделать процесс максимально эффективным, производя продукцию, соответствующую техническим требованиям, с минимальным количеством брака. Визуальная метрология позволяет быстро анализировать важные характеристики 100% продукции, в отличие от медленного метода ручной загрузки с помощью координатно-измерительных машин (КИМ). Данные СПК могут отображаться на человеко-машинном интерфейсе системы машинного зрения, и можно незамедлительно принимать решения о производительности процесса и представлении данных.

Сменные записи  являются частью системы проверки и контроля доступа к системе машинного зрения, используемой в метрологии. Это предотвращает доступ операторов к определенным функциям и регистрацию всей информации, относящейся к конкретной смене или команде. Анализ данных позволяет выявлять тенденции в работе операторов и дополняет данные, предоставляемые системой. Вы можете заметить всплеск проблем с качеством со стороны определенной смены или оператора; эти тенденции легко отслеживаются и анализируются.

Показатели KPI (  Key Performance Indicators) — это ключевые индикаторы эффективности, обычно специфичные для конкретного производственного участка. Однако они неизменно включают мониторинг статистики качества, общей эффективности оборудования (OEE), параметров процесса, факторов окружающей среды (например, температуры и влажности), данных о сменах, времени простоя и метрологических измерений. Все это является частью понимания того, как определенные ситуации влияют на результаты производственных процессов и как можно поддерживать их на должном уровне.

Непрерывное совершенствование  — это процесс повышения качества продукции и услуг на производственном предприятии. Поэтому данные и изображения, полученные с помощью любой автоматизированной системы визуальной метрологии, играют важную роль в предоставлении данных в режиме реального времени, связанных с методологией Six Sigma, и мониторинге частоты отказов в ppm (частях на миллион) в рамках предприятия.

Анализ первопричин  производственных проблем затруднен без конкретных данных, полученных в результате контроля качества. Возможность просмотра изображений продукции непосредственно в точке контроля (с указанием даты и времени) в сочетании с конкретными данными измерений позволяет упростить и ускорить анализ первопричин при возникновении проблем.

В современные автоматизированные системы визуальной метрологии встроена функция визуализации данных  . Руководитель производства и операторы могут видеть проблемы с качеством, всплески брака, количество годной и бракованной продукции, данные о смене и статистическом контроле процессов в режиме реального времени — всё на одном экране. Эти данные могут отображаться локально или немедленно передаваться в заводскую информационную систему.

Благодаря использованию автоматизированных систем визуальной метрологии последнего поколения   производители теперь могут создавать полностью интегрированную производственную среду, основанную на данных. Это позволяет упростить контроль на основе точной и оперативной информации, а также фотографий продукции, проходящей через производственный процесс.

Типичные области применения автоматизированной метрологии

• Метрология размеров медицинских изделий
• узлы медицинских устройств
• Зубные имплантаты 
• Ортодонтические брекеты и компоненты 
• Крышки и формы
• Хирургические дрели, режущие инструменты и другие приспособления
• Шероховатость и качество поверхности
• Осмотр ортопедической суставной поверхности
• Измерения GD&T
• Ортопедические винты, болты и инструменты
• Ортопедические суставы и имплантаты
• 3D-печатные ортокомпоненты
• Коленные, тазобедренные и спинальные имплантаты
• Медицинские винты, вставки и заглушки
• Сердечные компоненты
• Костные винты и костные отвертки
• Изделия, полученные методом химического травления
• Компоненты, изготовленные методом литья под давлением
• Медицинские узлы
• Точное измерение и контроль.

Автоматизированный метрологический контроль

Повысьте качество своей продукции и улучшите возможности контроля качества с помощью полуавтоматических и внутрипроизводственных метрологических решений. Максимизируйте общую эффективность оборудования (OEE), минимизируйте риски и сократите затраты для быстрой окупаемости инвестиций.

Автоматизированные системы метрологического контроля отличаются высокой гибкостью и адаптивностью. На основе наших стандартных метрологических платформ мы адаптируем наши проверенные системы с помощью оптимизированных технологий контроля для вашей продукции.

Проверенные измерительные платформы, разработанные с учетом ваших конкретных потребностей

Устраните неопределенность в процессе контроля качества, автоматизировав процессы измерения и исключив человеческие ошибки. Наши проверенные системы значительно повышают надежность, повторяемость и эффективность контроля.

Не оставляйте ничего на волю случая, обратитесь к нашей опытной команде инженеров для автоматизации ваших задач метрологического контроля. Воспользуйтесь нашими знаниями в области контроля качества и опытом автоматизации, чтобы максимизировать эффективность производства, качество и точность контроля.

Как ускорить метрологические проверки

Ускорьте процесс контроля качества с помощью решений для автоматизированной загрузки и обслуживания оборудования. От роботизированного обслуживания оборудования до автоматической загрузки и штабелирования лотков.

Воспользуйтесь преимуществами проверки целых партий продукции с точными результатами и автоматизированным сбором данных. Наши варианты оборудования позволяют подобрать оптимальное решение для вашего производственного процесса.

Улучшите бережливое производство и распределение ресурсов, используя автоматизированные метрологические решения. Освободите свою команду контроля качества от повторяющихся ручных операций проверки и повысьте производительность отдела контроля качества.

Автоматизированные решения для погрузки

• Загрузка лотков для многокомпонентной проверки
• Укладка лотков и буферизация для увеличения времени работы без участия оператора.
• Загрузка деталей с помощью коллаборативных роботов.

Автоматизируйте задачи ручного измерения. Максимизируйте качество и предотвратите дефекты

Сведите к минимуму время, которое ваша команда контроля качества тратит на выполнение повторяющихся внелинейных проверок на координатно-измерительных машинах (КИМ), с помощью автоматизированной метрологической системы контроля. Освободите своих инженеров для выполнения своих основных задач, а наши системы позаботятся о повторяющемся процессе контроля.

Улучшите контроль качества продукции с помощью систем, которые проводят проверку без отклонений от вашего проверенного процесса. Максимально повысьте повторяемость и воспроизводимость результатов с помощью проверенных инспекционных платформ.

Автоматизированная отчетность и сбор данных

Повысьте эффективность, целостность и доступность сбора данных. Системы  автоматизируют процесс составления отчетов, предлагая индивидуальные решения, отвечающие вашим требованиям.

Оптимизируйте процессы контроля качества продукции, внедрив в них передовые средства автоматизации. Проводите 100% контроль в режиме реального времени, чтобы соответствовать скорости вашей производственной линии.

Наша система не только поможет вам лучше автоматизировать процессы, но и позволит выявить первопричину любой проблемы, предоставляя полную историю проверок каждого устройства. Решения сокращают время, затрачиваемое на анализ неисправностей, на дни или недели, поскольку позволяют быстро обнаружить источник поломок, вместо того чтобы полагаться на неиспользуемые данные, отчеты, составляемые вручную, разрушительные разборки или трудоемкие испытания.

Улучшите процессы контроля качества с помощью наших бесконтактных технологий измерения

Воспользуйтесь преимуществами ускоренной метрологии, используя наши автоматизированные метрологические решения для проверки вашей продукции за считанные секунды. На основе наших проверенных платформ мы предлагаем широкий спектр бесконтактных ручных или автоматических машин для контроля качества, позволяющих автоматизировать повторяющиеся, критически важные для качества метрологические задачи.

ЗАКАЗАТЬ СИСТЕМУ