Компьютерное зрение быстро стало одной из наиболее революционных технологий в современном производстве и промышленной автоматизации. Области применения варьируются от роботизированного управления при комплектации и сборке изделий до обнаружения дефектов в системе контроля качества, мониторинга состояния и прогнозирующего технического обслуживания оборудования. Эти системы используют достижения в области глубокого обучения, периферийного развертывания и обработки визуальной информации в реальном времени с помощью ИИ, что позволяет сократить время производственного цикла, снизить процент брака и повысить общую эффективность оборудования.
В этой статье мы рассмотрим некоторые из наиболее значимых применений компьютерного зрения в промышленности, уделяя особое внимание применению компьютерного зрения в производстве. Мы также расскажем о ведущих компаниях, разрабатывающих решения в области компьютерного зрения для производства, а также о наборах данных и ресурсах, которые разработчики могут использовать для создания и оптимизации собственных систем.
Актуальные проблемы в производстве
-
Нехватка рабочей силы: В отчете Deloitte и Института производства за 2026 год прогнозируется, что в период с 2025 по 2033 год обрабатывающей промышленности США потребуется до 3,8 миллиона новых сотрудников в результате роста, выхода на пенсию и новых инвестиций, при этом ожидается, что 1,9 миллиона из этих рабочих мест останутся незаполненными.
- Рост затрат и инфляция: Стоимость материалов, энергии и транспортировки продолжает расти , вынуждая производителей добиваться большего с меньшими ресурсами. Давление, направленное на оптимизацию рабочих процессов и устранение неэффективности, никогда не было таким сильным.
- Сложность и разнообразие: Производство затрагивает практически каждый продукт, который мы используем — от винтов и обуви до автомобилей и электроники. Для каждого продукта требуются уникальные процессы, инструменты и контроль качества. Ситуацию усугубляет то, что каждая фабрика использует свой собственный набор датчиков, камер и оборудования, а это значит, что универсальные решения редко бывают эффективными.
Эти проблемы подчеркивают, почему компьютерное зрение в производстве стало необходимостью для производственных предприятий. От повышения безопасности труда до автоматизации сложных задач, решения на основе компьютерного зрения для производства помогают компаниям адаптироваться к все более требовательным условиям промышленной среды.
Применение компьютерного зрения в производстве
1. Сборка товаров в контейнерах: фундаментальное промышленное применение компьютерного зрения.
Одно из самых распространенных применений промышленной робототехники — это извлечение объекта из контейнера, его подъем и перемещение в другое место.
Для успешного выполнения этой задачи роботу необходимо точно перемещаться и взаимодействовать с объектами различной формы, размера и материала в потенциально загроможденной, заслоненной и плохо освещенной среде. Системы машинного зрения делают это возможным, составляя карту окружающей среды и направляя движение роботизированной руки.
В простейших случаях изображения с камеры передаются в алгоритмы обнаружения объектов. Однако во многих случаях для захвата объекта из контейнера требуется сопоставление информации о глубине и выполнение 3D-обнаружения объекта для его размещения в трехмерном пространстве. Некоторые системы компьютерного зрения используют облака точек с датчиков LiDAR для создания этих 3D-представлений. Дополнительная сложность заключается в том, что некоторые объекты можно легко захватить и удержать только в определенных положениях. Для преодоления этого некоторые системы машинного зрения оценивают «положение» объектов и используют эту информацию для ориентации роботизированной руки для захвата.
Вот несколько статей по компьютерному зрению в процессе комплектации заказов:
- Выбор плоских объектов из контейнера на основе нейронной сети глубокого обучения: пример использования USB-накопителей.
- Распознавание объектов, инвариантное к перекрытию, помехам и освещению.
- Быстрая локализация объектов и оценка их положения в условиях сильного шума для роботизированного сбора мусора в контейнерах.
- Крупномасштабный набор данных для оценки положения 6D-объектов в промышленных системах сортировки и комплектации заказов.
2. Паллетирование и депаллетирование: оптимизация отраслевых процессов с помощью компьютерного зрения.

Поддоны называют незамеченными героями нашего современного века. Эти плоские, как правило, деревянные платформы играют важную роль в масштабах и экономичности глобальной логистики и транспортировки. Прежде чем поддоны попадут в контейнеры для перевозки грузов, их загружают товарами. Эти штабели товаров могут достигать высоты до 4,5 метров и весить более двух тонн. Процесс погрузки и укладки продукции на поддон называется паллетированием . Аналогично, после того как продукция достигла места назначения, её необходимо выгрузить с поддона. Этот процесс разгрузки называется депаллетированием .
Для снижения травматизма и количества ошибок производители автоматизируют процессы укладки и разгрузки паллет с помощью роботизированных манипуляторов, оснащенных системами компьютерного зрения. Компьютерное зрение отлично подходит для решения этой производственной задачи, поскольку загружаемые и разгружаемые предметы, как правило, практически идентичны, поэтому модели обнаружения объектов могут быть обучены с очень высокой точностью.
Еще одним важнейшим элементом является калибровка. Когда роботизированная рука загружает или выгружает предметы, она фиксирует расхождение между предполагаемым местоположением объекта и его фактическим местоположением, чтобы уточнить свои будущие прогнозы.
Несколько ресурсов, которые помогут вам начать:
- 3D-компьютерное зрение для автоматизации логистических процессов
- Автоматическое обнаружение грузов на европоддонах путем интерпретации изображений глубины, полученных с помощью PMD-камеры.
- На пути к автоматизированным складам будущего: автономная система депаллетизации, основанная на мобильном манипулировании и 3D-восприятии.
- Роботизированная депаллетизация с использованием некалиброванного зрения и 3D-анализа изображений с помощью лазера.
- Надежная система обнаружения поддонов для автоматизированных логистических операций.
3. Обслуживание станков: использование компьютерного зрения для снижения рисков и повышения стабильности.

Обслуживание станка — это процесс автоматической загрузки сырья или компонентов в станок. Это включает в себя размещение деталей на конвейерной ленте, а также подготовку материалов для сварки, шлифовки, фрезерования или литья под давлением.
Автоматизированное обслуживание станков имеет множество преимуществ, от снижения риска травм до повышения стабильности работы. Автоматизация с использованием компьютерного зрения в обслуживании станков также позволяет повысить точность в этих приложениях. Благодаря мониторингу в реальном времени, локализация объектов может использоваться для точного позиционирования подаваемых материалов относительно обслуживаемого станка, а роботизированная рука может соответствующим образом корректировать свое положение.
Как и во многих приложениях компьютерного зрения в производстве, доступность и качество данных при обслуживании станков представляют собой серьезную проблему. Системы машинного зрения для обслуживания станков часто приходится создавать с ограниченным количеством размеченных обучающих данных. Это означает, что очистка и обработка данных имеют важное значение, и такие методы, как расширение данных и трансферное обучение, могут быть невероятно важны.
Вот несколько предварительных ресурсов:
- Интеллектуальный подход к производству, основанный на новом методе глубокого обучения для автоматического распознавания состояния оборудования и рабочих процессов.
- Роботизированное ассоциативное распознавание рабочего состояния на основе машинного зрения в автономной производственной среде
4. Выявление дефектов: поддержка контроля качества с помощью компьютерного зрения.

В производстве компьютерное зрение уже стало незаменимым инструментом для обеспечения контроля качества на всех этапах производственных процессов. Например, сегментация экземпляров используется в сочетании с данными высокоточных датчиков для проверки соответствия изготовленной детали требуемым пространственным размерам в пределах допустимого отклонения.
Одной из областей контроля качества, где компьютерное зрение играет важную роль, является обнаружение дефектов. Производители стремятся выявлять дефектные детали и изделия как можно раньше на всех этапах их производства. В некоторых случаях, когда известны возможные разновидности дефектов, для выявления проблем используются обнаружение и классификация объектов.
В других случаях весь спектр возможных дефектов либо неизвестен, либо слишком сложен для простой классификации. В производстве дефекты могут варьироваться от мельчайших деталей, таких как небольшие царапины, до полного отсутствия компонентов, например, отсутствующего винта. Это также может усугубляться классовым дисбалансом, когда примеров «нормальной» продукции гораздо больше, чем примеров «дефектной» продукции.
Обнаружение аномалий предоставляет альтернативный, неконтролируемый подход, который принимает на вход примеры нормальных и дефектных изделий и предсказывает, что новый продукт является нормальным, или «номинальным», если существует вероятность того, что он происходит из того же распределения , что и ранее наблюдавшиеся нормальные образцы. Для этого модели обнаружения аномалий обучаются приблизительному представлению этого номинального распределения, что может включать использование моделей, основанных на плотности, таких как DBSCAN , машин опорных векторов или моделей глубокого обучения, таких как автокодировщики и генеративно-состязательные сети ( GAN ). Библиотеки, такие как Anomalib от Intel, предоставляют инструменты для реализации и тестирования алгоритмов обнаружения аномалий.
Вот несколько статей по обнаружению дефектов и аномалий в производстве:
- Использование глубокого обучения для обнаружения дефектов в производстве: всесторонний обзор и современные проблемы.
- Автоматическое обнаружение и классификация производственных дефектов металлических коробок с использованием глубоких нейронных сетей.
- На пути к полному охвату при обнаружении промышленных аномалий
- Набор данных MVTec для обнаружения аномалий: исчерпывающий набор данных из реальных условий для неконтролируемого обнаружения аномалий.
5. Прогнозируемое техническое обслуживание: создание более эффективных производственных процессов.

На производственных предприятиях инструменты и оборудование постепенно изнашиваются, что, если не принять меры, может привести к полному выходу из строя, а также к травмам и снижению производительности. Чтобы избежать таких поломок, производители традиционно регулярно проводят плановое техническое обслуживание , чистку, восстановление и замену старых деталей.
Однако у планового технического обслуживания есть два основных недостатка: во-первых, оно приводит к простоям и дорогостоящему ремонту в то время, когда техническое обслуживание может быть и не требуется; во-вторых, оно не способно выявлять проблемы, которые возникают и усугубляются в промежутках между плановыми проверками.
Профилактическое техническое обслуживание (ПТО) направлено на решение этих проблем за счет более активного мониторинга. Компьютерное зрение и предиктивная аналитика помогают производителям экономить на затратах на техническое обслуживание и предотвращать катастрофы. ПТО уже применяется к широкому спектру машин и механических деталей, от лопастей и подшипников до шестерен и прокладок.
В некоторых случаях, как, например, с изображенным выше пильным полотном, для выявления и прогнозирования всех вероятных режимов отказов достаточно методов компьютерного зрения, таких как сегментация, обнаружение объектов и классификация. К распространенным признакам относятся трещины, коррозия и протечки. Как и в случае обнаружения дефектов, когда спектр режимов отказов сложен или неизвестен, применяется обнаружение аномалий в состоянии оборудования.
- Обзор методов мониторинга состояния инструмента при механической обработке и возможностей глубокого обучения.
- Система компьютерного зрения для мониторинга состояния пильного полотна.
- Система машинного зрения для мониторинга состояния инструмента для микрофрезерования.
- Модели глубокого обучения для прогнозирующего технического обслуживания: обзор, сравнение, проблемы и перспективы.
Компании, внедряющие промышленные инновации с помощью компьютерного зрения
Механо-разумная робототехника

Компания Mech-Mind Robotics, насчитывающая более 700 сотрудников, более 1000 клиентов и привлекшая более 200 миллионов долларов инвестиций, является крупнейшей компанией в Китае, специализирующейся на 3D-зрении, и одним из крупнейших в мире поставщиков 3D-камер и программного обеспечения для машинного зрения для роботизированной автоматизации.
Интегрированные аппаратные и программные решения Mech-Mind используются в широком спектре производственных задач, включая комплектацию заказов, обслуживание станков, укладку и снятие паллет, сборку и склеивание. Промышленная 3D-камера Mech-Eye использует технологию структурированного света для создания облаков точек высокого разрешения и высокой точности.
Программное обеспечение Mech-Vision от Mech-Mind предоставляет клиентам платформу для создания промышленных приложений компьютерного зрения с использованием камер Mech-Eye и собственных роботов. Mech-Vision имеет встроенную поддержку распространенных задач компьютерного зрения, таких как корректировка положения, а также 2D и 3D сопоставление, при которых клиент создает облако точек модели объекта, подлежащего распознаванию, либо из файла САПР, либо непосредственно из изображения с камеры, и эта модель распознается в сцене. Встроенная поддержка распространенных промышленных роботов означает, что процесс калибровки робота, который традиционно занимает много времени (в масштабах часов), может быть завершен менее чем за 20 минут.
В завершение, программное обеспечение Mech-Mind для глубокого обучения позволяет клиентам точно настраивать модели компьютерного зрения под конкретные задачи. Клиенты загружают свои собственные данные, которые автоматически предварительно размечаются, после чего их можно быстро редактировать и корректировать. Как правило, программному обеспечению Mech-Mind для глубокого обучения требуется всего 20-50 изображений объекта, чтобы обучить модель распознавать его в сцене.
Инструментальный

Компания Instrumental, основанная в 2015 году двумя выпускниками Стэнфорда и Массачусетского технологического института, бывшими сотрудниками Apple, и расположенная в Пало-Альто, штат Калифорния, является лидером в обеспечении качества продукции в электронной промышленности. Они используют компьютерное зрение в сочетании с прогнозной аналитикой для обеспечения мониторинга и оповещений в режиме реального времени, а также анализа первопричин предыдущих отказов.
Комплекс решений Instrumental для компьютерного зрения на основе искусственного интеллекта поддерживает как производство новых продуктов (NPI), характеризующееся малыми объемами, так и массовое производство (MP), которое предполагает большие объемы выпускаемой продукции.
Даже в сфере производства электроники, из-за широкого разнообразия продукции и существенных различий между изделиями, универсальные модели компьютерного зрения показали очень низкую эффективность. Тем не менее, производители стремятся как можно быстрее выявлять дефекты и проблемы в конкретных условиях эксплуатации.
Набор инструментов компьютерного зрения от Instrumental разработан для высокоэффективного обнаружения дефектов в конкретных приложениях при минимальном количестве образцов. Для этого используются такие методы, как аугментация данных, трансферное обучение и активное обучение, позволяющие создать надежный набор данных, который используется для обучения модели обнаружения аномалий. Их модели легко создаются без написания кода. После развертывания эти модели выполняют вывод в реальном времени на периферии предприятия и создают запись, которую можно передавать, проверять и оценивать.
Voxel51
Компания Voxel51, основанная в городе Анн-Арбор, штат Мичиган, является создателем FiftyOne , продукта, призванного помочь специалистам по обработке данных, инженерам машинного обучения и предприятиям создавать более совершенные модели компьютерного зрения. В отличие от многих поставщиков решений в области компьютерного зрения для производства, которые сосредотачиваются исключительно на оборудовании или развертывании моделей, Voxel51 решает одну из самых больших проблем отрасли: управление и обработка больших и сложных наборов данных для максимизации производительности модели.
В производственных условиях, где постоянно собираются визуальные данные — от камер обнаружения дефектов на сборочных линиях до датчиков прогнозирующего технического обслуживания — FiftyOne позволяет командам эффективно фильтровать, анализировать и маркировать данные. Платформа поддерживает рабочие процессы для обучения, проверки и сравнительной оценки моделей в различных областях компьютерного зрения в промышленности, включая контроль качества, обнаружение аномалий и мониторинг безопасности.
Предоставляя производителям возможность организовывать и анализировать свои данные, Voxel51 упрощает тонкую настройку моделей для конкретных задач. Благодаря растущему внедрению в компаниях из списка Fortune 500 и исследовательских лабораториях, Voxel51 помогает производителям преобразовывать необработанные визуальные данные в готовые к применению решения для компьютерного зрения в производстве, которые повышают эффективность, сокращают время простоя и улучшают качество продукции.
Protex AI

Основанный в 2020 году и получивший поддержку от YCombinator, Notion Capital и Playfair Capital, ирландский стартап Protex AI помогает командам по обеспечению безопасности на предприятиях кардинально изменить подход к принятию упреждающих решений в области безопасности, способствующих созданию более безопасной рабочей среды.
Их технология на основе искусственного интеллекта позволяет предприятиям получать более полное представление о небезопасном поведении на своих объектах. Платформа, обеспечивающая конфиденциальность, подключается к существующей инфраструктуре видеонаблюдения и использует свои технологии компьютерного зрения для автономной фиксации небезопасных событий в таких местах, как склады, производственные помещения и порты.
Protex AI предоставляет простой интерфейс, позволяющий каждому пользователю создавать собственные «правила», включая установку зон отчуждения, ограничений скорости для погрузчиков или даже минимальных расстояний, которые рабочие должны соблюдать между собой и машинами. Затем Protex использует методы компьютерного зрения, включая обнаружение объектов, отслеживание объектов и оценку положения, для проверки этих правил. Для правил, касающихся скорости или расстояния, система машинного зрения использует калибровку. Обычно калибровка выполняется с использованием данных с нескольких камер, но Protex использует специальные процедуры для оценки калибровки по одной камере видеонаблюдения.
Из-за соображений конфиденциальности, связанных с изображениями и видеоданными клиентов, Protex AI запускает все свои модели на периферии сети на устройствах с процессорами Nvidia. Поскольку сценарии использования могут сильно различаться, Protex AI развертывает индивидуальные модели для каждого клиента. Базовая модель обучается на сотнях тысяч изображений, а затем уникальная версия дорабатывается на данных конкретного клиента. В их работе количество данных не является проблемой. Наиболее важным фактором производительности модели является наличие чистого и высококачественного набора данных.
Cognex

Компания Cognex, акции которой котируются на Nasdaq (CGNX) и которая уже более сорока лет находится на переднем крае технологий, является мировым лидером в области машинного зрения для промышленной автоматизации. Ее команда, насчитывающая более 2000 сотрудников, участвует практически во всех этапах процессов промышленной автоматизации, от датчиков и сканеров штрих-кодов до промышленных камер и полностью интегрированных систем машинного зрения.
Компания Cognex предлагает инструменты машинного зрения для приложений, основанных на правилах, таких как мониторинг местоположения объектов и обнаружение краев, а также инструменты глубокого обучения для облачных и периферийных устройств. Их программное обеспечение VisionPro Deep Learning поддерживает стандартные задачи, такие как обнаружение и сегментация дефектов, а также проверка сборки, а также такие перспективные задачи, как классификация материалов.
Помимо решения конкретных задач, программное обеспечение VisionPro от Cognex ускоряет развертывание благодаря возможностям AutoML . Программа проверки этикеток автоматически проверяет подавляющее большинство этикеток и помечает оставшиеся изображения для ручной проверки, сводя к минимуму количество образцов, которые пользователю необходимо оценить.
В процессе обучения автоматическая настройка параметров использует входные изображения-примеры для определения оптимального набора гиперпараметров. Например, в оптическом распознавании символов (OCR) распознавание текста может быть затруднено из-за широкого спектра шрифтов и потенциальных искажений. Традиционные системы OCR требуют от пользователей указания гиперпараметров сегментации для достижения высокой точности и полноты. Cognex Blue Read устраняет это требование, сравнивая входное изображение с библиотекой из сотен шрифтов, на которых оно было обучено, и автоматически выбирая наилучшие гиперпараметры.
Berkshire Grey
Компания Berkshire Grey, основанная в 2013 году и имеющая штаб-квартиру в Бедфорде, штат Массачусетс, является лидером в области роботизированной автоматизации с использованием искусственного интеллекта для цепочек поставок и логистики. Компания разрабатывает роботизированные системы, которые сочетают компьютерное зрение, передовые методы машинного обучения и собственное оборудование для автоматизации таких задач, как комплектация, упаковка, сортировка и перемещение товаров на складах, в распределительных центрах и подсобных помещениях розничных магазинов.
Роботизированные решения компании Berkshire Grey разработаны для удовлетворения растущих потребностей электронной коммерции и многоканальной доставки, где большие объемы заказов и нехватка рабочей силы оказывают давление на традиционные методы работы. Их системы объединяют роботизированные манипуляторы, мобильные платформы и компьютерное зрение для обработки широкого спектра товаров, от мелкой электроники до одежды и продуктов питания, с минимальным участием человека.
В отличие от традиционной стационарной автоматизации, подход Berkshire Grey делает акцент на гибкости и масштабируемости. Их роботы используют системы восприятия на основе искусственного интеллекта для адаптации к непредсказуемым формам, размерам и упаковке продукции, что позволяет автоматизировать процессы в условиях смешанных складских запасов, которые исторически были слишком сложны для традиционной робототехники.
Компания Berkshire Grey, среди клиентов которой — глобальные розничные сети, компании электронной коммерции и логистические провайдеры, и которая привлекла более 200 миллионов долларов инвестиций до выхода на биржу через SPAC в 2021 году, позиционируется как крупная сила в трансформации способов перемещения товаров по современной цепочке поставок. Сочетая компьютерное зрение с робототехникой, они создают полностью автоматизированные интеллектуальные системы выполнения заказов, которые снижают затраты, увеличивают пропускную способность и помогают компаниям удовлетворять растущие ожидания клиентов.
Интеллектуальные машины RIOS

Компания RIOS Intelligent Machines ставит перед собой задачу превратить трудоемкие заводы в «умные» заводы, работающие на основе робототехники и искусственного интеллекта. Компания помогает своим глобальным клиентам автоматизировать заводы, склады и операции в цепочке поставок, внедряя роботизированные рабочие ячейки с поддержкой ИИ, которые интегрируются в существующие рабочие процессы. Компания, расположенная в Менло-Парке, штат Калифорния, была основана бывшими инженерами Xerox PARC, которые стали свидетелями масштабных неудач традиционных роботов и предсказали, что чрезмерная зависимость заводов от рабочей силы вскоре достигнет критической точки.
Компания RIOS разработала одни из самых передовых аппаратных и программных платформ в области робототехники, включая человекоподобные тактильные датчики для роботов, платформу тактильного интеллекта, а также высокопроизводительные концевые инструменты и захваты, пригодные для использования в пищевой промышленности. Их платформа робототехники с управлением на основе ИИ обеспечивает стационарную, программируемую, гибкую и интегрированную автоматизацию. Они также предлагают роботов для паллетирования, предназначенных для погрузки и разгрузки продукции на паллеты, а также роботизированные системы упаковки.
Ещё несколько
- PreML GmBH : немецкий стартап, специализирующийся на автоматизированной визуальной проверке качества.
- Prophesee : французский стартап, получивший финансирование серии C и внедряющий новаторскую технологию событийного зрения.
- Datalogic : итальянская компания, лидер в области автоматизированного сбора данных, считывателей штрих-кодов, датчиков и систем машинного зрения.
- Stemmer Imaging : крупнейший в Европе поставщик технологий обработки изображений, работающий во всех областях — от фотографии до систем машинного зрения на производственных площадках.
- Pickit 3D : компания Intermodalics, занимающаяся разработкой программного обеспечения для робототехники и выделившаяся из NASA в 2016 году.
- Matroid : Комплексные решения для компьютерного зрения без использования кода, предназначенные для обеспечения качества, проверки сборки, а также безопасности и соответствия нормативным требованиям.
Примеры промышленных наборов данных для компьютерного зрения
- Наборы данных MVTec для обнаружения аномалий и промышленных объектов (мгновенно изучите MVTec AD и его встраивания в вашем браузере в FiftyOne).
- CPPE-5: Набор данных по медицинским средствам индивидуальной защиты
- Набор данных Roboflow для обнаружения вилочных погрузчиков и поддонов
- MetaGraspNet: крупномасштабный эталонный набор данных для выбора предметов в контейнерах с учетом особенностей сцены для обеих рук с помощью синтеза метавселенной на основе физических принципов.
- Набор данных дефектов поверхности Kolektor (KSSD)
- Набор данных для обнаружения аномалий beanTech (BTAD)
Что ждет решения в области компьютерного зрения в производстве в будущем?
Развитие компьютерного зрения в производстве свидетельствует о значительном сдвиге в подходах к проектированию, мониторингу и оптимизации промышленных процессов. Технологии компьютерного зрения позволяют заводам становиться умнее, безопаснее и эффективнее. Компании, находящиеся на передовой, уже доказывают огромную ценность применения компьютерного зрения в промышленности.
По мере того, как все больше производителей внедряют системы на основе искусственного интеллекта, мы будем продолжать наблюдать инновации, которые сокращают время простоя, повышают качество продукции и оптимизируют производственные процессы. Будущее промышленной автоматизации строится уже сегодня, и решения в области компьютерного зрения для производства находятся в его основе.
Если вы занимаетесь разработкой или исследованием промышленных систем искусственного интеллекта, сейчас самое время глубже погрузиться в эту область — и с помощью таких инструментов, как FiftyOne, вы можете обрабатывать, анализировать и оптимизировать огромные массивы данных, которые лежат в основе этих передовых приложений.



