Машинное зрение — это самая ключевая технология современной робототехники, предоставляющая визуальные данные в режиме реального времени, позволяющие роботам воспринимать, интерпретировать и взаимодействовать с окружающей средой с поразительной точностью. Благодаря интеграции передовых методов визуализации, сложных алгоритмов компьютерного зрения и передовых моделей машинного обучения, машинное зрение позволяет роботам выполнять задачи с уровнем точности и адаптивности, значительно превосходящим традиционные методы автоматизации.
В промышленных условиях машинное зрение улучшает контроль, сборку и качество, а последние достижения позволяют достичь уровня обнаружения дефектов до 99,9% в некоторых производственных процессах. Ожидается, что к 2025 году технологии машинного зрения получат дальнейшее развитие, способствуя автоматизации всё более сложных и неструктурированных процессов.
Прежде чем мы приступим к рассмотрению применения машинного зрения в промышленных условиях, давайте сначала попытаемся разобраться в технических аспектах того, что такое машинное зрение, и как оно может повлиять на производительность роботов.
Что такое машинное зрение?
Системы машинного зрения сочетают в себе оптические датчики высокого разрешения, передовые технологии обработки изображений и искусственный интеллект для интерпретации визуальных данных с поразительной точностью. В отличие от традиционной сенсорной автоматизации, эти системы не просто обнаруживают объекты, но и анализируют закономерности, распознают мелкие детали и оценивают пространственные соотношения в режиме реального времени. Это позволяет роботам адаптироваться к изменяющимся условиям, выполнять сложные задачи и работать с точностью до долей миллиметра.
Одна из самых сложных задач в области машинного зрения — реконструкция трёхмерных (3D) структур по двумерным (2D) изображениям. Поскольку несколько объектов реального мира могут выглядеть одинаково в двумерной проекции, роботам необходимы передовые методы визуализации для извлечения информации о глубине и форме. Для решения этой проблемы существует несколько ключевых подходов:
- Система Stereo Vision использует две камеры для получения изображений с немного разных ракурсов, что позволяет роботам рассчитывать глубину с точностью до 0,1 мм. Эта технология способствует автономной навигации и точному позиционированию объектов.
- Структурированный свет проецирует известный рисунок на поверхность и измеряет искажения, чтобы отобразить форму объекта с точностью до 10 микрометров. Этот метод широко используется в промышленной инспекции и контроле качества 3D-печати.
- Датчики времени пролёта (ToF) измеряют время, необходимое свету для отражения от объекта, создавая трёхмерные карты в реальном времени с частотой обновления до 120 Гц. Это позволяет роботам обнаруживать препятствия и динамически отслеживать объекты.
- Фотограмметрия сшивает несколько изображений с разных точек обзора для создания детальных 3D-реконструкций с точностью до долей миллиметра. Фотограмметрия на базе искусственного интеллекта также ускоряет обработку данных до 60% по сравнению с традиционными методами.
- Гиперспектральная съемка захватывает широкий диапазон длин волн за пределами видимого спектра, что позволяет роботам идентифицировать материалы, анализировать химический состав и оценивать состояние сельскохозяйственных культур с непревзойденной точностью.
Для ещё большей надёжности машинное зрение часто работает в сочетании с другими сенсорными технологиями, такими как лидар, квантово-усовершенствованные инерциальные измерительные блоки (IMU) и усовершенствованные тактильные датчики. Объединяя несколько источников данных, роботы получают более полное представление об окружающей среде, даже в сложных условиях, когда освещение, преграды или отражающие поверхности могут помешать работе чисто оптических систем.
Основные применения машинного зрения в робототехнике
1. Автоматизированная инспекция и контроль качества
Одно из наиболее распространённых применений машинного зрения в робототехнике — автоматизированный контроль и контроль качества. В высокоскоростном производстве даже незначительные дефекты могут привести к значительным производственным потерям, что делает точный контроль в режиме реального времени критически важным. Роботизированные системы машинного зрения используют камеры высокого разрешения, структурированное освещение и алгоритмы глубокого обучения для обнаружения дефектов поверхности, измерения размеров и проверки маркировки с гораздо большей точностью, чем люди-инспекторы.
Например, в производстве полупроводников системы машинного зрения проверяют поверхности пластин на наличие микроскопических дефектов, обеспечивая выявление дефектных чипов до сборки. В автомобильном производстве роботы, оснащённые системами машинного зрения, сканируют металлические поверхности на наличие царапин, вмятин и дефектов сварки. В отличие от традиционных методов контроля, основанных на фиксированных измерениях, системы машинного зрения могут адаптироваться к изменениям освещения, текстуры поверхности и положения объекта, что делает их чрезвычайно гибкими для различных производственных условий.
Помимо обнаружения дефектов, машинное зрение играет важнейшую роль в геометрической проверке. Используя структурированный свет или лазерную триангуляцию, роботы измеряют компоненты, чтобы убедиться, что они соответствуют заданным допускам. В сочетании с распознаванием образов на основе искусственного интеллекта эти системы могут классифицировать дефекты, прогнозировать тенденции отказов и оптимизировать производственные процессы на основе исторических данных. По мере развития машинного зрения его роль в предиктивном обслуживании и оптимизации процессов в режиме реального времени будет возрастать, что позволит сократить отходы и повысить эффективность производства.
2. Идентификация и классификация объектов
Помимо осмотра, машинное зрение позволяет роботам идентифицировать и классифицировать объекты с высокой точностью. Эта возможность критически важна в отраслях, где важны автоматизированная сортировка, управление запасами и погрузка/разгрузка материалов. В отличие от сканирования штрихкодов или RFID-отслеживания, которые используют предварительно маркированные идентификаторы, распознавание на основе зрения позволяет роботам различать объекты по таким внутренним характеристикам, как форма, текстура и цвет.
В логистике и складировании роботы с машинным зрением меняют подход к выполнению заказов. Автономные мобильные роботы (AMR) перемещаются по складским проходам,
Идентификация товаров по визуальным признакам и их отбор для отправки. Аналогичным образом, в распределительных центрах электронной коммерции конвейерные системы машинного зрения классифицируют посылки по размеру и месту назначения, сокращая вмешательство человека и повышая эффективность.
Способность распознавать объекты в режиме реального времени также критически важна для роботизированных систем сбора мусора, где детали могут быть расположены случайным образом. Используя камеры глубины и модели машинного зрения на базе искусственного интеллекта, роботы могут анализировать загромождённые пространства, распознавать целевые объекты и соответствующим образом корректировать свой подход к захвату. Эта технология особенно ценна в автомобильной и электронной промышленности, где компоненты различаются по форме и ориентации.
3. Навигация и автономное движение
В то время как распознавание объектов помогает роботам взаимодействовать с отдельными предметами, навигация требует более широкого понимания окружающей среды. Машинное зрение играет ключевую роль в обеспечении автономного перемещения роботов, будь то в структурированных заводских условиях или в неструктурированной внешней среде.
Для мобильных роботов навигация на основе зрения часто сочетается с методами одновременной локализации и картирования (SLAM). Используя стереокамеры или датчики LiDAR, роботы создают карту окружающей среды в режиме реального времени, определяя своё местоположение в ней. В отличие от GPS, возможности которого ограничены в закрытых помещениях, визуальная SLAM позволяет роботам точно ориентироваться на складах, в больницах и других закрытых помещениях.
В динамичных условиях, таких как строительные площадки или сельскохозяйственные угодья, роботам приходится адаптироваться к непредсказуемым препятствиям. Оптический анализ потока, определяющий закономерности движения на последовательных изображениях, помогает роботам оценивать направление и скорость движения. В сочетании с обнаружением препятствий на основе глубокого обучения это позволяет роботам реагировать в режиме реального времени, предотвращая столкновения и планируя эффективные маршруты.
Машинное зрение также критически важно для беспилотных автомобилей, где для безопасной эксплуатации требуется понимание обстановки в режиме реального времени. Объединяя данные с нескольких камер, лидара и радара, беспилотные системы могут распознавать дорожные знаки, обнаруживать пешеходов и адаптироваться к дорожным условиям. По мере совершенствования алгоритмов машинного зрения роботизированная навигация будет продолжать расширяться, охватывая новые области применения — от умных фабрик до систем доставки «последней мили».
4. Контроль качества и точность проверки
Машинное зрение широко используется в контроле качества, где его способность проверять и идентифицировать продукцию обеспечивает стабильность и надежность производства. Благодаря интеграции изображений высокого разрешения и обнаружения дефектов на основе искусственного интеллекта, роботы могут анализировать качество поверхности, размеры и…
Точность маркировки выше, чем у инспекторов-людей. Эти системы применяются в различных отраслях промышленности для оценки самых разных продуктов, от турбинных лопаток, полупроводниковых пластин, автомобильных кузовных панелей до продуктов питания, таких как пицца и свежие овощи и фрукты.
В отличие от традиционных методов контроля, основанных на ручном контроле, системы машинного зрения работают непрерывно и на высокой скорости, минимизируя дефекты и повышая эффективность производства. Кроме того, машинное зрение способствует предиктивному обслуживанию, выявляя малозаметные дефекты, которые могут указывать на износ оборудования, что позволяет производителям устранять потенциальные неисправности до того, как они приведут к сбоям в производстве.
5. Определение положения и роботизированная сборка
Было также установлено, что машинное зрение улучшает роботизированную сборку, обеспечивая точное размещение компонентов. В высокоточных производственных условиях роботы используют машинное зрение для определения положения деталей во время сборки.
Например, манипуляторы используют визуализацию в реальном времени для идентификации электронных компонентов и их позиционирования на печатных платах с точностью до долей миллиметра. Непрерывно анализируя положение и ориентацию, эти системы могут выполнять микрорегулировку, обеспечивая выравнивание даже при незначительном смещении компонентов.
Такая адаптивность особенно полезна в отраслях, требующих высокой точности, таких как сборка автомобилей и производство медицинских приборов. В случаях, когда детали различаются по размеру или форме, технологии 3D-зрения позволяют роботам распознавать эти различия и адаптироваться к ним, что ещё больше расширяет спектр выполняемых ими задач.
6. Распознавание деталей и автоматическая сортировка
Помимо сборки, машинное зрение также способствует автоматизации сортировки и обработки материалов. Роботы, оснащённые системами машинного зрения, могут различать объекты по таким характеристикам, как цвет, текстура и форма, что делает их ценными инструментами для сортировки компонентов на производственных линиях. Эта возможность особенно полезна в отраслях, требующих быстрой классификации материалов, таких как электроника, логистика и фармацевтика.
На складах роботы с машинным зрением могут эффективно находить, подбирать и сортировать товары без участия человека. Эти системы постоянно повышают точность, используя алгоритмы машинного обучения , которые со временем улучшают распознавание объектов, уменьшая ошибки сортировки и оптимизируя рабочий процесс.
7. Транспортировка деталей
Машинное зрение также делает роботов умнее в плане перемещения предметов. Вместо того, чтобы следовать фиксированным траекториям, как это делают традиционные автоматизированные системы, современные роботы используют навигацию на основе зрения для понимания окружающей среды в режиме реального времени. Передовые платформы обработки данных помогают им интерпретировать рельеф пола, обнаруживать препятствия и динамически корректировать маршруты. Непрерывно анализируя визуальные данные, эти роботы могут определять наилучший способ эффективной транспортировки материалов — будь то на заводе, складе или в другой быстро меняющейся среде.
По мере совершенствования машинного зрения роботы все лучше справляются с объединением визуальной информации с данными других датчиков, таких как LiDAR и камеры глубины, что делает их навигацию более плавной и более адаптируемой к непредсказуемым условиям.
Кобот YuMi от ABB: пример машинного зрения
В 2015 году компания ABB представила YuMi® — первого в мире по-настоящему коллаборативного робота, разработанного для безопасной работы бок о бок с людьми-операторами без необходимости в физических барьерах. Это ознаменовало собой значительный прорыв в промышленной автоматизации, обеспечив бесперебойное взаимодействие человека и робота в условиях, где гибкость и точность играют ключевую роль.
YuMi ® — это уникальное решение для роботизированного 3D-зрения, разработанное для бесперебойной работы с операторами. Оно способно захватывать и размещать широкий спектр товаров для различных сфер применения.
YuMi ® превосходно справляется с такими задачами, как сборка контейнеров, комплектация заказов, комплектация и сборка, демонстрируя исключительную универсальность при работе с товарами в самых разных условиях, включая контейнеры, накопительные столы, поддоны, конвейерные ленты, поддоны и стеллажи.
Одной из его отличительных особенностей является интеграция с технологией 3D-контроля качества (3DQI) компании ABB. Эта система настолько точна, что может обнаруживать дефекты размером меньше половины толщины человеческого волоса — дефекты, невидимые невооруженным глазом. Благодаря такой точности YuMi® не просто ускоряет производство, но и гарантирует соответствие каждого компонента строгим стандартам качества, делая метрологию более быстрой и эффективной.
Автоматизируя инспекции с помощью 3DQI, YuMi ® также устраняет необходимость ручного контроля качества, значительно сокращая количество ошибок, связанных с человеческим фактором, и риск пропуска бракованной продукции. В целом, это приводит к повышению производительности, снижению затрат и уменьшению вероятности отзыва продукции. Благодаря точности менее 100 микрометров и гибкости адаптации к конкретным потребностям, YuMi ® предоставляет компаниям мощное, настраиваемое решение, повышающее эффективность и надежность.
Кобот YuMi® от ABB — это прекрасная демонстрация того, как преобразуется машинное зрение.
Промышленная автоматизация. Сочетание коллаборативной робототехники с передовыми технологиями 3D-зрения не только повысило точность и контроль качества, но и способствовало экономии средств и повышению эксплуатационной эффективности. По мере того, как промышленность продолжает внедрять интеллектуальные производственные решения, YuMi® служит ярким примером того, как робототехника с поддержкой машинного зрения может сократить разрыв между автоматизацией и человеческим опытом.
Хотите узнать больше о машинном зрении?
Если эта статья оказалась для вас полезной, ознакомьтесь с приведенными ниже материалами для получения дополнительной информации о том, что такое машинное зрение и как оно используется за пределами промышленного сектора:
Ссылки и дополнительная литература
- Машинное зрение. Доступно по адресу – ссылка.
- Штегер, К., Ульрих, М., Видеманн, К. (2018). Алгоритмы машинного зрения – ссылка.
- Mavridou, E., Vrochidou, E., Papakostas, G., Pachidis, T., Kaburlasos, VG (2019). Системы машинного зрения в точном земледелии для растениеводства. Journal of Imaging , 5(12), 89. DOI: 10.3390/imaging5120089 – ссылка.
- Перес, Родригес, И., Родригес, Н., Усаментиага, Р., и Гарсия, Д.Ф. (2016). Управление роботами с использованием методов машинного зрения в промышленных условиях: сравнительный обзор. Датчики , 16(3), 335. DOI: 10.3390/s16030335 – ссылка.
