Передовые алгоритмы компьютерного зрения (в большинстве случаев основанные на глубоком обучении и сверточных нейронных сетях) позволяют машинам интерпретировать визуальные данные, полученные с помощью камер и датчиков. Компьютерное зрение стремится имитировать человеческий образ мышления, чтобы помочь компаниям принимать более взвешенные решения, основанные на распознавании образов, извлечении информации и глубоком анализе данных. Сегодня технологии компьютерного зрения и разработка специализированных решений на основе искусственного интеллекта играют важную роль в логистике для автоматизации процессов, повышения качества данных и обеспечения видимости в режиме реального времени в складских и логистических операциях.
Мы решили подробно изучить принцип работы этой технологии, основные алгоритмы компьютерного зрения и области ее применения в логистике.
Рынок компьютерного зрения
Рынок технологий компьютерного зрения (CV) относительно молод и, по прогнозам, будет быстро расти по сравнению с другими сегментами рынка. К началу 2030-х годов ожидается, что его рыночная стоимость вырастет с нынешних 25 миллиардов долларов до примерно 50 миллиардов долларов. Быстрые темпы технологического прогресса, растущее число приложений в других отраслях и растущий рыночный спрос являются основными факторами роста рынка компьютерного зрения. Использование технологий компьютерного зрения позволяет компаниям выявлять ключевые области для автоматизации бизнес-процессов , что с самого начала являлось целью использования ИИ.
Ключевые процессы в компьютерном зрении
Системы компьютерного зрения обычно выполняют последовательность этапов обработки и анализа изображений для преобразования исходных визуальных данных в полезную информацию. Типичный конвейер обработки изображений в компьютерном зрении включает следующие ключевые процессы:
Алгоритмы компьютерного зрения
Для решения логистических задач существует несколько вариантов алгоритмов, от классического анализа изображений до новейших методов глубокого обучения. Давайте кратко рассмотрим наиболее важные типы алгоритмов в компьютерном зрении.
Алгоритмы обработки изображений и низкоуровневого зрения
Эти классические методы работают с исходными пиксельными данными изображения для извлечения визуальных примитивов первого порядка. Отличными примерами являются фильтры для обнаружения границ, такие как оператор Кэнни и ядро Собеля, которые обнаруживают резкие изменения интенсивности и выделяют края изображения. Пороговая обработка (например, метод Оцу), с другой стороны, — это метод, который преобразует изображения в оттенках серого в бинарные изображения путем удаления всех пикселей ниже заданного порогового значения интенсивности.
Этот метод полезен для сегментации простых областей переднего и заднего плана. Другие алгоритмы более низкого уровня включают морфологические операции, такие как дилатация и эрозия, для очистки зашумленных бинарных изображений или фильтры шумоподавления для восстановления изображения. Эти методы, какими бы тривиальными они ни были, часто используются в качестве первого шага в системах компьютерного зрения. Они обеспечивают необходимые этапы предварительной обработки для других, более сложных алгоритмов или для быстрого определения и выделения областей интереса на изображении.
Алгоритмы обнаружения и описания признаков
До широкого распространения глубокого обучения классическое компьютерное зрение в значительной степени полагалось на созданные вручную детекторы признаков. Одним из наиболее широко используемых алгоритмов для обнаружения ключевых точек, которые остаются неизменными независимо от масштаба и поворота изображения, является SIFT. Другие похожие, но более эффективные алгоритмы включают SURF и ORB. К числу старейших алгоритмов также относится детектор углов Харриса. После извлечения признаков изображения системы компьютерного зрения используют дескрипторы для распознавания объектов, наряду с другими классическими алгоритмами для сопоставления и классификации изображений.
К числу современных алгоритмов относятся метод k-ближайших соседей и метод опорных векторов (SVM) для классификации. Возьмем, к примеру, систему компьютерного зрения для распознавания логотипов: она объединит извлечение признаков SIFT с алгоритмом сопоставления ближайших соседей для обнаружения логотипа на изображении. Используя алгоритм SIFT, система компьютерного зрения может распознавать объекты. Эти разработанные вручную алгоритмы и методы обнаружения признаков представляют собой фундаментальный сдвиг в этой области для многочисленных приложений компьютерного зрения. Их важность сохраняется в современных приложениях компьютерного зрения, особенно там, где глубокое обучение нецелесообразно из-за ограниченности данных и вычислительных ресурсов.
Алгоритмы машинного обучения и распознавания объектов
По мере роста объемов данных интеграция методов машинного обучения в компьютерное зрение стала обычным явлением. На заре своего развития инженеры использовали каскадный классификатор Виолы-Джонса , который обучался в реальном времени для обнаружения лиц и других объектов. Аналогичный подход использовал признаки гистограммы ориентированных градиентов (HOG) с классификатором SVM для обнаружения изображений — метод, широко известный для обнаружения пешеходов. Обучение на основе данных стало улучшением по сравнению с ручными правилами предыдущего поколения, а созданные вручную признаки, отличающиеся от других стандартных методов, сделали его передовым в компьютерном зрении до начала 2010-х годов, когда произошел крупный сдвиг в глубоком обучении.
Алгоритмы глубокого обучения (нейронные сети и не только)
Сверточные нейронные сети (CNN) — наиболее важные и влиятельные алгоритмы в глубоком обучении. Эти модели применяют принципы иерархического обучения признакам для изучения простых признаков вблизи входных данных, таких как края и текстуры, одновременно понимая более сложные признаки и формы на более глубоких слоях. CNN являются основой современных архитектур для классификации изображений и обнаружения объектов. ResNet, VGG, Inception и, совсем недавно, EfficientNet демонстрируют очень высокую производительность и высокую точность классификации изображений по тысячам категорий.
Faster R-CNN, YOLO и SSD — это современные передовые алгоритмы для обнаружения объектов, использующие сверточные нейронные сети (CNN) в качестве экстракторов признаков для обнаружения нескольких объектов на одном изображении. В сегментации изображений глубокие модели, такие как U-Net или Mask R-CNN, обеспечивают попиксельную классификацию целевых изображений.
Автокодировщики и GAN (генеративно-состязательные сети), способные улучшать и синтезировать изображения или обучаться на основе признаков без учителя, представляют собой еще одну категорию моделей глубокого обучения. ViT (Vision Transformers), демонстрирующие значительные перспективы, в последнее время отошли от тенденции полагаться исключительно на CNN. ViT сегментируют изображения на несколько фрагментов, а затем применяют модель самовнимания в обработке естественного языка для поддержания дальних связей. Они эффективны для классификации изображений, а задачи обнаружения и сегментации также находятся на горизонте. В целом, модели глубокого обучения в настоящее время являются лидерами в компьютерном зрении, поскольку они могут обучаться богатым представлениям признаков из данных без учителя.
Как работает компьютерное зрение
В общих чертах, системы компьютерного зрения используют искусственный интеллект (в основном машинное обучение) для обучения на основе изображений и применения этих знаний для распознавания других изображений. При создании систем компьютерного зрения разработчики обучают модели на больших наборах данных размеченных изображений, чтобы помочь им обобщать данные на реальные условия.
Например, модель может обучаться на миллионе размеченных изображений автомобилей, чтобы распознавать визуальные признаки, отличающие автомобили от других визуальных данных, содержащих объекты, не являющиеся автомобилями. Обучение модели включает в себя корректировку внутренних параметров алгоритма для уменьшения ошибки модели. Точность повышается по мере непрерывного обучения модели на изображениях и по мере увеличения объема предоставляемых данных. В конце этапа обучения система должна быть способна сформировать математическое представление визуальных концепций для обучающих изображений.
После обучения и развертывания модели новые изображения проходят предварительную обработку (как объяснялось ранее), после чего запускается обученная модель. Допустим, для распознавания изображений используется сверточная нейронная сеть; значения пикселей изображения свертываются слой за слоем. На самом первом слое сеть может различать простые вертикальные или горизонтальные края и пятна; на более глубоких уровнях она объединяет края и пятна в более понятные признаки, такие как углы, текстуры или сложные формы. Каждый слой сети постепенно описывает изображение, и сохранение подробного кодирования изображения помогает сети предсказывать его содержимое.
Сортировка посылок с помощью компьютерного зрения
Рассмотрим, как работает система сортировки посылок с использованием компьютерного зрения в контексте логистики. В таких системах используются камеры для непрерывного захвата изображений посылок на конвейерной ленте. Программное обеспечение сначала выполняет улучшение изображения (например, регулирует контрастность изображения для повышения четкости этикеток), а затем, используя предварительно обученную модель, извлекает и анализирует атрибуты для определения идентификации посылок. Например, оно может создать бинарную маску для каждой посылки, а затем запустить оптическое распознавание символов (OCR) для считывания ее этикетки. После этого система распределяет посылки по различным целевым контейнерам.
Модель «обучается», сравнивая свои наблюдения с обучающими данными. Например, она может научиться считывать метку, связанную с определенным набором текста и цветов, тем самым направляя себя в нужное место. Для этого ей необходимо обнаруживать особенности изображения, находить текст и символы и классифицировать их по месту назначения в заранее определенный набор категорий. В результате получаются инструкции, такие как «отправить на погрузочную площадку 3», которые могут быть реализованы автоматизированными системами или людьми.
Примечание: Весь процесс, от получения изображения с камеры до принятия решений о маршрутизации, занимает несколько секунд с лазерной точностью, что демонстрирует, как компьютерное зрение обрабатывает пиксели и множество соответствующих данных в режиме реального времени для получения полезной информации.
Управление складом и безопасность
Одно из главных преимуществ использования ИИ в управлении складом — повышение безопасности сотрудников. Компьютерное зрение улучшает управление складом, предоставляя роботам и системам управления «глаза» на складе. Одно из основных применений — составление карт складских помещений для навигации. Как это работает? Вместо следования по фиксированным траекториям (например, линиям или магнитным полосам), автономные складские транспортные средства используют камеры и методы одновременной локализации и картографирования (SLAM) для создания и обновления карты окружающей среды в реальном времени. Интегрируя камерное зрение с другими датчиками, такими как LiDAR , роботы могут воспринимать трехмерную сцену (проходы и стеллажи) и определять свое местоположение в ней. Это позволяет осуществлять свободную навигацию в динамических планировках, одновременно поддерживая предотвращение столкновений и перепланирование траектории. Когда бортовая система компьютерного зрения робота обнаруживает изменение (например, новый поддон, размещенный в проходе), она обновляет свою внутреннюю карту на ходу. Такое картографирование особенно важно для крупных складов, чтобы координировать работу автоматизированных транспортных средств (AGV) и дронов без необходимости в сложной инфраструктуре.
Кроме того, контроль за работниками помогает обеспечить соблюдение ими правил техники безопасности. Вместо того чтобы полагаться только на людей, камеры, установленные по всему объекту, или устройства, встроенные в оборудование, непрерывно отслеживают видео в режиме реального времени. Таким образом, они выявляют сотрудников склада, перемещающихся вблизи опасных зон, таких как работающие роботы или оживленные маршруты погрузчиков. Если кто-то подходит слишком близко к движущемуся механизму, срабатывает интеллектуальное программное обеспечение, замедляя его или немедленно отключая. Эти системы также регистрируют местоположение погрузчиков и людей, мгновенно подавая сигналы тревоги, когда кто-то заходит в запрещенную зону, или транспортное средство превышает скоростной лимит или движется задним ходом по своему маршруту.
Эти системы безопасности, работающие на основе камер, обычно подключаются к датчикам и устройствам, имеющим доступ в интернет, — например, к меткам отслеживания местоположения, — для создания более надежного уровня защиты, снижающего количество несчастных случаев.
Роботизированные манипуляторы и машины для захвата и перемещения объектов.
Компьютерное зрение также используется для управления системами роботизированной автоматизации процессов (RPA) в логистике, такими как роботизированные манипуляторы и машины для комплектации и перемещения грузов. В автоматизированном выполнении заказов роботизированные манипуляторы используют системы компьютерного зрения для выполнения задачи комплектации заказа. Подвесные станции комплектации и роботизированные манипуляторы используют высокоточные специализированные системы компьютерного зрения, которые обеспечивают визуальную обратную связь с манипуляторами, позволяя им видеть цели на полках, в контейнерах или в зонах сброса. Распознавание объектов в системах компьютерного зрения использует детекторы (на основе глубокого обучения) для выбора объекта для комплектации на основе критериев сопоставления и выбора (например, форма, этикетка, штрихкод), а также для определения местоположения объекта и его положения и ориентации.
Когда роботизированная рука приближается к объекту, система компьютерного зрения вносит мельчайшие корректировки на лету, например, корректирует траекторию движения с помощью опорных маркеров для обеспечения точности позиционирования. После подъема камера проверяет, был ли взят нужный объект и остался ли он целым.
Пример: В Ocado машины захватывают продукты из контейнеров, используя визуальное наведение; камеры обнаруживают каждую упаковку, направляя захваты таким образом, чтобы они мягко цеплялись за что-либо за вакуум, избегая повреждений от прикосновения. Внутри робота Sparrow компании Amazon искусственный интеллект работает вместе с технологией обработки изображений, чтобы находить отдельные товары, скрытые среди бесчисленного множества других, демонстрируя, как визуальные системы помогают роботам справляться с бесконечным разнообразием форм и размеров. На складах хорошая видимость позволяет роботам понимать пространство, безопасно перемещаться рядом с людьми, точно поднимать предметы, аккуратно их организовывать и плотно складывать коробки.
Отслеживание и идентификация запасов
Поддержание непрерывного и точного учета запасов — одна из многих проблем в логистической отрасли . Компьютерное зрение предлагает автоматизированную идентификацию, подсчет и определение местоположения товаров на складе, что значительно снижает необходимость ручного сканирования штрих-кодов или проведения инвентаризации.
Теперь давайте подробнее рассмотрим, как это работает. Изображения товаров на складе непрерывно фиксируются стратегически расположенными камерами высокого разрешения, которые отслеживают полки и стеллажи. Модели глубокого обучения на основе алгоритмов компьютерного зрения, такие как YOLO и R-CNN , помогают сортировать и идентифицировать отдельные товары и/или упаковки на полке. Один «взгляд» на напечатанные этикетки, сканируемые линии или квадратные коды позволяет инструментам, управляемым камерами, точно определить, какие товары есть в наличии и где они находятся. Информация напрямую поступает в программное обеспечение для отслеживания, когда машины обнаруживают эти маркеры, обеспечивая согласованность физических и цифровых данных о запасах.
Пример: Система KoiReader от NVIDIA — это система учета запасов на основе машинного зрения, развернутая в PepsiCo, которая считывает складские этикетки и штрихкоды с высокой скоростью, устраняя необходимость в ручном сканировании. Она использует искусственный интеллект для считывания этикеток в нестандартных положениях и при частичном перекрытии. Такие системы обеспечивают мгновенное обновление цифровых запасов при добавлении или удалении товаров, а также автоматическое пополнение запасов до пороговых значений без участия человека.
Сканирование полок с поддержкой компьютерного зрения
Сканирование полок с помощью компьютерного зрения (CV) с использованием стационарных или мобильных устройств не является чем-то новым. Некоторые склады используют автономных роботов и погрузчики с камерами, которые могут перемещаться по проходам и периодически сканировать полки. Эти мобильные системы машинного зрения проверяют, не отсутствует ли товар или не пустует ли ячейка, и сообщают о необходимости исправления. Многие из этих современных решений используют граничные вычисления (edge computing), где обработка изображений (фактическое обнаружение и подсчет) выполняется внутри камеры или, по крайней мере, локально, а не в облаке. Это очень важно, если система использует высокоскоростные конвейерные ленты или требует очень частого обновления данных об инвентаризации, поскольку это исключает задержки в облаке и обеспечивает высокую скорость отклика системы. По этим причинам Gartner прогнозирует, что к 2027 году 50% компаний, занимающихся складскими операциями, будут использовать системы машинного зрения с поддержкой ИИ для замены ручного подсчета штрих-кодов.
Инвентаризация с помощью дронов и аэрофотосъемка
Для доступа к более отдаленным участкам складских запасов все больше компаний используют дроны и аэрофотосъемку. Беспилотные летательные аппараты автономно скользят по проходам склада, сканируя товары на большой высоте и на складских площадках. Дроны также могут следовать запрограммированным траекториям полета и использовать компьютерное зрение для записи и идентификации этикеток на паллетах, а также для подсчета товаров с низкой плотностью хранения сверху. Важно отметить, что дроны повышают безопасность и эффективность, поднимаясь на большую высоту и устраняя необходимость в ручном труде с использованием подъемников и лестниц. С высоты 9 метров устройство делает подробные снимки товаров. Затем алгоритмы обрабатывают эти изображения, подсчитывая коробки или считывая коды, в то время как рабочие наблюдают за ними с земли.
Пример: такие стартапы, как Gather AI и Corvus Robotics, создают дроны, которые напрямую подключаются к программному обеспечению для складского учета. Эти летающие устройства оснащены системами машинного зрения, способными обнаруживать штрих-коды, напечатанные номера или бирки с указанием срока годности. Они определяют количество коробок, находящихся позади других, анализируя только передний слой. Таким образом, камеры, установленные на стенах, вездеходы, перемещающиеся по проходам, или воздушные разведчики берут на себя задачу наблюдения за запасами. Точность значительно повышается, поскольку обновления поступают мгновенно по мере внесения изменений, и неправильно размещенные товары быстро обнаруживаются. В конечном итоге, заказы быстрее проходят через систему благодаря надежной передаче данных на каждом этапе.
Мониторинг и оптимизация цепочки поставок
Данные компьютерного зрения также проникают за пределы складских помещений, повышая прозрачность и способствуя принятию более эффективных решений на каждом этапе цепочки поставок. Ярким примером применения этой технологии является использование в логистике и транспортировке товаров на различных этапах производства.
После прибытия товаров в центр выполнения заказов и их размещения на грузовике, системы автоматизированного управления транспортом (CV) в распределительных центрах и пунктах доставки могут проверять и регистрировать статус отгрузки в нескольких транзитных точках. Например, в пунктах доставки CV может проверить, что соответствующая партия товара выгружена/загружена на грузовик, распознав транспортную накладную. Технология также может распознавать идентификатор прицепа или номерной знак грузовика и регистрировать время, чтобы точно определить задержки в процессе погрузки. Операционные менеджеры могут использовать эту информацию для улучшения организации движения на складе и проверки того, что вся загрузка находится на грузовике, предотвращая дорогостоящие ошибки при отгрузке.
Пример: Компания Zetes разработала систему машинного зрения, которая фиксирует каждый загруженный поддон, расшифровывает множество штрих-кодов и сопоставляет их с цифровой накладной; система в режиме реального времени оповещает операторов о любых отсутствующих или неправильно загруженных коробках.
Обнаружение аномалий в глубоком обучении
Еще одно преимущество компьютерного зрения — мониторинг состояния транспортировки и выявление проблем в пути. Камеры, отслеживающие отдельные или непрерывные контрольные точки в потоке посылок, могут выполнять проверки целостности и стабильности. Модели компьютерного зрения могут определять, меняется ли ориентация коробки или нарушена ли целостность пломбы (индикаторы вскрытия). Они отслеживают и сообщают о состоянии по всему маршруту доставки. Терминалы с поддержкой компьютерного зрения пропускают посылки и используют системы обнаружения вмятин и проколов, а также рентгеновское обнаружение пятен от воды. Если они обнаруживают что-то неладное с посылкой, они могут удалить ее из потока, сбросить и осмотреть, чтобы предотвратить отправку поврежденных товаров клиентам.
Более того, современные грузовики для доставки оснащены камерами, которые периодически отслеживают посылки. Если система компьютерного зрения обнаруживает смещение коробки, она может сообщить водителю или логистической системе, что коробка, вероятно, была помята. Это отличное применение глубокого обучения для обнаружения аномалий. При обучении на наборах нормальных и поврежденных посылок система хорошо выявляет мелкие повреждения, которые человек просто не заметил бы в потоке информации.
Пример: Компания FedEx использует технологии компьютерного зрения на своих объектах для оценки повреждений посылок, находящихся в пути. Если технология выявляет проблему, посылку можно быстро отложить для переупаковки или замены, чтобы избежать задержек.
Прогнозная аналитика и оперативная разведка
Большая часть визуальных данных, полученных с помощью компьютерного зрения, представляет собой потоки изображений по всей цепочке поставок, что может обеспечить дополнительные возможности прогнозирования. Система регистрации событий, основанная на моделях компьютерного зрения, фиксирует и документирует каждую наблюдаемую деталь и может использоваться для выявления закономерностей повреждений в цепочке поставок. Хорошим примером может служить обнаружение системами компьютерного зрения большого количества поврежденных коробок при их разгрузке из грузовика на определенном маршруте. В этом случае аналитика может помочь выявить дефект упаковки, ненадлежащую организацию маршрута или недостаточную подготовку водителей, назначенных на этот маршрут.
Прогностическая аналитика в логистике или модели компьютерного зрения также могут помочь выявить отклонения от маршрута. Частота неправильно загруженных паллет или среднее время простоя погрузки на один грузовик могут быть использованы для прогнозирования отклонений от маршрута или неэффективных целей. Центры управления в цепочке поставок объединяют данные компьютерного зрения для обеспечения прозрачности и предсказуемости. Таким образом, менеджеры могут видеть точный статус и местоположение каждой посылки, что позволяет им предвидеть сбои. Преобразование процесса наблюдения за собранными данными в компьютерное зрение быстро развивается в отрасли. Прогнозирование маршрутов и оптимальная интеграция данных о спросе в цепочки поставок — это лишь дополнительный бонус.
Проверка упаковки и выявление повреждений
Прежде чем товары попадут к покупателям, логистическим компаниям необходимо убедиться, что каждая упаковка промаркирована, цела и соответствует всем требованиям. Автоматизированные проверки посылок с использованием компьютерного зрения помогают выявлять внешние повреждения и другие дефекты гораздо быстрее и точнее, чем ручные проверки. Вдоль конвейерных лент и сортировочных линий высокоскоростные камеры фиксируют каждую посылку с разных ракурсов. Затем алгоритмы классифицируют каждое изображение и выявляют дефекты на основе повторяющихся повреждений, таких как открытые клапаны, вмятины, выпуклости, разрывы и пятна от воды, а также поверхностные аномалии, которые выглядят как повреждения.
Пример: Компания DHL использует систему визуального контроля (разработанную совместно с Cognex), которая применяет комбинацию 2D и 3D камер для обнаружения проблем в режиме реального времени. Как только обнаруживается коробка с вмятиной или поврежденным клапаном, система автоматически перенаправляет ее с основной линии. Это предотвращает отправку поврежденной посылки и избавляет от сложностей с ее последующим извлечением. Кроме того, это обеспечивает бесперебойную работу конвейера, удаляя предметы, которые могут заклинить оборудование (например, это помогает предотвратить застревание сильно деформированной коробки в автоматическом сортировщике).
Трехмерное зрение для обнаружения повреждений
Благодаря использованию 3D-технологий, обнаружение повреждений улучшено. Например, выпуклости по бокам коробки и помятые углы не будут видны на одной 2D-фотографии, особенно если они большие и поврежденные. В то же время, технология стереоскопического зрения с 3D-камерами обеспечивает восприятие глубины, позволяя системе визуального обнаружения определять, имеет ли упаковка ожидаемые характеристики кубоида. В сочетании с усовершенствованным 2D-сканированием система может выявлять и отмечать небольшие видимые повреждения поверхности, такие как микроотверстия, и повреждения клапанов коробки, которые были вскрыты.
Сочетание этого метода с высококачественной 2D-визуализацией позволяет обнаруживать повреждения поверхности, такие как мелкие царапины, изношенные края или вскрытая коробка. После того, как упаковка помечена как подозрительная, линия может автоматически отклонить ее или перенаправить оператору. Раннее обнаружение повреждений дает оператору возможность переупаковать, изменить адрес и доставить товар вовремя. Немаркированные экземпляры и запись о товаре могут быть должным образом аннотированы для обеспечения надлежащего отслеживания.
Проверка этикеток и целостности
Помимо обработки физических повреждений, системы CV теперь также выполняют проверку этикеток и проверку целостности упаковки. По мере быстрого прохождения посылок через автоматизированную сортировочную систему, транспортные этикетки фотографируются, а информация извлекается с помощью оптического распознавания символов (OCR) и декодирования штрихкодов.
Инновации в области проверки транспортных средств начинают широко распространяться в отрасли. Например, компания FedEx разработала системы визуального обнаружения повреждений для первоначальной проверки в сортировочном центре и во время сортировки, что позволяет активно выявлять поврежденные посылки. Затем компания принимает соответствующие меры, либо ремонтирует, либо переупаковывает поврежденные посылки, чтобы избежать недовольства клиентов. Кроме того, FedEx хранит такие записи для целей страхования или для выявления проблемных маршрутов.
Аналогичным образом, в центрах выполнения заказов Amazon посылки отправляются по интеллектуальным конвейерным туннелям с камерой, которая делает быстрый 360-градусный снимок. Алгоритмы компьютерного зрения подтверждают штрихкод на изображении, сообщают, была ли коробка открыта или имеет неплотно прилегающие клапаны, и проверяют коробку, чтобы предотвратить проблемы с негабаритными, негабаритными или переполненными посылками. Другими словами, проверки с помощью компьютерного зрения обеспечивают контроль качества логистики, гарантируя, что отправляемые посылки находятся в хорошем состоянии и не повреждены, предотвращая разочарование клиентов и ущерб имиджу бренда.
Автономные транспортные средства и робототехника, оснащенные компьютерным зрением
Автономные технологии опираются на множество специализированных технологий компьютерного зрения:
- Стереоскопическое зрение использует двойные изображения для обеспечения восприятия глубины, что крайне важно для определения расстояния до препятствия и для выбора безопасного пути вокруг него. Некоторые автоматизированные вилочные погрузчики и сканеры полок используют стереоскопическое зрение для определения местоположения поддона и правильного позиционирования вил для захвата груза.
- Камеры с измерением времени пролета (Time-of-Flight) измеряют относительное расстояние до объекта, вычисляя время, необходимое для возвращения излучаемого света. Они также могут определять глубину, эффективны в условиях низкой освещенности и мгновенно создавать карты расстояний до сложных сцен, помогая роботу ориентироваться в складском помещении с товарами в плохо освещенном месте.
- Визуальное отслеживание движущегося объекта (например, идущего человека или автоматизированного робота) также используется в автономных системах для прогнозирования и предотвращения столкновений с отслеживаемым объектом. Результатом объединения отслеживания нескольких объектов и множества визуальных входных данных является богатая ситуационная осведомленность. Например, система машинного зрения автономного транспортного средства для доставки может одновременно обнаруживать и классифицировать объекты, отслеживать их и планировать траекторию движения в реальном времени. (Эта многозадачность обычно выполняется с использованием глубоких нейронных сетей, работающих на мощных графических процессорах, для таких задач, как распознавание дорожных знаков, определение полос движения для уличных роботов-доставщиков и сегментация проходимых поверхностей.)
На складах Amazon используется множество мобильных роботов от Proteus и Kiva, которые транспортируют и размещают товары на полках; эти роботы используют камеры, направленные вниз, и фронтальные камеры глубины для принятия автономных решений, в то время как центральное управление координирует их движения. В этих и многих других случаях алгоритмы компьютерного зрения постоянно служат «зрением» транспортного средства, обеспечивая автономность.
Такая информация позволяет роботу видеть и распознавать препятствия. Например, человека можно отличить от поддона. Зная это, робот может выполнить правильную реакцию, например, остановиться и уступить дорогу человеку, а если препятствием является неподвижный ящик, просто изменить направление движения. Навигация на основе компьютерного зрения обычно использует обученные модели для обнаружения наиболее распространенных объектов на складе, таких как погрузчики, поддоны и другие предметы.
Отслеживание и аналитика в режиме реального времени
Получение полезной информации на основе процессов мониторинга в реальном времени — одно из главных преимуществ компьютерного зрения в логистической отрасли. Компании в сфере логистики используют компьютерное зрение для получения актуальной и действенной информации из визуальных данных, полученных с помощью этих технологий.
Например, на складах и в распределительных центрах компьютерное зрение может отслеживать положение и идентификацию каждой посылки в режиме реального времени по мере ее прохождения через сортировочную зону. Системы компьютерного зрения достигают этого с помощью системы отслеживания посылок в режиме реального времени, которая следит за посылкой с помощью набора камер. Менеджеры могут отслеживать местоположение каждой посылки в режиме реального времени, войдя в систему и увидев, что, скажем, посылка X в данный момент находится в зоне Y на третьей конвейерной ленте, направляясь к грузовику для погрузки.
Система может оповещать персонал о любых отклонениях от маршрута или непредвиденных событиях, отслеживая поток посылок на территории объекта. Информация, получаемая в режиме реального времени с помощью систем компьютерного зрения, гарантирует выявление и устранение проблем на месте, а не спустя часы из-за задержек с сообщением о них руководителю.
Система визуального отслеживания погрузчиков
Благодаря возможности отслеживать уровни запасов, расхождения и проблемы с качеством в режиме реального времени, проблемы можно устранять оперативно, а не после их решения, поскольку компаниям больше не нужно полагаться на периодические проверки или подсчеты. Такая прозрачность способствует более точному прогнозированию и улучшает обслуживание клиентов. Например, сроки доставки могут быть скорректированы заблаговременно, если задержка будет выявлена в режиме реального времени.
Этот автоматизированный процесс передает информацию на панели управления с аналитическими инструментами, разработанными для менеджеров складов и инженеров-технологов для планирования размещения оборудования и персонала. Например, если тепловые карты в реальном времени на экране показывают, что один погрузочный док перегружен паллетами, а другой свободен, менеджеры могут быстро перевести свою команду на перегруженный док или скорректировать график прибытия грузовиков. Отслеживание погрузчиков с помощью видеонаблюдения также повышает безопасность в режиме реального времени, поскольку менеджеру и водителю могут отправляться оповещения, когда погрузчик приближается к зоне с большим количеством людей. На полностью автоматизированных предприятиях такие оповещения могут активировать устройства безопасности, такие как сигнальная лампа, временный барьер или автоматизированный контроллер зоны, когда люди входят в зону, используемую промышленными роботами.
Цифровые двойники в реальном времени
Из-за необходимости обеспечения низкой задержки все это лучше делать на периферии или в локальных сетях. Системы компьютерного зрения на периферии обходят вторичный уровень интеграции, агрегируя видеопотоки и данные и визуализируя их внутри каждой системы компьютерного зрения. Все больше складов имеют полностью функционирующие цифровые двойники в реальном времени: программные модели, отражающие текущее физическое состояние склада . Компьютерное зрение является основной технологией для этого цифрового двойника, поскольку оно в реальном времени наполняет модель данными о товарах, местах их хранения, работающем оборудовании, работниках и движениях людей.
Пример: Подход Gather AI использует дрон и камеру для создания практически в реальном времени цифрового двойника склада для управления запасами. Панель управления системы имеет временную метку, выявляет несоответствия запасов данным WMS склада и информирует о действиях системы, чтобы операторы могли в режиме реального времени корректировать точность оперативных данных о запасах. Пользователи системы наблюдают за видео в реальном времени и аннотированными изображениями. Система компьютерного зрения может, например, отслеживать и выделять каждую посылку в реальном времени по мере ее движения по автоматизированной линии в распределительном центре и вести учет обработанных товаров за эту минуту. Система компьютерного зрения указывает на рабочее состояние линии, срабатывая при замедлении или блокировке.
Система оповещения о столкновениях также запрограммирована для экстренных случаев (например, CV может обнаружить, когда кто-то выходит на путь автоматизированного оборудования, что может вызвать громкое предупреждение или звуковой сигнал на носимом устройстве). CV интегрирована с системами управления складом с помощью API, которые сообщают о событиях (например, «нескоординированный работник в зоне 5»). Эти события отправляются непосредственно в базы данных журналов менеджеров или на используемые ими платформы обмена сообщениями.
Отслеживание ключевых показателей эффективности (KPI)
Анализ данных компьютерного зрения в режиме реального времени предоставляет дополнительные сведения о ключевых показателях эффективности более высокого уровня и поддерживает принятие управленческих решений. Поскольку системы машинного зрения собирают ценную информацию, включая то, к чему прикасаются и каждое выполненное действие, системы машинного обучения могут распознавать закономерности и проводить прогнозный анализ. Например, со временем данные компьютерного зрения могут выявить определенное время суток, когда заказы постоянно блокируются на станциях упаковки и размещения, и менеджеры могут принять решение об изменении графиков смен или внедрении автоматизации на этих станциях. Видеозаписи с компьютерного зрения транспортных средств из сегмента доставки и транспортировки, включая водителя и дорогу, могут быть проанализированы на предмет соответствия правилам безопасности. Системы распознавания мимики и взгляда предупреждают о том, что водитель может отвлекаться или проявлять признаки усталости.
Эти оповещения могут передаваться на приборную панель водителя, которая также служит средством связи в режиме реального времени с менеджерами автопарка. Система CV может использовать ту же сеть камер как для обеспечения безопасности, так и для повышения эффективности работы. Например, система видеонаблюдения с использованием ИИ может определить, находится ли человек в зоне ограниченного доступа на складе в нерабочее время, и если там находится ценный товар, переместить этого человека из зоны, выдать оповещение о безопасности и обновить данные о перемещении товаров в системе учета запасов.
На сегодняшний день компьютерное зрение является одним из наиболее интересных и широко распространенных направлений искусственного интеллекта. В сочетании с логистическими технологиями оно образует интеллектуальный аналитический цикл, предоставляющий детализированные данные. В сочетании с передовой аналитикой компьютерное зрение обеспечивает прозрачность функций цепочки поставок и возможность их изменения в режиме реального времени. Компании, извлекающие эти данные из компьютерного зрения в режиме реального времени, могут умело, заблаговременно и непрерывно совершенствовать свои процессы и рабочие процессы обеспечения безопасности, избегая итеративных, постфактумных и повторяющихся процедур.
