Site icon Измерители диаметра и эксцентриситета. Измеритель диаметра кабеля, трубы, прутка и катанки. Измерители толщины,. Измеритель толщины. Контроль изоляции. ЗАСИ. Машинное зрение.

Секреты гиперспектрального машинного зрения: как заглянуть в невидимый спектр без космических затрат?

Гиперспектральный анализ, долгое время остававшийся дорогостоящей лабораторной роскошью из-за компромисса между стоимостью и потерей физико-химических данных, наконец преодолел технологический тупик. Инженерам удалось создать компактную систему, способную записывать полноценное гиперспектральное видео со скоростью до 30 кадров в секунду по цене обычных мультиспектральных аналогов. Какие скрытые архитектурные инновации позволили обойти фундаментальные оптические ограничения и обрабатывать этот массив данных на лету?

Хотя гиперспектральная визуализация существует уже несколько десятилетий, большую часть этого времени она была ограничена небольшим числом областей и применений. Однако в последние годы ситуация начала меняться благодаря достижениям в оптическом проектировании, методах визуализации, вычислительных технологиях, новых методах сжатия и развивающейся экосистеме в этой отрасли.

Гиперспектральные камеры нового поколения обещают вывести технологию из лабораторий в руки тех, кто сможет ее использовать, создавая широкий спектр применений. Новые камеры предлагают гиперспектральные данные в реальном времени в более надежном и портативном форм-факторе, а также снижают цену. 

Это делает возможным переход от систем компьютерного зрения на основе RGB-изображений к системам на основе гиперспектральных данных, обеспечивая получение расширенной информации в режиме реального времени с помощью локально запускаемых алгоритмов компьютерного зрения, основанных на гиперспектральных наборах данных. Также возможно заменить дорогостоящие гиперспектральные камеры более экономичными системами в зависимости от требуемой производительности.

В условиях растущего числа доступных гиперспектральных камер, что нужно знать о соотношении цены и производительности, чтобы найти оптимальный баланс для ваших задач? В этом блоге мы обсудим производительность гиперспектральных камер и ключевые факторы, влияющие на их ценообразование, а затем дадим советы по выбору лучшей камеры для вас. 

Факторы, влияющие на производительность гиперспектральной камеры. 

На эффективность работы гиперспектральной камеры влияет множество факторов. Эти факторы количественно определяют различные аспекты, связанные с качеством конечных наборов данных и практичностью использования камеры. 

Спектральный диапазон  

Спектральный диапазон описывает диапазон длин волн, которые способна регистрировать гиперспектральная камера. В то время как традиционная RGB-камера охватывает только видимую часть электромагнитного спектра, гиперспектральные камеры часто простираются и в инфракрасный спектр. Захватывая свет за пределами видимого спектра, можно выявить новые спектральные характеристики, связанные с различными свойствами материалов, что открывает новые возможности для применения. 

Ниже приведены типичные спектральные диапазоны для гиперспектральных камер с примерами свойств, которые они могут обнаруживать. 

В то время как видимый и видимый-ближний инфракрасный диапазоны можно регистрировать с помощью недорогих и легкодоступных кремниевых датчиков, таких как CMOS или CCD, для регистрации более длинных инфракрасных волн требуются более дорогие детекторы. Некоторые из них также нуждаются в охлаждении для снижения уровня шума, что приводит к значительному увеличению стоимости и влияет на возможности их применения. 

Спектральное разрешение 

Спектральное разрешение определяет способность гиперспектральной камеры различать разные длины волн. Будучи важнейшим параметром, спектральное разрешение определяет, сможет ли камера зафиксировать определенные сигнатуры и выявить новую информацию о материалах, присутствующих на изображении. 

Камеры с высоким спектральным разрешением более точно выдают большое количество узких полос, воссоздавая исходную длину волны света, попадающего на сенсор. В отличие от них, камеры с низким спектральным разрешением используют меньшее количество более широких полос, что приводит к потере значительной части исходных данных о длине волны. 

Спектральное разрешение определяется спектральным диапазоном, количеством полос длин волн и шириной этих полос. Как правило, ширина полос длин волн камеры изменяется в пределах спектрального диапазона, и производители указывают значения в нм в разных точках спектра. 

Конечное спектральное разрешение камеры зависит от технологии, используемой для захвата света. В целом, более высокое спектральное разрешение выгодно и приводит к более высокой цене. Однако, более высокое спектральное разрешение имеет и свои недостатки: оно приводит к увеличению объема данных и уровня шума, поскольку каждый спектральный диапазон содержит меньше фотонов. 

Пространственное разрешение 

Сколько пикселей содержит итоговое изображение. Пространственное разрешение определяет мельчайшие детали, которые можно различить на изображении. Как правило, более высокое пространственное разрешение приводит к более высокой цене гиперспектральных камер. 

В зависимости от технологии получения изображений пространственное разрешение может быть сложнее, чем простое значение количества и размера пикселей. Некоторые гиперспектральные камеры, использующие моментальные снимки, применяют два датчика для вывода как RGB, так и гиперспектральных изображений. В таких случаях гиперспектральные данные будут отбираться по всей площади изображения, а не предоставляться попиксельный анализ, как это делают камеры, использующие сканирование. 

Частота кадров 

Хотя камеры, предназначенные для моментальной съемки, обеспечивают сравнительно более низкое пространственное разрешение данных, они могут выдавать эти данные гораздо быстрее. Частота кадров определяет, насколько быстро камера выдает гиперспектральные изображения. Обычно она измеряется в кадрах в секунду или в Гц.  

Новые системы моментальной съемки позволяют получать кадры с видеочастотой, что дает возможность создавать различные системы мониторинга в реальном времени, способные захватывать гиперспектральные данные о движущихся объектах. В отличие от них, сканирующие гиперспектральные камеры работают значительно медленнее, объединяя множество кадров для получения всех гиперспектральных данных. Это делает их непригодными для съемки динамических сцен или анализа в реальном времени. 

Чувствительность 

Чувствительность измеряет вероятность того, что фотон, попавший в камеру, будет зарегистрирован сенсором. Этот параметр зависит от длины волны света, сенсора и оптики. Камеры с более высокой чувствительностью позволяют использовать камеру в условиях низкой освещенности, поскольку вероятность регистрации каждого фотона выше. Чувствительность имеет решающее значение при более высокой частоте кадров, когда время экспозиции для захвата света, составляющего изображение, значительно короче. 

Чувствительность также влияет на параметры, связанные с качеством изображения, такие как 

Освещение 

Условия освещения, необходимые для получения качественных гиперспектральных данных. Для использования всего спектрального диапазона гиперспектральной камеры обычно требуется широкополосный источник света. Однако для случаев с меньшим интересующим спектральным диапазоном можно использовать более сфокусированные источники света с более узким диапазоном длин волн. 

Для получения значимых данных некоторым гиперспектральным камерам требуются фиксированные условия освещения с точки зрения интенсивности, диапазона длин волн и равномерности, в то время как другие более гибкие. Типичным источником для видимого, видимого-ближнего и коротковолнового инфракрасного излучения является галогенное освещение, тогда как для регистрации инфракрасного излучения с более короткими длинами волн требуется тепловое освещение. Опять же, освещение имеет решающее значение для более высокой частоты кадров, поскольку сокращается время экспозиции для захвата света. 

Простота использования 

При использовании гиперспектральных камер необходимо преодолеть ряд трудностей, в том числе: 

Простота использования гиперспектральной камеры определяет её производительность в реальных условиях и доступность этой технологии для различных категорий пользователей. Общая простота использования определяется сочетанием аппаратных (метод получения изображений, оптическая схема, локальные вычислительные ресурсы и т. д.) и программных возможностей, предоставляемых производителем. Зачастую производители гиперспектральных систем предоставляют инструменты для упрощения ряда функций, включая калибровку и анализ данных. 

Размеры, вес и энергопотребление (SWaP) 

Размеры, вес и энергопотребление (SWaP) камеры связаны с удобством использования, определяя, насколько легко перемещать и эксплуатировать гиперспектральное устройство. Эти факторы могут быть особенно важны для бортовых систем, где ресурсы более ограничены. Однако SWaP также играет жизненно важную роль в портативности и развертывании гиперспектральной камеры. Это касается как ее использования в лаборатории, так и возможности перемещения в полевых условиях. 

Ключевые факторы, влияющие на цену гиперспектральной камеры 

Как и в большинстве отраслей, в сфере гиперспектральной съемки действует принцип «цена соответствует качеству». Чем выше производительность или технические характеристики, тем выше цена гиперспектральной камеры.  

Хотя легко сказать, что более высокая производительность означает более высокую цену, существуют нюансы, связанные с определенными факторами, которые существенно влияют на ценообразование из-за того, как они воздействуют на гиперспектральную камеру. К ним относятся метод сканирования, сенсор и программная экосистема. 

Метод визуализации 

Метод получения изображения определяет способ захвата изображения и то, как камера преобразует поступающий свет в гиперспектральные кадры. К методам гиперспектральной съемки относятся: 

Датчик 

Датчик определяет спектральный диапазон гиперспектральной камеры. В то время как для видимого и ближнего инфракрасного диапазонов можно использовать недорогие CMOS-датчики, расширение спектрального диапазона в инфракрасную область требует более дорогих датчиков на основе полупроводников, отличных от кремния. Примерами являются датчики на основе арсенида индия-галлия (InGaAs) и теллурида ртути-кадмия (MCT). 

Для обнаружения света с более короткими длинами волн в инфракрасном спектре также может потребоваться охлаждение. Эти фотоны имеют меньшую энергию и, следовательно, их сложнее обнаружить на фоне существующего теплового шума. Для снижения теплового шума необходимо использовать охлаждение. Хотя это улучшает производительность, это усложняет конструкцию камеры, значительно увеличивает стоимость и потенциально ограничивает возможности применения гиперспектральной системы. 

В некоторых современных камерах для моментальной съемки используются конструкции с двумя сенсорами, которые выдают как RGB-кадры, так и гиперспектральный набор данных. Это позволяет пользователям быстро визуализировать и интерпретировать изображение, а также упрощает настройку и фокусировку на конкретных областях интереса для спектрального анализа. Кроме того, системы компьютерного зрения могут обучаться как на цветных, так и на спектральных данных одной и той же сцены.

Программная экосистема 

Программная экосистема, сопровождающая камеру, определяет, как её можно использовать в реальном мире. Для преобразования необработанных данных с датчика в спектры и последующего построения автоматизированных моделей компьютерного зрения для различных сценариев использования требуются специальные методы обработки и анализа данных. Эти модели должны уметь понимать или, по крайней мере, классифицировать спектральные характеристики, чтобы обеспечить значимые возможности компьютерного зрения. 

Гиперспектральные камеры могут поставляться с программным обеспечением различного уровня сложности, что упрощает их интеграцию в различные сценарии использования. Это включает в себя как закрытое проприетарное программное обеспечение, разработанное специально для камер, с ограниченной функциональностью, так и открытые комплекты разработки программного обеспечения с API, позволяющие разработчикам создавать собственные инструменты и интегрировать их в существующие программы. Кроме того, более дорогие системы часто предоставляют готовые программные возможности, такие как модели классификации или сортировки в реальном времени, которые упрощают использование камеры.  

Как выбрать подходящую гиперспектральную камеру для ваших нужд 

Гиперспектральные камеры — сложные устройства, на производительность и цену которых влияет множество факторов. Однако, чтобы выбрать подходящий вариант для ваших задач, можно упростить процесс принятия решения, проведя «анализ потребностей». Вам необходимо определить наиболее важные факторы производительности, которые позволят вам достичь ваших целей. Это включает в себя рассмотрение следующих аспектов: 

Результаты вашего анализа потребностей должны показать минимальный уровень производительности, необходимый для вашего сценария использования. С учетом этого, вы можете изучить компромисс между производительностью и ценой, чтобы найти оптимальный выбор гиперспектральной камеры. Легко стремиться к самой высокопроизводительной гиперспектральной камере из доступных на рынке. Однако это часто приводит к пустой трате средств, поскольку камеры обеспечивают производительность, превышающую необходимые показатели. 

Примеры факторов, влияющих на производительность гиперспектральных камер и которые следует учитывать в различных отраслях, включают: 

Место гиперспектральной камеры на рынке гиперспектральных технологий 

Соотношение производительности и цены имеет решающее значение для выбора оптимальной гиперспектральной камеры для ваших задач. Для решения этой проблемы необходимо понимание спектральной визуализации, включая следующие факторы: 

К счастью, следующее поколение гиперспектральных камер демократизирует эту технологию, предлагая высокую производительность без высоких цен. В частности, достижения в области моментальной съемки изображений обеспечивают видеосъемку для мониторинга в реальном времени, сохраняя при этом спектральное разрешение, более чем достаточное для решения задач в самых разных отраслях. 

Этот прогресс демонстрирует гиперспектральная система видимого и ближнего инфракрасного диапазона, способная обрабатывать видео с частотой до 30 кадров в секунду. Ее компактное и портативное оборудование в сочетании с пакетом SDK и расширенными программными возможностями позволяет легко использовать ее в различных условиях для анализа реальных данных. Кроме того, благодаря подключенным периферийным вычислениям и двойным выходам для датчиков, можно выполнять обработку и анализ в реальном времени для построения моделей, объединяющих RGB и гиперспектральные наборы данных. 

Десять лучших примеров внедренных гиперспектральных систем машинного зрения

Гиперспектральное машинное зрение совершило революцию во многих отраслях, поскольку оно позволяет не просто видеть форму и цвет объекта, но и определять его точный химический состав по уникальному спектральному «отпечатку». Вот 10 успешных примеров применения этой технологии в реальном мире:

  1. Точное земледелие: Кейс датской компании AgroIntelli
  1. Сортировка пластика: Кейс гиганта TOMRA Sorting Solutions
  1. Пищевая безопасность: Кейс птицефабрик США по поиску костей
  1. Онкология: Метод картирования опухолей головного мозга (проект HELICoiD)
  1. Контроль зрелости: Кейс экспортеров авокадо и манго (JBT/Turatti)
  1. Экспертиза искусства: Разгадка тайн Леонардо да Винчи
  1. Геология: Проект компании Rio Tinto в Австралии
  1. Фармацевтика: Борьба с контрафактом от FDA
  1. Экология: Обнаружение утечек метана (Кейс GHGSat)
  1. Микроэлектроника: Контроль качества дисплеев Samsung / LG

Экономика внедрения гиперспектрального машинного зрения

Чтобы понять, как гиперспектральное зрение окупается на практике, рассмотрим конкретный экономический расчет (бизнес-кейс) на примере пищевого производства (сортировка орехов, ягод или мясного фарша).

Для этого расчета мы возьмем средние рыночные показатели внедрения стандартной гиперспектральной системы и рассчитаем срок окупаемости инвестиций (ROI).

  1. Исходные данные и условия
  1. Затраты на внедрение (Капитальные вложения — CAPEX)

Внедрение гиперспектральной системы «под ключ»:

  1. Ежегодные операционные расходы (OPEX)
  1. Расчет чистой выгоды по годам

Автоматический гиперспектральный контроль снижает количество рекламаций на 95%.

Временной период Затраты (Инвестиции + OPEX) Сэкономленные деньги Накопленный денежный поток (Cumulative Cash Flow)
Старт (Год 0) -9 191 468 руб. 0 руб. -9 191 468 руб.
Конец 1-го года -835 588 руб. +15 876 172 руб. +5 849 116 руб.
Конец 2-го года -835 588 руб. +15 876 172 руб. +20 889 700 руб.
Конец 3-го года -835 588 руб. +15 876 172 руб. +35 930 284 руб.
  1. Итоговые показатели эффективности

При использовании более доступных архитектур сжатого считывания стартовый CAPEX может упасть примерно до 4,5–5 млн рублей, сокращая выход на чистую прибыль до 3–4 месяцев.

Часто задаваемые вопросы

Вот часто задаваемые вопросы (FAQ) о гиперспектральном машинном зрении, которые помогут лучше понять возможности и ограничения этой технологии:

1. Чем гиперспектральная камера отличается от обычной (RGB)?

2. В чем разница между мультиспектральными и гиперспектральными камерами?

3. Какие основные спектральные диапазоны используются?

4. Может ли гиперспектральная камера видеть сквозь предметы?

Частично. Она не работает как рентген, но ИК-лучи (особенно диапазона SWIR) способны проникать на небольшую глубину сквозь непрозрачные для человека материалы. Камера может «увидеть» синяк или гниль под кожурой неповрежденного яблока, скрытые наброски под слоем краски на картине или монтажные дефекты под кремниевой пластиной. Сквозь толстый слой металла или бетона она не увидит ничего.

5. Какие главные ограничения у этой технологии?

6. Нужно ли перенастраивать систему при смене продукта?

Да, на программном уровне. Так как система работает в связке с искусственным интеллектом, при переходе с сортировки орехов на сортировку ягод нейросеть нужно переобучить. Ей показывают эталонные спектральные профили «хороших» продуктов и профили дефектов (гниль, скорлупа, пластик), после чего она мгновенно адаптируется под новую задачу.

7. Из чего складывается полная стоимость внедрения (CAPEX)?

Полный бюджет проекта состоит из трех основных частей:

8. Как быстро окупается технология на практике?

В среднем по промышленности срок окупаемости (Payback Period) составляет от 6 до 12 месяцев. Скорость окупаемости напрямую зависит от масштаба производства. Проекты окупаются быстрее всего там, где высока стоимость брака (например, штрафы от торговых сетей за посторонние предметы в еде) или где замена ручного труда автоматикой дает резкий скачок скорости конвейера (например, на сортировке лома или пластика).

9. За счет каких факторов происходит экономия (ROI)?

Экономический эффект формируется из четырех ключевых источников:

10. Сколько времени занимает процесс внедрения «под ключ»?

Обычно проект занимает от 2 до 5 месяцев. Процесс делится на следующие этапы:

    1. R&D и лабораторный анализ (2–3 недели): вы отправляете образцы продуктов и дефектов интегратору. В лаборатории их сканируют, чтобы доказать, что нужные дефекты действительно имеют контрастный спектральный отпечаток.
    2. Проектирование и поставка (4–6 недель): подбор оптики, освещения и сборка комплекса.
    3. Обучение нейросети и тесты (2–4 недели): создание датасета и калибровка алгоритмов машинного зрения.
    4. Монтаж и запуск (1–2 недели): установка на заводе и финальная настройка в реальных условиях потока.

11. Какие скрытые расходы (OPEX) нужно закладывать в бюджет?

Помимо покупки системы, в ежегодный бюджет необходимо заложить:

12. Можно ли модернизировать уже существующий RGB-конвейер до гиперспектрального?

Да, в большинстве случаев это возможно. Если на вашей линии уже установлена стандартная система машинного зрения (например, сдув отходов воздушными форсунками), вам не нужно менять весь конвейер. Интеграторы заменяют только «голову» системы — устанавливают гиперспектральную камеру, меняют осветительные модули на спектральные и подключают свой вычислительный блок к вашим существующим контроллерам (ПЛК), управляющим сортировкой.

Exit mobile version