Гиперспектральное машинное зрение в различных отраслях промышленности: революционные возможности применения

ЗАКАЗАТЬ СИСТЕМУ

В эпоху стремительной цифровизации и автоматизации традиционные системы контроля качества сталкиваются со своими естественными технологическими пределами. Обычные камеры машинного зрения, работающие в стандартном RGB-диапазоне, способны фиксировать лишь то, что видит человеческий глаз: форму, размеры и поверхностный цвет объектов. Однако ключевые характеристики материалов — от химического состава сырья до скрытых внутренних дефектов — часто остаются невидимыми.

Революционным ответом на этот вызов стало внедрение гиперспектрального машинного зрения (HSI). Объединяя спектроскопию и цифровую обработку изображений, эта технология воспринимает сотни спектральных каналов за пределами видимого спектра, фактически присваивая каждому пикселю снимка уникальный «химический отпечаток». Сегодня гиперспектральное зрение превращается из научного лабораторного инструмента в мощный драйвер промышленной автоматизации. Оно открывает беспрецедентные возможности для бесконтактного, мгновенного и неразрушающего анализа в самых разных секторах экономики — от сортировки отходов и точного земледелия до фармацевтики и тяжелой промышленности.

Современные задачи индустриальной автоматизации и неразрушающего контроля (NDT) все чаще упираются в физические ограничения традиционных систем машинного зрения. Классические RGB-камеры и 3D-профилометры эффективно решают задачи пространственного анализа — детекцию геометрии, размеров, дефектов поверхности и базовой колориметрии. Однако они принципиально не способны верифицировать внутреннюю структуру объектов, их химический и фазовый состав. В условиях, когда технологический процесс требует стопроцентного контроля гетерогенных материалов на конвейерных скоростях, стандартных методов дискретной фильтрации становится недостаточно.

Технологическим прорывом в этой области стало внедрение гиперспектрального машинного зрения (HSI — Hyperspectral Imaging). В отличие от мультиспектральных систем, оперирующих 3–10 широкими полосами, HSI-системы регистрируют непрерывный спектр электромагнитного излучения в десятках и сотнях узких смежных каналов (обычно в диапазонах VNIR, SWIR или LWIR). В результате формируется трехмерный массив данных — гиперкуб (X × Y × λ), где каждый пиксель двумерного кадра содержит непрерывную спектральную сигнатуру, отражающую молекулярный состав исследуемой зоны.

Интеграция HSI-сенсоров с продвинутыми алгоритмами машинного обучения (включая глубокие сверточные нейросети для обработки спектрально-пространственных данных) переводит промышленный мониторинг на уровень молекулярного анализа в реальном времени. Это позволяет инженерам проектировать автоматизированные системы для прецизионного разделения полимеров по типам смол, выявления скрытых включений в пищевой промышленности, контроля чистоты фармацевтических субстанций и неразрушающего анализа минерального сырья прямо на конвейерной ленте.

Гиперспектральная съемка (ГСИ) позволяет видеть свет с большей детализацией, чем человеческий глаз или стандартные RGB-камеры, что открывает новые возможности. Будь то идентификация материалов и химического состава или отслеживание показателей здоровья растений и тонких биологических изменений, получение изображений мира с высоким спектральным разрешением имеет потенциал для преобразования целого ряда различных отраслей.

Хотя гиперспектральные камеры на протяжении десятилетий применялись в ограниченном числе отраслей промышленности, этот потенциал по-прежнему в значительной степени остается в лабораторных условиях, а не в реальном мире.

Раскрытие потенциала гиперспектральной визуализации

К сожалению, одновременный захват пространственной и спектральной информации затруднителен. Фактически, традиционные подходы этого не позволяют. Они сканируют сцену, захватывая по одной строке пикселей за раз на нескольких длинах волн (гиперспектроскопия с сканирующим сканированием), или же получают изображение на одной длине волны за раз для всей сцены (гиперспектроскопия с перестраиваемыми фильтрами). Оба этих подхода формируют итоговый гиперспектральный куб данных путем объединения множества кадров.

В отличие от них, гиперспектральные камеры, работающие в режиме моментального снимка, записывают все пространственные и спектральные данные в одном кадре. Они создают гиперспектральный куб данных, который фиксирует моментальный снимок во времени, без сканирования или настройки фильтров для медленного создания конечного результата. Это не только позволяет получать гиперспектральные изображения в реальном времени со скоростью видеосъемки , но и использует компактные и более надежные оптические схемы для создания более компактных и портативных устройств.

Гиперспектральная камера находится на переднем крае устройств для моментальной съемки следующего поколения. Сочетая новые методы сжатия и передовые оптические конструкции в компактном и простом в использовании устройстве, наша компания выводит гиперспектральные технологии за пределы контролируемых лабораторных условий. Наша революционная камера для моментальной съемки предоставляет инженерам и интеграторам доступ к анализу гиперспектральных данных в режиме реального времени прямо на месте, раскрывая потенциал технологии и открывая широкий спектр новых возможностей.

Как работают гиперспектральные камеры моментального снимка

Гиперспектральные камеры моментального действия захватывают полный гиперспектральный массив данных за один снимок. Хотя они основаны на сложных оптических схемах и обработке изображений, необходимое оборудование более компактно и проще в реализации, чем в традиционных подходах к гиперспектральной визуализации.

Функция Snapshot HSI захватывает и фокусирует входящий свет с помощью объектива. Затем камера обрабатывает этот свет для одновременного кодирования спектральной и пространственной информации. Существует несколько способов достижения этой цели. Гмперспектральная камера использует кодированную диафрагму и конструкцию с двумя датчиками, которая обеспечивает:

• Полноразмерное RGB-изображение 2048 x 2432 пикселей
• 96-полосные гиперспектральные данные, полученные из 4384 точек, равномерно распределенных по всему изображению.

В сочетании с дисперсионным элементом кодированная апертура распределяет закодированную спектральную информацию на один из датчиков. То, что захватывает датчик, совершенно не похоже на сцену. Свет, отобранный по всей поверхности изображения, модулируется кодированной апертурой и дисперсионным элементом, создавая мешанину спектральных данных, которая больше похожа на мозаику или интерференционную картину.

Закодированные спектральные данные восстанавливаются в полосы длин волн из каждой точки выборки с помощью программного обеспечения камеры. Алгоритм восстановления основан на методе сжатого зондирования и адаптирован к оптической конструкции камеры. В результате получается изображение RGB с высоким пространственным разрешением и гиперспектральный набор данных с более низким пространственным разрешением, содержащий 96 полос длин волн.

Преимущества гиперспектральных камер с моментальной съемкой

Высокая частота кадров

Захват всех данных за один сеанс съемки приводит к значительно более высокой частоте кадров. Без необходимости построчного сканирования изображения или захвата последовательных диапазонов длин волн, камеры для моментальной съемки могут предоставлять гиперспектральные данные со скоростью видео до 30 кадров в секунду.

Это кардинально меняет подход к использованию гиперспектральных камер, открывая совершенно новые возможности для регистрации событий, зависящих от времени, разработки высокопроизводительных систем и принятия решений в реальном времени на основе спектральных данных. Мгновенная обратная связь также значительно улучшает практическую сторону применения технологии спектральной визуализации. Пользователи могут быстро калибровать или адаптировать свою экспериментальную установку на основе получаемых данных без длительных задержек между выводами.

К преимуществам гиперспектральных устройств с высокой частотой кадров относятся:

• Кадры спектрального диапазона с видеочастотой, обеспечивающие мгновенный сбор данных для мониторинга в реальном времени или высокопроизводительных систем.
• Повышение эффективности сбора данных и экономия времени благодаря отсутствию необходимости ждать завершения обработки гиперспектральных данных, накапливающихся по множеству кадров.
• Отслеживание изменений спектра в реальном времени, синхронизация с динамическими сценами и зависящими от времени событиями.
• Камера не требует стабилизации сцены, её можно легко интегрировать в платформы и транспортные средства дистанционного зондирования, не учитывая, как движение или положение платформы влияют на захват изображения.
• Устранение размытия изображения или артефактов, возникающих из-за движения и способных вызывать искажение или смещение изображения в различных диапазонах длин волн или пикселей при сканировании гиперспектральными камерами.
• Использование гиперспектральных данных в системах, принимающих решения в режиме реального времени на основе обратной связи.
• Улучшение практических аспектов сбора данных за счет предоставления пользователям мгновенной информации для фокусировки объектива, ускорения калибровки точки белого, настройки параметров камеры и масштабирования отдельных областей для получения максимально качественных данных.

Портативность и простота использования

Если более высокая частота кадров меняет способы использования гиперспектральных камер, то повышенная портативность и улучшенная простота использования технологии моментальной съемки преобразуют области ее применения и круг лиц, имеющих к ней доступ. Это позволяет перенести технологию, обычно используемую только в аэрофотосъемке и спутниковой съемке, на землю для наземного мониторинга в полевых условиях и для портативного использования.

Для работы наземных гиперспектральных систем с линейным сканированием требуется точное сканирование, основанное на сложных механизмах с движущимися частями, для построения изображения. Это делает их, как правило, большими, громоздкими и хрупкими, непригодными для большинства реальных применений. Кроме того, им необходима стабильная, контролируемая среда, что делает их гораздо более подходящими для лабораторных условий.

В отличие от них, технология моментальной гиперспектральной съемки позволяет создавать компактные и надежные камеры, которые легче, удобнее в транспортировке и использовании. Пользователи могут быстро научиться получать гиперспектральные изображения без углубленного обучения или специальных знаний в области спектральной съемки.

Камеры мгновенного действия могут представлять собой простые портативные устройства для получения гиперспектральных изображений на близком расстоянии, что расширяет применение этой технологии и позволяет инженерам и интеграторам проверить ее потенциал.

К преимуществам портативных и простых в использовании гиперспектральных устройств для моментальной съемки относятся:

• Компактные и прочные конструкции, которые значительно упрощают транспортировку и установку.
• Внедрение в полевых условиях, позволяющее применять гиперспектральные технологии в реальных условиях, а не доставлять образцы в лабораторию для контролируемых экспериментов.
• Уменьшенные размеры и вес улучшают интеграцию БПЛА и других мобильных платформ.
• Предоставление портативных устройств для простой съемки изображений без необходимости длительной и контролируемой экспериментальной подготовки.
• Повышенная надежность благодаря уменьшению количества хрупких компонентов и снижению механической сложности, которая создает потенциальные точки отказа.
• Упрощенная процедура захвата изображений, позволяющая неспециалистам создавать качественные гиперспектральные наборы данных.

Как эти преимущества позволяют создавать приложения в различных отраслях.

Системы моментальной гиперспектральной съемки, позволяющие захватывать видео в реальном времени и расширять возможности использования камер для большего числа пользователей, наконец-то оправдывают ожидания, связанные с этой технологией. Моментальная гиперспектральная съемка может улучшить существующие системы, обеспечив повышенную производительность и удобство использования, а также открыть совершенно новые возможности, недоступные при использовании методов сканирующей съемки изображений.

Примерами отраслей, где гиперспектральные камеры, позволяющие получать моментальные снимки, могут оказать существенное влияние, являются:

Точное земледелие

Сельское хозяйство – это отрасль, обладающая огромным потенциалом для применения в гиперспектральной визуализации. Камеры спектральной визуализации могут предоставлять данные для оценки показателей здоровья растений и качества почвы, улучшая процесс выращивания, оптимизируя ресурсы и повышая урожайность.

Это происходит в то время, когда изменение климата и рост мирового населения оказывают серьезное давление на сельскохозяйственную отрасль, что приводит к проблемам продовольственной безопасности во всем мире. Гиперспектральные технологии могут предоставить информацию, необходимую для преобразования методов ведения сельского хозяйства и внедрения более эффективных процессов принятия решений, позволяющих максимизировать урожайность.

Процесс интеграции данных и технологий в сельское хозяйство называется точным земледелием. Примеры того, как гиперспектральные наборы данных могут помочь повысить эффективность, производительность и устойчивость сельского хозяйства, включают:

• Мониторинг состояния растений для отслеживания их роста и принятия решений относительно использования ресурсов (орошение, удобрения, пестициды и т. д.) и сроков сбора урожая.
• Выявление болезней и вредителей позволяет обеспечить раннее и упреждающее вмешательство до того, как симптомы станут видимыми невооруженным глазом и это окажет более существенное воздействие на урожай.
• Улучшенные оценки урожайности помогут фермерам планировать будущее и отслеживать результаты своей работы.
• Автоматизированная подача ресурсов на основе обратной связи от гиперспектральных систем для оптимизации конкретных показателей здоровья растений и максимизации урожайности.

Эти приложения возможны только при использовании гиперспектральных камер, работающих в полевых условиях и обеспечивающих мониторинг урожая в режиме реального времени. Теперь фермеры могут использовать портативные гиперспектральные камеры с высокой частотой кадров на дронах и других движущихся транспортных средствах для проведения масштабных исследований своих посевов. Благодаря спектральным данным, помогающим им принимать решения о выращивании урожая, они оптимизируют использование ресурсов и урожайность, производя больше продуктов питания и снижая затраты.

Гиперспектральная камера проходит тестирование для использования в сельском хозяйстве, в том числе на виноградниках, например, для количественного определения уровня сахара в винограде с целью выбора оптимального времени сбора урожая и подсчета винограда для повышения точности прогнозов урожайности.

Контроль качества

Контроль качества — это область применения, где гиперспектральная визуализация (HSI) может превзойти существующие RGB- или мультиспектральные камеры. Благодаря портативным, более дешевым и быстрым камерам для моментальной съемки, теперь стало возможным интегрировать гиперспектральные технологии и использовать преимущества более высокого спектрального разрешения для обеспечения качества в процессе производства, пищевой промышленности и других промышленных процессах.

Благодаря высокой частоте кадров, гиперспектральные камеры, позволяющие получать моментальные снимки, могут отслеживать быстро движущиеся производственные линии, контролировать зависящие от времени промышленные процессы и предоставлять расширенную информацию для повышения точности.

Примерами применения камер HSI с моментальной съемкой в ​​промышленном контроле качества являются:

• Автоматизированный мониторинг производственной линии для выявления проблем и запуска сортировочных машин для отбраковки дефектных изделий.
• Контроль качества продуктов питания, включая сортировку мяса для ценообразования, выявление патогенов или загрязняющих веществ для предотвращения отзыва продукции, а также повышение точности прогнозирования сроков годности для сокращения пищевых отходов.
• Количественная оценка чистоты и выявление невидимых невооруженным глазом загрязнений для гарантии соответствия продукции отраслевым стандартам.
• Обеспечение соответствия сырья, поставляемого поставщиками, требуемому качеству на начальном этапе производственного процесса.
• Мониторинг в режиме реального времени промышленных процессов, зависящих от времени, таких как смешивание, литье, варка и другие.

Здравоохранение

Активной областью исследований, где гиперспектральная визуализация имеет значительный потенциал, является здравоохранение . Гиперспектральная визуализация может обеспечить неинвазивный метод идентификации тканей и отслеживания спектральных сигнатур, связанных с биологическими процессами, без добавления контрастных веществ, использования громоздкого оборудования или проведения сложных процедур. Это открывает потенциальные возможности применения как в диагностике, так и в лечении, включая:

• Сортировка пациентов с раком кожи
• Оценка ожогов
• Ранняя диагностика некоторых заболеваний, таких как болезнь Альцгеймера.
• Высокоточная хирургия
• Резекция опухоли
• Мониторинг пациента

Благодаря гиперспектральным камерам, позволяющим получать моментальные снимки, медицинские работники могут расширить возможности этих приложений за счет анализа в реальном времени и использования компактных устройств. Например, хирурги могли бы получать мгновенную информацию о классификации тканей, чтобы обеспечить полное удаление опухоли с минимальным воздействием на здоровые ткани. Врачи могли бы оценивать ожоги с помощью простой портативной камеры.

Наша компания сотрудничает с университетсткими исследователями, чтобы продемонстрировать возможности своей камеры по отслеживанию биологических изменений в модели кожи для диагностики дерматологических заболеваний.

Оборона и национальная безопасность

Замена традиционного компьютерного зрения в оборонных приложениях на системы с более высоким спектральным разрешением требует камер, способных предоставлять точные данные в реальном времени в сложных условиях при использовании неспециалистами. Это включает в себя высокую чувствительность к спектральным аномалиям для получения новых данных о ситуации, когда вражеские комбатанты активно их скрывают. Кроме того, необходимо получать значимые данные в различных условиях, включая плохую видимость.

Камера также должна быть прочной и надежной, с быстрым считыванием данных для съемки изображений на быстро движущихся платформах. Все эти факторы благоприятствуют технологии моментальной съемки.

Потенциальные области применения HSI в сфере обороны и национальной безопасности, которые становятся возможными благодаря использованию моментальных снимков, включают:

• Обнаружение камуфляжа
• Наблюдение и разведка
• Идентификация остатков взрывчатых веществ
• Отслеживание цели

Быстрая, портативная и простая гиперспектральная камера 

Хотя гиперспектральная визуализация существует уже давно, традиционные подходы ограничивают возможности ее применения. К счастью, с появлением новых методов моментальной визуализации гиперспектральная визуализация готова превратиться в бесценную технологию в самых разных отраслях, включая:

• Точное земледелие
• Контроль качества
• Здравоохранение
• Оборона и национальная безопасность

Благодаря одновременному захвату всех спектральных и пространственных данных, гиперспектральные камеры с моментальной съемкой могут предоставлять данные в видеоформате для анализа в реальном времени. Кроме того, благодаря более компактной и надежной оптической конструкции, устройства с моментальной съемкой обеспечивают большую портативность и простоту использования, что делает их гораздо более доступными, чем традиционные методы сканирования.

Технический обзор: Гиперспектральные камеры мгновенного действия (Snapshot)

1. Архитектура и физические принципы разделения спектра

Главная инженерная задача при проектировании Snapshot-систем — уместить трехмерный массив данных на двумерную матрицу фотоприемника (U, V) за один кадр. Для этого применяются четыре основные оптические архитектуры:

2. Сравнительный анализ: Snapshot vs. Linescan (Push-broom)

Для правильного выбора архитектуры в промышленном проекте необходимо понимать фундаментальные различия систем:

3. Компоненты обработки данных (Data Pipeline)

В Snapshot-камерах «сырой» кадр (RAW) не является гиперкубом. Инженерный пайплайн обработки включает обязательные этапы:

• Демозаика (Demosaicing / Spectral Unmixing): Для мозаичных сенсоров применяются алгоритмы интерполяции (билинейная, градиентная или на базе глубоких нейросетей) для восстановления пропущенных пространственных и спектральных координат в каждом пикселе.
• Радиаметрическая калибровка: Приведение цифровых отсчетов (DN) к значениям энергетической яркости (Radiance) или коэффициенту диффузного отражения (Reflectance).
• Снижение размерности: Из-за высокой корреляции соседних спектральных каналов данные сжимаются методами PCA (анализ главных компонент) или PLS (частичные наименьшие квадраты) перед подачей в классификаторы.

4. Сферы применения в промышленности

Благодаря отсутствию необходимости в прецизионных линейных приводах и стабильной скорости конвейера, Snapshot-камеры внедряются в следующих сценариях:

• Сортировка на высокоскоростных конвейерах: Детекция посторонних включений в потоке орехов, ягод или зерна. Обычный сканер смазывает картинку при хаотичном вращении объектов; Snapshot фиксирует геометрию и химический состав (например, содержание влаги или олеиновой кислоты) мгновенно.
• Роботизированные ячейки (Pick-and-Place): Установка камер на манипуляторы «дельта» или «антропоморфные руки» для оценки спелости плодов непосредственно на ветке или сортировки перемешанного лома пластика.
• Медицинская эндоскопия и хирургия: Интраоперационное определение границ опухолей и перфузии тканей в реальном времени. Движение органов и пульсация крови исключают использование сканирующих систем.
• Мониторинг с БПЛА (Микро-дроны): Камеры Snapshot весом до 100-200 граммов нивелируют вибрацию дрона и влияние ветра, позволяя строить точные карты вегетационных индексов (NDVI, PRI) без сложной программной сшивки ортофотопланов со сдвигом каналов.

Заключение

Внедрение гиперспектрального машинного зрения (HSI) знаменует собой фундаментальный переход промышленной автоматизации от анализа внешних геометрических признаков к прецизионному контролю внутренней структуры и химического состава материалов. Возможность получения «химического отпечатка» каждого пикселя в реальном времени переводит неразрушающий контроль на новый качественный уровень, недостижимый для классических RGB- и 3D-систем.

Несмотря на очевидные революционные преимущества, массовое развертывание HSI в промышленности все еще сдерживается рядом инженерных вызовов. К ним относятся высокая стоимость инфракрасных сенсоров (особенно в диапазонах SWIR и LWIR), необходимость сложной радиаметрической калибровки, а также колоссальный объем генерируемых данных (проблема «проклятия размерности»), требующий значительных вычислительных мощностей на периферии (Edge Computing).

Тем не менее, вектор развития индустрии однозначно направлен на преодоление этих барьеров. Синергия Snapshot-камер мгновенного действия, развитие микросистемных технологий (MEMS) для создания дешевых мозаичных фильтров и интеграция глубоких сверточных нейросетей (CNN) позволяют обрабатывать спектральные гиперкубы непосредственно в процессе сканирования без задержки конвейера. В ближайшие годы гиперспектральное зрение станет неотъемлемым стандартом для интеллектуальной сортировки, точного земледелия и прецизионной фармацевтики, превращаясь из элитарного лабораторного метода в доступный, надежный и высокопроизводительный инженерный инструмент.

ЗАКАЗАТЬ СИСТЕМУ