Гиперспектральное машинное зрение: технология и примеры применения

402
views

Многие владельцы и руководители предприятий, где используют автоматизацию, знакомы с традиционными возможностями машинного зрения. Эти системы часто используют оптические камеры для получения изображений, подобно цифровым фотоаппаратам. Изображения обрабатываются встроенными системами машинного зрения, либо отправляются на компьютер (или в облако) для обработки.

Гиперспектральная съемка (HSI от англ. hyperspectral imaging) ускоряет этот процесс. Спектральные данные высокого разрешения собираются с каждого пикселя изображения. Вместо того, чтобы просто фиксировать цвет и свет, гиперспектральные изображения используют дополнительные длины волн света для сбора дополнительной информации для принятия решений. Гиперспектральные изображения позволяют даже обнаруживать различия внутри объекта, а не только на поверхности.

В настоящее время ряд предприятий уже активно использует гиперспектральную визуализацию. Подобно хорошо известному всем лабораторному спектрометру, современную гиперспектральную визуализацию можно использовать для определения химического состава продукта. Фармацевтические компании могут использовать эту технологию для обнаружения неподходящих таблеток при упаковке лекарств, что потенциально спасает сотни и тысячи жизней ежегодно.

Производители продуктов питания могут использовать гиперспектральную визуализацию для сортировки продуктов. По внешнему виду не всегда легко определить, испорчен ли продукт. Но системы машинного зрения, улучшенные с помощью гиперспектральной визуализации, могут обнаружить признаки порчи с точностью до пикселя. А благодаря разным длинам волн можно даже заглянуть внутрь фруктов, овощей и мяса, чтобы отсортировать испорченные продукты.

Медицинская отрасль также успешно использует гиперспектральную визуализацию. Более простая и удобная для пациента система скрининга опухолей использует эту технологию для обнаружения различных биомаркеров в опухоли. Она обходится дешевле традиционного сканирования. Кроме того, она более портативна. Использование гиперспектральной визуализации поможет улучшить качество медицинской помощи пациентам в сельских и отдаленных районах.

В прошлом возможности гиперспектральной съемки были ограничены из-за скорости обработки, необходимой для получения и анализа этих объёмных изображений. Более быстрые микросхемы, датчики, встроенные системы машинного зрения и искусственный интеллект смогли повысить производительность систем гиперспектральной съемки.

За последние три десятилетия гиперспектральная съемка превратилась в эффективный и мощный инструмент в многочисленных военных, экологических и гражданских приложениях. Современные  подходы к дистанционному зондированию  позволяют покрывать огромные поверхности Земли с феноменальным временным, спектральным и пространственным разрешением. Эти особенности делают гиперспектральную съемка с высокой эффективностью в различных приложениях  дистанционного зондирования  в зависимости от физической оценки идентификации идентичных материалов и многообразных составных поверхностей, имеющих достигнутое  спектральное разрешение.

В последнее время гиперспектральная съемка приобрела огромное значение в исследованиях по оценке безопасности и качества пищевых продуктов, медицинскому анализу и  сельскохозяйственным  приложениям. В этом обзоре основное внимание уделяется основам гиперспектральной съемки с высокой эффективностью и ее приложениям, таким как оценка безопасности и качества пищевых продуктов, медицинский анализ, сельское хозяйство,  водные ресурсы, выявление стресса у растений, различение сорняков и сельскохозяйственных культур, а также борьба с наводнениями.

Различные исследователи предлагают перспективные решения для автоматических систем, основанных на гиперспектральной съемке с высокой эффективностью. Будущие исследования могут использовать этот обзор в качестве базовой линии и анализа будущих достижений.

Принятые сокращения

  • HSI – Гиперспектральная визуализация
  • 2D/3D – Двух/Трехмерное изображение
  • RGB – Красный, Зелёный, Синий
  • UAV – Беспилотные летательные аппараты
  • AVIRIS – Бортовой спектрометр для получения изображений в видимом инфракрасном диапазоне
  • AISA – Применение бортового спектрорадиометра для получения изображений
  • PROBA – Проект для исследования сурьмы на борту
  • CHRIS – Компактный спектрометр для получения изображений высокого разрешения
  • UHD – Сверхвысокое разрешение
  • NIR – Ближний инфракрасный диапазон
  • VIR – Визуальный и инфракрасный диапазон
  • UV – Ультрафиолетовый диапазон
  • PLSA – Анализ методом наименьших квадратов (ЧНК)
  • PLSDA – Дискриминантный анализ методом наименьших квадратов (ЧНК)
  • PLSRM – Регрессионная модель методом наименьших квадратов (ЧНК)
  • GAPLS – Генетический алгоритм для анализа методом наименьших квадратов (ЧНК)
  • FIR – Дальнее инфракрасное излучение (ДИК)
  • MIR – Среднее инфракрасное излучение (СИК)
  • GLCM – Матрица совпадений уровней серого
  • SVM – Машина опорных векторов
  • ANN – Искусственная нейронная сеть
  • BPNN – Нейронная сеть обратного распространения
  • CNN – Свёрточная нейронная сеть
  • PCA – Анализ главных компонент
  • МРТ – Магнитно-резонансная томография
  • КТ – Компьютерная томография
  • FTIR – Инфракрасная Фурье-спектроскопия
  • ICG – Индоцианиновый зелёный
  • NASA – Национальное управление по аэронавтике и исследованию космического пространства

Введение

Гиперспектральная визуализация,  также известная как спектроскопическая визуализация, — это изучение взаимодействия света с наблюдаемым материалом. Это гибридный процесс, объединяющий спектроскопию и визуализацию. Он генерирует трехмерную (3-D) базу данных спектральной и пространственной информации из коллекции спектральной информации на каждом пикселе двумерного (2-D) матричного детектора [1].

Это создает трехмерную базу данных, известную как гиперкуб, как показано на  рис. 1. Эта пространственная информация определяет местонахождение источника каждого спектра в образцах, что позволяет проводить исследования с большей вероятностью в условиях освещения окружающей среды. Более того, HSI охватывает непрерывную часть спектра света с большим количеством  спектральных полос  и высоким  спектральным разрешением.

Следовательно, HSI имеет потенциал для захвата спектральных различий в 2D различных условиях окружающей среды. Разница между изображениями гиперкуба и RGB показана на  рис. 1. Гиперкуб — ​​это трехмерная база данных 2D изображений на каждой длине волны. Крайний слева — это  кривая сигнатуры спектрального отражения  пикселей на изображении. RGB-изображение состоит из трёх полос: красной, зелёной и синей соответственно. Крайняя справа — это кривая интенсивности пикселя RGB-изображения. Она измеряет интенсивность света, прошедшего, отражённого или излучённого определённой целью или объектом.

Рис. 1. Сравнение гиперкуба и изображения RGB [ 2 ].

В этом обзоре излагаются основы гиперспектральной визуализации, рассматриваются известные технологии HSI, а также рассматриваются новые применения HSI в областях оценки безопасности и качества продуктов питания, медицинского анализа,  сельского хозяйствауправления водными ресурсами, выявления стресса у растений, различения сорняков и сельскохозяйственных культур, а также борьбы с наводнениями.

Гиперспектральная съемка и ее платформы

Гиперспектральная визуализация – это метод, который облегчает получение спектра на изображении для каждого значения пикселя. Датчики HSI (спектрометры визуализации) обычно захватывают ближний инфракрасный, видимый и коротковолновый  инфракрасный спектры  в диапазоне 0,4 – 2,5 мкм. Кроме того, HSI с  узкополосными  системами способны производить спектральный спектр на сотнях различных длин волн [3]. Этот спектральный спектр делает HSI мощным и интересным инструментом для категоризации земной поверхности, что приводит к многообещающему широкому спектру применений [4][5][6].

Данные HSI состоят из различных каналов по сравнению с изображениями RGB или в оттенках серого, которые содержат три или более каналов [7]. HSI создает трехмерный гиперспектральный куб с одним измерением длины волны и двумя пространственными измерениями.

Гиперспектральные данные классифицируются на основе пространственной и спектральной информации или режима получения. Несколько примеров методов получения данных с помощью HSI — это точечное сканирование (сканирование с помощью щетки), линейное сканирование (сканирование с помощью щетки), сканирование с помощью сканеров и моментальные снимки сканеров, как показано на  рис. 2 .

Рис. 2. Для построения гиперспектрального изображения используются три подхода   (а) Точечное сканирование (б) Линейное сканирование (в) Направленность формирователя изображения (г) Снимок формирователя изображения [2].

Точечное сканирование, также известное как метод щеточной съемки с визуализацией, включает перемещение детектора или образца в пространственном (Sx и Sy) измерении к единственной точке сканирования [8], [9]. Изображения, полученные с использованием этого подхода, имеют огромное спектральное разрешение с огромной гибкостью в отношении оптического подхода, размера образца и диапазона спектров.

Другой подробный гиперспектральный 3D-куб показан на  рис. 3. Линейное сканирование, также известное как датчик толкающей съемки, достигает одномерного спектрального перекрестного пикселя на космической или воздушной платформе, представленной на  рис. 3(a). Этот подход обеспечивает линейную информацию о поле зрения для каждой пространственной и спектральной эксклюзивной информации с использованием одновременного сбора данных.

В ходе этой техники пространственная и спектральная информация компилируется вдоль направления x, а вещество движется в пространственном направлении y. Этот подход чрезвычайно полезен в  дистанционном зондировании.

Рис. 3(b) представляет последовательные линии для перекрестного пикселя в каждой строке для получения гиперспектрального 3-мерного куба, где направление x включает пространственную деталь сцены, а направление y включает куб. 

На рис. 3(c) представлена ​​двумерная пространственная информация, определяемая гиперспектральным трехмерным кубом.  На рис. 3(d) обозначены спектральные точки для пикселей распознавания признаков классификации и обнаружения спектров в сцене [10], [11].

Рис. 3. Подробная структура куба гиперспектральных трехмерных данных [12].

Процесс формирования изображения, также известный как спектральное сканирование и сканирование области, использует двумерный матричный детектор для захвата сцены с раздельной экспозицией. Этот подход использует изображения с высоким разрешением, зависящим от разрешения пикселя и оптики камеры. Снимок изображения, также известный как сканирование изображения, использует отдельное время интеграции для создания гиперспектрального 3D-куба [13]. Этот метод использует регистрацию спектральной и пространственной информации помимо сканирования. Это делает подход более гибким и простым.

Цянь [12] представил три различных метода получения гиперспектральных кубических данных с использованием различных спектрометров, таких как метод моментального снимка HSI, метод спектральных фильтров и метод дисперсионных элементов. Для получения  гиперспектральных изображений  с различным временным и пространственным разрешением используемые датчики должны быть установлены на разных платформах, таких как платформы ближнего действия, самолёты и  беспилотные летательные аппараты  (БПЛА). Сравнительный анализ различных платформ для получения гиперспектральных изображений представлен в  таблице 1.

Таблица 1. Сравнительный анализ различных платформ для гиперспектральной съемки [14].

Технические характеристики Самолеты Вертолеты Спутники БПЛА с фиксированным крылом Многофункциональный БПЛА
Рабочие высоты 1–20 км 100 м- 2 км 400–700 км <150 м <150 м
Пространственное покрытие ∼100 км2 ∼10 км2 42 × 7,7 км ∼5 км ∼0,5 км2
Пространственное разрешение 1–20 м 1,1–1 м 20–60 м 1,1–0,5 м 0,01–0,5 м
Временное разрешение Зависит от количества часов или дней выполнения рейсов
Гибкость Средний (ограничено доступностью авиации) Низкий (фиксированные повторяющиеся циклы) Высокий
Эксплуатационная сложность Средний (в зависимости от оператора датчика) Низкий (данные предоставлены пользователям) Высокий (программное и аппаратное обеспечение настраивается пользователями)
Применимые шкалы Региональный ландшафт Глобальный ландшафт Ландшафт с пологом
Стоимость приобретения Высокий (требуется участие авиакомпании для выполнения рейса) От низкого до среднего Высокий (для большой площади)
Ограничивающие факторы Неблагоприятная скорость полета Погода Правила полетов

Гиперспектральные изображения характеризуются как спектральным, так и пространственным разрешением. Спектральное разрешение определяет изменение пикселей изображения как функцию f(ƛ) (длины волны), а пространственное разрешение определяет геометрическое соотношение пикселей изображения друг относительно друга. Гиперспектральные изображения создаются приборами, известными как спектрометры для получения изображений.

Развитие этих сложных датчиков включало конвергенцию двух связанных, но различных подходов: дистанционной визуализации и спектроскопии. Спектроскопия — это изучение света, излучаемого или отражаемого от материала, и изменение его энергии в зависимости от длины волны. В области дистанционного зондирования  спектроскопия занимается исследованием спектра солнечного света, отражаемого материалами на поверхности Земли.

Спектрометрические приборы используются для проведения лабораторных или наземных измерений света, отраженного от исследуемого материала. Используя сотни или тысячи детекторов, спектрометры могут проводить  спектральные измерения  полос шириной от 0,01 мкм (широкий диапазон длин волн) до, по крайней мере, 0,4 – 2,4 мкм (инфракрасный диапазон длин волн) [14].

Список различных датчиков спектрометров визуализации для гиперспектральной съемки, предоставляющих информацию, включает AVIRIS (Airborne Visible Infrared Imaging Spectrometer), AISA (Airborne Imaging  Spectroradiometer  Application), Hymap и Hyperion. Некоторые из современных космических и воздушных спутниковых гиперспектральных датчиков для спектрометров спектрального и пространственного разрешения приведены в  таблице 2 .

Таблица 2. Современные космические и бортовые гиперспектральные спутниковые датчики [ 14 ].

Датчик Спектральный диапазон Количество спектральных полос Спектральное разрешение (нм) Рабочая высота (км) Разрешение (м)
Спутниковый Hyperion 352–2576 220 10 707 (7,7 км) 30
PROBA-CHRIS 415–1050 19 63 34 17 830 (14 км) 17 36
На базе самолета AVIRIS 400–2050 224 10
CASI 380–1050 288 <3,5 1–20 1–20
AISA 400–970 244 3.3 1–20 1–20
HyMap 440–2500 128 15
На базе БПЛА Head Well Hyperspec 400–1000 270 Нано 324 Микро 6 нано
2,5 микро
<0,15 0,01–0,5
UHD 185 Firefly 450–950 138 4 <0,15 0,01–0,5

Пространственное, спектральное и временное разрешение изображения предоставляет ценную информацию, используемую для интерпретации состояния поверхности и материалов. Для каждого из этих свойств разрешение изображения может быть определено сенсорной системой. Эти компоненты разрешения изображения ограничивают объём информации, получаемой с помощью дистанционных сенсорных изображений.

Пространственное разрешение

Пространственное разрешение можно определить как наименьшую обнаруживаемую деталь на изображении, которую можно указать как меру наименьшего объекта на изображении, который может быть различен как независимый объект на изображении [22]. Это также функция конструкции датчика и его рабочей высоты над поверхностью. Практически, четкость изображения определяется его пространственным разрешением, а не количеством пикселей на изображении.

Пространственные характеристики изображения зависят от конструкции датчика изображения с точки зрения его высоты и поля зрения [23]. Детектор удаленного датчика измеряет энергию, полученную от ограниченного участка поверхности земли. Размер участка обратно пропорционален пространственному разрешению. Чем меньше отдельные участки, тем более подробной будет пространственная информация, которую можно описать по изображению.

Форма является одним из обычных факторов, который можно обнаружить только в том случае, если размеры ячейки намного меньше размеров объекта. Если объект темнее или ярче окружающей среды, он будет контролировать среднюю яркость ячейки изображения, и эта ячейка будет ярче по сравнению с соседними ячейками. Пространственное разрешение позволяет нам различать линейные объекты, которые точнее, чем размер клетки, например, фрукты на ферме.

Спектральное разрешение

Спектральное разрешение можно определить как диапазон электромагнитного  спектра  и количество спектральных полос, измеряемых датчиком. Датчик изображения может возвратно-поступательно работать в значительном диапазоне частот, но при этом иметь низкое спектральное разрешение, если он охватывает небольшое количество спектральных диапазонов диапазона.

Напротив, если датчик точен в низкочастотном диапазоне, но захватывает гигантское количество спектральных полос, он имеет огромное спектральное разрешение благодаря своей способности различать сцены с идентичными или близкими  спектральными сигнатурами  [24].  Многоспектральные изображения  имеют низкое спектральное разрешение и, следовательно, недостаточны для разрешения тонких спектральных сигнатур, идентифицированных в сцене.

Датчики HSI захватывают изображения в различных смежных и исключительно узких спектральных диапазонах в видимом, ближнем инфракрасном и среднем инфракрасном сегментах электромагнитного спектра. Эта передовая система визуализации указывает на огромный потенциал для идентификации материалов на основе их конкретных спектральных сигнатур. HSI с однопиксельным спектром может позволить получить значительно больше информации о материале поверхности, чем обычный диапазон.

Временное разрешение

При гиперспектральной визуализации временное разрешение зависит от орбитального параметра сенсора. Обычно оно определяется как время, необходимое сенсору для повторного посещения и получения данных из того же местоположения [25]. Оно также известно как время повторного посещения или время возврата. Временное разрешение считается низким, если частота повторных посещений сенсорной платформы одного и того же местоположения низкая, и высоким, если частота повторных посещений высокая. Временное разрешение обычно определяется в днях.

Понимание спектральных сигнатур

Поверхность Земли поглощает, пропускает и отражает излучение в форме  электромагнитных волн  от Солнца в зависимости от материала поверхности. Электромагнитная энергия измеряется гиперспектральными датчиками, которые позволяют нам исследовать изменения и особенности на поверхности Земли. Когда электромагнитная энергия отражается от поверхности, она измеряет отражательную способность.

Она определяется как функция длины волны с отношением отраженной и падающей энергии. На практике отражательная способность находится в диапазоне [0, 100], где 0% при поглощении всей длины волны падающего света и 100% при отражении всей длины волны падающего света.

Материалы, присутствующие на поверхности Земли, такие как леса, минералы, почва и вода, можно сравнивать и строить графики относительно значения отражательной способности определенного электромагнитного спектра. Такие графики называются кривыми спектральной характеристики или кривыми сигнатуры.

На рис. 4 показана спектральная модель сигнатуры различных моделей, присутствующих на поверхности земли в гиперспектральной визуализации. Эти графики классифицируют изображения дистанционного зондирования для каждого материала в сцене, который имеет свою уникальную спектральную сигнатуру. Чем выше разрешение датчика, тем больше информации цитируется из спектральной сигнатуры.

Датчики гиперспектральной визуализации имеют более высокое спектральное разрешение, чем датчики мультиспектральной визуализации, и поэтому они обеспечивают возможность различать огромные тонкие изменения в сцене. Картирование водных и земельных ресурсов может быть выполнено геологами в активных и исторических районах [26].

Также рекомендуется картировать опасные отходы и тяжелые металлы в активных и исторических районах добычи полезных ископаемых.  На рис. 4  представлена ​​спектральная реакция растительности, воды и почвы. Из приведенного выше рисунка ясно, что отражательная способность растительности высока по сравнению с почвой из-за вариации отражательной способности в электромагнитном спектре. Это связано с факторами, которые влияют на почву.

Рис. 4. Коллективная схема  картографирования почвы, воды и растительности  на гиперспектральных снимках [27].

Рис. 5. Кривая спектральной чувствительности почвы, воды и растительности [27].

Отражение варьируется в узком диапазоне электромагнитного спектра. Эти факторы состоят из текстуры почвы, присутствующих минералов, таких как  шероховатость поверхности , железа и содержания влаги в почве. Спектральные сигнатуры зеленой растительности имеют сосуды в видимом диапазоне спектра, что иллюстрирует пигментацию  зеленой  растительности – хлорофилл [28], который поглощает синюю область 450 нм и красную область 670 нм, известную как спектральные полосы поглощения хлорофилла. Если растение находится в состоянии стресса, таком что рост хлорофилла в этих случаях замедляется, величина отражения в красной области 670 нм увеличивается. Спектральный отклик воды имеет отличительные характеристики  поглощения света  в инфракрасной области и за ее пределами. Несколько вероятных факторов, которые влияют на спектральный отклик воды, – это оседание осадков и повышение уровня хлорофилла. В таких особых случаях спектральный отклик будет смещен, что впоследствии указывает на наличие взвешенных водорослей или осадков в воде.
Плюсы и минусы гиперспектральной съемки

Преимущества использования гиперспектральной съемки в различных приложениях, таких как сельское хозяйство и  оценка качества продуктов питания, следующие [29]:

  • Это неинвазивная, бесконтактная, неразрушающая технология, обеспечивающая качество и безопасность пищевых продуктов.
  • В экспериментах не используются химикаты, поэтому они безопасны для окружающей среды.
  • Время, необходимое для оценки качества и контроля/хранения пищевых продуктов, невелико по сравнению с химическими и традиционными подходами.
  • Это позволяет лучше понять химический состав пищевых продуктов и обычно называется  химической визуализацией .
  • Он обеспечивает выбор соответствующей области для критического анализа изображения.
  • Он собирает пространственную и спектральную информацию вместе, чтобы предоставлять более точные и достоверные данные о химических образцах с заинтересованных платформ и повышать шансы на уточнение данных и проведение дальнейших экспериментов.

Несмотря на свои преимущества, гиперспектральная съемка имеет и некоторые недостатки [29].

  • Система гиперспектральной визуализации обходится гораздо дороже по сравнению с другими методами обработки изображений.
  • Поскольку объем данных гиперспектральной съемки велик, существует потребность в высокоскоростных компьютерах для обработки данных и накопителях большой емкости для хранения данных.
  • При получении изображений на сигнал могут влиять окружающие факторы, такие как рассеяние, освещение и т. д., что приводит к плохому соотношению сигнал/шум.
  • Обнаружение и идентификация различных объектов на эквивалентном изображении с использованием спектральных данных в большинстве случаев затруднена, если только разнообразные объекты не имеют отчетливых особенностей поглощения.

Применение HSI

Технология HSI стремительно развивается, охватывая широкий спектр областей применения, включая военную, промышленную и коммерческую. В этом разделе рассматриваются области применения HSI для обеспечения качества и безопасности пищевых продуктов, медицины, управления водными ресурсами, продовольствием и другими ресурсами, сельского хозяйства, судебной экспертизы, обеспечения национальной безопасности и обороны, обнаружения растений, а также различения сорняков и сельскохозяйственных культур.

Оценка безопасности и качества пищевых продуктов

Различные проблемы безопасности и качества продуктов питания и их продуктов вызваны необходимостью низкой стоимости производства и высокой эффективности. Для оценки безопасности и качества продуктов питания изучаются различные пищевые свойства, такие как биологические, химические и физические.

Традиционные подходы, основанные на биологическом, химическом и визуальном осмотре продуктов питания, неблагоприятны для окружающей среды, требуют много времени и являются разрушительными. Прогресс в технологиях, связанных с приборостроением и компьютерной инженерией, позволил быстрее и эффективнее оценивать продукты питания.

Подходы, основанные на машинном обучении и компьютерном зрении, с использованием обработки изображений, были успешно адаптированы для оценки внешних свойств продуктов питания и их продуктов [30][31][32][33][34][35]. Внутренние свойства продуктов питания не могут быть исследованы с помощью этих подходов из-за отсутствия возможности захвата спектральной информации.

Это ограничение машинного обучения и компьютерного зрения преодолевается с помощью ближней инфракрасной спектроскопии из-за связи между ближним инфракрасным спектром и компонентами продуктов питания [36, 37]. HSI состоит из огромного количества пространственной и спектральной информации, что приводит к методам HSI, подходящим для оценки безопасности и качества пищевых продуктов [38].

Идентификация дефектов [39, 40] и обнаружение загрязнений [41, 42] в пищевых продуктах могут быть проанализированы с помощью HSI. Послеуборочная обработка, такая как классификация, сортировка, химическое прогнозирование и распознавание синяков, также может быть выполнена с использованием различных новых подходов HSI. Арчибальд и др. [43] представили подход к классификации пшеницы с использованием коротковолновой ближней инфракрасной спектральной визуализации.

Модель использует регрессионный анализ для выбора длины волны и сегментацию зерен с выравниванием гистограммы для классификации пшеницы. Махеш и др. [44] предложили статистический  классификатор ANN  для различения пшеницы, который достигает 100% точности. Сингх и др. [45] представили модель, которая использует гистограмму и статистические (цветовые/текстурные/морфологические) характеристики, а затем классифицирует с помощью классификатора BPNN и достигает точности 96,40 %. Сингх и др. [46] предложили статистические характеристики с линейным/квадратичным/Mahalo Nobis классификатором для достижения точности 99,30 %. Уильям и др. [47] представили извлечение характеристик на основе анализа главных компонентов и модель PLS-DA в качестве классификатора для классификации кукурузы с точностью 86,00 %.

Валенсуэла и др. [48] предложили определение содержания твердых веществ и твердости черники и достигли точности 87,00 %. Хуан и др. [49] представили классификацию на основе SVM для классификации яблок и достигли точности 82,50 %. Хуан и др. [50] предложили  фильтр Габора  и GLCM для идентификации лосося. Иворра и др. [51] предложили модель для идентификации просроченного, упакованного в вакууме лосося и достигли уровня распознавания 82,70 %. Серранти и др. [52] представили модель классификации на основе PAC и PLS-DA для затирки и овса и достигли точности 100 %. В литературе приводятся различные оценки продовольственного зерна на основе HSI,   как показано в  Таблице 3 .

Таблица 3. Различные подходы к оценке продовольственного зерна на основе гиперспектральных изображений   .

Авторы HSI Диапазон (нм) Продовольственное зерно Подход Точность (%)
Арчибальд и др. [ 43 ] ближний инфракрасный диапазон 632–1098 Пшеница Histogram
Махеш и др. [ 44 ] ближний инфракрасный диапазон 960–1700 Пшеница ANN 100
Сингх и др. [ 45 ] ближний инфракрасный диапазон 700–1000 Пшеница BPNN 96.40
Сингх и др. [ 46 ] ближний инфракрасный диапазон 700–1000 Пшеница Quadratic 99.30
Макговерн и др. [ 53 ] ближний инфракрасный диапазон 1920–1940 Пшеница PLS DA
Вайншток и др. [ 54 ] ближний инфракрасный диапазон 950–1700 Кукуруза PLS
Уильям и др. [ 47 ] ближний инфракрасный диапазон 960–1662 Кукуруза PLS DA 86.00
Уильям и др. [ 55 ] ближний инфракрасный диапазон 1000–2498 Кукуруза PLS RM
Шахинет и др. [ 56 ] ближний инфракрасный диапазон 400–1000 Пшеница PLS 90.60
Капорасо и др. [ 57 ] ближний инфракрасный диапазон Злак
Валенсуэла и др. [ 48 ближний инфракрасный диапазон 500–1000 Черника 87.00
Хуан и др. [ 49 ] ближний инфракрасный диапазон 600–1000 Яблоко SVM 82.50
Хуан и др. [ 50 ] ближний инфракрасный диапазон 1193–1217 Лосось GLCM
Айворра и др. [ 51 ] ближний инфракрасный диапазон Лосось PLS DA 82.70
Серранти и др. [ 52 ] ближний инфракрасный диапазон 1006–1650 Овес и затирка PLS DA 100

HSI играет исключительную роль в зернохранилище для обнаружения испорченных зерен и оболочек, зондирования бункеров, обнаружения насекомых и грибков в зерне (см.  Рис. 5 ).  Рис. 6  представляет собой упрощенную схему возможных методов применения HSI для оценки и проверки качества хранения зерна насыпью. Модель состоит из камеры, источника УФ-излучения  (настраиваемый жидкокристаллический фильтр) и компьютера (блок обработки изображений). Каждый элемент имеет свою функцию в обработке для получения  гиперспектральных изображений.

Камера получает пространственную и спектральную информацию,  спектрограф  распределяет свет на несколько длин волн. Источник УФ-излучения распознает зерна, а компьютер сохраняет и составляет 3D-гиперкуб. Глубокое сканирование может быть выполнено с помощью спектральных диапазонов FIR и MIR, которые выбирают оптимальную длину волны для анализа системы с использованием метода частичных наименьших квадратов (PLS), генетического алгоритма метода частичных наименьших квадратов (GAPLS), сверточной  нейронной сети  (CNN) или анализа главных компонент (PCA).

Медицинский анализ

Рис. 6. Гиперспектральное сканирование [58].

Традиционными подходами для клинического медицинского анализа являются магнитно-резонансная томография (МРТ) и компьютерная  томография  (КТ). Paly и др. [59] сравнили КТ и МРТ для обнаружения склероза у более чем 200 пациентов во время оценки. Hovels и др. [60] используют МРТ и КТ для  лимфатических узлов  при раке предстательной железы. МРТ достигает лучших результатов по сравнению с КТ.

За последние десятилетия спектральный метод добился значительных результатов с огромной точностью и скоростью, предоставляя дополнительный потенциал медицинским исследователям. Оптические характеристики ткани дают ценные диагностические результаты. Медицинский анализ широко проводится HSI благодаря его способности предоставлять результаты биомаркеров в режиме реального времени и спектральную информацию о ткани. HSI также используется в хирургии под визуальным контролем, помимо медицинского анализа.

Kumar и др. [61] представили инфракрасный Фурье-преобразование (FTIR) и анализ главных компонентов (PCA) для анализа рака молочной железы с использованием системы спектроскопической визуализации. Подход применяется к образцам гистопатологической карциномы при раке молочной железы и анализе данных.  Спектральная полоса  в диапазоне 5882–6250 нм может быть использована для рака молочной железы.

Лю и др. [62] предложили спектр отражения для обнаружения опухоли. Дикер и др. [63] используют гиперспектральное высокое разрешение для обнаружения аномалий кожи с использованием окрашивания гематоксилином и  эозином  для нормальной и аномальной кожи. Биопсия характеризуется толщиной, увеличением и окрашиванием для определения спектральной длины волны.

Достаточно просто, чтобы полоса поглощения (приблизительно 533 нм) могла быть распознана по образцу, что означает, что гематоксилин окрашивает практически все. Изображение в оттенках серого поражений меланомы и спектры пропускания, полученные из внутренней области и из ядра, представлены на  рис. 7 .

Рис. 7. Изображение очага меланомы и его внутренней области в оттенках серого со спектрами пропускания [63].

Mitra et al. [ 64 ] предлагают идентификацию и классификацию анатомии желчных протоков с помощью отражательной и флуоресцентной визуализации.  На рис. 8  показаны фотографические и сегментированные изображения желчной ткани после гиперспектральной и флуоресцентной визуализации.

Подходы к обработке изображений и спектральной информации применяются для обнаружения и классификации анатомии желчных протоков. Флуоресцентная визуализация предоставляет информацию о динамическом движении хирургических процессов, тогда как HSI предоставляет загрязненные ткани исключения для  идентификации желчных протоков.

Как видно из рисунка, различные типы тканей демонстрируют различные спектральные характеристики из-за различных свойств тканей. Цветовая сегментация позволяет четко различать все основные ткани желчного пузыря,  двенадцатиперстной кишки , печени и связок.

Это сегментированное изображение с флуоресцентным изображением течет в аналогичной ткани, чтобы добавить поток флуоресценции в реальном времени на верхний фон микробаллонов, загруженных ICG. Двойное изображение идентифицирует желчную ткань и ее расположение относительно окружающей среды.

Рис. 8. (а) Фотографическое изображение желчных протоков. (б) Классификация желчных протоков на основе гиперспектральной визуализации [64].

Компоненты. Кэмпбелл и соавторы [65] представили подход к диагностике опухолей почек с использованием лапароскопической частичной нефрэктомии. Олуенти и соавторы [66] предложили цифровую обработку света для классификации оксигенации почек. Этот медицинский анализ был проведён на 18 пациентах. В литературе описаны различные оценки медицинской диагностики на основе HSI, как показано в  таблице 4 .

Сельское хозяйство

Таблица 4. Отдельный медицинский анализ на основе HSI.

Автор Система Приложения
Хуан и др. [ 67 ] Multi HSI Классификация гемоцитов
Хуан и др. [ 68 ] HSI Клетки крови
Ван и др. [ 69 ] HSI лейкоцит
Саммер и др. [ 70 ] Deep HSI Раковые клетки
Ли и др. [ 71 ] HSI Раковые клетки
Бенгс и др. [ 72 ] HSI Живая опухоль
Григорою и др. [ 73 ] HSI Эндоскопия
Манифолд и др. [ 74 ] HSI Расположение нескольких лекарств
Халичек и др. [ 75 ] HSI Обнаружение рака
Траяновски и др. [ 76 ] VIS/NIR Захват опухоли
Сервантес и др. [ 77 ] HSI Печень/Щитовидная железа
Гарифуллин и др. [ 78 ] HSI Сосуды сетчатки
Траяновски и др. [ 79 ] HSI Карцинома Опухоль
Зейдлиц и др. [ 80 ] HSI Сегментация органов

Стремительно растущее население во всем мире приведет к увеличению производства сельскохозяйственных культур к концу 2050 года [81]. Тем не менее, многочисленные исследования показывают, что производство сельскохозяйственных культур не развивается такими темпами, чтобы удовлетворить растущие потребности населения. Различные исследования показали, что  качество продуктов питания  может быть эффективным путем ограничения обработки земли путем улучшения сельскохозяйственных культур [82, 83].

Глобальное недоедание и нищета могут быть точно уменьшены путем улучшения производства сельскохозяйственных культур [84, 85]. Традиционно ручной осмотр проводился для отслеживания атак насекомых, болезней, питательных веществ и водного стресса. Ручной визуальный осмотр ограничивает идентификацию, поскольку симптомы болезней могут проявиться поздно. Эти традиционные методы могут быть заменены наземными и воздушными методами HSI для оценки сельскохозяйственных культур, анализа почвы и эффективного измерения растительности.

Основным фактором урожайности сельскохозяйственных культур является  стресс от засухи . Урожайность можно успешно повысить, своевременно обнаружив водный стресс. Фотосинтетические колебания измеряются при высоком уровне водного стресса. Эти колебания приводят к желтому оттенку у сельскохозяйственных культур из-за улучшенной длины волны отражения красного цвета. Система HSI различает эту вариацию на более ранней стадии, чем человеческий глаз. Коломбо и др. [86] предложили определять толщину листа воды в инфракрасном и видимом спектре во время отражения.

Малейн и др. [87] сообщили о заметном прогрессе сахарных листьев.  Спектральное разрешение  здоровых/дефектных сахарных листьев показано на  рис. 9. Лю и др. [88] предложили прогнозирование пшеницы с помощью спектральных параметров с тонкой классификацией зрелости, указанной на  рис. 10. В литературе описаны различные оценки медицинской диагностики на основе HSI, как показано в  таблице 5 .

Рис. 9. Спектральное разрешение здоровых/дефектных листьев сахарного тростника [87].

Рис. 10. Спектральные параметры с зрелой классификацией [87].

Таблица 5. Различные оценки медицинской диагностики на основе HSI.

Авторы Разрешение Приложение
Фергюсон и др. [ 89 ] 1 м Растениеводство
Чжан и др. [ 90 ] 1 м Растениеводство
Катурегли и др. [ 91 ] 30 м Растениеводство
Тянь и др. [ 92 ] 1,4 м Растениеводство
Кохан и др. [ 93 ] 2 м Растениеводство
Ан и др. [ 94 ] 2,8 м Растениеводство
Мерони и др. [ 95 ] 40 м Растениеводство
Чуа и др. [ 96 ] 3,2 м Растениеводство
Баральди и др. [ 97 ] 20 м Управление водными ресурсами
Чоубей и др. [ 98 ] 72 м Управление водными ресурсами
Хасаб и др. [ 99 ] 15 м Управление водными ресурсами
Гетц и др. [ 100 ] 3,2 м Управление питательными веществами
Катурегли и др. [ 101 ] 1,65 м Управление питательными веществами
Шарифи и др. [ 102 ] 10 м Управление питательными веществами
Янг и др. [ 103 ] 3,2 м Уборка урожая
Маселли и др. [ 104 ] 250 м Уборка урожая
Айча и др. [ 105 ] 10 м Уборка урожая
Денис и др. [ 106 ] 4 м Уборка урожая
Вибхюте и др. [ 107 ] 1 км Влажность почвы
Янг и др. [ 108 ] 6 м Обнаружение урожая
Сидике и др. [ 109 ] 1,24 м Борьба с сорняками

Zuiggelaar [110] рассматривает спектральные свойства растений для дифференциации сорняков и сельскохозяйственных культур. В этом обзоре сравниваются различные методы моделирования для оценки отражения с использованием химической и оптической информации.

Tian и Thorp [111] рассмотрели идентификацию сорняков с использованием  дистанционного зондирования в сельском хозяйстве. В этом обзоре сообщается о различных спектральных реакциях полога при различении сельскохозяйственных культур и сорняков с использованием  технологии дистанционного зондирования  и освещения.

Hadoux и др. [112] представляют другой метод, использующий спектральное разрешение при неконтролируемой ориентации и молниях.  Вегетационный индекс  пшеницы и сорняков очень похож, поэтому   для дифференциации пшеницы и сорняков был применен огромный спектральный анализ.

PIron и др. [113] сообщают о подходящей длине волны для дифференциации сорняков и моркови или сорняков и картофеля с использованием искусственного освещения. Были опубликованы различные исследовательские работы [114][115][116], посвященные конкретным методам, в то время как другие сосредоточены на структуре реального времени.

Управление водными ресурсами

Выживание человечества на Земле может быть достигнуто за счет такого важного ресурса, как вода. Поэтому эффективное управление, анализ и мониторинг качества воды вызывают большое внимание исследователей [117], [118][119], [120], [121], [122].

Особое применение HSI находится в управлении водными ресурсами. Такие параметры водных объектов, как временные, спектральные и пространственные, точно измеряются с помощью временного отклонения. Синтан и др. [123] успешно предложили свое исследование подходов, соответствующих мощному  мониторингу воды HSI. Ли и др. [124] дополнительно используют этот подход для оценки концентрации взвешенных веществ в заливе Мэйлян в  данных озера Тайху Крис  , как показано на  рис. 11 .

Выявление стресса у растений

Рис. 11. Концентрация взвешенных веществ залива Мэйлян в озере Тайху-Крис [117].

Отдельные симптомы стресса у растений зависят от абиотических и  биотических факторов . Когда растение переживает стресс, производительность значительно снижается. Следовательно, идентификация стресса у растений имеет решающее значение на ранней стадии для снижения потерь производительности. Различные исследователи предлагали HSI и машинное зрение для идентификации стресса растений в садах  оливок , навесов томатов [125], [126], [127][128].

Тем не менее, стресс у растений может быть кумулятивным результатом воздействия питательных веществ, болезней и воды, что создает огромную проблему для достоверной идентификации стрессовых растений. Несколько исследований сообщают, что для эффективной идентификации стресса растений HSI является мощным инструментом. С помощью камеры HSI было проверено спектральное разрешение растения для классификации интенсивности и начала стресса растения.

Ким и др. [129] сообщили о яблоках теплицы с пятью различными уровнями обработки в воде. HSI с цифровой камерой и освещенной растительностью датчика в спектральном диапазоне датчика 385–1000 нм выиграл от мониторинга растений. Видимая область поглощает  ксантофиллы  и хлорофилл, в то время как ближняя ИК-область приводит к отражению.

Фотосинтетическое поглощение происходит при отражении, что приводит к стрессу у растений. Этот стресс улучшает видимую область и уменьшает ближнюю ИК-область во время отражения. Следовательно, стресс у растений можно предсказать по этим различным спектральным областям. Зигельбаум и др. [130] сообщили о стрессе у кукурузы на двух длинах волн отражения, связанных с оптимальными результатами и содержанием воды. 

Индекс вегетации  представляет собой комбинацию спектрального спектра, которая подчеркивает зеленые спектральные характеристики. Санчес и др. [131] сообщили о  дистанционном зондировании  и  фотограмметрии  для идентификации стресса у растений.

Управление наводнениями

Наземные и воздушные наблюдения за состоянием воды недостаточны, что ограничивает возможности мониторинга и обнаружения наводнений. IP и др. [132] сообщили об усовершенствованной и ранней системе обнаружения в течение нескольких часов с использованием  технологии дистанционного зондирования.

Brackenridge и др. [133] включили вероятное комплексное приложение для ранней идентификации наводнений в области земель, рек и осадков, используя космические наблюдения НАСА и геологические исследования. Reinartz и Glabu [134] сообщают о влиянии наводнения, содержании влаги в равнинных районах затопления и накоплении отложений, используя данные, полученные с помощью дистанционного зондирования.

Dartus и Roux [135] исследовали оценку речного стока и  гидрографы  наводнения, минимизируя оптимизированную модель в реакции системы. Многочисленные проблемы, связанные с HSI в радиометрических и метрологических ситуациях, описаны в ссылке [136].

Этот подход минимизирует условие изменения освещенности с использованием радиометрики. Отдельные исследователи весьма активно изучают своевременное картографирование и мониторинг с использованием дистанционных датчиков для восстановления [137][138][139].

Заключение

Роль HSI в обнаружении материалов, идентификации, геонаблюдении и оценке физических параметров недостаточна среди других подходов дистанционного зондирования. Поэтому исследования, основанные на космической и воздушной HSI, были увеличены. В последнее время несколько сопутствующих приложений использовали HSI для стимулирования исследователей. Изучаются различные математические алгоритмы и инструменты, такие как классификация,  слияние данных, разделение, обнаружение аномалий и эффективные вычисления для данных HSI.

Различные приложения HSI используют эти математические алгоритмы. Этот обзор в основном фокусируется на датчиках HSI для поддержания и повышения безопасности и оценки качества продуктов питания, медицинского анализа, сельского хозяйства, водных ресурсов, определения стресса растений, дискриминации сорняков и сельскохозяйственных культур, а также управления наводнениями. Различные исследователи предлагают многообещающие решения для автоматической системы в зависимости от HSI. Будущие исследования могут использовать этот обзор в качестве базовой линии и анализа будущего прогресса.

Литература:

Авторы: Anuja Bhargava, Ashish Sachdeva, Kulbhushan Sharma, Mohammed H. Alsharif, Peerapong Uthansakul, Monthippa Uthansakul