Гиперспектральное машинное зрение для точного земледелия: текущее состояние и перспективы

51
views
ЗАКАЗАТЬ СИСТЕМУ

Адаптивность гиперспектральных датчиков к цифровым изображениям в точном земледелии все еще находится на начальной стадии. Гиперспектральная визуализация (ГСВ) — это данные, богатые информацией, позволяющей решать сельскохозяйственные задачи, такие как обнаружение болезней, сорняков, стрессовых факторов, мониторинг урожая, внесение питательных веществ, минералогия почвы, оценка урожайности и сортировка.

В современном точном земледелии задача состоит в том, чтобы внедрить эти приложения в полевых условиях для решения задач в режиме реального времени, где машины смогут проводить анализ без участия экспертов и передавать результаты пользователям для более эффективного управления сельскохозяйственными угодьями; это необходимый шаг для достижения полной автономии на сельскохозяйственных угодьях.

Для полной реализации потенциала технологии ГСВ в точном земледелии необходимы значительные достижения. Поскольку отсутствует всесторонняя подборка информации о состоянии ГСВ и анализа в точном земледелии, данный обзор призван предоставить всесторонний обзор последних достижений и тенденций в области ГСВ в точном земледелии для приложений реального времени. В данном исследовании был проведен систематический обзор 163 научных статей, опубликованных за последние двадцать лет.

Из них 97 были отобраны для дальнейшего анализа на основе их релевантности рассматриваемой теме. Темы включают традиционные методы предварительной обработки данных, получение гиперспектральных данных, методы сжатия данных и методы сегментации. Были исследованы аппаратные реализации программируемых логических матриц (FPGA) и графических процессоров (GPU) для высокоскоростной обработки данных, а также применение технологий машинного обучения и  глубокого обучения.

В этом обзоре подчеркивается потенциал гиперспектральной визуализации как мощного инструмента для точного земледелия, особенно в приложениях реального времени, обсуждаются ограничения и даются представления о будущих направлениях исследований.

Сокращения

  • 1D CNN – одномерная сверточная  нейронная сеть
  • 3D CNN – трехмерная сверточная  нейронная сеть
  • AE-NN – автокодирующая  нейронная сеть
  • ИИ – искусственный интеллект
  • LED – бортовой спектрометр для получения изображений в различных областях применения
  • API – интерфейс прикладного программирования
  • ARM – усовершенствованная RISC-машина
  • AVIRIS – бортовой спектрометр видимого/инфракрасного излучения
  • BIL – полоса, перемежающаяся строкой
  • BIP – полоса, чередующаяся по пикселям
  • BPNN –  нейронная сеть обратного распространения
  • BSQ – полосно-последовательный
  • CBD – канонический байесовский дискриминант
  • CCD – зарядово-связанный диод
  • CDA – канонический  дискриминантный анализ
  • CNN – сверточная нейронная сеть
  • CPU – центральный процессор
  • CUDA – вычислительная унифицированная архитектура устройств
  • DA – дискриминантный анализ
  • DCNN – глубокая сверточная нейронная сеть
  • DL – глубокое обучение
  • DR – уменьшение размерности
  • DSP – цифровая обработка сигналов
  • FCN – полностью подключенная сеть
  • FLDA Линейный дискриминантный анализ Фишера
  • FPGA – программируемая пользователем вентильная матрица
  • GBRT – алгоритм регрессионного дерева с градиентным бустингом
  • GPU – графический процессор
  • GTB – градиентный бустинг деревьев
  • HS-ANN гибридная сегментация –  искусственная нейронная сеть
  • HSI (ГСВ) – гиперспектральная визуализация
  • IR – инфракрасное
  • KMNF – минимальная доля шума ядра
  • KNN – k-ближайших соседей
  • KPCA – анализ главных компонент ядра
  • LED – светодиод
  • LM – многофакторная линейная регрессия
  • LPDBL – локальное сохранение дискриминационного широкого обучения
  • MCARI – модифицированное поглощение хлорофилла в индексе отражения
  • ML – машинное обучение
  • ML/BSBC – наилучшая   комбинация спектральных полос, основанная на принципе максимального правдоподобия
  • MLC – классификатор максимального правдоподобия
  • MOG – смеси  гауссовых функций
  • MOG – смесь  гауссовых функций
  • MSVM – многоклассовые  машины опорных векторов
  • NDVI – нормализованный разностный  вегетативный индекс
  • NIR – ближний инфракрасный
  • NN – нейронные сети
  • PA – точное земледелие
  • PCA – анализ главных компонентов
  • PLB – фитофтороз картофеля
  • PLS-DA – дискриминантный анализ методом частичных  наименьших квадратов
  • PLSR –  регрессия методом частичных  наименьших квадратов
  • PRISMA – Рекомендации по представлению результатов  систематических обзоров  и метаанализов
  • RBF – ядро радиальной базисной функции Гаусса
  • RF – случайный лес
  • RFE – рекурсивное устранение признаков
  • RGB – красные, зеленые и синие полосы
  • ROI – регион интереса
  • SAM – картограф спектрального угла
  • SDA – пошаговый дискриминантный анализ
  • SLOG – простая логистика
  • SMO – последовательная минимальная оптимизация
  • SOM – самоорганизующиеся карты
  • SPCA – стандартизированный анализ главных компонентов
  • SVM – машина опорных векторов
  • SWIR – коротковолновое инфракрасное излучение
  • TPE – древовидный структурированный оценщик Парзена
  • UAV – беспилотный летательный аппарат
  • UGV – беспилотный наземный транспорт
  • VCA – анализ вершинных компонентов
  • VNIR – видимый  ближний инфракрасный

1. Введение

Гиперспектральная визуализация (ГСВ) стала перспективным инструментом для точного  земледелия. В отличие от распространенных  методов визуализации, использующих  видимый спектр (RGB) или мультиспектральные данные, ГСВ обеспечивает более детальное и всестороннее представление о состоянии растений, позволяя принимать более целенаправленные и точные  решения по управлению посевами  . Анализируя уникальную  спектральную сигнатуру  растений, ГСВ может выявлять стресс растений, болезни и  дефицит питательных веществ , предоставляя ценную информацию, которая может быть использована для оптимизации урожайности и снижения затрат (Mishra et al., 2020). ГСВ использует присущее  материалам свойство  поглощать определенную длину волны света, отражая или рассеивая другие длины волн. Взаимодействие объектов с  электромагнитным спектром  является универсальным явлением (Mishra et al., 2017b). Таким образом, гиперспектральная визуализация (ГСВ) предоставляет неинвазивный метод обнаружения молекулярных отражений и поглощений с помощью широкого диапазона длин волн в видимом ближнем инфракрасном (VNIR) и коротковолновом инфракрасном (SWIR) диапазонах 400–2500 нм (Wieme et al., 2022). Понимание закономерностей молекулярного поглощения и отражения и их сопоставление с молекулами, присутствующими в материале (также известное как спектроскопическое исследование), является предметом большинства исследований в сельскохозяйственной области (Pavia et al., 2014).

Гиперспектральная визуализация (ГСВ) преимущественно использовалась на орбитальных и суборбитальных платформах. В настоящее время доступны портативные ручные варианты этих датчиков, которые активно применяются в инженерных, медицинских и производственных областях (Anastasiou et al., 2018,  Picon et al., 2012, Tatzer et al., 2005). За последние двадцать лет количество рецензируемых исследований, использующих портативные варианты гиперспектральных датчиков, растет, и все больше исследований создают специализированные платформы для сбора данных и рабочие процессы анализа (рис. 1). Эта тенденция указывает на позитивный сдвиг от геопространственных приложений к приложениям в полевых условиях, где сбор данных осуществляется пользователями, а для приложений, работающих в режиме реального времени или почти в реальном времени, создаются автоматизированные конвейеры анализа.

Рис. 1. Тенденции в исследованиях, публикуемых в рецензируемых журналах, демонстрирующие растущую тенденцию к исследованиям с использованием портативных гиперспектральных датчиков и специализированных платформ для сбора или анализа гиперспектральных данных.

Несмотря на постоянное совершенствование в последние десятилетия, гиперспектральные датчики по-прежнему не обладают такой повсеместной применимостью в приложениях реального времени, как RGB-камеры. Приложение реального времени определяется как сбор и анализ данных по мере их поступления, без необходимости постоянного контроля со стороны специалистов (Мерфилд, 2016).

Это более машиноориентированный способ сбора и анализа данных. Непрактичность использования гиперспектральных данных обусловлена ​​их высокой размерностью, высокой стоимостью и трудозатратами, связанными со сбором данных, по сравнению с цифровыми изображениями, а также ограниченным применением в исследовательском сообществе.

По этой причине анализ гиперспектральных данных в основном проводится в исследовательских лабораториях после исчерпывающей обработки данных и под наблюдением специалистов. Для преодоления проблем в приложениях гиперспектральных датчиков реального времени необходимы уроки, извлеченные из первоначального тестирования в различных полевых условиях, и дальнейшие исследования.

Также необходимо переключить внимание на технические методы, которые могут преодолеть разрыв, создаваемый обработкой многомерных гиперспектральных данных. Недавние исследования, посвященные обзору применения гиперспектральных изображений (ГСВ) в сельском хозяйстве, рассматривают этот вопрос в более широком контексте, включая спутниковые,  бортовые датчики, БПЛА и наземные гиперспектральные датчики (Lu et al., 2020), и больше фокусируются на принципах работы ГСВ и их применении в конкретных областях, не затрагивая вопросы необходимых технологических достижений. 

В таблице 1  показана область фокусирования недавних обзорных исследований, посвященных применению ГСВ в сельском хозяйстве. Эти исследования разделяли общие цели с данным обзором; однако наше исследование уникально тем, что оно фокусируется на требованиях к применению наземных гиперспектральных датчиков в режиме реального времени и представляет необходимые инструменты.

Поэтому данное исследование направлено на то, чтобы сосредоточиться только на наземных, БПЛА и установленных на самолетах гиперспектральных датчиках с  высоким пространственным разрешением.

Причина сосредоточения внимания именно на этих датчиках заключается в том, что они обеспечивают большую свободу для интеграции в полевых условиях с БПЛА, беспилотными наземными транспортными средствами и платформами, включающими множество датчиков, и позволяют записывать данные с высоким временным разрешением. С учетом вышеизложенных целей, задачи данного обзорного исследования следующие:

  • Проанализируйте литературу за последние 20 лет, посвященную применению портативных гиперспектральных датчиков (наземных, БПЛА, портативных ручных и спектрорадиометров) в сельском хозяйстве.
  • Чётко определите необходимые ресурсы, которые требуются для применения гиперспектральных датчиков в режиме реального времени.
  • Проанализируйте тенденции, изучите область применения, понаблюдайте за применением гиперспектральных изображений в реальном времени и предложите направления будущих исследований для успешной реализации гиперспектральных изображений в реальном времени в сфере физической активности.

Таблица 1. Обзор значимых исследований в области гиперспектральной визуализации, проведенных в  сфере сельскохозяйственной инженерии  за последние годы.

Ссылка Ключевые аспекты
Санаифар и др. (2023)
  • Исследование крупномасштабных моделей дистанционного зондирования и моделей гиперспектрального анализа в непосредственной близости от объекта.
    Применение метода проксимальной гиперспектральной съемки для определения абиотического стресса растений на уровне листьев и растительного покрова.
Барбедо (2023)
  • Обзор работы с гиперспектральными данными на каждом этапе разработки модели глубокого обучения (DL).
    Применение глубокого обучения в непосредственной близости от потребителя, в частности в сфере гиперспектрального взаимодействия в овощеводстве.
Эх Тит и Хашим (2023)
  • Преимущества и недостатки гиперспектрального анализа для обнаружения заболеваний фруктов и овощей.
  • Сравнивает компьютерное зрение, мультиспектральную, гиперспектральную, биоспекл- и тепловизионную съемку.
  • В заключение указывается на необходимость большей стандартизации процедур анализа данных.
Ма и др. (2023)
  • Эффективность различных спектроскопических датчиков, включая гиперспектральную визуализацию (HSI), при оценке качества бобовых.
  • Рассматриваются методы компьютерного зрения и спектроскопии.
Виме и др. (2022)
  • Оценка качества фруктов, овощей и грибов с использованием HSI.
  • Применение машинного обучения (ML) и глубокого обучения (DL) в оценке.
Хан и др. (2022)
  • Внедрение гиперспектральных данных со спутников Hyperion, Landsat-8 и Sentinel 2 в сельском хозяйстве.
  • Методологии машинного обучения и глубокого обучения используются в сельском хозяйстве.
Бергер и др. (2022)
  • Проведен обзор ранних, средних и хронических стадий стресса для растений.
  • В заключение делается вывод, что ближняя инфракрасная спектроскопия является одним из основных инструментов, используемых для обнаружения стресса у растений.
Пассос и Мишра (2022)
  • Обзор параметров DL для спектральных данных.
  • Учебное пособие по настройке гиперпараметров моделей глубокого обучения.
Ван и др. (2021)
  • Применение глубокого обучения в гиперспектральной визуализации растений.
  • Модели глубокого обучения, используемые с гиперспектральной визуализацией.
  • Анализ гиперспектральных изображений с использованием моделей глубокого обучения.
Лу и др. (2020)
  • Применение спутниковых, авиационных, беспилотных летательных аппаратов и ближних гиперспектральных датчиков в сельском хозяйстве.
  • Обработка и анализ данных, собранных с различных типов датчиков.
Мишра и др. (2020)
  • Гиперспектральный сбор данных о целых растениях.
  • Изменения освещения и методы их коррекции.
Бенелли и др. (2020)
  • Обзор применений наземных гиперспектральных систем в точном земледелии для фенотипирования, определения созревания плодов, содержания хлорофилла и азота, выявления засухи, болезней и грибковых заболеваний.
Маес и Степпа (2019)
  • Применение гиперспектральных датчиков в беспилотных летательных аппаратах.
  • Объединение гиперспектральных и тепловых данных для обнаружения патогенов.
  • Сравнение RGB, мультиспектральных, гиперспектральных и тепловых изображений для применения в точном земледелии.
Али и др. (2019)
  • Обзор методов обнаружения болезней растений с использованием различных датчиков.
  • Точность инфракрасной и дистанционной визуализации гиперспектральных изображений в обнаружении заболеваний.
Корти и др. (2018)
  • Обзор параметров кукурузы, зависящих от внесения азотных удобрений, с использованием дистанционного и ближнего зондирования.
  • Основное внимание было уделено регрессионному анализу и анализу вегетативных индексов.
Тао и др. (2018)
  • Применение флуоресцентной и ближнеинфракрасной спектроскопии для обнаружения грибкового загрязнения сельскохозяйственной продукции в режиме реального времени.
  • Сделан вывод, что, хотя ближнеинфракрасная спектроскопия и гиперспектральная визуализация дают надежные результаты, многомерные данные представляют собой узкое место для приложений сортировки в реальном времени.
Мишра и др., (2017b)
  • Применение проксимального гиперспектрального взаимодействия в растениях.
  • Обзор взаимодействия света, настройки прибора и анализа спектральных данных.
Он и Солнце (2015)
  • Обнаружение микробного загрязнения сельскохозяйственной и пищевой продукции в режиме реального времени с использованием гиперспектральной визуализации.
  • Предлагается использовать мультиспектральные методы вместо гиперспектральных после применения в реальном времени.
  • В качестве перспективного направления предлагается стандартизация анализа гиперспектральных данных.

2. Методология отбора литературы для обзора.

Для изучения применения гиперспектральных датчиков в режиме реального времени был проведен систематический обзор опубликованной литературы. При отборе литературы использовались рекомендации по проведению систематических обзоров, опубликованные в рамках PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses) (Page et al., 2021).
2.1. Критерии отбора

Для обзора были отобраны публикации, вышедшие в период с 2003 по 2023 год. Включены исследования, использующие портативные и/или  гиперспектральные датчики с высоким пространственным разрешением. Для облегчения понимания темы были выделены три основные категории анализа гиперспектральных данных, которые необходимо учитывать для приложений реального времени: сбор данных, обработка данных и приложения. Блок-схема этих категорий с их подкатегориями представлена ​​на  рис. 2.

Рис. 2. Блок-схема, иллюстрирующая структуру систематического обзора литературы.

2.2. Стратегия поиска и источники информации

Для поиска литературы использовались четыре базы данных: Web of Science, Scopus, Science Direct и Google Scholar. Для сужения результатов поиска использовались логические операторы («AND» и «OR») с поисковыми запросами (таблица 2).

Поисковый запрос «гиперспектральный» дал множество результатов, включающих работы, основанные на спутниковой гиперспектральной съемке, что выходило за рамки данного исследования. Для того чтобы сосредоточиться на литературе, посвященной гиперспектральным датчикам ближнего действия, использовались названия производителей датчиков, обычно встречающиеся в литературе, а также специальные ключевые слова.

Полный список и правильно классифицированные поисковые запросы можно найти в  таблице 2. Эти поисковые запросы использовались взаимозависимо в разных категориях.

Таблица 2. Обзор различных критериев поиска, используемых для поиска литературы в Web of Science, Scopus, Science Direct и Google Scholar.

Категория Поисковые запросы*
Область исследования «сельское хозяйство» ИЛИ «точное земледелие» ИЛИ «умное земледелие»
Сбор данных “specim” ИЛИ “headwall” ИЛИ “cubert” ИЛИ “resonon” ИЛИ “inno-spec” ИЛИ “hyspex” ИЛИ “ground hyperspectral” ИЛИ “infield hyperspectral” ИЛИ “proximal hyperspectral” ИЛИ “close range hyperspectral”
Обработка данных «снижение размерности» ИЛИ «выбор признаков» ИЛИ «сегментация»
«в реальном времени» ИЛИ «в полевых условиях» ИЛИ «автоматический» ИЛИ «автономный»
«GPU» ИЛИ «графический процессор» ИЛИ «Nvidia» ИЛИ «FPGA»
Приложения «идентификация сорняков» ИЛИ «классификация сорняков» ИЛИ «мониторинг урожая» ИЛИ «обнаружение болезней» ИЛИ «обнаружение вредителей» ИЛИ «управление питательными веществами» ИЛИ «биомасса» ИЛИ «площадь листьев» ИЛИ «хлорофилл» ИЛИ «азот» ИЛИ «стресс»
*Эти поисковые запросы использовались взаимозависимо. Например, запросы на сбор данных с запросами на обработку данных или запросы на сбор данных с запросами на применение.
2.3. Процессы отбора

Основное внимание было уделено исследованиям, использующим гиперспектральные датчики ближнего действия в сельском хозяйстве. В обзор были включены исследования, использующие технологии машинного обучения или глубокого обучения в сочетании с техническими новшествами, улучшающими конвейеры анализа данных или обеспечивающими применение гиперспектральных датчиков в режиме реального времени, а также исследования, создающие платформы, облегчающие сбор или анализ данных.

Для сужения результатов поиска использовались инструменты автоматизации, найденные в поисковой системе базы данных. Включалась только литература, опубликованная на английском языке. Материалы конференций и литература, опубликованная в других областях исследований, были исключены в приоритетном порядке. В итоге для данного систематического обзора было использовано 97 научных статей. Полный процесс отбора литературы представлен на  рис. 3.

Рис. 3. Процесс отбора литературы в соответствии с рекомендациями PRISMA (Haddaway et al., 2022).

3. Сбор гиперспектральных данных

Сбор данных является важнейшим аспектом гиперспектральной визуализации, поскольку существует несколько режимов сбора данных. Эти режимы влияют не только на разрешение данных, но и определяют их применимость в реальных условиях.
3.1. Режимы сбора данных

Режимы сбора данных включают линейное сканирование, точечное сканирование, сканирование по длине волны и сканирование в режиме моментального снимка (рис. 4). Каждый из этих режимов имеет свои преимущества и недостатки для приложений реального времени, сбора, анализа и управления данными (Adão et al., 2017).

Рис. 4. Различные режимы сбора гиперспектральных данных. (a) Точечное сканирование, (b) линейное сканирование, (c) сканирование по длине волны и (d) сканирование в режиме реального времени.

Датчики точечного сканирования (рис. 4а) собирают данные в дискретных точках, обеспечивая очень высокое спектральное разрешение, хотя и без пространственной информации, поскольку требуется прямой контакт или близость к объекту (Омиди и др., 2022,  Цинь, 2010).

Датчики линейного сканирования (рис. 4б) получают данные по схеме «метла» и требуют подвижной платформы для захвата полного изображения. Эти датчики обычно используются для крупномасштабного картографирования, обеспечивая высокое покрытие данных и низкую избыточность данных (Фаулер, 2014).

В результате размер данных от датчиков точечного сканирования меньше по сравнению с датчиками линейного сканирования. Датчики сканирования по длине волны ( рис. 4в ) требуют переменного фильтра или спектрометра, распределяющего определенные длины волн. Эти фильтры обычно устанавливаются на датчиках с зарядовой связью (CCD), которые представляют собой светочувствительные интегральные схемы и значительно снижают стоимость получения гиперспектральных данных (Эдди и др., 2008).

Но их спектральное измерение ограничено характеристиками фильтров. Датчики моментального снимка (рис. 4d) одновременно собирают данные по всей сцене, обеспечивают высокое пространственное и спектральное разрешение, но требуют больших объемов памяти для хранения данных (Wong, 2009).

Эффективное управление данными является важнейшим аспектом сбора гиперспектральных данных, поскольку объем собираемых данных может быть довольно большим (Mishra et al., 2017b). Выбор режима сбора данных может повлиять на объем генерируемых данных и тип проводимого анализа (Nie et al., 2023).

Известно, что линейные сканирующие датчики записывают искаженные изображения при возникновении вибраций в датчике или объекте во время сбора данных, особенно при использовании линейных сканирующих датчиков, установленных на БПЛА (Horstrand et al., 2019a).

Сравнительное исследование линейных сканирующих и моментальных датчиков, установленных на БПЛА, проведенное  Sousa et al. (2022),  показывает, что линейные сканирующие датчики показали лучшие результаты по сравнению с моментальными датчиками с точки зрения времени обработки, сложности, планирования полета и возможности одновременного захвата всего спектрального разрешения.

Ограничения линейных сканирующих датчиков включают пространственные искажения и сложный процесс ортокоррекции. Запись более ста длин волн спектральных данных может снизить скорость сбора данных. Моментальные, линейные и волновые сканирующие датчики могут использоваться для использования пространственной информации наряду со спектральной информацией. В то время как точечные сканирующие датчики в основном используются в исследованиях, которые применяют спектральную информацию для биохимического анализа (см.  рис. 5).

Рис. 5. Примеры гиперспектральных платформ для полевых применений. (a) Автономная  информационная система платформы  (API) (Eddy et al., 2008); (b) Сбор данных с помощью человека, держащего картонный фон (Williams et al., 2017); (c) Два спектрометра, объединенные для создания портативного спектрометра, работающего на Raspberry Pi 3 для сбора данных (метод точечного сканирования) (Omidi et al., 2022); (d и i) Платформа для борьбы с сорняками с возможностью микродозирования, протестированная в полевых (d) и лабораторных (i) условиях (Zhang et al., 2012a); (e и f) системы искусственного освещения для сбора данных Hypercart; (e) и бокс для получения изображений; (f) (Polder et al., 2019 ,  Van De Vijver et al., 2020), Примеры гиперспектральных платформ для лабораторных применений; (g) Универсальная система спектральной визуализации (ASI) для сбора данных и развертывания моделей (Mishra et al., 2022b); (h) Система контроля дефектов кофейных зерен с роботизированной рукой для сортировки (Chen et al., 2022), примеры гиперспектральных платформ для  аэрофотосъемки; (j) Сбор и запись данных с помощью NVIDIA Jetson TK1, установленного на DJI Matrix M600 с использованием Specim FX10, разработанного для наземных применений (Horstrand and Guerra, 2019a); (k) DJI M600 с датчиком, специально разработанным для БПЛА, со встроенной возможностью записи данных (Sousa et al., 2022); и (l) DJI S1000 с мультиспектральным датчиком Rededge (Su et al., 2022).

3.2. Гиперспектральные платформы

Платформы, поддерживающие гиперспектральные датчики для сбора и применения данных на сельскохозяйственных угодьях, могут способствовать внедрению этих датчиков для решения различных сельскохозяйственных задач. К основным компонентам таких платформ относятся платформа перемещения (в случае линейного сканирующего датчика),  источник искусственного света  для уменьшения вариативности, компьютер для записи данных, программное обеспечение для управления сбором данных, управление данными и мобильность платформы в полевых условиях (Mishra et al., 2020). 

Платформы для сбора данных  с использованием линейных сканирующих датчиков  сталкиваются  с проблемой искажения изображения, вызванного ветром во время активного сканирования. Для ограничения этих эффектов искажения целесообразно собирать данные в безветренную погоду или препятствовать потоку ветра, полностью закрывая зону сканирования. Поэтому платформы с открытой конструкцией, использующие линейные сканирующие датчики, ограничены погодными условиями (Eddy et al., 2008).

Существует ограниченное количество исследований с использованием гиперспектральных платформ, способных одновременно записывать и анализировать данные. Большинство этих исследований проводится в контролируемых средах и на закрытых системных платформах. Эти системы помогают контролировать изменчивость окружающей среды и обычно используют метод прямой передачи данных.

При этом данные собираются, сохраняются в компьютере, а модели развертываются после обучения. Как в случае с работой  Мишры и др. (2022b) , их универсальная система на базе ЦП облегчает сбор данных, позволяет устанавливать  поле зрения датчика и развертывать обученную модель для анализа с использованием различных данных.

Гиперспектральные датчики, которые захватывают меньшее количество полос вместо обычных сотен, успешно используются для  задач управления в реальном времени  . Уменьшенный размер данных в сочетании с глубоким обучением позволяет достичь скорости обработки до 0,04 с/изображение с последующей сортировкой с помощью роботизированной руки (Чен и др., 2022).

Работа с ограниченным количеством диапазонов позволила осуществлять микродозирование сорняков с помощью байесовских классификаторов, используя платформу, установленную на тракторе, при значительной скорости движения по земле 0,04 м/с ( Zhang et al., 2012b ).

Развертывание гиперспектральных датчиков, способных записывать 224 диапазона, на БПЛА сопряжено со своими техническими трудностями. Использование встроенных систем с несколькими графическими процессорами (GPU), таких как NVIDIA Jetson TX2, упростило запись гиперспектральных данных при беспроводном подключении через пульт дистанционного управления (Horstrand et al., 2019b). Благодаря этим решениям мы наблюдаем сдвиг в применении гиперспектральных технологий в более сложных условиях.

Современное состояние гиперспектральных исследований с использованием платформ можно условно разделить на следующие категории: (1) Платформы для сбора данных: это основа всех конструкций платформ, поддерживающая установку датчиков и спусковых устройств затвора, а также устройства для блокировки внешнего солнечного света в случае наземных систем. Датчики, установленные на БПЛА, используют сканирующие и моментальные датчики и собирают данные в солнечном свете.

Выбор гиперспектрального режима сбора данных в значительной степени определяется сканирующими датчиками на наземных платформах. В обоих случаях при записи данных не проводится обработка спектральных данных. (2) Платформы для выполнения задач управления: они собирают данные и выполняют задачи в реальном времени, включая распыление, манипулирование роботизированной рукой и классификацию в реальном времени.

Хотя используются как сканирующие, так и моментальные режимы сбора данных, объем собранных гиперспектральных данных значительно уменьшается перед выполнением задач управления с высокой скоростью в реальном времени. Платформы для управления в реальном времени в настоящее время ограничены только системами, расположенными внутри помещений. Закрытая система гиперспектрального сбора данных обеспечивает беспроблемный сбор данных, а также расширяет возможности для сбора данных в длительных временных интервалах.

3.2.1. Требования к освещению платформ

Гиперспектральная визуализация (ГСВ) — это метод, регистрирующий взаимодействие света с объектом в широком диапазоне  электромагнитного спектра. Взаимодействие света с объектом зависит от энергии излучения падающего света. Наблюдается, что свет, поглощаемый в видимом диапазоне, влияет на электронное состояние молекулы.

Взаимодействие света с молекулами в ближнем инфракрасном (БИК) и инфракрасном (ИК) диапазонах вызывает молекулярные колебания, которые полезны для понимания физико-химических свойств растений (Эдельман и др., 2012). Для ГСВ доступны различные источники освещения, включая галогенные (лампы накаливания), люминесцентные, светодиодные (LED) и солнечные (Захави и др., 2019).

Гиперспектральная флуоресцентная визуализация использует флуоресцентное освещение в диапазоне 315–400 нм. Из-за небольшого диапазона <100 нм применение флуоресцентной визуализации в сельском хозяйстве очень ограничено ( Ким и др., 2001 ).

Светодиодное освещение находится в диапазоне 380–700 нм. Преимуществами светодиодного освещения являются низкие рабочие температуры, низкое энергопотребление по сравнению с широко распространенным галогенным освещением, и оно успешно используется для оценки жизнеспособности семян (Mo et al., 2014).

Оно не регистрирует взаимодействия в области третьего обертона, которые существуют после 700 нм (Osborne, 1993). В сельском хозяйстве галогенное и солнечное освещение используются в качестве предпочтительных источников освещения (Таблица 3).

Галогены имеют преимущество в том, что они похожи на солнечное освещение с точки зрения их непрерывного диапазона освещения 400–2500 нм. Гиперспектральные платформы, использующие  солнечное излучение  для сбора данных, часто ограничены выбором транспортного средства, например, все БПЛА используют солнечное излучение, и погодными условиями, поскольку ветреная погода вносит искажения в изображение из-за движения растений при сканировании с помощью линейных сканирующих датчиков, а также облачной погодой. Эти платформы часто записывают данные в полдень, когда солнечное излучение находится на пике (Eddy et al., 2008).

Гиперспектральные платформы, использующие галогенное освещение, уменьшают изменчивость окружающей среды и почти во всех случаях имеют защитный кожух, который помогает нивелировать воздействие ветра на линейные сканирующие датчики.

Таблица 3. Список различных гиперспектральных платформ, используемых в сельскохозяйственных приложениях.

Sensor Vehicle Application Speed Data recording
Sony, ICX414AL with Linear Variable Filter Tractor boom mounteds FDC − Computer
ImSpector V8 Lab-Field systemh Micro dosing of weeds in real-time 0.04 m/s Computer
Hamamatsu S9227-03 CMOS Motorised Quadbike Plant-Ground Discrimination 0.83 m/s Computer
ImSpector N25E Closed Lab Systemh LDC − Computer
HySpex VNIR 1600–160 Tractor mounteds FDC − Computer
Inspector V9 UGVs FDC 0.09 m/s Computer
Hyperspec Inspector VNIR Fixed Site Gantryh HTTP 46–80 plots/hr Computer
Hyperspec Inspector ExVNIR
VNIR Gilden Photonics Tractor Mounteds FDC 2.7 m/s Computer
SWIR Specim
Specim FX10 DJI M600s FDC 18 m/s On board
Specim FX10 Tractor Mountedh FDC 0.08 m/s Computer
Imspector V9 Mobile Frameh FDC − Computer
ImSpector V10E-PS Electric Forklifts (Gantry like setup) FDC − Computer
Imec XIMEA Closed Lab System with Robotic Armh Defect inspection and sorting 0.04 s/image Computer
Specim FX10 Closed Lab Systemh Data collection and model deployment 0.03 m/s Computer
Flame-S + Flame-NIR Handheldh FDC − On Sensor
Senop HSC-2 DJI M600s FDC − On Sensor
Nano-Hyperspec
RedEdge multispectral DJI S1000s FDC 1 m/s On Sensor
Sensor Range Bands Spatial resolution Sensor type Reference
Sony, ICX414AL with Linear Variable Filter 400–1000 nm 61 640 × 480 px Line Scan Eddy et al. (2008)
ImSpector V8 384–810 nm 71 Rms spot radius < 30 μm Line Scan Zhang et al., 2012a, Zhang et al., 2012b
Hamamatsu S9227-03 CMOS 648–785 nm 3 6.4 mm Line Scan Symonds et al. (2015)
ImSpector N25E 1000–2500 nm 288 rms spot radius < 15 μm Line Scan Wei et al. (2015)
HySpex VNIR 1600–160 400–1000 nm 160 0.5 mm Line Scan Vigneau et al. (2011)
Inspector V9 435–834 nm 200 4.8 × 6.4 mm Line Scan Pantazi et al. (2016)
Hyperspec Inspector VNIR 400–1700 nm 923 1600 px Line Scan Virlet et al. (2017)
Hyperspec Inspector ExVNIR 229 320 px
VNIR Gilden Photonics 400–896 nm 178 402 px Line Scan Williams et al. (2017)
SWIR Specim 895–2506 nm 278 378 px Line Scan
Specim FX10 400–1000 nm 224 1024 px Line Scan Horstrand et al., 2019b
Specim FX10 400–1000 nm 224 1024 px Line Scan Polder et al. (2019)
Imspector V9 430–900 nm 200 0.30 mm/pixel Line Scan Van De Vijver et al. (2020)
ImSpector V10E-PS 360–1025 nm 520 Rms spot radius < 9 μm Line Scan Jiang et al. (2021)
Imec XIMEA 660–980 nm 25 216 × 409 px Snapshot Chen et al. (2022)
Specim FX10 400–1000 nm 224 1024 px Line Scan Mishra et al., (2022b)
Flame-S + Flame-NIR 186–1700 nm − − Point Scan Omidi et al. (2022)
Senop HSC-2 500–900 nm 1000 1024 px Snapshot Sousa et al. (2022)
Nano-Hyperspec 400–1000 nm 272 640 px Line Scan
RedEdge multispectral 475–840 nm 5 1.16 cm/px Spectral Scan Su et al. (2022)
FDC: Сбор полевых данных, LDC: Сбор лабораторных данных,  s : Солнечное освещение,  h : Искусственное освещение: галогенное. Дополнительные сокращения см. в номенклатуре.
3.2.2. Программное обеспечение для сбора и анализа гиперспектральных данных

Сбор и анализ гиперспектральных данных преимущественно осуществляется с использованием программного обеспечения, предоставляемого производителем сенсоров. Исследования с использованием проприетарного программного обеспечения ограничены автономной работой, а анализ данных проводится отдельно после завершения сбора данных.

Собранные данные затем обрабатываются с помощью специальных аналитических конвейеров, которые могут содержать разрывы и не обеспечивать  оптимизацию . Основная цель анализа в реальном времени — устранение этих разрывов. Поддержка сбора данных без коммерческого программного обеспечения крайне желательна, но пока отсутствует. Важными инструментами для разработки таких систем были бы наличие протоколов прикладного программирования (API), комплектов разработки программного обеспечения (SDK) и совместимость сенсоров с такими интерфейсами, как GigE, USB 3.0 и PCIe.

Комплект разработки Pleora eBUS SDK позволил сенсорам версии GigE взаимодействовать с системами на базе ARM, что позволило устанавливать гиперспектральные сенсоры на БПЛА с совместимостью передачи данных ( Horstrand et al., 2019a ). Языки программирования с открытым исходным кодом, например Python, имеют разработанные сообществом библиотеки, такие как Plant CV и Spectral Python (SPy), для анализа гиперспектральных данных (Fahlgren et al., 2015).

Коммерческое программное обеспечение, такое как MATLAB, поддерживает инструментальные пакеты, такие как HYPER-Tools, доступные на веб-сайте его автора, для анализа гиперспектральных данных, включая сегментацию, предварительную обработку и классификацию (Mobaraki and Amigo, 2018).

Другой подход заключается в использовании монохромных датчиков с переменными фильтрами. Использование ПЗС-датчиков, таких как Sony ICX414AL и Photometrics CoolSNAPcf  sensor, в сочетании с линейным переменным фильтром или  спектрографом  (ImSpector V8) позволило собирать данные линейного сканирования в различных спектральных диапазонах.

Использование ПЗС-датчиков, не предназначенных специально для сбора гиперспектральных данных, позволило снизить стоимость сбора данных и разработать автоматизированные конвейеры обработки, обеспечив сбор гиперспектральных данных с помощью тех же цифровых конвейеров обработки изображений (Eddy et al., 2008 ,  Zhang et al., 2012a).

4. Обработка и анализ гиперспектральных данных.

Хотя гиперспектральные изображения отличаются многомерностью данных, они также подвержены этому явлению, как  заметил Беллман (1957) : «эти многомерные данные обременены проклятием размерности», что означает, что данные перегружены шумом и имеют непрактичный объем. Шум в данных может возникать из-за калибровки датчика,  атмосферных эффектов, рассеяния света и геометрических параметров растений.

Поэтому предварительная обработка гиперспектральных данных становится критически важной, прежде чем можно будет извлечь какую-либо полезную информацию. Переход от спутниковых к ближним датчикам также привел к изменению способов предварительной обработки данных. Спутниковые гиперспектральные данные преимущественно обрабатывались для атмосферной коррекции и ортокоррекции.

С другой стороны, на необработанные спектральные данные с ближнего датчика влияют эффекты рассеяния, обусловленные геометрией растений (Мишра и др., 2020). Рассеяние вносит нелинейности в данные, также известные как мультипликативные  масштабные эффекты  и обычно называемые «эффектами рассеяния». Некоторые из этих методов предварительной обработки включают нормализацию, мультипликативную коррекцию рассеяния и фильтрацию Савицкого-Голея (Isaksson and Næs, 1988,  Rinnan et al., 2009 ,  Savitzky and Golay, 1964).

Методы предварительной обработки могут уменьшить сложность многомерных данных, но сами по себе они не отвечают требованиям приложений реального времени. Для достижения обработки в реальном времени необходимо пересмотреть и улучшить использование сжатия данных, встроенной обработки и обработки на графических процессорах при анализе гиперспектральных данных.

4.1. Традиционный метод анализа гиперспектральных данных

Традиционный метод анализа основан на прямом методе анализа гиперспектральных данных. Получается куб гиперспектральных изображений (рис. 6а) или точечные спектры (рис. 6f), затем выполняется калибровка белого и темного эталонов, сегментация (рис. 6d), спектральная предварительная обработка (рис. 6e ,f), выбор признаков, развертывание данных, т.е. преобразование 3D-изображения в 2D-таблицу, заполненную значениями отражательной способности, и использование ее в качестве входных данных для анализа.

Во многих исследованиях в сельскохозяйственной области применяется традиционная предварительная обработка гиперспектральных данных. Этапы получения и анализа гиперспектральных данных часто в целом схожи и различаются в зависимости от выбора датчика и режима сбора данных. Данные записываются с помощью программного обеспечения, предоставляемого производителем. Эти методы анализа полностью сосредоточены только на спектральных данных.

Рис. 6. (а) Визуализация гиперспектрального куба данных. (б)  Гиперспектральные изображения  с разных длин волн. На изображении с длиной волны 789,06 нм отчетливо видно, что листва сельскохозяйственных культур имеет более высокую отражательную способность по сравнению с другими длинами волн. (г) Показан базовый процесс сегментации с использованием кластеризации k-средних для удаления фона. (д) Показана исходная  спектральная сигнатура сельскохозяйственных культур  , и (е) показана та же  спектральная сигнатура  после предварительной обработки с использованием второй производной Савицкого-Голея в качестве примера.

Точечные спектрометры не регистрируют пространственную информацию; следовательно, сегментация данных не требуется. Эти чистые спектральные сигнатуры используются в качестве входных данных для анализа с целью определения эквивалентных параметров объекта. В случае сельскохозяйственных культур это может быть относительное содержание воды и масса листьев на единицу площади (Junttila et al., 2022).

Большинство исследований не используют гиперспектральные кубы, полученные непосредственно с помощью линейного сканирования или моментальных снимков, даже если данные записываются с помощью портативного устройства (Atsmon et al., 2022). Они, как минимум, применяют удаление фона и калибровку изображения перед развертыванием изображений.

В конечном итоге это приводит к работе только со спектральными данными. Исследования по классификации с использованием спектральных данных сосредоточены на поиске наилучшего метода или методов предварительной обработки для достижения наилучшей точности модели (Ahmed et al., 2022). Некоторые исследования также делают выводы, рассчитывая различные вегетативные индексы на основе спектральных данных (Thorp et al., 2015). В целом, традиционный анализ гиперспектральных исследований использует метод перебора для анализа спектральных данных.

После извлечения спектральных данных из областей интереса (ROI) используются различные модели машинного обучения и статистические модели для получения выводов и результатов классификации. Многие исследования используют эти результаты классификации, чтобы показать возможность применения в реальном времени, и обычно приходят к выводу, что гиперспектральные датчики могут различать объекты на основе их химического состава (Eddy et al., 2014). Глубокое обучение (DL) показало потенциал для оптимизации гиперспектрального анализа, как подробно обсуждается в  разделе 4.4 .

4.2. Сжатие гиперспектральных данных
Сжатие гиперспектральных данных необходимо из-за наличия множества полос спектральной информации. Множество полос увеличивает размер данных, создает технические сложности при анализе данных, их хранении и использовании в приложениях реального времени (Kaarna et al., 2007). Для приложений реального времени, использующих гиперспектральные данные, необходимо и требуется сжатие многомерных данных (Díaz et al., 2019).
4.2.1. Сжатие данных с потерями и без потерь

Методы сжатия данных  можно разделить на две категории: с потерями и без потерь (Miguel et al., 2006). При сжатии данных с потерями избыточная и нерелевантная информация из данных удаляется навсегда. В то время как при сжатии данных без потерь никакая записанная информация не теряется, и данные становятся доступными после декомпрессии.

Недостатком сжатия данных без потерь является меньший коэффициент сжатия, чем при сжатии данных с потерями (Barrios Alfaro et al., 2020,  Luo et al., 2022). Методы сжатия можно дополнительно разделить на методы, основанные на преобразованиях, на прогнозировании,  векторном квантовании, компрессионном зондировании, тензорном разложении, разреженном представлении, многовременном и основанном на обучении (Dua et al., 2020).

Сжатие на основе аппаратного ускорения показало, что алгоритмы, основанные на разделении спектров, обеспечивают более высокое соотношение сжатия, но при этом требуют больших вычислительных затрат, в то время как сжатие на основе прогнозирования дает более быстрые результаты (Altamimi и Ben Youssef, 2022).

Кроме того, большинство этих методов использовались со спутниковыми или бортовыми гиперспектральными датчиками и должны быть тщательно оценены на предмет их эффективности с наземными гиперспектральными датчиками. Поскольку данные с этих платформ имеют схожую структуру, это не создает никаких проблем при применении этих методов к наземным датчикам. Как показано на примере реализации алгоритма HyperLCA с гиперспектральными данными AVIRIS (авиационный датчик), а также Specim FX10 (наземный датчик) (Díaz et al., 2019).

Сверточные сети глубокого обучения, такие как M2H-Net, используются для реконструкции  мультиспектральных изображений  в гиперспектральные, и концепция реконструкции помогла в сжатии и передаче данных; где можно хранить небольшой объем данных, которые затем можно восстановить для использования (Денг и др., 2021).

В настоящее время также используется концепция гиперспектрограммы для сжатия данных (Корти и др., 2017). Гиперспектрограмма — это визуальное представление гиперспектральных изображений, созданное путем объединения кривых распределения частот векторов оценок из модели анализа главных компонентов (PCA).

Она рассчитывается отдельно для каждого гиперспектрального изображения, может сохранять пространственную информацию и, как было показано, позволяет многократно уменьшить размер данных с помощью гиперспектрограммы. Например, в исследовании  Корти и др. (2017).

Исходный размер изображения составлял 1,25 ГБ, который после развертывания уменьшился до 922 МБ, а затем был дополнительно уменьшен до 300 кБ с помощью гиперспектрограммы. Примерами сжатия данных с потерями являются спектральное биннинг и уменьшение размерности (также известное как выбор признаков). Биннинг помогает уменьшить количество как непрерывных, так и дискретных данных. Он успешно применяется для управления скоростью передачи данных между датчиком и компьютером.

Применение спектрального биннинга в полевых условиях позволило достичь скорости передачи данных в реальном времени 0,036 м/с (Zhang et al., 2012a). Хотя сжатие данных важно, оно не является полным решением проблемы высокой размерности, как отметили  Okamoto et al. (2007) , которые использовали вейвлет-преобразование для сжатия данных, собранных с точечного спектрометра (ImSpector V10). Они предположили, что уменьшение размерности является важной частью сжатия данных.

4.2.2. Снижение размерности

Снижение размерности — это метод сжатия гиперспектральных данных с потерями. Это один из наиболее распространенных этапов предварительной обработки гиперспектральных данных. Основная причина этого заключается не только в высокой размерности, но и в избыточной информации, записанной в последующих длинах волн. Избыточность не добавляет много информации к анализу, но в конечном итоге приводит к переобучению модели анализа.

Традиционные рабочие процессы выбирают значимые полосы, а затем используют уменьшенные данные для их анализа. В большинстве случаев снижение размерности уменьшает спектральную размерность изображения HSI до менее чем пятнадцати полос (Gao et al., 2020). В некоторых случаях наблюдается также менее пяти полос. Можно утверждать, что работа с 10 или менее полосами данных для анализа аналогична работе с мультиспектральными датчиками, и в таких случаях гиперспектральные данные не требуются.

Хотя это технически верно, мультиспектральные датчики имеют фиксированный набор длин волн. Эти предварительно выбранные несколько длин волн могут не обеспечивать значительного распределения между различными объектами и, следовательно, ограничены использованием только для объектов со схожими отражательными свойствами (то есть, только для объектов, которые хорошо отражают свет в этих предварительно выбранных фиксированных диапазонах длин волн).

Однако гиперспектральные датчики позволяют исследовать и сужать диапазон значимых длин волн, и поэтому могут применяться к широкому кругу объектов. Поэтому уменьшение размерности с помощью гиперспектральных датчиков выполняется после исследования наиболее значимых длин волн относительно конкретного материала, а затем уменьшенные спектральные данные используются для анализа. В случае мультиспектральных датчиков этап исследования значимых длин волн отсутствует.

Существует два семейства методов отбора признаков: фильтрация и обертывание (Su et al., 2022). Методы фильтрации оценивают релевантность каждого признака на основе статистических показателей и выбирают наиболее значимые признаки. Методы обертывания оценивают производительность алгоритма машинного обучения для выбора наилучшей комбинации признаков (Li et al., 2011).

Метод опорных векторов (SVM) – многоклассовый прямой отбор признаков с исключением неинформативных переменных – показал самое быстрое время выполнения – 17 секунд (Deng et al., 2013). Пошаговый регрессионный анализ и метод ранжирования признаков использовались в исследованиях  устьичной проводимости  (Jarolmasjed et al., 2018).

При сравнении пяти методов отбора признаков было отмечено, что рекурсивное исключение признаков, являющееся методом обертывания, дало лучшие результаты прогнозирования, чем критерий хи-квадрат и  SelectFromModel,  для идентификации заболеваний у арахиса (Wei et al., 2021). В современной литературе отсутствует стандартный алгоритм или метод отбора признаков. Вместо этого, различные методы выбираются на основе результатов, полученных исследователями на однородных данных.

4.2.3. Сегментация изображения или удаление фона

Сегментация включает в себя разделение изображения на несколько сегментов или областей, каждая из которых представляет собой однородную область со схожими спектральными свойствами (рис. 6c). Этот этап часто является первым этапом предварительной обработки после калибровки изображения при анализе гиперспектральных изображений и играет важную роль в повышении точности и эффективности последующего анализа.

Это также обеспечивает чистоту спектральных данных объектов для моделей машинного обучения и глубокого обучения. Сегментация используется для удаления фона (рис. 6d), уменьшения сложности и повышения производительности последующих задач анализа и классификации (Eddy et al., 2008).

В некоторой степени она также помогает уменьшить размер данных, упрощая их обработку и анализ (Li et al., 2021). Сегментация наземных гиперспектральных изображений может быть выполнена с использованием различных методов, включая кластеризацию,  морфологические операции и обнаружение границ. Метод главных компонент (PCA) и вегетативные индексы, такие как нормализованный разностный вегетативный индекс (NDVI), используются для автоматической сегментации растений относительно поверхности земли (Williams et al., 2017), наряду с моделями глубокого обучения, обученными на  RGB-изображениях.

Это включает в себя работу с псевдо-RGB-изображением гиперспектрального куба и генерацию логической маски, которая может быть применена к гиперспектральному кубу. Выбор метода сегментации зависит от конкретных требований анализа и типа обрабатываемых данных (García-Santillán et al., 2017). Сегментация изображений важна в исследованиях, работающих со значениями отражательной способности, поскольку она позволяет сохранить чистоту значений отражательной способности областей интереса (ROI) путем удаления значений отражательной способности из окружающих областей.

4.3. Реализация FPGA и GPU с использованием гиперспектральных датчиков

Для обеспечения эффективной обработки больших объемов гиперспектральных данных многие исследователи изучали использование программируемых логических матриц (FPGA) и графических процессоров (GPU) ( рис. 7 ) при реализации наземных гиперспектральных датчиков (Fenzandez et al., 2016).

FPGA — это интегральные схемы, которые можно переконфигурировать после изготовления, что позволяет создавать и перепроектировать логику по индивидуальному заказу (Rosario et al., 2014). Эта гибкость делает FPGA хорошо подходящими для обработки гиперспектральных данных, поскольку их можно настроить для выполнения конкретных  задач обработки изображений  . Например, FPGA использовались для реализации алгоритмов сжатия гиперспектральных данных (Nascimento and Vestias, 2016), что позволило уменьшить объем данных, которые необходимо передавать и хранить.

Они также использовались для обработки данных в реальном времени, обеспечивая анализ гиперспектральных данных «на лету» во время сбора данных. Последние достижения в этой области привели к значительному увеличению скорости обработки гиперспектральных изображений. В частности, использование системы на кристалле (SoC) FPGA позволило сократить время обработки гиперспектральных изображений размером (512 × 614 × 224) в 216 раз по сравнению с 256-ядерным графическим процессором (Nascimento et al., 2020).

Графические процессоры — это специализированные процессоры, предназначенные для обработки сложных вычислений, необходимых для обработки графики (Díaz et al., 2019). Было установлено, что они весьма эффективны для широкого спектра задач обработки гиперспектральных данных (Gao et al., 2016), включая  классификацию изображений и снижение размерности. Было показано, что алгоритмы с ускорением на графическом процессоре намного быстрее традиционных алгоритмов на центральном процессоре, что позволяет обрабатывать большие объемы гиперспектральных данных в режиме реального времени ( Horstrand et al., 2019a ).

Кроме того, использование графических процессоров позволяет реализовывать сложные алгоритмы, такие как глубокие нейронные сети ( Bouguettaya et al., 2022 ). Использование FPGA и GPU при реализации наземных гиперспектральных датчиков оказалось весьма эффективным в повышении скорости обработки и точности гиперспектральных данных (таблица 4).

Эти технологии открыли новые возможности применения гиперспектральных датчиков, включая анализ данных в реальном времени и реализацию сложных алгоритмов (Horstrand et al., 2019a). Поскольку спрос на анализ гиперспектральных данных в реальном времени продолжает расти, ожидается, что использование FPGA и GPU в обработке гиперспектральных данных станет еще более распространенным в будущем. Утверждается, что реализация многоклассовых машин опорных векторов (MSVM) на FPGA с низкой вычислительной сложностью (Artix-7) позволяет достичь скорости классификации в реальном времени на наборах данных, полученных с помощью бортовых и наземных гиперспектральных датчиков.(Гьянешвар и Нидаманури, 2022). В некоторых случаях FPGA также превосходили встроенные графические процессоры NVIDIA в реализации алгоритмов сжатия.

Рис. 7. Коммерчески доступные (a) FPGA, реконфигурируемая плата Xilinx XUPV2P и (b) графический процессор NVIDIA Tesla C1060. (c) Обзор архитектуры системы онлайн-классификации с использованием FPGA. (d) Архитектура графического процессора, демонстрирующая возможности пакетной обработки в нескольких потоках. (González et al., 2013,  Gyaneshwar and Nidamanuri, 2022).

Таблица 4. Научные статьи, в которых для анализа использовались FPGA и GPU.

Название датчика Алгоритм/метод Результаты Авторы
AVIRIS PCA на FPGA По сравнению с центральным процессором, ПЛИС обеспечила увеличение скорости на 10,08 с. Фензандес и др. (2016)
PCA Функциональность в реальном времени была достигнута за счет применения полной цепочки демикширования на графическом процессоре NVIDIA Tesla C1060. Санчес и Плаза (2011)
Алгоритм N-FINDR Тестовая машина продемонстрировала высокую масштабируемость при выборе полос частот с использованием параллельных реализаций на базе графических процессоров. Ян и др. (2011)
VCA на FPGA Извлечение конечных компонентов было достигнуто без необходимости предварительной обработки с уменьшением размерности. Розарио и др. (2014)
HySime При сравнении алгоритма HySime с процессорами CPU, GPU и DSP было установлено, что GPU показал лучшие результаты. Торти и др. (2014)
G-OMNF Предложенная реализация на графическом процессоре продемонстрировала способность работать в режиме реального времени с гиперспектральными наборами данных. Санчес и Плаза (2011)
VCA Достигнуто разделение смесей без уменьшения размерности. Насименто и др. (2015)
PCA на FPGA Достигнуто увеличение скорости на 90 % при реализации PCA на FPGA по сравнению с CPU. Фензандес и др. (2016)
VCA на FPGA Предложена архитектура на основе FPGA для извлечения сигнатур конечных элементов с использованием полностью автоматического метода VCA, не требующего этапа предварительной обработки для уменьшения размерности. Насименто и Вестиас (2016)
SpeCA Параллельная реализация SpeCA на графических процессорах с использованием архитектуры CUDA (Compute Unified Device Architecture) позволяет достичь 21-кратного увеличения скорости. Севилья и др. (2016)
KPCA KPCA (Kernel PCA) — нелинейный метод уменьшения размерности, и был предложен параллельный алгоритм KPCA (KPCA-G) для гетерогенной системы CPU/GPU. Чжоу и др. (2017)
FastICA Результаты показывают, что их параллельные реализации обладают превосходной производительностью и масштабируемостью, обеспечивая снижение размерности гиперспектральных изображений в реальном времени на гетерогенной платформе. Фанг и др. (2017)
SPCA Предложен интеллектуальный метод классификации, основанный на взаимодействии объектов, для бортовой классификации гиперспектральных изображений с использованием более простых нейронных сетей и процессов. Мишра и др., (2017a)
Многослойный перцептрон Сравнив время выполнения алгоритмов и время ускорения на ЦП и ГП, было обнаружено, что ГП работает экспоненциально быстрее при обработке изображений с 75 полосами. Пенальвер и др. (2017)
PCA Автор рассматривает реализацию PCA на графическом процессоре NVIDIA и многоядерном процессоре Kalray, подчеркивая компромисс между производительностью и энергопотреблением, и предлагает варианты повышения эффективности MPPA. Мартель и др. (2018)
KPCA Для повышения параллельной иерархии распределенного хранилища KPCA используется внутриузловая параллелизация с применением многоядерных процессоров и многоядерных графических процессоров. Сюй и др. (2018)
PCA В данной работе исследована производительность и энергоэффективность распространенного алгоритма уменьшения размерности (PCA) для различных форматов изображений высокого разрешения, т.е. с разбивкой данных в памяти (BSQ, BIP, BIL), с использованием встроенного графического процессора, входящего в состав NVIDIA Jetson TX1. Арагон и др. (2019)
MSVM Установлено ускорение классификации различных наборов данных при применении MSVM на ПЛИС с низкой вычислительной сложностью и в программном обеспечении для работы в режиме реального времени. Гьянешвар и Нидаманури (2022)
Наземные гиперспектральные датчики DR на FPGA Для уменьшения размерности, сжатия изображений и обнаружения аномалий использовались различные алгоритмы. Диас и др. (2020)
HW-LbL-FAD на FPGA Достигнуто обнаружение аномалий на гиперспектральных изображениях со скоростью 0,51 с/изображение с использованием ПЛИС. Каба и др. (2022)
Обнаружение аномалий Подтверждено повышение эффективности работы графического процессора по сравнению с центральным процессором при обнаружении аномалий в реальном времени с использованием гиперспектральных аэрофотоснимков. Тарабалка и др. (2009)
Университет Павии и Индиан Пайнс Многообразное обучение Внедрение этих алгоритмов в архитектуру GPU на базе CUDA позволило повысить производительность. Кампана-Оливо и Маниан (2011)
gaPCA Простая реализация алгоритма gaPCA на центральном и графическом процессорах. Мачидон и др. (2020)
KPCA Сочетание линейных и нелинейных моделей может помочь снизить вычислительную сложность. Мохан и Венкатесан (2020)
LPDBL на FPGA Предложен метод обнаружения гиперспектральных целей на основе алгоритма LPDBL. Благодаря своей простоте, отличной обобщающей способности и быстрой обработке, LPDBL был использован для обнаружения целей в гиперспектральных изображениях. Шиби и Гаятри (2021)
RFE и SFM Определение оптимальных длин волн с использованием методов множественного выбора признаков в библиотеке машинного обучения scikit-learn для обнаружения растений арахиса, зараженных  A. rolfsii  на различных стадиях развития заболевания. Вэй и др. (2021)
KMNF Реализация на графическом процессоре обеспечивает в 60 раз большую скорость. Сюэ и др. (2021)
Вейвлет-редукция Достигнуто снижение скорости обучения моделей CNN на 90 % при использовании параллельного ускорителя на базе FPGA. Баба и Бонни (2023)
− pICA Высокая скорость передачи данных на ПЛИС Ю и др. (2004)
Примечание: Для ознакомления с используемыми сокращениями следует обратиться к соответствующей номенклатуре.
4.4. Применение машинного обучения и глубокого обучения к гиперспектральным данным

Машинное обучение (ML) и глубокое обучение (DL) — это две специализации в области искусственного интеллекта, которые все чаще используются для анализа данных с наземных гиперспектральных датчиков (Джордан и Митчелл, 2015). Обе технологии применяются в сельском хозяйстве для различных задач, включая изучение урожайности, обнаружение болезней и вредителей, выполнение задач классификации и мониторинг роста растений (Таблица 5).

Модели ML основаны на спектральных данных и не включают пространственную информацию. DL, подмножество ML, позволило интегрировать пространственную информацию со спектральными данными. Однако существуют вариации, такие как одномерные сверточные нейронные сети (1D-CNN) в рамках DL, которые также используют только спектральную информацию.

Таблица 5. Точность моделей глубокого обучения и машинного обучения в сельскохозяйственных приложениях.

Приложение Функции Модель Точность Ссылки
Прикорневая гниль стебля Подмножество полос (1) VGG16 91,93 % Йонг и др. (2023)
Фитофтороз картофеля Полные группы (204) PLB-2D-3D-A (2D-3D CNN) 73,90 % Ци и др. (2023)
Подмножество полос (6) PLB-2D-3D-A (2D-3D CNN) 79,00 %
Дефект кофейных зерен Полные группы (25) 2D-3D CNN 96,40 % Чен и др. (2022)
Подмножество полос (3) 2D-3D CNN 98,60 %
Спелость клубники Подмножество полос (2) АлексНет 98,60 % Гао и др. (2020)
Подмножество полос (2) SVM 95,00 %
Желтая ржавчина Полные группы (125) DCNN 85,00 % Чжан и др., (2019a)
Полные группы (125) РЧ 77,00 %
Гниение древесного угля Полные группы (240) 3D-CNN 95,73 % Нагасубраманиан и др. (2019)
крестовник обыкновенный Полные группы (162) Логистическая регрессия 89,00 % Ацмон и др. (2022)
Подмножество полос (10) 82,00 %
Сорняки и посевы Подмножество полос (10) ПЛС-ДА 86,20 % Ахмед и др. (2022)

Алгоритмы машинного обучения, такие как деревья решений (DT), случайные леса (RF) и SVM, могут использоваться для классификации гиперспектральных данных по различным категориям, например, по различным культурам или типам почв (Khan et al., 2022).

Алгоритмы машинного обучения также могут использоваться для проведения регрессионного анализа, позволяя делать прогнозы урожайности или степени поражения болезнями на основе гиперспектральных данных (Thomas et al., 2018). Методы машинного обучения и статистического анализа требуют участия человека в виде выбора параметров экспертом в данной области, что делает их трудоемкими методами (см.  Таблицу 6).

Таблица 6. Применение гиперспектральной съемки в точном земледелии.

Subject Sensor Mode Range (nm)
Disease Detection &
classification		 Oil Palm Cubert FireflEYE S185 Snapshot 890–950 L
Winter Wheat ASD FieldSpec spectrometer Point Scan 350–2500 L
Apples Specim N17E Line Scan 900–1700 L
Potato Specim FX10 Line Scan 400–1000 LF
Leek Specim FX10 Line Scan 400–1000 LF
Scindapsus aureus Specim IQ (handheld) Line Scan 400–1000 L
Apple PS-V10E SPECIM Line Scan 356–1000 L
Apple PS-V10E SPECIM Line Scan 356–1018 L
Soybean Seeds Headwall VNIR-A Line Scan 400–1000 L
grapevine Specim Imspector V10E Line Scan 380–1028 L
Crop Monitoring Apple ImSpector V10E Line Scan 400–1000 and 1000–2500 L
Winter Wheat FieldSpec4 spectrometer Point Scan 350– 2500 L
Wheat ImSpector V10E-PS Line Scan 360–1025 L
Rice ImSpector N17E; Line Scan 874–1734 L
Wheat and Maize Cubert S185 Snapshot 450–950 F
Cotton, winter wheat, maize ASD FieldSpec Point Scan 350–2500 L
Strawberry GaiaField-V10E Snapshot 370–1015 L
Apple SVC HR-1024i Point Scan 360–2500 L
Sesame oil Specim ImSpectorV10E Line Scan 325–1075
Weed detection Barnyard grass and Weedy rice in rice. ImSpector V10E Line Scan 380–1024 L
Corn vs Barnyard, Yellow nutsedge, Crab, Quack, Canada Thistle, Sow thistle, Lamb’s Quarter, Redroot pigweed CASI Line Scan 409–947 nm F
Canola, Peas and Wheat Vs Redroot pigweed and Wild oat prototype 400–1000 nm F
Turfgrass Vs Dallisgrass, southern crabgrass, eclipta and Virginia buttonweed − Point Scan 350–2500 nm G, F
Sunflower Vs Ridolfia segetum ASD FieldSpec Point Scan 325–1075 nm F
Sugarbeet Vs Wild buckwheat, field horsetail, green foxtail, and common chickweed ImSpector V10 Line Scan 400–1000 nm F
Field pea, canola, spring wheat Vs Redroot pigweed and wild oat Filter + CCD (Sony, ICX414AL) Line Scan 400–1000 nm F
Soybean Vs Goosefoot pigweed, small crabgrass, field horsetail, pearlwort ImSpector V10 Line Scan 360–1010 nm F
Winter Wheat Vs Wild oat and canary grass ASD FieldSpec Point Scan 325–1075 nm F
Tomato Vs
Black nightshade, redroot pigweed		 Photometrics CoolSNAPcf Line Scan 384–810 nm L
Tomato Vs
Black nightshade, redroot pigweed		 Photometrics CoolSNAPcf Line Scan 400–795 nm F
Annual ragweed, mugwort ImSpector V10E Line Scan 100–1000 nm L
Wheat Vs
Broad leaf and grass weed		 ImSpector V10E Line Scan 300–1000 nm F
Pine Vs
Bugweed		 AISA Line Scan 400–900 nm F#
Field pea, spring wheat, canola Vs
Wild oats, redroot pigweed		 Filter + CCD (Sony, ICX414AL) Line Scan 400–1000 nm F
Palmer amaranth (resistant vs susceptible) Resonon Pika II Line Scan 394.3–896.917 nm G, F
Cabbages Vs
Barnard grass, small pigweed, goosegrass, crabgrass, and green foxtail		 SWIR-N25E Line Scan 1000–2500 nm L
Soybean Vs Non-glyphosate resistant redroot pigweed, Palmer amaranth FieldSpec 3 Point Scan 350–2500 nm G
Maize Vs
Creeping buttercup, Creeping thistle, charlock, chickweed, common dandelion, annual bluegrass, redshank, common nettle, common yellow woodsorrel and black medic		 Inspector V9 Line Scan 435–834 nm F

 

4 Subject ML/DL Study Authors
Disease Detection &
classification		 Oil Palm L DL: VGG16, RCNN Detection of basal stem rot in oil palm. Yong et al. (2023)
Winter Wheat L ML: XGBoost Study of XGBoost classifier with feature selection using correlation analysis random forest for vegetative indices, achieving 87.1 % overall accuracy. Huang et al. (2022)
Apples L ML: GTB Codling Moth pest classification in Apples (91.6 % Acc) supervised model Ekramirad et al. (2022)
Potato LF ML: Logistic Regression Lab vs Field detection model: difficulty in developing one model for both conditions (poor lab model performance on field data and poor field model performance on lab data) Appeltans et al. (2022)
Leek LF ML:
Logistic Regression		 Logistic regression supervised ML model was trained on field hyperspectral data. The model was not tested in real-time conditions. Appeltans et al. (2021)
Scindapsus aureus L ML: SVM A SVM classification model was used to detect defects in Scindapsus aureus leaves through the analysis of PCA-based spectral feature extraction in a laboratory setting. Xiao and Wang (2020)
Apple L ML: DT, KNN, ensemble bagged, DT and weighted K nearest neighbor Ensemble bagged supervised ML model was trained to classify apple disease. Shuaibu et al. (2018)
Apple L DL: DNN, FCN The paper presents the mRMR method, which is particularly useful for handling a vast number of options such as hyper-spectral images due to its lower computational complexity. Park et al. (2018)
Soybean Seeds L ML: TPE-RBF-SVM Multi-class Soybean seed classifier (TPE-optimized RBF-SVM) Zhao et al. (2022)
grapevine L ML: PLS Classification Diago et al. (2013)
Crop Monitoring Apple L ML: SVM, SLOG, SMO Classification Siedliska et al. (2014)
Winter Wheat L ML:
GBRT		 Chlorophyll content prediction: BP NN and GB RT Model examined. Wang et al. (2022)
Wheat L ML Spectral and textural information fusion for successful image classification and crop monitoring (supervised and unsupervised ML) Jiang et al. (2021)
Rice L ML: BPNN, RF, PLSR Compared three feature selection method vegetation indices, model-based features, and PCA Elsherbiny et al. (2021)
Wheat and Maize F ML: LM, BP, SVM, and RF In lab analysis of Leaf chlorophyll content was estimated by linear regression, back propagation neural network, SVM Zhu et al. (2020)
Cotton, winter wheat, maize L ML: ANN, SVMR, PLSR, PROSAIL The findings showed that there was no one ideal model for accurately calculating the LAI of various crops because the correlation between specific hyperspectral reflectance and the LAI of different crops varied. Nie et al. (2023)
Strawberry L ML: SVM, AlexNet CNN Supervised classification study of strawberry ripeness done in lab. Gao et al. (2020)
Apple L ML: PLSR Classification Jarolmasjed et al. (2018)
Sesame oil Comparison of various feature selection methods like SVM-MFFS, SPASVM, UVESVM Deng et al. (2013)
Weed detection Barnyard grass and Weedy rice in rice. L ML: Linear kernel based SVM Leaf data was used to make the training data. This approch does not incorporate real-time data processing. Zhang et al., (2019b)
Corn vs Barnyard, Yellow nutsedge, Crab, Quack, Canada Thistle, Sow thistle, Lamb’s Quarter, Redroot pigweed F Statistics, DT, and Artificial Neural Network Preferred DT over ANN even though ANN had better results. Due to DT’s ability to form precise rules Goel et al., 2003a, Goel et al., 2003b
Canola, Peas and Wheat Vs Redroot pigweed and Wild oat F NN and MLC Determined that NN was a better classifier than MLC. Eddy et al. (2006)
Turfgrass Vs Dallisgrass, southern crabgrass, eclipta and Virginia buttonweed G, F ML/BSBC, SDA ML/BSBC performed better than discriminant analysis. Classification results were better with field data as compared to greenhouse data. Hutto et al. (2006)
Sunflower Vs Ridolfia segetum F Statistical Studied statistical difference between soil and different phenological stages of sunflower and R. segetum. Peña-Barragán et al. (2006)
Sugarbeet Vs Wild buckwheat, field horsetail, green foxtail, and common chickweed F Wavelet transformation, DA Data compression was achieved using wavelet transformation and stepwise variable selection and statistical discriminant analysis performed better classification. (Okamoto et al., 2007)
Field pea, canola, spring wheat Vs Redroot pigweed and wild oat F MCARI, HS-ANN, MLC Image background was removed from training images. Authors found HS-ANN to give better results and suggested it as more suitable for real-time application. Eddy et al. (2008)
Soybean Vs Goosefoot pigweed, small crabgrass, field horsetail, pearlwort F LDA, NN NDVI was used to remove soil background. NN performed better than LDA and PCA gave better results than raw data. But raw data has faster processing Suzuki et al. (2008)
Winter Wheat Vs Wild oat and canary grass F SDA Suggested complete phenological stage classification using 15 bands from Red, Green, Blue and NIR regions Gómez-Casero et al. (2010)
Tomato Vs
Black nightshade, redroot pigweed		 L SDA, PCA, CDA A global calibration method was developed that achieved a 92.2 % classification rate and solved the temperature sensitivity problem in single temperature models. Zhang and Slaughter (2011)
Tomato Vs
Black nightshade, redroot pigweed		 F CBD A study conducted over three seasons investigated the effects of seasonal variability in environmental conditions. Zhang et al., (2012a)
Annual ragweed, mugwort L Statistical Determined that 550 nm and 650 nm gave class separability between ragweed and mugwort Dammer et al. (2013)
Wheat Vs
Broad leaf and grass weed		 F PLS-DA Six PLS-DA models were trained. Classification included sunlit and shaded areas of images along with soil. Herrmann et al. (2013)
Pine Vs
Bugweed		 F# SVM SVM-RFE was used for feature selection and obtained 90 % accuracy in classifying aerial images of Bugweed patches in pine forests. Atkinson et al. (2014)
Field pea, spring wheat, canola Vs
Wild oats, redroot pigweed		 F ANN, PCA, SDA Study show that reduced band set (7 bands) achieved ANN classification result that was similar to the full band set data (61 bands) Eddy et al. (2014)
Palmer amaranth (resistant vs susceptible) G, F FLDA, Maximum Likelihood 14 bands out of 240 bands were used and achieved an accuracy of 93.5 %. They found higher reflectance in visible regions for susceptible plants and infrared regions for resistant plants. Reddy et al. (2014)
Cabbages Vs
Barnard grass, small pigweed, goosegrass, crabgrass, and green foxtail		 L SAM Pixel wise classification using ENVI and HSI analyzer. Applied preprocessing steps. This study is an example of high data curations. Wei et al. (2015)
Soybean Vs Non-glyphosate resistant redroot pigweed, Palmer amaranth G RF Random forest binary classifiers were trained to classify soybeans against weeds. Fletcher and Reddy (2016)
Maize Vs
Creeping buttercup, Creeping thistle, charlock, chickweed, common dandelion, annual bluegrass, redshank, common nettle, common yellow woodsorrel and black medic		 F SOM, MOG, SVM, AE-NN One class classifier was trained on pixel data. Pantazi et al. (2016)

L: Лаборатория, F: Поле, ML: Машинное обучение, DL: Глубокое обучение, #Airborne. Для получения информации о дополнительных сокращениях следует обратиться к соответствующей номенклатуре.

С другой стороны, алгоритмы глубокого обучения (DL) более совершенны, чем алгоритмы машинного обучения (ML) (Wang et al., 2021). DL состоит из искусственных нейронных сетей с множеством скрытых слоев, что позволяет обрабатывать более сложные данные ( Mishra et al., 2022a ).

Алгоритмы DL особенно хорошо подходят для задач, включающих сложные взаимосвязи между входными и выходными данными. Например, алгоритмы DL использовались для обнаружения болезней сельскохозяйственных культур путем анализа гиперспектральных изображений и выявления пространственных закономерностей в данных, соответствующих различным заболеваниям (Passos and Mishra, 2022).

Преимущества использования ML и DL при анализе наземных гиперспектральных данных в сельском хозяйстве включают повышение точности прогнозирования урожайности, раннее обнаружение болезней и вредителей, возможность мониторинга роста растений в режиме реального времени и возможность развертывания этих моделей на роботах и ​​платформах.

Однако следует учитывать и некоторые ограничения: алгоритмы ML и DL требуют больших объемов обучающих данных и сложных алгоритмов, которые трудно интерпретировать, что затрудняет понимание основных взаимосвязей между входными и выходными данными. Алгоритмы машинного обучения проще и легче интерпретируются, но могут быть не столь эффективны при обработке сложных взаимосвязей между входными и выходными данными. Алгоритмы глубокого обучения более сложны и способны обрабатывать большие объемы данных и выявлять сложные взаимосвязи между входными и выходными данными.

Алгоритмы глубокого обучения (DL) стали перспективным решением для приложений гиперспектральной визуализации (HSI) благодаря своим возможностям автоматизации, надежности, высокой точности и масштабируемости (Passos and Mishra, 2022 ,  Xu et al., 2020).

Автоматизация извлечения признаков и классификации снижает необходимость ручного выбора признаков, ускоряя процесс (рис. 9) (Wang et al., 2021). Устойчивость этих алгоритмов к шуму и вариациям данных делает их идеальными приложениями, где качество данных может быть проблемой.

Высокая точность этих алгоритмов, особенно сверточных нейронных сетей (CNN), обусловлена ​​их способностью изучать сложные закономерности и признаки в больших объемах данных. Эти алгоритмы также легко масштабируются для обработки больших объемов данных, а трансферное обучение может еще больше повысить их масштабируемость. Для обучения модели CNN можно использовать необработанные наборы данных гиперспектральных изображений, и во многих случаях, как сообщается, они превосходят традиционные модели машинного обучения (Qi et al., 2023).

4.4.1. Решение проблемы исчерпания системной памяти для многомерных данных.

В процессе обучения глубокого обучения большие объемы отдельных гиперспектральных изображений могут быстро исчерпать системную память даже при ограниченном количестве обучающих выборок. Это серьезная проблема, поскольку моделям глубокого обучения требуется большое количество обучающих выборок для надлежащей обобщающей способности.

Если размер данных сам по себе ограничивает это, необходимо значительно снизить пространственное и  спектральное разрешение  . Методы уменьшения размерности хорошо работают для приложений машинного обучения. Однако для приложений глубокого обучения, использующих трехмерные кубы данных в качестве входных данных, обработка данных становится еще более сложной задачей.

Эти приложения глубокого обучения с трудом поддерживают очень большие наборы данных. Методы распределенного обучения или параллелизма — это структуры обучения моделей, которые позволяют распределять данные или модель между несколькими рабочими процессами во время обучения; этими рабочими процессами (системами) могут быть ЦП, ГП и ТПУ (Gupta и Raskar, 2018). В этих структурах для проведения обучения модели используется несколько рабочих процессов. В распределенном обучении подмножество входных данных равномерно распределяется между участниками, и каждый участник получает копию реплицированной модели.

В распределенном обучении части модели распределяются между каждым рабочим процессом, а данные реплицируются (Langer et al., 2020,  Sergeev and Del Balso, 2018). Пространственный параллелизм работает по аналогичному принципу, но вместо разделения данных или модели как единого целого, он разбивает пространственное измерение отдельного изображения на сегменты и распределяет их между доступными рабочими процессами.

Это позволяет использовать гиперспектральные изображения с высоким пространственным и спектральным разрешением для обучения DA. В настоящее время пространственный параллелизм поддерживается только на инфраструктуре TPU Google с использованием библиотеки Mesh-Tensorflow (Shazeer et al., 2018). Применение пространственного параллелизма к гиперспектральным данным сельского хозяйства пока не найдено. В недавнем исследовании для обучения 3D-модели Unet использовались медицинские изображения с разрешением 512 × 512 × 512 (Hou et al., 2019). Это перспективное направление, которое обеспечит большую адаптивность гиперспектральных данных к современным моделям глубокого обучения.

4.4.2. Расширение данных гиперспектральных изображений

Аугментация данных — это хорошо зарекомендовавшая себя методика для глубокого обучения, при которой к данным применяются математические операции (например, вращение, размытие, сдвиг, повышение резкости, яркость, контраст, зеркальное отображение), которые слегка корректируются для увеличения количества обучающих выборок.

Сбор гиперспектральных данных — трудоемкий и длительный процесс, часто приводящий к ограниченному количеству обучающих выборок. Увеличение количества обучающих выборок помогает модели лучше обобщать результаты в задачах классификации. В настоящее время в литературе можно найти онлайн и офлайн режимы аугментации данных. В онлайн-режиме аугментация применяется к данным во время обучения моделей, а в офлайн-режиме данные аугментируются и сохраняются до обучения (Nalepa et al., 2019,  Rochac et al., 2019).

Кроме того, сама аугментация может быть разделена на две категории: (1) аугментация на основе модели и (2) аугментация на основе пространственного преобразования. Аугментация на основе модели использует модели глубокого обучения для создания новых вариантов данных. Генеративные состязательные сети (GAN) используют блоки генератора и  дискриминатора  для генерации новых данных из заданных входных данных. Генератор создает синтетические данные, имитирующие реальные данные, с целью обмануть дискриминатор. Дискриминатор, получая как реальные, так и синтетические данные, обучается различать их.

Ошибки классификации наказываются, что приводит к улучшению реалистичности данных генератором с течением времени. Существует множество вариантов GAN, из которых глубокие сверточные генеративные состязательные сети (DCGAN) в основном используются в гиперспектральной визуализации (HSI) (Tan et al., 2024).

В то время как CNN поддерживают 3D и 1D данные, в современных приложениях DCGAN используются для 1D спектральных данных, и сообщается, что они  обеспечивают  примерно 10% увеличение результатов классификации (Zhang et al., 2022). DCGAN также используются с моделями машинного обучения, такими как DT, RF и SVM ( Tan et al., 2024 ).

К методам расширения данных на основе пространственных преобразований относятся вращение, отражение, транспонирование, случайное перекрытие и масштабирование (рис. 8). Эти методы могут применяться к данным в онлайн- или офлайн-режиме. Методы расширения данных, будь то методы, основанные на моделях или на пространственных преобразованиях, доказали свою эффективность в повышении обобщающей способности и точности классификации моделей ( Haut et al., 2019 ).

Рис. 8. Примеры различных методов расширения данных на основе пространственных преобразований, применяемых к  гиперспектральным изображениям. Красными метками показано изменение ориентации по сравнению с исходными данными (Acción et al., 2020). (Для интерпретации цветовых обозначений на этом рисунке читателю следует обратиться к веб-версии данной статьи.) 

Рис. 9. Упрощенное изображение очень простой архитектуры 3D-CNN.

5. Применение гиперспектральной съемки в точном земледелии

5.1. Исследования по идентификации или классификации сорняков

Поскольку сорняки пространственно похожи на сельскохозяйственные культуры, особенно на ранних стадиях развития, внедрение гиперспектральной визуализации (HSI) для идентификации сорняков рассматривается как возможное решение для их раннего обнаружения. Для эффективного  управления сорняками поля необходимо очистить от сорняков до того, как они начнут расти быстрее, чем культуры.

В то время как при работе с  RGB-изображениями  обученные модели в основном полагаются на пространственные или текстурные характеристики объектов для получения своих выводов. Проблема различения объектов схожего цвета и текстуры может быть решена с помощью данных с высоким спектральным разрешением, полученных с помощью гиперспектральных датчиков (Dammer et al., 2013,  Okamoto et al., 2007).

Благодаря этому гиперспектральные данные также могут быть использованы для различения  биотипов  одного и того же растения. Например, устойчивый и восприимчивый к глифосату  амарант Палмера, который, как было установлено, различается по отражению вблизи VNIR-диапазона (Reddy et al., 2014).

Чистые спектральные сигнатуры, собранные с помощью точечных спектрометров в VNIR-диапазоне, позволяют классифицировать различные сорняки, такие как  кохия , лебеда и амарант водяной (Ширзадифар и др., 2018). Известно, что сорняки производят очень большое количество семян и со временем приобретают устойчивость к гербицидам. Исследования с использованием гиперспектральных данных показали более высокую точность в различении прорастающих и непрорастающих семян и выявили сильную корреляцию между физиологическими свойствами и реакцией  амаранта Палмера на гербициды  с использованием гиперспектральных данных.

Это было невозможно с моделями, обученными на RGB-изображениях (Мацрафи и др., 2017). Портативные гиперспектральные датчики обладают преимуществом высокого пространственного разрешения. Исследования с использованием  бортовых датчиков  часто полезны для определения участков сорняков, а не отдельных культур сорняков (Аткинсон и др., 2014).

Использование бортовых датчиков, таких как бортовой спектрометр изображений для приложений (AISA), для обнаружения небольших участков сорняков дает низкую вероятность успеха из-за низкого пространственного разрешения. Однако модели показывают лучшие результаты при обнаружении участков сорняков, занимающих большую  площадь  (Peerbhay et al., 2016). Таким образом, это говорит о повышенной эффективности наземных и установленных на БПЛА гиперспектральных датчиков по сравнению с датчиками, установленными на самолетах или спутниках, в контексте пространственного разрешения.

Для обучения моделей контролируемой классификации сорняков и сельскохозяйственных культур используются различные методы машинного обучения   . Независимо от способа сбора данных, эти данные разворачиваются и предварительно обрабатываются (Ahmed et al., 2022). Поэтому классификация с помощью моделей машинного обучения в значительной степени осуществляется в автономном режиме и требует глубокого знания данных. Из-за этого автономного характера анализ с помощью машинного обучения часто рекомендуется для исследования взаимодействия длины волны с материалом.

Глубокое обучение (DL) использует пространственную и спектральную информацию из гиперспектральных данных, сохраняя при этом информацию, обычно теряемую в процессе развертывания. Модели DL обучаются на нескольких скрытых слоях, которые имитируют нейроны в человеческом  мозге . Эти слои работают в режиме «черного ящика», то есть параметры обучения модели, используемые для получения выводов, неизвестны.

В литературе можно найти множество реализаций моделей CNN. Авторы сообщали о повышении точности классификации сорняков с помощью объединенных 2D и 3D моделей CNN ( Farooq et al., 2019 ). 3D сети на основе CNN, такие как BS-Net FC, также используются для отбора признаков и, как сообщается, обладают повышенной точностью по сравнению с методами отбора признаков машинного обучения. Модели DL требуют большого объема данных для обучения, и эта потребность удовлетворяется с помощью аугментации данных (Diao et al., 2022).

Для идентификации сорняков разрабатываются различные платформы, использующие гиперспектральную визуализацию (ГСВ). Используются специально изготовленные сенсорные модули, которые записывают только необходимые значимые длины волн, тем самым уменьшая сложность обработки данных и вычислений уже на первом этапе. Эти датчики часто поддерживаются независимо разработанными печатными платами или ПЛИС и позволяют достигать скорости идентификации сорняков, близкой к реальному времени (Symonds et al., 2015).

Некоторые платформы ориентированы только на сбор данных без  задач управления  . Сообщается, что один класс классификаторов сорняков и культур, обученных на данных, собранных с помощью автономно управляемых платформ, дает хорошие результаты точности (Pantazi et al., 2016).

Также разрабатываются многоклассовые модели для идентификации сорняков, которые обучаются на данных, собранных с помощью платформ (Ahmed et al., 2022). Лишь небольшое количество исследований посвящено созданию платформ, способных осуществлять анализ и управление в реальном времени.  Zhang et al. В исследовании (2012a), состоявшемся в два этапа идентификацией сорняков и применением нагретого масла в качестве раствора на пропашных культурах, зараженных сорняками, удалось достичь скорости движения по земле 0,04 м/с с помощью байесовского классификатора, обученного на 13 длинах волн в диапазоне 384–810 нм.

5.2. Выявление болезней и вредителей

Рост растений может быть негативно затронут болезнями, стрессом и  заражением вредителями , что может привести к снижению урожайности и качества или даже к полной остановке роста. Область VNIR оказалась полезной для обнаружения болезни белых кончиков листьев и  паразитизма Orobanche  cumana  у  подсолнечника  (Atsmon et al., 2022).

Модели логистической регрессии, обученные на гиперспектральных данных, могут быть использованы для классификации состояния растений и различных стадий поражения болезнями на досимптоматической стадии (Appeltans et al., 2021). Стресс растений, вызванный присутствием  тяжелых металлов,  таких как ртуть, был обнаружен с использованием области NIR (Yu et al., 2021).

Необходимость удаления фонового шума и выбора пораженных областей интереса для улучшения качества данных имеет важное значение для некоторых приложений, где пораженная болезнью область значительно меньше и окружена другими областями. Например, в случае  угольной гнили  стеблей сои (Nagasubramanian et al., 2019). Исследования в спектральной области также используют различные  индексы растительности  для определения корреляции заболеваний с ростом растений (Xue et al., 2023).

Некоторые реализации моделей 3D-CNN также используют полные  спектральные диапазоны  в качестве входных данных для обучения. Это устраняет необходимость в трудоемком этапе отбора признаков. Доступны портативные гиперспектральные датчики, такие как Specim IQ, которые упростили сбор данных методом линейного сканирования. Модели DCNN, обученные на данных, полученных с помощью БПЛА, показали хорошие результаты обнаружения желтой  ржавчины  у  озимой пшеницы (Zhang et al., 2019a).

При этом глубокое обучение (DL) доказало свою эффективность в устранении некоторых промежуточных этапов анализа. В упомянутых выше исследованиях обученные модели не применяются для приложений реального времени и сосредоточены на обучении моделей, которые (1) способны точно классифицировать/обнаруживать объекты и (2) сокращают некоторые этапы предварительной обработки.

Хотя применение гиперспектральных данных в реальном времени для обнаружения болезней и вредителей ограничено, бесспорно, что для обнаружения дефектов и принятия мер в реальном времени требуются низкие  спектральные диапазоны  для удовлетворения потребностей в обработке и передаче данных. Глубокое обучение обеспечивает скорость обработки данных в реальном времени для подобных приложений. Варианты моделей CNN, такие как объединенные модели 2D-3DCNN, достигли скорости анализа 0,03 с/изображение при проверке 32 кофейных зерен на одном изображении и их сортировке с помощью роботизированной руки (Chen et al., 2022).

5.3. Биохимический и биофизический анализ

Фенотипирование и оценка состояния здоровья растений могут определяться ключевыми факторами, такими как индекс листовой поверхности, содержание хлорофилла и азота, урожайность и содержание воды. Гиперспектроскопия с использованием гиперспектральных изображений оказалась более эффективной в выявлении влияния этих параметров по сравнению с мультиспектральной и  тепловой съемкой  (Jarolmasjed et al., 2018).

Содержание воды является важным параметром для здоровья и свежести растений. Было установлено, что диапазон длин волн 1350–1650 нм позволяет успешно определять относительное содержание воды по гиперспектральным данным, собранным в полевых и лабораторных условиях (Junttila et al., 2022).

Этапы предварительной обработки гиперспектральных данных важны. Использование необработанных спектральных данных для обучения моделей машинного обучения снижает точность определения биохимических и биофизических параметров (Singh et al., 2022).

Точное планирование внесения удобрений для деревьев требует количественной оценки азота (N), поскольку он является основным лимитирующим фактором после воды. Метод частичной регрессии наименьших квадратов (PLSR) и  вегетационные индексы  использовались для определения содержания азота в растениях и физиологических изменений в дневное время и в условиях засухи (Mertens et al., 2021,  Rubio-Delgado et al., 2021).

Исследование биохимических свойств растений, как правило, опирается на спектральные данные, а не на пространственные. В исследованиях, определяющих содержание воды, азота или стресс растений, часто используются точечные спектрометры из-за их высокого спектрального разрешения. Еще одна причина заключается в том, что биохимические факторы не обязательно зависят от физических параметров растений, а скорее от их химического состава.

Гиперспектральные платформы включают платформу фенотипирования Phenovision (VIB-UGent Center for Plant Systems Biology, Гент, Бельгия), которая облегчает автоматизированный сбор временных данных с использованием нескольких датчиков.

Два из них — это линейные сканирующие гиперспектральные датчики (ImSpector V10E и N25E), обеспечивающие комбинированный спектральный диапазон 400–2500 нм.  Vigneau et al. В исследовании (2011 г.)  использовался линейный сканирующий датчик (HySpex VNIR 1600–160), установленный на высоте 1 м над листвой на линейной направляющей, закрепленной на тракторе, с диапазоном спектра 400–1000 нм.

Не предпринималось никаких мер по созданию искусственных источников освещения, как это обычно делается, и данные собирались с использованием солнечного излучения. Растения, запечатленные на снимках, были изолированы с помощью вмешательства человека, чтобы избежать перекрытия листьев.

6. Применимость гиперспектральной съемки в точном земледелии.

Внедрение многомерных данных в системы реального времени — многогранная задача. Постоянно развивающиеся области компьютерных наук и искусственного интеллекта позволяют работать с многомерными данными со скоростью, сопоставимой со скоростью реального времени.

Однако в большинстве современных исследований это достигается только после уменьшения размерности. В результате можно подвергнуть сомнению эффективность использования гиперспектральных изображений (ГСВ) по сравнению с RGB-изображениями или  мультиспектральными изображениями.

ГСВ доказали свою эффективность в сценариях, где RGB-изображения оказались неэффективными. Таким образом, ГСВ имеет совершенно иной набор применений по сравнению с RGB-изображениями. Далее обсуждаются применимость данных ГСВ, платформ ГСВ, а также связанные с ними передовые методы анализа и модели.

6.1. Обоснование использования гиперспектральных данных вместо RGB и мультиспектральных данных.

Гиперспектральные данные ценны благодаря возможности проведения  спектроскопического анализа  материалов. Это позволяет идентифицировать биохимические характеристики растений, а также обнаруживать заболевания и повреждения растений, даже если они не видны визуально.

Поэтому, прежде всего, гиперспектральная визуализация является исследовательским инструментом, позволяющим получать ценную информацию о материалах путем идентификации значимых характеристик, обычно ограниченных 5–10 полосами. После идентификации значимых исследовательских характеристик растений с использованием полного спектра, логично выбрать датчики, работающие в этих значимых полосах, учитывая требования к сбору данных в реальном времени.

6.2. Гиперспектральные платформы

Современные гиперспектральные платформы можно разделить на две distinct категории: предназначенные исключительно для сбора данных, и платформы, которые включают в себя задачи управления в сочетании со сбором данных. Сбор данных с использованием точечных сканирующих датчиков обычно осуществляется вручную с помощью портативных или рюкзачных устройств. Мобильные платформы для сбора данных ограничены использованием линейных сканирующих или моментальных датчиков, при этом исследований с использованием точечных сканирующих датчиков не обнаружено.

Хотя существенной разницы в точности статистических моделей или моделей машинного обучения не наблюдалось между закрытыми системами, использующими искусственные источники освещения, и открытыми системами, использующими  солнечное излучение  в качестве источника освещения, следует отметить, что платформы открытых систем зависят от солнечного излучения для сбора данных, и, по имеющимся данным, сбор данных в облачную или ночную погоду не проводился. Современные платформы, выполняющие задачи управления, используют значительные методы уменьшения размерности для достижения скорости обработки в реальном времени.

Это оправдано, поскольку для достижения удовлетворительной точности модели не требуются многомерные спектральные данные. В контексте фотоакустической съемки гиперспектральные изображения (ГСВ) могут использоваться для идентификации значимых диапазонов, что позволяет разрабатывать платформы реального времени, оснащенные мультиспектральными или ПЗС-датчиками с переменными фильтрами в диапазоне этих значимых диапазонов.

В случаях, когда пространственные и спектральные различия минимальны, использование гиперспектральных датчиков оправдано, особенно когда датчики низкого диапазона в определенной области длин волн недоступны или когда разрабатывается инструмент для нескольких объектов с различными пространственными и спектральными профилями.

6.3. Машинное обучение и глубокое обучение

Технологии машинного обучения способствовали разработке классификационных моделей, способных достигать высокой точности в обнаружении различных признаков растений. Интеграция пространственной информации со спектральными данными стала возможной благодаря глубокому обучению (DL). Несмотря на высокую точность, эти модели по-прежнему зависят от предварительной обработки и аугментации данных. Хотя можно утверждать, что DL требует меньше предварительной обработки, чем традиционные модели машинного обучения, оно требует большого набора данных, получение которого может быть сложной задачей в случае гиперспектральных изображений (HSI) по сравнению с RGB-изображениями. Хотя исследования по обучению этих моделей набирают обороты, важно также сосредоточиться на их внедрении, которому в настоящее время уделяется меньше внимания.

7. Общие наблюдения по применению гиперспектральной визуализации в режиме реального времени.

В данном обзоре гиперспектральная визуализация (ГСВ) продемонстрировала превосходные результаты в различных сельскохозяйственных приложениях. Высокая размерность гиперспектральных данных позволяет решать задачи, недостижимые с помощью RGB и мультиспектральной визуализации.

В частности, она способна определять взаимодействие различных объектов в широком диапазоне длин волн. Это исследование может помочь нам выявить различия между объектами с одинаковыми текстурными, цветовыми и физическими свойствами, тем самым дифференцируя объекты на основе их химического состава. Например, дифференциация  биотипов  одного и того же растения, классификация похожих культур и сорняков, а также обнаружение дефектов в плодах, невидимых невооруженным глазом. Ниже перечислены некоторые важные выводы, полученные в результате данного обзора:

  • Снижение размерности — важный шаг, который обычно используется в большинстве исследований. Выбор наиболее значимых полос помогает уменьшить размер данных, устранить избыточность данных и способствует работе в приложениях реального времени.
  • Диапазон длин волн 400–1000 нм является наиболее распространенным для применения в сельском хозяйстве. При этом значимые значения длин волн для различных областей применения различаются.
  • Выбор этапов предварительной обработки полностью зависит от исследователя и точности моделей. Единого набора правил для выбора этапов предварительной обработки не существует. Наиболее распространенными этапами предварительной обработки оказались калибровка изображения и коррекция рассеяния.
  • Внедрение FPGA и GPU в конвейер анализа может повысить скорость обработки. FPGA, благодаря возможности создания собственной логики, известны своей несколько более высокой скоростью по сравнению с GPU и CPU. FPGA также позволяют реализовывать логику сжатия данных, что в целом обеспечивает лучшую производительность. В настоящее время внедрение FPGA в целом недостаточно изучено из-за ограниченных знаний, особенно в сельскохозяйственном секторе.
  • Модели глубокого обучения (DL) по сравнению с моделями машинного обучения (ML) позволяют использовать более оптимизированный подход к анализу. Модели машинного обучения в значительной степени зависят от предварительной обработки данных. В то время как модели глубокого обучения не требуют интенсивной предварительной обработки или иногда работают без нее.
  • Расширение данных — это полезный подход для обучения моделей глубокого обучения и повышения их обобщающих способностей при ограниченном объеме полученных гиперспектральных данных.
  • Проблемы исчерпания системной памяти, часто возникающие при обучении гиперспектральных изображений высокого разрешения, могут быть решены с помощью распределенных обучающих фреймворков.
  • Объяснение биохимических характеристик растений обычно достигается с помощью анализа спектральных данных без необходимости использования пространственной информации. В настоящее время это обрабатывается с помощью моделей машинного обучения или одномерных сверточных нейронных сетей (1D-CNN). Однако в последнее время было обнаружено, что комбинированные модели, такие как двумерные и трехмерные сверточные нейронные сети, обеспечивают более высокую точность.
  • В настоящее время в сельскохозяйственных исследованиях все большее число исследований посвящено разработке гиперспектральных платформ. Прогнозируется, что эта тенденция сохранится в ближайшие годы по мере развития технологий.

8. Направления будущих исследований

Современные тенденции исследований в области гиперспектральной визуализации (ГСВ) и анализа данных (АО) убедительно демонстрируют переход к приложениям реального времени. Однако технологии и методы анализа находятся на начальных этапах развития, и для дальнейшего роста этой научной области и смежных отраслей необходимы дополнительные исследования и разработки. На основе данного обзора можно выделить следующие потенциальные направления будущих исследований: (i) Разработка программного обеспечения с открытым исходным кодом, библиотек и инструментальных пакетов для сбора гиперспектральных данных. Такие инструменты должны поддерживать датчики, установленные на БПЛА и наземных транспортных средствах, совместимые со встроенными системами, такими как NVIDIA Jetsons или другими мощными портативными платформами. (ii) Разработка экономически эффективных и практичных платформ для записи гиперспектральных данных в реальном времени является важнейшим направлением будущих исследований и разработок. (iii) Расширение исследований по применению ПЛИС и графических процессоров в анализе гиперспектральных данных для АО. Что еще более важно, ПЛИС не используются в сельскохозяйственном сообществе так широко, как центральные процессоры и графические процессоры. (iv) Внедрение моделей машинного обучения и глубокого обучения для приложений анализа гиперспектральных данных в реальном времени для АО. Несмотря на то, что многие модели обучены с высокой точностью, в настоящее время развернуты лишь немногие из них, и необходимо изучить возможность масштабной консолидации моделей, которые сделают их надежными и применимыми к различным сценариям. (v) Создание и развертывание автономных платформ, использующих независимо разработанные инструменты для сбора данных, навигации, анализа и развертывания моделей, является еще одним важным направлением будущих исследований.

9. Выводы

Систематический анализ литературы за последние 20 лет показывает значительный потенциал гиперспектральных датчиков (ГСВ) в сельском хозяйстве для мониторинга и анализа урожая в режиме реального времени. Приведенная ниже методология систематического обзора литературы выявила растущую тенденцию к использованию гиперспектральных датчиков с высоким пространственным разрешением в сельскохозяйственных приложениях. Последние исследования сосредоточены на  спектральном анализе  с разработкой платформ для сбора, анализа и обработки данных.

В исследованиях в качестве платформ для полевых и лабораторных работ использовались наземные транспортные средства, БПЛА и беспилотные наземные транспортные средства. Некоторые исследователи предполагают потенциал для применения в режиме реального времени в будущем, и ряд исследований уже продемонстрировал успешное использование гиперспектральных датчиков в режиме реального времени. В качестве источников освещения для этих платформ используются как естественное солнечное освещение в полях, так и галогенное освещение в замкнутых системах. Выбор освещения не влиял на точность модели, но влиял на условия записи данных и вносил изменчивость в освещение и сложности обработки.

Для сбора и анализа данных было доступно лишь ограниченное количество программ с открытым исходным кодом, при этом большинство исследований опирались на проприетарное программное обеспечение. Коррекция сигнала была определена как важнейший этап предварительной обработки при использовании моделей машинного обучения и статистического анализа.

Для выделения чистых спектров различных классов к пространственно-спектральным изображениям применялись методы удаления фона или сегментации. Исследования по сжатию данных для наземных гиперспектральных датчиков все еще находятся на ранней стадии, большая часть работы проводится на спутниковых гиперспектральных данных.

Снижение размерности было определено как наиболее распространенный подход к уменьшению размера данных, с тенденцией к выбору 10 или менее полос из всего спектрального диапазона для эффективной обработки в реальном времени. Наблюдается растущая тенденция к использованию графических процессоров и встроенных систем в анализе гиперспектральных данных.

Внедрение ПЛИС в основном ограничивалось бортовыми или  спутниковыми датчиками, но их использование с наземными датчиками начинает появляться. Несмотря на многочисленные преимущества, лишь ограниченное количество наземных платформ для записи гиперспектральных данных может выполнять анализ в реальном времени и в основном ограничено лабораторным использованием.

Современные тенденции в исследованиях продемонстрировали потенциал алгоритмов глубокого обучения (DL) как мощного инструмента по сравнению с традиционными методами машинного обучения (ML), поскольку они могут в некоторой степени облегчить задачу выбора признаков и предварительной обработки. Сравнение моделей DL и ML с использованием полного и подмножества спектральных измерений не повлияло на точность.

Растущая тенденция исследований в этой области показывает, что все больше приложений начинают использовать 3D-гиперспектральные данные (с пространственной и спектральной информацией) в качестве обучающих выборок для обучения DL. Аугментация данных на основе моделей или пространственных преобразований помогла решить проблему ограниченности гиперспектральных данных. Распределенные обучающие платформы могут помочь в обучении гиперспектральных изображений высокого разрешения для DL.

Методы сбора данных, предварительной обработки и уменьшения размерности имеют важное значение для приложений реального времени. Применение гиперспектральных изображений в природоохранной деятельности в основном сосредоточено на задачах классификации с использованием моделей ML и DL. Ключевые области исследований включают идентификацию сорняков, болезней и вредителей, а также анализ биохимических и биофизических характеристик растений.

В исследованиях также изучалась возможность идентификации значимых спектральных полос для конкретных применений, однако полученные результаты не были последовательно подтверждены последующими исследованиями. В целом, широко признано, что ближний инфракрасный диапазон 400–1000 нм является наиболее актуальным для сельскохозяйственных применений.

В то время как большинство исследований использовали традиционные методы сбора и обработки данных с помощью проприетарного программного обеспечения, лишь в ограниченном количестве работ рассматривалось использование встроенных систем, ПЛИС, графических процессоров и анализа, разработанного специально для приложений реального времени.

Потенциальные направления будущих исследований в области разработки гиперспектральных изображений в Пенсильвании включают разработку программного обеспечения и экономически эффективного оборудования, использование ПЛИС и графических процессоров, консолидированные модели машинного и глубокого обучения, а также разработку автономных платформ.

В целом, этот обзор подчеркивает огромный потенциал наземных гиперспектральных изображений в Пенсильвании и их будущее в качестве инструмента исследования для мониторинга и анализа урожая в реальном времени. Развитие технологии гиперспектральных изображений открывает огромные перспективы для будущего Пенсильвании и  продовольственной безопасности.

Литература

ЗАКАЗАТЬ СИСТЕМУ

СХОЖИЕ СТАТЬИБОЛЬШЕ ОТ АВТОРА