Гиперспектральная система машинного зрения для мониторинга растений в космосе

1. Введение

В системах производства свежих продуктов, которые будут развернуты на будущих космических аппаратах НАСА, мониторинг роста и состояния растений на протяжении всего периода развития урожая, от рассады до сбора урожая, необходим для обеспечения безопасности и сохранности продуктов питания, предназначенных для употребления в пищу астронавтами во время окололунных, лунных и марсианских миссий (Monje et al., 2019). 

В настоящее время мониторинг растений в камерах для выращивания на борту Международной космической станции (например, в камерах НАСА Veggie и Advanced Plant Habitat) проводится путем оценки темпов роста растений на основе фотоанализа ежедневного увеличения площади листьев.

Этот ограниченный подход не позволяет выявлять стрессовые состояния растений, дефицит питательных веществ и болезни, которые обычно развиваются за несколько дней до появления каких-либо видимых изменений листьев (Massa et al., 2016;  Zeidler et al., 2019). Существует потребность в новых методах мониторинга, которые могли бы отслеживать состояние растений до появления видимых симптомов.

Для более эффективного использования в камерах для выращивания растений с ограниченным объемом предпочтительны компактные и автоматизированные системы мониторинга, требующие минимального вмешательства экипажа. Своевременное выявление стрессовых факторов обеспечивает безопасность пищевых продуктов, выращиваемых для потребления человеком.

Неразрушающие оптические методы зондирования и технологии визуализации быстро развиваются и применяются для фенотипирования растений (Zhao et al., 2019;  Yang et al., 2020). Платформы высокопроизводительного фенотипирования (ВПФ) были разработаны государственным и частным секторами для использования как в естественных полевых условиях, так и в контролируемой среде в различных областях применения.

Полевые платформы ВПФ могут использовать воздушные или наземные подходы для фенотипирования сельскохозяйственных культур. Воздушные системы обычно несут миниатюрные и легкие бортовые датчики на беспилотных летательных аппаратах (БПЛА), таких как многороторные, с неподвижным крылом и летающие крылья, а также вертолеты и дирижабли (Yang et al., 2017).

Высота и скорость полета БПЛА позволяют получать изображения растительного покрова на уровне поля, охватывая весь участок за считанные минуты. Наземные системы были созданы на основе тележек, перемещаемых вручную (White & Conley, 2013), самоходных тракторов (Jiang et al., 2018), и подвесных систем, поддерживаемых портальными конструкциями (Virlet et al., 2017) или кабелем (Bai et al., 2019).

Благодаря большой грузоподъемности датчиков и емкости батарей эти системы могут использовать несколько режимов измерения для длительных измерений на уровне растений. Фенотипирование сельскохозяйственных культур также может проводиться на уровне листьев с использованием портативных сенсорных устройств, таких как ручной гиперспектральный сканер (Wang et al., 2020).

Измерения отдельных листьев могут быть объединены с информацией о географическом местоположении для создания геопривязанных данных для картирования состояния растений в полевых условиях. С другой стороны, платформы высокопроизводительного фенотипирования (HTP) для сельского хозяйства в контролируемой среде были разработаны в основном для использования в теплицах и камерах для выращивания растений и позволяют собирать высококачественные фенотипические данные от растений с низкой изменчивостью благодаря относительно однородной среде.

Такой сбор обычно ограничен и затруднен в естественных полевых условиях. Крупномасштабные коммерческие системы фенотипирования, разработанные для теплиц, обычно используют подход «растение-датчик» для автоматизированного осмотра растений на конвейерных лентах, рассматриваемых сбоку или сверху, с помощью нескольких интегрированных датчиков изображения (Ge et al., 2016).

Для камер для выращивания растений системы фенотипирования, как правило, сконфигурированы в конфигурации «датчик-растение» для осмотра образцов растений сверху (Lien et al., 2019). Датчики также могут быть установлены на роботизированных манипуляторах (например, камеры «глаз в руке») для проведения фенотипирования отдельных образцов растений в помещении (Bao et al., 2018).

Для оценки характеристик растений, таких как рост, стресс и болезни, разработаны различные методы визуализации. Примеры включают цветную визуализацию для изучения морфологии и геометрии, ближнеинфракрасную визуализацию для оценки содержания воды в листьях, флуоресцентную визуализацию для оценки содержания хлорофилла, гиперспектральную визуализацию для мониторинга стресса, тепловизионную съемку для измерения температуры листьев и 3D-визуализацию для профилирования структуры побегов и листового покрова (Li et al., 2014).

Гиперспектральная визуализация позволяет одновременно получать как спектральную, так и пространственную информацию об объекте, что делает ее мощным инструментом для многих применений в пищевой и сельскохозяйственной отраслях (Qin et al., 2017).

В контролируемых условиях помещений гиперспектральная отражательная визуализация ближнего действия обычно использует галогенные лампы для широкополосного освещения растений и применяется для фенотипирования растений (Mishra et al., 2017). Различные методы анализа гиперспектральных изображений показали многообещающие результаты для обнаружения раннего начала стресса и болезней растений (Lowe et al., 2017).

Флуоресцентная визуализация — еще один полезный метод для мониторинга растений, например, для оценки устойчивости растений к патогенам (Rousseau et al., 2013) и обнаружения болезней растений (Pérez-Bueno et al., 2016). В последнее время методы 3D-визуализации были объединены с гиперспектральной визуализацией ближнего действия для уменьшения влияния геометрии различных структур растений на спектральные и пространственные данные, например, с использованием линейного лазерного сканера, основанного на принципе триангуляции (Behmann et al., 2016), и датчика глубины, основанного на принципе времени пролета (Huang et al., 2018).

Интеграция многомодальных методов визуализации, как правило, может повысить возможности сенсорного анализа для фенотипирования растений (Jiang et al., 2018;  Bai et al., 2019;  Nguyen et al., 2023). Однако, было опубликовано лишь несколько сообщений о системах обнаружения, объединяющих методы отражательной и флуоресцентной визуализации в одной системе для   мониторинга растений на месте .

Традиционные гиперспектральные системы визуализации, основанные на раздельных спектрографах и камерах, громоздки и тяжелы, их трудно часто перемещать или размещать в небольших помещениях. Существующие коммерческие системы фенотипирования в теплицах, как правило, также слишком велики. Кроме того, мощные галогенные лампы, обычно используемые для гиперспектральной отражательной визуализации, выделяют много тепла, что не идеально для освещения нежных растений с близкого расстояния.

Недавно на рынок были выпущены компактные универсальные гиперспектральные камеры, что позволило разработать компактные системы визуализации. Примерами являются портативная гиперспектральная камера со встроенным сканером для обнаружения болезней растений (Behmann et al., 2018), гиперспектральная камера для моментальных снимков на микроскопе для идентификации бактерий в молочных продуктах (Unger et al., 2022) и миниатюрная линейная гиперспектральная камера на БПЛА для фенотипирования кукурузы (Nguyen et al., 2023).

Благодаря развитию светодиодных технологий, широкополосные светодиодные лампы могут стать альтернативой традиционным галогенным лампам для измерения отражательной способности, что особенно важно, когда нагрев образца вызывает опасения, например, в биомедицинских приложениях (Stergar et al., 2022). Для разработки гиперспектральных систем визуализации следующего поколения, способных автономно контролировать состояние растений и безопасность пищевых продуктов в будущих пилотируемых космических миссиях, было заключено межведомственное соглашение между известной Службой сельскохозяйственных исследований Министерства сельского хозяйства США (ARS) и Космическим центром имени Кеннеди НАСА (KSC) с целью использования их взаимодополняющих областей экспертизы — разработки сенсорных технологий ARS и производства сельскохозяйственных культур в космосе KSC.

В качестве первого шага в этом совместном исследовании была предпринята попытка разработать компактную и автоматизированную гиперспектральную прототипную систему для установки в камере выращивания растений KSC для проведения экспериментов по визуализации салатных культур, выращиваемых в контролируемых условиях.

Система была разработана для сбора как гиперспектральных изображений отражательной способности, так и флуоресцентных изображений в течение одного цикла визуализации с использованием широкополосных и УФ-А светодиодных ламп. Конкретные цели данной методологической статьи заключались в следующем: (1) представить проектирование системы, разработку, программное обеспечение, калибровку, работу и методы обработки гиперспектральных изображений образцов растений и (2) продемонстрировать производительность и возможности системы на примере применения для обнаружения засушливого стресса у салата.

2. Материалы и методы

2.1 Гиперспектральная система мониторинга состояния растений

2.1.1 Разработка системы

Система гиперспектральной визуализации, разработанная для автоматизированного контроля состояния растений, выращиваемых в камере с контролируемой средой, схематически показана на  рисунке 1. Поскольку система предназначена для работы в ограниченном пространстве камеры для частого получения изображений неподвижных растений, все основные аппаратные компоненты, включая освещение, камеру и подвижную платформу, должны быть компактными и легкими для установки системы визуализации сверху.

Такое расположение датчика относительно образца отличается от ранее разработанных нами гиперспектральных систем, которые обычно визуализируют движущиеся образцы с помощью стационарных источников света и камер (от образца к датчику)  Kim et al., 201 ).

Система использует два светодиодных линейных источника света для освещения образцов растений с целью получения гиперспектральных изображений — один для обеспечения видимого и ближнего инфракрасного (VNIR) света для визуализации отражения, а другой — отдельно для обеспечения ультрафиолетового (UV-A) возбуждающего света для флуоресцентной визуализации. В частности, в двух источниках света (UX-CLL509-C428C650IR810IR850IR915-24Z-US2 и UX-CLL509-UV365-24Z-US2, Metaphase Technologies, Бристоль, Пенсильвания, США) используются светодиоды с пятью длинами волн в видимом и ближнем инфракрасном диапазоне (428, 650, 810, 850 и 915 нм) и одной длиной волны в ультрафиолетовом диапазоне А (365 нм).

Интенсивность светодиодов на шести длинах волн может регулироваться независимо двумя цифровыми регуляторами яркости (по три канала каждый). Каждый источник света установлен с помощью двух шарнирных соединений под углом приблизительно 10° к вертикали и имеет полноразмерную линзу для создания узкого и структурированного пучка (приблизительно 54 см в длину и 1,5 см в ширину на поверхности образца) с высокой интенсивностью и концентрированным светом для узкого линейного поля зрения. Каждый из двух линейных источников света заключен в алюминиевый корпус, что минимизирует выделение тепла во время быстрой съемки.

Для измерения отражения/флуоресценции света от образцов растений в диапазоне длин волн VNIR (400–1000 нм) используется компактная гиперспектральная камера с линейным сканированием (microHSI 410, Corning Specialty Materials, Кин, Нью-Гэмпшир, США). Миниатюрный твердотельный спектрограф Оффнера и детектор с матрицей фокальной плоскости CMOS (12-битный, 1936×1216 пикселей) интегрированы в компактный корпус для универсальной гиперспектральной камеры. Широкоугольный объектив с низким уровнем искажений и фокусным расстоянием 5 мм (Edmund Optics, Баррингтон, Нью-Джерси, США) позволяет получать изображения по всей ширине камеры для выращивания растений (53,3 см) в пределах ее высоты.

Перед объективом установлен длинноволновый (>400 нм) желатиновый фильтр (Wratten 2A, Kodak, Рочестер, Нью-Йорк, США), который удаляет пик источника УФ-А излучения на длине волны 365 нм и, следовательно, эффекты второго порядка вблизи 730 нм. Светильники и камера установлены на ручном подвижном столике (Thorlabs, Ньютон, Нью-Джерси, США), обеспечивающем вертикальную регулировку на 5 см для съемки растений разной высоты. Ручной столик установлен на линейном моторизованном столике с ходом 80 см (Intelligent Actuator, Лос-Анджелес, Калифорния, США), который перемещает светильники и камеру для получения изображений методом линейного сканирования сверху.

Под исходным положением камеры на одном конце камеры установлена ​​стандартная панель для коррекции плоского поля на изображениях отражения растений, изготовленная на заказ (Labsphere, Норт-Саттон, Нью-Гэмпшир, США). Когда съемка не ведется активно, потолочный светодиодный светильник для выращивания растений (RX30, Heliospectra, Гётеборг, Швеция) обеспечивает непрерывное, имитирующее полный спектр солнечного света для фотосинтеза растений. Камера для выращивания растений, оборудованная системой съемки, размещается в темном помещении, чтобы избежать влияния окружающего света как на рост растений, так и на съемку.

2.1.2 Системное программное обеспечение

Программное обеспечение системы обработки изображений было разработано с использованием LabVIEW (v2017, National Instruments, Остин, Техас, США) в операционной системе Microsoft Windows 10 на ноутбуке для обеспечения удобного графического интерфейса пользователя (рис. 2).

Для взаимодействия с основными компонентами оборудования, включая светодиодные лампы VNIR и UV-A, светодиодный светильник для выращивания растений, гиперспектральную камеру и моторизованный подвижный столик, использовались комплекты разработки программного обеспечения (SDK) от производителей оборудования.

Функции из SDK и LabVIEW использовались для реализации задач параметризации оборудования и передачи данных, таких как протокол UDP (User Datagram Protocol) для управления светодиодным освещением, универсальная последовательная шина (USB) для управления камерой, модуль разработки LabVIEW Vision Development Module (VDM) для отображения и обработки изображений, а также последовательная связь для управления перемещением столика. Получение изображений может быть начато вручную в любое время или автоматически с помощью функции синхронизации (например, один раз в день в 9:00).

В процессе получения изображений отображаются и построчно обновляются пара изображений отражения и флуоресценции, а также исходный спектр и пространственный профиль, демонстрируя ход сканирования в реальном времени. После каждого измерения изображения отражения и флуоресценции, полученные с одной и той же сцены, сохраняются отдельно в стандартном формате чередования полос по строкам (BIL) с добавлением временных меток к именам файлов. Сохраненные изображения могут быть обработаны и проанализированы в автономном режиме с помощью собственных программ, разработанных на MATLAB (R2022a, MathWorks, Natick, MA, США).

2.1.3 Работа системы

При запуске цикла съемки вручную или автоматически светодиодный светильник для выращивания растений выключается, чтобы исключить помехи при получении гиперспектральных изображений. Затем включается линейный источник света в ближнем инфракрасном диапазоне (VNIR) на 30 секунд для стабилизации светодиодного излучения на пяти длинах волн. После этого моторизованный подвижный столик начинает движение к дальнему концу камеры для выращивания растений.

По мере перемещения столика гиперспектральная камера непрерывно собирает сигналы отражательной способности по линейному сканированию, проходя над эталоном отражательной способности, а затем над образцами растений, расположенными ниже. Когда датчик достигает дальнего конца камеры, получение изображения отражательной способности завершается, и источник света в ближнем инфракрасном диапазоне (VNIR) выключается.

Затем включается линейный источник света в ультрафиолетовом диапазоне (UV-A), и камера начинает непрерывный сбор сигналов флуоресценции по линейному сканированию, в то время как столик возвращается в исходное положение. Когда столик достигает своего исходного положения, источник света в ультрафиолетовом диапазоне (UV-A) выключается, завершая один полный цикл съемки, в результате которого получаются две гиперспектральные фотографии — одна отражательная и одна флуоресцентная — для одной и той же сцены с образцами растений.

Наконец, светодиодный светильник для выращивания растений снова включается, чтобы продолжать обеспечивать растения имитированным солнечным светом. В дополнение к режиму непрерывного перемещения, система также может выполнять пошаговое гиперспектральное сканирование (т.е. режим «стоп-и-старт»), которое, как правило, не требует регистрации изображений для выравнивания изображений отражения и флуоресценции одной и той же сцены при использовании одинакового шага для обоих режимов съемки.

2.1.4 Калибровка системы

Для гиперспектральной камеры была проведена спектральная калибровка с использованием пяти стандартных калибровочных ламп, включая аргоновую, криптоновую, неоновую, ксеноновую и ртутно-неоновую, для сопоставления индексов пикселей с длинами волн на основе модели линейной регрессии (рис. 3).

Для 1216 пикселей вдоль спектрального измерения детектора было установлено, что индексы пикселей 401–700 соответствуют диапазону длин волн 408–1001 нм с интервалом 1,98 нм. Следовательно, для спектрального анализа было собрано только 300 пикселей в видимом и ближнем инфракрасном диапазоне. С другой стороны, для пространственной калибровки системы с использованием линзы с фокусным расстоянием 5 мм и рабочим расстоянием 214 мм длина мгновенного поля зрения (IFOV) камеры была определена как 484 мм по всем 1936 пространственным пикселям, что привело к пространственному разрешению приблизительно 0,25 мм/пиксель вдоль направления линии сканирования.

Для направления перемещения блока формирования изображения вдоль заданного расстояния пространственное разрешение зависит от скорости перемещения платформы и общего количества сканирований. Например, при скорости перемещения 20 мм/с потребуется 40 с для сканирования 800 линий в одном направлении на расстояние 800 мм, что приведет к пространственному разрешению приблизительно 1 мм/пиксель.

Для синхронизации непрерывного построчного сканирования изображений и перемещения платформы скорость перемещения платформы автоматически определяется системным программным обеспечением на основе независимо выбранного времени экспозиции камеры (т.е. низкая скорость для длительного времени экспозиции и высокая скорость для короткого времени экспозиции).

На основе результатов тестирования с использованием текущего ноутбука с выбранными временами экспозиции и соответствующими скоростями перемещения платформы была обнаружена эмпирическая обратная зависимость между скоростью перемещения (V в мм/с) и временем экспозиции (T в с) (т.е., V = 1/T). Например, при выдержке 0,05 и 0,1 с скорость движения была определена как 20 и 10 мм/с соответственно. Следует отметить, что на это соотношение могут влиять фактическая частота кадров и скорость передачи данных по USB при подключении камеры к разным компьютерам.

2.2 Обработка гиперспектральных изображений

В этом разделе описаны процедуры обработки исходных гиперспектральных изображений отражения и флуоресценции, включая спектральное и пространственное усреднение, коррекцию плоского поля, удаление фона и регистрацию изображений. Для демонстрации результатов обработки изображений использовались образцы салата драгун (Lactuca sativa), высаженные в горшки с почвой размером 10 см². Следует отметить, что все изображения, представленные в данной статье, были получены в режиме непрерывного сканирования.

Гиперспектральные изображения отражения и флуоресценции были получены со стандартной панели и салата в горшке с использованием времени экспозиции 0,05 с, 1200 пространственных пикселей и 350 линейных сканирований на расстоянии 350 мм, что позволило получить два исходных гиперкуба размером 1200×350×300 (X×Y×λ). Первоначальное сглаживание спектральных и пространственных данных было выполнено на исходных 3D-изображениях путем усреднения по группам из трех соседних пикселей в спектральном измерении (λ), а также по группам из четырех соседних пикселей в направлении линии сканирования камеры (X).

В результате были созданы два уменьшенных гиперкуба размером 300×350×100 пикселей с пространственным разрешением 1 мм/пиксель как по оси X, так и по оси Y и спектральным интервалом 5,94 нм. Используя значения отражательной способности в видимом и ближнем инфракрасном диапазоне стандартной эталонной панели (т.е. 100%), была проведена коррекция плоского поля ( Kim et al., 2001 ) для преобразования значений интенсивности в усредненном изображении в значения относительной отражательной способности (0–100%).

Для удаления фона салата был использован корреляционный анализ для определения оптимального двухполосного коэффициента отражения (т.е. Rλ1/Rλ2, где Rλn обозначает однополосное изображение отражения на длине волны λn) для отделения листьев от почвы.

Спектры отражения салата и почвы были извлечены из областей интереса (ROI), которые были вручную выбраны из однополосного изображения на длине волны 815 нм (высокий коэффициент отражения для салата). Спектры салата и почвы были обозначены цифрами 1 и 2 соответственно.

Были рассчитаны коэффициенты корреляции между всеми двухполосными коэффициентами отражения спектров ROI и значениями меток. Изображение с коэффициентом отражения, давшее наивысшую корреляцию, было преобразовано в бинарное маскирующее изображение с помощью единого порогового значения, вычисленного с использованием метода Оцу (Otsu, 1979).

Для совмещения изображений отражения и флуоресценции одного и того же образца в качестве калибровочного шаблона для регистрации изображений на основе признаков использовался белый лист бумаги с напечатанной сеткой из черных точек, где изображение отражения было фиксированным, а изображение флуоресценции — изменяющимся. Для выполнения всех процедур обработки изображений использовались программы, разработанные в MATLAB.

2.3 Применение для обнаружения засушливого стресса у растений

Система гиперспектрального мониторинга состояния растений предназначена для раннего выявления абиотических стрессов (например, засухи, переувлажнения и дефицита питательных веществ) и болезней растений (например, бактериальных, грибковых и вирусных) у культур, выращиваемых в контролируемых условиях.

Для демонстрации эффективности и возможностей системы было проведено пилотное исследование по выявлению засушливого стресса у растений с использованием салата «Драгун», миниатюрного зеленого салата ромэн, ранее выращенного на Международной космической станции. Каждое отдельное растение салата, всего двенадцать растений, разделенных на две группы по шесть, выращивалось в смеси почвы и аркиллита (соотношение объемов 3:7) в квадратном горшке размером 10 см в течение 28 дней после посева.

Растения выращивали при температуре воздуха 23°C, относительной влажности 65%, концентрации CO₂ 3000  ppm (имитируя воздух в кабине космического корабля) и фотопериоде 16 часов света и 8 часов темноты, используя светодиодную лампу для выращивания растений, обеспечивающую плотность потока фотонов фотосинтеза (PPFD) 300 мкмоль м⁻² с⁻¹  и спектральную мощность 90% красного, 1% зеленого и 9% синего. Следует отметить, что в этом эксперименте образцы растений выращивали под светодиодной лампой,  которая не находилась в камере для визуализации.

Два различных режима увлажнения почвы были начаты на 12-й день после посадки (т.е. стрессовый день 1), так что шесть образцов салата выращивали в условиях достаточного полива (контроль), а шесть — в условиях недостаточного полива (засуха). Каждый набор из шести горшков был расположен в виде массива 2×3 на подносе, помещенном внутрь камеры для выращивания растений.

Влажность в каждом лотке контролировалась автоматизированной системой полива, которая периодически поливала растения питательным раствором для поддержания заданного объемного содержания влаги (ОВВ), измеряемого датчиком влажности почвы. ОВВ для контрольной группы и группы, подвергнутой засухе, было установлено на уровне 50% и 30% соответственно.

Таким образом, среднее содержание влаги в горшках, подвергнутых засухе, было на 100 мл меньше, чем в контрольных образцах. После создания засушливого стресса гиперспектральные изображения были получены в течение 13 дней на протяжении трех недель (т.е., Неделя 1: Дни 1–4, Неделя 2: Дни 7–11 и Неделя 3: Дни 14–17).

Изображения отражения и флуоресценции были получены с каждого лотка с использованием 1600 пространственных пикселей и 550 линейных сканирований на расстоянии 550 мм при общем времени экспозиции камеры 0,05 с. Для получения двух исходных гиперкубов размером 1600×550×300 потребовалось приблизительно 90 с. Обработка изображений проводилась с использованием процедур, описанных в разделе 2.2, в результате чего для каждого набора из шести образцов салата были сгенерированы два уменьшенных гиперкуба размером 300×360×100.

Для обнаружения засушливого стресса использовались три метода: площадь листьев, соотношение полос и машинное обучение. Для всех 13 дней отбора проб в течение трехнедельного периода общая площадь листьев для каждого набора из шести образцов оценивалась ежедневно путем подсчета количества пикселей на изображениях масок растений.

Затем с помощью корреляционного анализа определялось соотношение двух полос для обнаружения засушливого стресса. Спектры отражения контрольных и засушливых образцов салата извлекались из маскированных изображений для каждого дня, которые затем группировались по отдельным неделям для корреляционного анализа. Наконец, потенциал метода машинного обучения для раннего обнаружения засушливого стресса исследовался с использованием спектров отражения салата.

Сначала использовался метод усреднения пикселей для удаления участков растений с большими вариациями (например, края листьев) и уменьшения количества спектров, используемых в классификации машинного обучения. Все пиксели салата на маскированных изображениях R815 (высокое отражение для салата) были сгруппированы в окна размером 3×3 пикселя, в которых рассчитывались среднее значение (M) и стандартное отклонение (SD) интенсивности пикселей.

В каждом окне, если более 10% из девяти пикселей (т.е. один или более пикселей) имели интенсивность отражения, выходящую за пределы диапазона M ± 3SD, все окно удалялось для дальнейшего анализа. Девять спектров, извлеченных из каждого оставшегося окна, усреднялись в пространственной области.

Все средние спектры, помеченные как контрольные и для засухи, использовались для классификации в машинном обучении. Каждый из девяти помеченных наборов данных за 1-11 дни стресса был введен в приложение Classification Learner в MATLAB, в котором для сравнения точности классификации использовались семь оптимизируемых классификаторов, включая наивный байесовский классификатор, дерево решений, ансамблевый классификатор, метод k-ближайших соседей (KNN), метод опорных векторов (SVM), нейронную сеть (NN) и дискриминантный анализ. Функции оптимизации гиперпараметров в приложении использовались для автоматического выбора гиперпараметров для всех моделей с целью минимизации ошибки классификации.

Для упрощения оценки затрат на ошибочную классификацию, а также обучения и проверки модели, всем ошибкам классификации был присвоен одинаковый штраф. Точность семи моделей классификации для набора данных в каждый стрессовый день в течение первых двух недель оценивалась с использованием метода пятикратной перекрестной проверки. Для минимизации вариаций, связанных со случайным разделением набора данных, обучение и проверка каждой модели повторялись десять раз. Средняя точность перекрестной проверки по десяти запускам использовалась в качестве общей точности каждой модели.

3. Результаты и обсуждение

3.1 Результаты обработки гиперспектральных изображений

На рисунке 4  показаны результаты обработки изображений отражения для образца салата. После спектрального и пространственного усреднения сначала из исходного гиперкуба (рисунок 4A) был сгенерирован редуцированный гиперкуб (рисунок 4B). Затем редуцированный гиперкуб был преобразован в гиперкуб отражения ( рисунок 4C )  с помощью  коррекции плоского поля.

Усредненные исходные и отражательные спектры панели, салата и почвы в трех выбранных местах показаны на  рисунках 4D и 4E соответственно. Образец салата демонстрирует типичный спектр отражения растительности в VNIR-диапазоне. Сигналы отражения салата за пределами 850 нм имеют тенденцию к снижению и колебаниям в сторону 1000 нм из-за относительно низкой мощности светодиодов 915 нм, эффекта второго порядка, создаваемого спектрографом (Kim et al., 2011), и низкой квантовой эффективности детектора в этом диапазоне длин волн.

На рисунке 5 показано удаление фона образца салата в горшке с почвой. Гиперспектральное изображение отражения было получено и обработано так же, как показано на  рисунке 4, но с добавлением кадрирования изображения для центрирования и размещения всего горшка с растением в уменьшенном размере гиперкуба 130×130×100. Соотношение между 559 и 678 нм (т.е. R559/R678) дало максимальный абсолютный коэффициент корреляции −0,91 (рисунок 5A).

Выбранные две длины волны отмечены над средними спектрами салата и почвы (рисунок 5B). Однополосные изображения на 559 и 678 нм показаны на  рисунках 5C и 5D соответственно. Два средних спектра демонстрируют противоположные тенденции между 559 и 678 нм, что указывает на то, что эти длины волн являются эффективными для выбора в корреляционном анализе и методе соотношения полос для удаления фона. Как показано на  рисунке 5E, контраст между листьями и фоном значительно усиливается на изображении отношения R559/R678.

Наконец, было получено маскирующее изображение (рисунок 5F) путем применения одного порогового значения к изображению отношения. Следует отметить, что, хотя оптимальная пара длин волн была выбрана на основе спектров отражения салата и почвы, отношение R559/R678 также эффективно для удаления других объектов на фоне, таких как горшок, поддон и трубки капельного орошения.

На рисунке 6  показаны регистрация изображений, маскирование и извлечение спектра для гиперспектральных изображений отражения и флуоресценции, полученных с того же образца салата, что и на  рисунке 5. На рисунке 6A показано перекрытие изображений R815 и F732 (т.е. однополосного флуоресцентного изображения на длине волны 732 нм) в их исходных пространственных положениях, что наглядно демонстрирует несовпадение изображений отражения и флуоресценции одной и той же сцены.

Результат регистрации с использованием калибровочного шаблона показал, что простого горизонтального смещения (в данном случае сдвига на 10 пикселей влево) достаточно для выравнивания флуоресцентного изображения с изображением отражения. Таким образом, эффект двойного изображения исчез при перекрытии зарегистрированных изображений R815 и F732 (рисунок 6B).

Следует отметить, что для получения как изображений отражения, так и флуоресценции в этом примере использовалось одинаковое время экспозиции камеры 0,05 с (следовательно, одинаковая скорость перемещения предметного столика в режиме непрерывного сканирования). При использовании различных времен экспозиции для выравнивания изображений может потребоваться пошаговый режим сканирования или более сложные методы регистрации изображений.

После регистрации изображение-маска, созданное с использованием R559/R678 (рис. 6C), может быть использовано для маскирования как изображений отражения, так и флуоресценции ( рис. 6D, E, G, H ). Кроме того, было сгенерировано псевдо-RGB изображение (зарегистрированное и замаскированное показано на  рис. 6F, I соответственно) с использованием красных, зеленых и синих полос гиперкуба отражения для обеспечения естественного цвета и внешнего вида образца салата. На основе замаскированных изображений можно извлечь спектры из всех пикселей салата для дальнейшего анализа.

Средние значения и стандартные отклонения (SD) спектров отражения и флуоресценции образца салата показаны на  рис. 6J, K соответственно. Благодаря хлорофиллу а в тканях листьев салата, в спектрах отражения наблюдается пик поглощения на длине волны 672 нм, а в спектрах флуоресценции — два пика красного излучения на длинах волн 690 и 732 нм. Кроме того, благодаря фенольным соединениям в листьях (Chappelle et al., 1991), наблюдались два широких пика синего и зеленого излучения с низкой интенсивностью флуоресценции в области 450 и 530 нм соответственно.

3.2 Результаты обнаружения засушливого стресса у растений

3.2.1 Результаты измерения площади листьев

Результаты, полученные с помощью метода площади листьев, представлены на  рисунке 7. Средние площади пикселей между контрольными и засушливыми растениями на 3, 4, 7 и 8 дни стресса сравнивались с использованием двухвыборочного t-теста. Площади пикселей у засушливых растений на 3 и 4 дни стресса существенно не отличались от контрольных. Однако они существенно отличались на 7-й день стресса (на 13% меньше площади листьев, p<0,02) и на 8-й день (на 29% меньше площади листьев, p<0,001). Снижение площади листьев, вызванное засухой, сохранялось до сбора урожая.

3.2.2 Результаты соотношения полос

Коэффициенты корреляции, рассчитанные с использованием спектров отражения на 1-й неделе, были низкими (рис. 8А), достигнув максимума 0,22 при R821/R869. При использовании данных 2-й недели максимальная корреляция увеличилась до 0,55 при R690/R702 (рис. 8B).

Для каждого дня 2-й недели контурный график коэффициентов корреляции демонстрировал аналогичную картину, как и при использовании данных за всю неделю. Средние спектры отражения контрольных и засушливых образцов на 1-й и 2-й неделях были нормализованы по длине волны 702 нм и представлены в диапазоне длин волн 540–740 нм на  рисунках 8C и 8D соответственно.

На 1-й неделе не наблюдалось заметной спектральной разницы между 690 и 702 нм для двух вариантов увлажнения, что является причиной низкого коэффициента корреляции (т.е., −0,07) при R690/R702 ( рис. 8А ). Однако на 2-й неделе средний спектр образцов, подвергнутых засухе, показал более высокую отражательную способность на длине волны 690 нм, чем у контрольных образцов.

Обе выбранные длины волн, 690 и 702 нм, находятся в красной краевой области спектра (690–740 нм), в которой отражательная способность листьев чувствительна к изменению содержания хлорофилла в зеленых растениях ( Lowe et al., 2017 ). Изображения в одном диапазоне (R690 и R702) и в соотношении диапазонов (R690/R702) контрольных и подвергнутых засухе образцов салата на 4-й и 9-й дни стресса показаны на  рисунках 8C и 8D соответственно.

На 4-й день два изображения в соотношении диапазонов показали схожие закономерности интенсивности для контрольных и подвергнутых засухе образцов. Однако на 9-й день изображение в соотношении диапазонов образца, подвергнутого засухе, показало более высокую интенсивность на большей части листовой поверхности, что резко контрастирует с более низкой интенсивностью листовой поверхности контрольного образца.

На рисунке 9  представлены псевдо-RGB изображения и изображения соотношения полос всех образцов салата за первые две недели. Псевдо-RGB изображения показывают, что не наблюдалось явных различий в естественном цвете и внешнем виде салата, выращенного при двух режимах влажности.

На изображениях соотношения полос с 1-го по 4-й день стресса на 1-й неделе не наблюдалось очевидных различий в интенсивности между контрольными и засушливыми образцами. Первое заметное различие для засушливых образцов появилось на изображении соотношения полос на 7-й день стресса, где все шесть растений показали более высокую интенсивность соотношения, чем контрольные.

На 2-й неделе значения соотношения R690/R702 для засушливых образцов имели тенденцию к увеличению по всей площади листьев с 7-го по 11-й день стресса, в то время как у контрольных образцов они в целом оставались неизменными, за исключением некоторых небольших участков листьев. С 9-го по 11-й день стресса изображения соотношения полос трех засушливых образцов в нижнем ряду показали более низкую интенсивность, чем изображения трех образцов в верхнем ряду.

Такие вариации, вероятно, можно объяснить неравномерным водоснабжением каждого отдельного горшка. По мере того, как образцы, подвергнутые засухе, росли на 3-й неделе стресса, вариации интенсивности соотношения у шести растений увеличивались, а разница в интенсивности соотношения с шестью контрольными образцами уменьшалась (результаты не показаны). Эти результаты свидетельствуют о том, что метод соотношения полос может обнаруживать засушливый стресс примерно в то же время, что и метод площади листьев, что может быть недостаточно для ранней диагностики стресса.

3.2.3 Результаты машинного обучения

Точность различения контрольных образцов и образцов салата, подвергнутых засухе, с использованием семи оптимизированных моделей классификации показана на  рисунке 10D, используя результаты пятикратной перекрестной проверки, полученные на 4-й (рисунок 10A) и 7-й (рисунок 10E) дни стресса.

В оба дня наивный байесовский классификатор и дискриминантный классификатор показали самую низкую (хуже 65%) и самую высокую (лучше 90%) точность соответственно, а точность остальных пяти классификаторов находилась между этими двумя значениями. При этом точность всех семи классификаторов, использующих спектры отражения на 7-й день, неизменно выше, чем точность, полученная с использованием данных на 4-й день.

Матрицы ошибок и кривые рабочих характеристик приемника (ROC) для этих двух выбранных дней с использованием дискриминантного классификатора показаны на  рисунках 10B, F  и  10C, G соответственно. Точность классификации для 4-го и 7-го дней составила 94,3% и 98,5% соответственно, а площади под обеими ROC-кривыми превышают 0,98. Аналогичные результаты были получены и для других дней в течение первых двух недель.

Поскольку дискриминантный классификатор показал наилучшие общие результаты классификации, он был выбран для дифференциации контрольных и засушливых образцов салата во все девять дней тестирования в течение первых двух недель, и результаты суммированы на  рисунке 10H . На 1-й неделе точность классификации постепенно увеличивалась с 1-го дня (90,7%) до 4-го дня (94,3%).

На 2-й неделе все показатели точности были выше 97,0%, достигнув максимума в 99,0% на 8-й день. Результаты этого предварительного эксперимента показывают, что метод машинного обучения с использованием оптимизированного дискриминантного классификатора на основе гиперспектральных изображений отражения VNIR является перспективным для раннего обнаружения засушливого стресса у салата без каких-либо видимых симптомов и различий в размере листьев.

Приведенные выше результаты демонстрируют, что гиперспектральная отражательная визуализация на основе широкополосного светодиодного света потенциально может быть использована для мониторинга состояния растений. Свет VNIR LED представляет собой альтернативу галогенному свету, обычно используемому для измерения отражательной способности, что позволяет избежать чрезмерного нагрева нежных растений галогенным светом при съемке на близком расстоянии.

В качестве следующего этапа этого совместного проекта будут проведены полномасштабные эксперименты на растениях с повторениями для сбора данных изображений салатных культур различных видов (например, салат-латук, пак-чой, мизуна и редис), выращенных в условиях различных абиотических и биотических стрессов. Будут исследованы и сравнены как раздельное, так и комбинированное использование данных отражательной способности и флуоресценции для оценки жизнеспособности растений.

Будут разработаны алгоритмы спектрального и изобразительного слияния с целью раннего обнаружения стрессов и заболеваний рассматриваемых растений. Система гиперспектрального мониторинга состояния растений обладает большим потенциалом для предоставления своевременной и полезной информации для оптимизации условий выращивания и раннего снижения стресса и заболеваний растений в системах выращивания сельскохозяйственных культур в космосе, а также для других применений в сельском хозяйстве в контролируемой среде.

4. Выводы

В рамках первого результата совместного проекта USDA ARS и NASA KSC была разработана и предварительно протестирована компактная система гиперспектральной визуализации для мониторинга состояния растений в контролируемой среде космического выращивания сельскохозяйственных культур. Система позволяет получать как гиперспектральные изображения отражения, так и флуоресценции в видимом и ближнем инфракрасном диапазоне за один цикл съемки, что обеспечивает богатую спектральную и пространственную информацию для потенциального раннего обнаружения абиотических стрессов и болезней растений в салатах, предназначенных для сбора и употребления в пищу.

Для создания блока визуализации использовались компактные и легкие аппаратные компоненты, включая два светодиодных линейных светильника, гиперспектральную камеру и моторизованный столик, что позволяет интегрировать его в ограниченное пространство камеры для выращивания растений и проводить съемку образцов сверху. Широкополосные и УФ-А светодиоды проецируют узкий структурированный луч для освещения образцов растений во время быстрой съемки. Использование УФ-ИК светодиодов вместо традиционных галогенных ламп для отражения позволяет избежать чрезмерного нагрева образцов растений при съемке на близком расстоянии.

Разработанное внутри компании программное обеспечение для управления системой обеспечивает удобный интерфейс для проведения экспериментов по визуализации растений. Производительность и возможности разработанной системы были продемонстрированы в пилотном исследовании по обнаружению засушливого стресса у салата сорта «Драгун».

Метод отношения полос отражения, основанный на двух длинах волн, выбранных в красной части спектра, оказался неэффективным для раннего обнаружения стресса, поскольку он позволял различать контрольные и засушливые образцы только на одной и той же стадии роста, что и традиционные методы оценки площади листьев.

Метод машинного обучения с использованием оптимизированного дискриминантного классификатора, основанного на спектрах отражения в видимом и ближнем инфракрасном диапазоне, показал перспективность для раннего обнаружения засушливого стресса на листьях салата, не имеющих видимых симптомов и различий в размерах.

Для полного использования потенциала гиперспектральных методов отражения и флуоресцентной визуализации с целью обнаружения раннего начала стресса и заболеваний растений в условиях космического производства сельскохозяйственных культур, следующим этапом этого проекта запланированы полномасштабные эксперименты на нескольких видах и вариантах обработки, а также разработка более совершенных алгоритмов спектрального и изобразительного анализа и слияния.

Литература