Гиперспектральное машинное зрение для классификации растительности с помощью БПЛА

112
views
ЗАКАЗАТЬ СИСТЕМУ

Основные моменты

  • В системе дистанционного зондирования с использованием беспилотного летательного аппарата  был применен  жидкокристаллический перестраиваемый фильтр.
  • Система была протестирована в манговом саду.
  • Новый фильтр позволил упростить метод обработки данных.
  • Точность классификации растительности составила 94,5%.
  • Новая система должна оказаться ценной для применения в точном земледелии.

Использование спектральной съемки с помощью беспилотных летательных аппаратов (БПЛА) предоставляет значительные преимущества в приложениях дистанционного зондирования высокого разрешения. Однако количество датчиков, устанавливаемых на БПЛА, ограничено, а выбор оптимальной комбинации спектральных диапазонов является сложной, но крайне важной задачей для традиционных многоспектральных систем съемки на основе БПЛА.

Для преодоления этих ограничений мы использовали жидкокристаллический перестраиваемый фильтр (LCTF), который может пропускать выбранные длины волн без необходимости замены оптических фильтров. Для калибровки и проверки системы гиперспектральной съемки на основе LCTF была проведена полевая кампания на Филиппинах.

В ходе этой кампании была выполнена гиперспектральная съемка с помощью БПЛА в нескольких растительных зонах, и были измерены спектральные коэффициенты отражения 14 различных наземных объектов. Кроме того, к полученному набору данных был применен подход машинного обучения (ML) с использованием модели опорных векторов (SVM), после чего на основе аэрофотоснимков гиперспектрального изображения была создана карта классификации высокого разрешения.

Результаты наглядно показали, что в затененных областях наблюдалось значительное количество ошибок классификации из-за различий в спектральной отражательной способности между освещенными солнцем и затененными участками. Также было установлено, что точность классификации значительно повышается при обучении модели SVM с использованием спектральных данных как освещенных солнцем, так и затененных участков. В результате мы достигли точности классификации 94,5% в растительных зонах.

1. Введение

Данные спектрального отражения, собранные на участках с растительностью, могут предоставить очень ценную информацию о таких факторах, как наличие или отсутствие определенных видов деревьев, стадии роста растений и болезни растений. Взаимосвязь между свойствами растений и данными спектрального отражения изучалась с использованием различных типов спектроскопических датчиков (например,  Schmidt and Skidmore, 2003,  Kuska et al., 2015).

В последнее время технология беспилотных летательных аппаратов (БПЛА), которая быстро развивается, применяется в системах обследования для точного земледелия, и БПЛА, оснащенные спектральными датчиками, были протестированы в сельскохозяйственных приложениях во многих исследованиях.

Например,  Garcia-Ruiz et al. (2013)  провели аэрофотосъемку  с использованием БПЛА и мультиспектральных камер над цитрусовым садом и обнаружили, что наборы данных, полученные с помощью БПЛА, обеспечивают более высокую точность классификации больных цитрусовых деревьев, чем наборы данных, полученные с помощью летательных аппаратов.

Кроме того,  Пенья и др. (2013,  2015)  применили мультиспектральную съемку с использованием БПЛА для раннего обнаружения всходов сорняков в сочетании с объектно-ориентированным анализом изображений.

Ранее использовавшиеся в БПЛА системы спектральной визуализации в основном применяли несколько датчиков изображения с независимой оптикой и различными  полосовыми фильтрами  для получения простых  индексов растительности,  таких как  нормализованный разностный индекс растительности  (NDVI).

Однако, поскольку количество устанавливаемых датчиков изображения ограничено грузоподъемностью БПЛА, получение подробной спектральной информации с помощью таких многоспектральных систем визуализации затруднено. Поэтому мы использовали жидкокристаллический перестраиваемый фильтр (LCTF) для  гиперспектральной системы визуализации на базе БПЛА.

LCTF — это оптический полосовой фильтр, центральная длина волны которого электрически перестраивается. Благодаря гибкости  спектральных полос , гиперспектральная визуализация с использованием технологии LCTF применима к широкому спектру задач дистанционного зондирования. Эта технология впервые была применена на практике на космическом приборе Университета Хоккайдо, и она уже установлена ​​на нескольких  микроспутниках,  разработанных Университетом Тохоку и Университетом Хоккайдо (например,  Sakamoto et al., 2015).

Совсем недавно учёные и инженеры из Филиппин, Университета Хоккайдо и Университета Тохоку в рамках программы PHL-Microsat создали первый филиппинский микроспутник DIWATA-1. DIWATA-1 оснащён космическим многоспектральным сканером (SMI), использующим технологию LCTF. Для калибровки и проверки изображений SMI на Филиппинах была проведена полевая кампания с использованием системы гиперспектральной съёмки на основе БПЛА с применением технологии LCTF.

Передовые системы спектральной визуализации на БПЛА позволяют получать высокоэффективные данные. Однако ежедневно собирается большое количество сложной информации о растительности, и обработка этих данных с использованием традиционных методов может быть затруднительной. В последнее время машинное обучение (МО) стало одним из наиболее мощных подходов к анализу таких сложных наборов данных (так называемых больших данных).

В целом, МО — это метод анализа данных, который можно использовать для выявления скрытых структур, сходств или различий, присутствующих в больших данных. В случае обучения с учителем модель МО обучается на основе пользовательских входных данных, так что она накапливает опыт в процессе обучения. МО широко применяется для идентификации, обнаружения, классификации, количественной оценки, прогнозирования и анализа в точном земледелии (Singh et al., 2016).

Описанная в данном исследовании гиперспектральная система визуализации на основе БПЛА позволяет получать аэрофотоснимки с разрешением порядка десятков миллиметров. Таким образом, в сочетании с методом машинного обучения она может быть полезна для обнаружения заболеваний растений на уровне листьев. Следовательно, эта новая платформа для съемки с использованием технологии LCTF внесет значительный вклад в будущие исследования в области точного земледелия. В данной статье мы представляем  карту классификации растительности высокого разрешения  , полученную с помощью БПЛА, и оцениваем достоверность этой новой платформы.

2. Наблюдения

Полевые исследования проводились в Героне и Рамосе, провинция Тарлак, Филиппины. В ходе этих исследований  гиперспектральная съемка с использованием БПЛА  проводилась в нескольких заросших растительностью районах при ясном небе. Каждая операция длилась 10 минут, поскольку максимальное время полета БПЛА составляет всего около 20 минут из-за веса полезной нагрузки. 

На рис. 1 (а) показан гиперспектральный сканер с технологией LCTF (далее именуемый сканером LCTF) и сопутствующие устройства, использованные в полевых исследованиях. Сканер LCTF позволяет получать двухмерные  гиперспектральные изображения  в диапазоне от 460 до 780 нм с интервалом 1 нм (всего 321 полоса), а полная ширина на половине максимума спектральной  полосы  составляет от 5 нм (при 460 нм) до 25 нм (при 780 нм). Максимальное время переключения спектральных полос составляет 300 мс, а время экспозиции камеры обычно колеблется от 5 до 50 мс в зависимости от отражательной способности наземного объекта и  зенитного угла Солнца.

Время захвата одного изображения составляет приблизительно 1 с, включая время переключения, время экспозиции и время обработки данных.  На рис. 1 (b) показан БПЛА с вращающимся крылом (гексакоптер Matrice 600 от DJI) с камерой LCTF. В ходе этой полевой кампании гиперспектральные изображения наземных объектов на основе LCTF многократно захватывались в диапазоне от 460 до 780 нм с интервалом 10 нм, что соответствует 33 изображениям за цикл. Всего было получено приблизительно 2000 изображений.

Высота полета устанавливалась на 25 м или 50 м для захвата целевых объектов в масштабе листьев или растительного покрова. Разрешение изображения составляло 656 × 494 пикселей, а ожидаемое расстояние дискретизации по поверхности земли (GSD) составляло приблизительно 57 мм на высоте 25 м и 115 мм на высоте 50 м. Исследуемая территория представляла собой манговый сад, расположенный в городе Жирона (15°34′N, 120°32′E), который в основном состоял из манговых деревьев, сухой травы и почвы (см.  рис. 1 (c)).

В ходе полевых работ мы размещали на земле белые мешки в качестве ориентиров. В методах ближнего зондирования в качестве эталона солнечной радиации для получения спектрального коэффициента отражения наземного объекта часто используются стандарты диффузного отражения. Поскольку размер типичных стандартов отражения невелик по сравнению с разрешением камеры, в этой полевой работе мы использовали мат из  этиленвинилацетата  (ЭВА) в качестве замены стандартов отражения (см.  рис. 1 (d)).

Развернутый EVA-мат имел размеры 2,4 м × 2,4 м, и его отражательная способность была предварительно измерена независимо. Используя отражательную способность EVA-мата, была определена спектральная отражательная способность целевого объекта на том же изображении на длине волны, которая может быть представлена следующим уравнением:

где  Lobj и Leva и представляют собой измеренную спектральную яркость целевого объекта и материала EVA соответственно, и Reva — это коэффициент отражения материала EVA. Следует отметить, что спектральные коэффициенты отражения, измеренные с помощью LCTF-сканера в данном исследовании, были рассчитаны с использованием этого уравнения.

Рис. 1. (а) Жидкокристаллический  перестраиваемый фильтр  (LCTF), (b)  беспилотный летательный аппарат  (БПЛА) с LCTF-фильтром, (c) манговый сад и (d)  мат из этиленвинилацетата  (EVA).

3. Обработка данных

Спектроскопическая визуализация с использованием обычного гиперспектрального датчика основана на линейном сканировании методом «метания по линии»; поэтому этот метод обычно сочетается с подвижной платформой, такой как самолет или спутник наблюдения Земли (например,  Shaw and Burke, 2003).

Следовательно, для построения так называемых спектральных кубов данных необходимы точные измерения  GPS и сложные методы постобработки данных, такие как геопривязка (например, Suomalainen et al., 2014). Это остается сложной задачей для большинства пользователей при работе с гиперспектральными данными; поэтому необходимо разработать более простые подходы для облегчения использования гиперспектральных данных.

Для решения этой проблемы мы разработали систему моментальной гиперспектральной визуализации, которая не требует точных измерений глобальной системы позиционирования (GPS), так что полученный набор данных может быть обработан с помощью простого метода обработки изображений, подробно описанного ниже.

В случае гиперспектральной аэрофотосъемки с помощью LCTF-камеры, захваченная область слегка смещается от изображения к изображению из-за небольших возмущений ориентации БПЛА. Для получения спектрального куба данных необходимо точно наложить гиперспектральные изображения, полученные в ходе временной последовательности, с использованием метода обработки изображений.

В данном исследовании мы применили алгоритм Speeded-Up Robust Features (SURF), который извлекает так называемые дескрипторы SURF (другими словами, уникальные признаки) из изображений (например,  Bay et al., 2008). Дескрипторы SURF представляют собой 64-элементные векторы, выражающие локальную градацию изображений. Таким образом, предполагается, что признаки изображения отражены в дескрипторах SURF. Сходство изображений количественно оценивается путем сравнения дескрипторов SURF. 

На рис. 2  показан пример результатов сопоставления признаков, примененных к двум последовательным по времени гиперспектральным изображениям, полученным на длинах волн (а) 680 нм и (б) 690 нм. Цветные круги обозначают извлеченные дескрипторы SURF, а похожие признаки связаны цветными линиями между изображениями.

На основе соответствующих местоположений пикселей создается матрица для геометрического преобразования изображения из одного изображения в другое. Область, обведенная зелеными линиями на  рис. 2 (б), представляет собой область перекрытия, рассчитанную матрицей преобразования. В общей сложности было использовано 32 повторения процесса перекрытия от изображения 460 нм до изображения 780 нм для создания куба спектральных данных, как показано на  рис. 3.

В кубе спектральных данных спектральная отражательная способность захваченного объекта может быть получена из каждого пикселя вдоль оси z. С помощью этой техники обработки изображений спектральная отражательная способность 14 различных наземных объектов была извлечена из аэрофотоснимков гиперспектральных изображений. 

На рис. 4  показана средняя спектральная отражательная способность захваченных объектов. Числа в скобках указывают количество извлеченных спектральных коэффициентов отражения, использованных для каждого среднего спектра. Погрешности указаны в виде стандартного отклонения. На рисунке опущена погрешность для категории «искусственные объекты» для лучшей визуализации.

Это связано с тем, что средняя спектральная отражательная способность искусственных объектов была получена путем усреднения спектральных коэффициентов отражения различных типов объектов, таких как крыши и мешки, и стандартное отклонение было очень большим (до 0,24) по сравнению с другими. Хорошо известно, что спектральная отражательная способность в затененной области значительно отличается от спектральной отражательной способности в освещенной области (например,  Zhang et al., 2015 ,  Hsieh et al., 2016 ); поэтому для извлечения средних спектров на рис. 4 (а) мы выбрали только освещенные солнцем области.

Рис. 2. Пример результатов сопоставления признаков для двух последовательных во времени  гиперспектральных изображений  на длинах волн (а) 680 нм и (b) 690 нм. Цветные кружки обозначают извлеченные признаки. Схожие признаки обозначены цветными линиями между изображениями. (Для интерпретации цветовых обозначений в этом описании рисунка читателю следует обратиться к веб-версии данной статьи.)

Рис. 3. Структура куба спектральных данных. В ходе полевых исследований  прибор LCTF  многократно захватывал спектральные изображения в диапазоне от 460 до 780 нм с интервалом 10 нм, что соответствует 33 изображениям за цикл.

Рис. 4. (а) Средняя  спектральная отражательная способность  в освещенных солнцем областях. (b) Сравнение средней спектральной отражательной способности между освещенными солнцем и затененными областями. Числа в скобках указывают количество извлеченных значений спектральной отражательной способности, использованных для каждого среднего спектра. Погрешности указаны в виде стандартного отклонения. Обратите внимание, что погрешность для категории «искусственные объекты» на рисунке не показана.

4. Результаты и обсуждение

Используя  метод опорных векторов  (SVM), который является одним из типов моделей контролируемого машинного обучения, мы классифицировали спектральные коэффициенты отражения, полученные с помощью метода обработки изображений, описанного в разделе  3, и создали высокоразрешенную классификационную карту исследуемой области. 

На рис. 5 (а) показано псевдоцветное изображение исследуемой области, полученное с помощью прибора LCTF, и состоит из гиперспектральных изображений, снятых на длинах волн 550 нм, 650 нм и 780 нм, которые представляют собой зеленый, красный и ближний инфракрасный каналы соответственно. Эти три диапазона были выбраны для того, чтобы выделить растительность красным цветом.

Изображения были получены на высоте 50 м в 15:23 по филиппинскому времени 29 марта 2016 года, когда солнце находилось на западе с зенитным  углом  50,69°. Поэтому земля под манговыми деревьями была в значительной степени затенена. На основе этого рисунка мы вручную классифицировали каждый отдельный пиксель (см.  рис. 5 (б)).

Хотя результаты ручной классификации могут содержать некоторые ошибки, наземные объекты были отнесены к следующим приблизительным категориям: (1) кроны манговых деревьев, (2) сухая трава и почва, (3) затененная сухая трава и почва, (4) искусственные объекты и (5) коврик из ЭВА. Для сравнения с результатами классификации, полученными с помощью модели SVM, мы использовали  рис. 5 (b), чтобы проиллюстрировать правильную классификацию в соответствии с приведенным ниже обсуждением.

Рис. 5. (а) Изображение мангового сада в ложных цветах, полученное с помощью установленного на БПЛА LCTF-сканера; (b) результат ручной классификации. (Для интерпретации цветовых обозначений на этом рисунке читателю следует обратиться к веб-версии данной статьи.)

На рис. 6 (а) показана карта классификации, полученная с помощью модели SVM, обученной на 420 данных спектрального отражения при солнечном освещении, представленных на  рис. 4 (а). На этапе обучения мы использовали 33 полосы каждого спектрального отражения в качестве 33-мерной информации и отображали данные на 33-мерную гиперплоскость с помощью модели SVM.

Форма границы принятия решения, являющаяся определяющим фактором классификации, может быть отображена моделью SVM на основе выбранного типа ядра, параметров ядра и обучающего набора данных. Поэтому для классификации данных на определенном высоком уровне необходимо выбрать соответствующие параметры и обучающий набор данных (например,  Huang et al., 2002).

В данном исследовании было выбрано ядро ​​радиальной базисной функции (RBF), а параметр стоимости  и гамма  Значения RBF-ядра были настроены на 312 и 0,5 соответственно, чтобы минимизировать оценку ошибки на тестовом наборе при перекрестной проверке. Как упоминалось выше,  на рис. 5 (b) показаны результаты классификации, определенной вручную, для сравнения с картой классификации, созданной с помощью SVM.

Соответственно, каждый классифицированный пиксель на  рис. 6 (a) сравнивался с определенной категорией на  рис. 5 (b), и точность классификации рассчитывалась путем деления количества правильно классифицированных пикселей на общее количество пикселей. В результате точность классификации составила 81,0%, что обусловлено большим количеством ошибок классификации в затененных областях. Пиксели изображения, расположенные в затененном манговом лесу и затененных участках сухой травы и почвы, были ошибочно классифицированы как сорняки и искусственные объекты соответственно.

Таким образом, точность классификации сильно зависит от покрытия затененных областей в случаях, когда спектральные изображения имеют высокое разрешение и когда освещенные солнцем и затененные области могут быть различимы по данным. В ранних исследованиях затененные пиксели различались от незатененных с помощью маскирования теней, а данные пикселей обрабатывались отдельно для достижения высокой точности классификации (например,  Roussel et al., 2016 ,  Qiao et al., 2017).

В данном исследовании, однако, данные затененных и незатененных пикселей обрабатывались общим методом обработки данных без маскирования теней. На  рис. 4 (b) сравниваются спектральные коэффициенты отражения листвы манго, сухой травы и почвы на освещенных солнцем и затененных участках. Наблюдалось явное различие между спектральными коэффициентами отражения листвы манго, сухой травы и почвы на затененных участках, а также на освещенных солнцем участках.

Это означает, что спектральные коэффициенты отражения на освещенных солнцем и затененных участках могут быть классифицированы вместе в одном процессе. Поэтому мы модифицировали модель SVM, обучив ее одновременно с использованием как освещенных солнцем, так и затененных спектральных данных. 

На рис. 6 (b) показана карта классификации, полученная с помощью модифицированного обучающего набора данных. Точность классификации увеличилась до 94,5%; То есть, результат улучшился на 13,5% по сравнению с  рис. 6 (а). Таким образом, этот результат ясно указывает на важность использования затененных спектров в процессе обучения модели SVM.

Рис. 6. Карта классификации, полученная с помощью  модели опорных векторов  (SVM). Модель была обучена на (а) только  данных спектрального отражения при солнечном свете  и (b) данных спектрального отражения как при солнечном свете, так и в тени. Каждый пиксель имеет цветовую кодировку, аналогичную той, что показана на  рис. 4. (Для интерпретации цветовых обозначений в этом описании рисунка читатель может обратиться к веб-версии данной статьи.)

Следует отметить, что на границах между различными объектами все еще наблюдались некоторые ошибки классификации. Поскольку структура гибких объектов, таких как кроны манговых деревьев, постоянно слегка деформируется под воздействием ветра, их внешний вид может отличаться на каждом изображении.

Это небольшое изменение внешнего вида приводит к ошибкам сопоставления признаков; следовательно, между преобразованными изображениями образуются некоторые неперекрывающиеся области. Таким образом, задача будущих исследований будет заключаться в минимизации таких неперекрывающихся областей путем уменьшения ошибок сопоставления признаков.

В настоящее время LCTF-камера получает одно изображение примерно за 1 секунду, но время получения изображения может быть сокращено примерно вдвое за счет модернизации существующей системы. Поэтому ожидается, что в ближайшем будущем количество ошибок классификации, возникающих из-за ошибок сопоставления признаков, будет уменьшено.

5. Заключение

В то время как большинство гиперспектральных датчиков используют линейное сканирование методом “метла”, камера LCTF использует систему моментальных снимков. Это преимущество позволяет пользователям проще обрабатывать гиперспектральные данные и быстрее получать научные результаты, используя простой метод обработки изображений.

С помощью этого метода мы смогли точно наложить гиперспектральные изображения, полученные в разные моменты времени, посредством обработки изображений с использованием дескрипторов SURF, и успешно извлечь спектральные коэффициенты отражения 14 различных наземных объектов. Кроме того, модель SVM, обученная на спектральных коэффициентах отражения, была использована для классификации растительности, и была представлена ​​карта классификации высокого разрешения, полученная из аэрофотоснимков гиперспектрального диапазона.

Первоначально модель SVM, обученная только на спектральных данных, полученных при солнечном освещении, применялась к манговому саду, но полученная карта классификации содержала большое количество ошибок классификации в затененных областях. Это было связано с тем, что спектральные коэффициенты отражения в затененных областях отличались от таковых в освещенных областях.

Поэтому мы обучили модель SVM, используя как спектральные коэффициенты отражения при солнечном освещении, так и в затененных областях, и применили обновленную модель к исследуемой территории. В результате мы достигли точности классификации 94,5%, что представляет собой улучшение на 13,5% по сравнению с результатами, полученными с использованием только спектральных данных отражения при солнечном освещении.

Таким образом, результаты ясно показывают, что эта новая платформа для съемки с использованием LCTF-сканера полезна для классификации растительности и имеет потенциал внести ценный вклад в точное земледелие. Тем не менее, в будущих работах необходимо провести статистическое исследование для проверки надежности предложенного метода, поскольку точность классификации в данном исследовании оценивалась на основе одного события.

Результаты также выявили некоторые области ошибок классификации вокруг границ между различными объектами. Это было вызвано ошибками сопоставления признаков, которые привели к созданию некоторых неперекрывающихся областей между преобразованными изображениями. В будущих исследованиях точность классификации можно дополнительно повысить за счет уменьшения ошибок сопоставления признаков. 

Литература

Авторы: Tetsuro Ishida, Junichi Kurihara, Fra Angelico Viray, Shielo Baes Namuco, Enrico C. Paringit, Gay Jane Perez, Yukihiro Takahashi, Joel Joseph Marciano Jr.

ЗАКАЗАТЬ СИСТЕМУ

СХОЖИЕ СТАТЬИБОЛЬШЕ ОТ АВТОРА