Компьютерное зрение для масштабного фенотипирования и точного земледелия с помощью БПЛА

Аэрофотосъемка NDVI и экспериментальные поля

Индекс NDVI хорошо коррелирует с индексом листовой поверхности и биомассой [20], поэтому он был выбран для фенотипирования полевых условий, связанных с урожайностью. В качестве датчика изображения использовалась промышленная стандартная камера, как описано ранее [21]. Аэрофотосъемка проводилась с помощью легкого самолета «Sky Arrow», самого легкого класса (Verey Light Aircraft, VLA) среди всех коммерческих самолетов, что позволяло пилоту летать с очень малым количеством топлива, меньшим, чем у среднего сельскохозяйственного транспортного средства. Используя VLA на высоте 1000 футов (около 305 м), можно охватывать обширные территории со скоростью полета 180–200 км/ч, при этом датчик NDVI может собирать сверхмасштабные изображения посевов для покрытия четырех или пяти полей за один полет.

Сверхбольшие аэрофотоснимки NDVI регулярно (т.е. четыре-пять раз за сезон) получались компанией G’s Growers, вторым по величине производителем овощей в Великобритании. Маршрут полета и протокол съемки были разработаны для облегчения оценки урожая на разных участках и прогнозирования урожайности (рис.  1a). В этом исследовании мы использовали серию собранных сверхбольших изображений NDVI (1,5–2 ГБ на изображение) с пространственным разрешением 3 см (GSD) для салата айсберг на стадиях H1 и H2 (т.е. умеренно плотный и легко раздавливаемый кочан), до того, как листья салата в значительной степени перекрывались.

Экспериментальные поля в исследовании располагались недалеко от города Эли, Кембриджшир, Великобритания, площадью от 10 до 20 гектаров, на одном поле росло от 800 000 до 1,6 миллиона кочанов салата. Для объяснения алгоритмов анализа и работы ААП-Л в следующих разделах использовалось одно поле (поле А, рис.  1b ), засаженное примерно 1 миллионом кочанов салата. Специалисты по полевым работам компании G провели высокоточный ручной подсчет урожая во время уборки, который использовался для проверки и улучшения платформы. Салат в случайно выбранных подсекциях поля А был вручную оценен лаборантами в исследовательском парке Норвича, а затем использован в качестве обучающих наборов данных для создания модели глубокого обучения.

Рис. 1: Аэрофотосъемка в сверхбольшом масштабе с использованием индекса NDVI, регулярно выполняемая с помощью легкого самолета, эксплуатируемого компанией G’s Growers. а)  Маршрут полета и аэрофотосъемка были разработаны для облегчения оценки расположения посевов на разных участках и прогнозирования урожайности.  б)  Была получена серия сверхбольших изображений NDVI с пространственным разрешением 3 см GSD для регистрации 0,8–1,6 миллиона кочанов салата на поле на стадиях H1 и H2.

Формирование данных для обучения и тестирования

Для генерации звуковых наборов данных для анализа изображений на основе машинного обучения мы случайным образом выбрали 60 участков (т.е., подсекторов) поля различного размера, каждый из которых содержал от 300 до 1000 кочанов салата. Затем мы вручную пометили каждый кочан салата в выбранных участках красной точкой (дополнительный рис. 1).

Каждый помеченный кочан салата, т.е. красная точка, идентифицируется ограничивающим прямоугольником размером 20 × 20 пикселей, который может охватывать один кочан салата. Мы использовали эти ограничивающие прямоугольники, а также изображения, которые не соответствовали кочанам салата, для обучения классификатора CNN распознаванию и разделению миллионов кочанов салата в зоне плантации.

Пиксели, содержащиеся внутри ограничивающего прямоугольника, также использовались для определения размера кочана салата. Был создан обучающий набор данных, содержащий более 100 000 помеченных ограничивающих рамок размером 20 × 20 пикселей, из которых 50% составляют листья салата, а остальные — фоновые сигналы, такие как почва, края поля и другие объекты, не относящиеся к салату.

Следуя стандартному подходу сегментации CNN [22], мы разработали функцию скользящего окна без перекрытия, которая проходит по всему полю, разделяя сигналы переднего и заднего плана (т.е., разделяя листья салата и другие объекты). Обучающий и тестовый наборы данных сбалансированы. Наборы данных для валидации используются наряду с обучающими наборами для проверки производительности модели, что позволяет предотвратить переобучение при обучении модели и точно настроить гиперпараметры различных слоев обучения [23].

Процесс анализа в ААП-Л

Анализ фенотипов, связанных с урожайностью, основывался на сигналах NDVI салата айсберг по всему полю. На рисунке  2  показан высокоуровневый алгоритм анализа ААП-Л, состоящий из пяти этапов: ввод данных, калибровка и предварительная обработка изображений, анализ признаков на основе машинного обучения, визуализация результатов и количественная оценка фенотипов, связанных с урожайностью. 

На этапе 1 принимаются необработанные изображения NDVI в виде наборов данных изображений в градациях серого. Поскольку пиксели с чрезвычайно высокими сигналами NDVI обычно имеют завышенные значения интенсивности (т.е. черные пиксели на рис.  2a), этап предварительной обработки (этап 2) предназначен для калибровки необработанных изображений NDVI, чтобы распределение интенсивности можно было нормализовать для исправления завышенных пикселей. На этом этапе применяется алгоритм, называемый адаптивным выравниванием гистограммы с ограничением контраста (CLAHE) [24], для увеличения контраста между передним планом (т.е. салатом) и фоном (например, почвой) на данном изображении NDVI (рис. 2b).

В дополнительном файле S1 представлен  псевдокод и пояснения к этапу калибровки и предварительной обработки изображений для обеспечения высокого качества входных данных для модели обучения.

Рис. 2: Схема высокоуровневого анализа ААП-Л. a)  Шаг 1 принимает необработанные изображения NDVI в качестве входных данных (пиксели с чрезвычайно высоким сигналом NDVI переполняются).  b)  Шаг 2 предварительно обрабатывает необработанные изображения NDVI для калибровки распределения интенсивности и коррекции переполняющихся пикселей.  c),  d)  Шаг 3 выполняет анализ признаков на основе машинного обучения для количественной оценки количества салата и классификации размера кочана на заданном изображении NDVI.  e)  Шаги 4 и 5 визуализируют и экспортируют статистику обнаружения признаков, включая фенотипы, связанные с урожайностью, такие как количество салата, распределение размеров и регионы сбора урожая, а также соответствующие координаты GPS.

На шаге 3  выполняется анализ признаков на основе машинного обучения, который количественно определяет количество кочанов салата (рис. 2c) и классифицирует размер кочана (рис. 2d). Он включает шесть шагов: удаление шумовых сигналов, разделение заданного изображения на секции (250 × 250 пикселей) для локального анализа, создание скользящего окна (20 × 20 пикселей) для перемещения внутри секции изображения, использование подавления немаксимальных значений для обнаружения кочанов салата и классификация распознанных кочанов салата по трем категориям размера (т.е., мелкий, средний и крупный). Результат анализа визуализируется на  шаге 4, где подсчет кочанов салата, карта распределения размеров и области сбора урожая с GPS-метками сохраняются в виде серии обработанных изображений (рис. 2e). На заключительном этапе (шаг 5) статистические данные по показателям урожайности экспортируются в файл CSV (значения, разделенные запятыми), включая количество салата на поле, распределение размеров салата, количество и размеры салата в пределах GPS-сеток, регионы сбора урожая и соответствующие GPS-координаты (дополнительный файл S2). Для облегчения выполнения описанного выше процесса анализа пользователям было разработано программное приложение с графическим пользовательским интерфейсом (GUI).

ААП-Л GUI

Графический интерфейс пользователя ААП-Л (рис. 3) был разработан с использованием нативного пакета Python для создания графических интерфейсов, Tkinter [25], что позволяет запускать программное приложение на различных операционных системах, таких как Windows и Mac OS (примечание: мы предоставили только исполняемый файл packaged.exe на GitHub, см. доступность и требования). Следуя описанной ранее системной архитектуре [26], графический интерфейс пользователя использует простой и понятный подход для реализации рабочего процесса фенотипического анализа.

Окно графического интерфейса разделено на две части: раздел ввода и раздел отображения. В разделе ввода (пунктирный прямоугольник, окрашенный в красный цвет на рис. 3) пользователю необходимо сначала загрузить изображение NDVI, которое будет мгновенно отображено в разделе отображения (пунктирный прямоугольник, окрашенный в зеленый цвет) на  исходной  вкладке. Во-вторых, пользователю необходимо ввести GPS-координаты поля (т.е. верхний левый угол входного изображения, который можно получить из метаданных или Google Maps).

В-третьих, пользователю необходимо задать значение поворота входного изображения (в градусах) относительно северного географического направления, чтобы стандартизировать расчеты GPS. Затем пользователь может указать программному обеспечению, содержит ли входное изображение перекрывающиеся сигналы NDVI; если да, то будет запущен дополнительный процесс калибровки (рис.  2,  шаг 2). Наконец, после ввода небольшого количества входных параметров пользователь может нажать кнопку «Старт», чтобы запустить процесс анализа.

Рис. 3: Два раздела, разработанные в графическом интерфейсе пользователя ААП-Л. a) Обработанное изображение после предварительной обработки и калибровки (на вкладке «Нормализация»).  b) Обработанное изображение после подсчета салата (на вкладке «Подсчет»).  c)  Обработанное изображение после категоризации салата по размерам (на вкладке «Распределение размеров»).  d)  Обработанное изображение после определения регионов сбора урожая и GPS-координат (на вкладке «Регионы сбора урожая»).

Программное обеспечение с графическим интерфейсом пользователя (GUI) следует каждому шагу, описанному в рабочем процессе анализа, для выполнения автоматизированного фенотипического анализа. После завершения шага в разделе отображения будет показано соответствующее обработанное изображение, демонстрирующее промежуточный результат анализа.

В окне GUI будут представлены четыре обработанных изображения: предварительно обработанное и откалиброванное изображение (рис. 3a, на вкладке «Нормализация»), изображение после оценки салата (рис. 3b, на вкладке «Подсчет»), изображение после категоризации по размеру (рис. 3c, на вкладке «Распределение по размеру») и обработанное изображение после определения регионов сбора урожая и соответствующих им GPS-координат (рис.  3d, на вкладке « Регионы сбора урожая»). Все обработанные изображения сохраняются в папке результатов вместе с CSV-файлом, содержащим результаты анализа (дополнительный файл S2 ) .

Архитектура нейронной сети

Аналогично AlexNet [27], была создана архитектура обучения на основе CNN с использованием размеченных обучающих наборов данных. На рисунке  4a  показана архитектура модели CNN, включающая: (1) сверточный слой (Conv2D) с 32 фильтрами и ядром 3 × 3, с функцией активации ReLU и пакетной нормализацией для ускорения процесса обучения и обеспечения более высоких скоростей обучения [28]; (2) затем тот же блок повторяется вместе со слоем максимального пулинга для уменьшения разрешения входных данных с использованием ядра 2 × 2, исходя из предположения, что полезные входные признаки могут содержаться в подобластях; (3) после этого строится второй сверточный блок, состоящий из слоя Conv2D с 64 фильтрами, ядром 3 × 3, функцией активации ReLU и пакетной нормализацией; (4) наконец, этот блок повторяется, после чего добавляется еще один слой максимального пулинга (с ядром 2 × 2) для завершения процедуры обучения.

После сверточных слоев обучающие слои соединены с полносвязным слоем размером 512, за которым следует слой Dropout с вероятностью 50%. Для завершения архитектуры обучения бинарный выход генерирует вероятность того, содержит ли заданный ограничивающий прямоугольник (20 × 20 пикселей) сигнал салата. Если вероятность равна или близка к 100%, это указывает на высокую вероятность того, что ограничивающий прямоугольник содержит полный кочан салата (рис. 4b).

Вышеописанная архитектура обычно применяется в задачах обнаружения объектов на основе компьютерного зрения [29]. Кривые точности и потерь при обучении и валидации представлены на рис. 4c, показывая, что модель сходится всего за 10 эпох. Что еще более важно, чтобы избежать переобучения, критерий остановки был разработан таким образом, чтобы гарантировать, что точность валидации выше, чем точность обучения, обеспечивая обобщающую способность модели обучения. Чтобы избежать проблемы переобучения нашей модели, размеченные данные также были разделены поровну на обучающую и валидационную выборки при обучении модели.

Рис. 4: Архитектура обучения на основе сверточной нейронной сети, разработанная для подсчета количества салата. a)  Архитектура обученной модели CNN, которая генерирует бинарный выходной сигнал, представляющий вероятность того, что желтый ограничивающий прямоугольник содержит сигнал салата.  b)  Если вероятность близка к 100%, это указывает на высокую вероятность того, что ограничивающий прямоугольник охватывает целый салат.  c)  Кривые точности и потерь модели при обучении и валидации.

Архитектура нашей сети менее сложная, чем у AlexNet и других современных архитектур глубокого обучения, по ряду причин: (1) размер нашего набора данных относительно невелик для создания очень глубоких нейронных сетей; (2) наша цель — задача бинарной классификации (т.е. содержит ли заданный ограничивающий прямоугольник целый кочан салата), в отличие от задач классификации ImageNet; (3) более крупные и глубокие нейронные сети требуют больше времени для обучения, что может замедлить их выполнение и сделать нецелесообразным для принятия оперативных решений по управлению урожаем, необходимых в точном земледелии.

Алгоритм категоризации по размеру

После того, как ААП-Л определил ограничивающие рамки, содержащие кочаны салата, мы применили метод машинного обучения без учителя для классификации салата по трем размерам: мелкий, средний и крупный. Алгоритм можно легко изменить для классификации большего количества категорий размеров, если это необходимо. Пиксели в области ограничивающей рамки извлекаются, а затем значения NDVI всех пикселей помещаются в интервалы.

Гистограмма включала 10 интервалов, распределенных по диапазону значений NDVI (0–255). При классификации размеров салата мы учли два важных аспекта: (1) более низкие значения NDVI в окружающей области не определяют размер салата; (2) более высокие значения NDVI более важны для классификации размеров. Таким образом, для каждого интервала был создан геометрический шаблон значений NDVI, а именно: 64, 128, 160, 192, 208, 224, 232, 240, 244, 248, 250, 252, 253 и 254. При этих пороговых значениях большинство фоновых пикселей были захвачены в первых двух интервалах, при этом вес увеличивался по мере приближения значений к 255.

Преобразовав пиксельные области в ряд бинов, мы смогли сравнить различные области и сгруппировать их в три группы по размеру, используя кластеризацию методом k-средних со  значением k,  равным трем. Затем результаты кластеризации сортируются путем вычисления скалярного произведения вектора весов и вектора количества кластеров (на основе количества бинов). Эти отсортированные значения определяют, какой результат кластеризации соответствует какому размеру, и затем применяются к каждому обнаруженному в поле салату. Для обозначения категорий размеров используются три цвета: синий для маленьких, зеленый для средних и красный для больших (рис.  3c).

Подсчет салата с помощью классификатора на основе сверточной нейронной сети.

После обучения классификатора CNN и реализации алгоритмов фенотипического анализа в ААП-Л мы использовали программное обеспечение для распознавания и классификации салата на серии сверхбольших изображений NDVI. Первоначально были получены изображения салата различных размеров и ориентаций с разной интенсивностью освещения; однако программное обеспечение не смогло распознать салат в очень светлых областях и ошибочно подсчитало количество салата в очень темных областях (рис.  5a), например, около 50 000 кочанов салата были ошибочно обнаружены на поле с миллионом кочанов (5% ошибка подсчета). Мы обнаружили, что эта проблема была вызвана обученным классификатором CNN, поскольку кочан салата чрезвычайно мал на ортомозаичном изображении (например, 11330 × 6600 пикселей для поля площадью 7 гектаров при разрешении 3 см, которое содержит более полумиллиона кочанов салата) при различных условиях освещения. Для решения этой проблемы мы разработали двухэтапное решение: (1) разделение всего изображения на множество подызображений размером 250 × 250 пикселей и (2) использование ограничивающей рамки фиксированного размера (20 × 20 пикселей) в качестве скользящего окна (с шагом в 5 пикселей для снижения вычислительной сложности) для удаления обнаруженных объектов салата в каждом подызображении размером 250 × 250 пикселей.

Рис. 5: Улучшенные результаты модели CNN и классификации размеров кочанов салата. a) Неправильное  обнаружение кочанов салата в очень светлых областях и завышенный подсчет кочанов в очень темных областях на поле с миллионом кочанов.  b)  Расширение обучающих наборов данных для переобучения модели с использованием подхода онлайн-обучения, что привело к значительно лучшим результатам обнаружения.  c)  Каждому распознанному кочану салата на поле присваивается предопределенный цветовой код (маленький — синий, средний — зеленый, большой — красный)

Еще одной причиной ошибочного обнаружения является перекрытие изображений салата, поскольку классификатор CNN может многократно обнаруживать их на подызображении. Поэтому для исправления обнаружения мы использовали алгоритм подавления немаксимумов (NMS) [30].

NMS использует вероятности для упорядочивания обнаруженных объектов салата. После обработки скользящего окна размером 20 × 20 и идентификации множества небольших фрагментов алгоритм NMS вычисляет коэффициент перекрытия, чтобы определить, как сохранить эти фрагменты.

Поскольку изображения салата относительно хорошо разнесены по полю, сохраняются фрагменты (т.е. ограничивающие рамки), охватывающие полный сигнал салата, тогда как частично покрытые сигналы удаляются. Для выбора наилучшего параметра перекрытия, вычисленного NMS, разработан метод градиентного спуска, который описан в дополнительном файле S3.

Улучшенный классификатор CNN и категоризация по размеру.

Помимо улучшенного обнаружения объектов на основе визуального анализа, мы также расширили обучающие наборы данных, вручную разметив дополнительные 500 сигналов салата в очень ярких или очень темных областях. Затем новые размеченные данные были добавлены в обучающие наборы данных для переобучения модели с помощью подхода онлайн-обучения [31]. Улучшенная модель CNN (см. репозиторий GitHub и дополнительный файл S4) была снова протестирована на различных экспериментальных полях и значительно повысила точность обнаружения салата (рис.  5b).

Идентифицированные кочаны салата анализируются индивидуально для определения соответствующей им размерной категории. Классификация по размеру основана на значениях интенсивности и контраста, заключенных в ограничивающие рамки размером 20 × 20, которые вычисляются с использованием скалярного произведения гистограммы интенсивности пикселей и взвешенного вектора в сторону более пиксельных значений контраста.

Предположение, лежащее в основе этой методики, заключается в том, что более высокие сигналы NDVI, вероятно, коррелируют с более высокими индексами растительности и, следовательно, с более крупными кочанами салата. Результат категоризации всех кочанов салата группируется в три размерные группы. Затем каждый кочан салата окрашивается предопределенным цветовым кодом (рис.  5c).

Карта сбора урожая с GPS-метками

Заключительный этап фенотипического анализа заключается в определении зон сбора урожая на основе различных размеров салата. Используя карту распределения размеров (рис.  6а ), поле сначала сегментируется на множество небольших ячеек, исходя из оптимального разрешения GPS, определяемого высотой аэрофотоснимка (3 см GSD в нашем случае), а также размера комбайна, используемого фермером. После разделения поля на тысячи ячеек (рис. 6б) вычисляются GPS-координаты каждой ячейки, и каждая ячейка затем окрашивается в соответствии с наиболее репрезентативной категорией размеров.

Путем объединения всех окрашенных ячеек создается карта сбора урожая с GPS-метками, представляющая зоны сбора урожая всего поля (рис.  6в ). Карта сбора урожая может быть использована для разработки стратегий сбора урожая, таких как наведение комбайна на сбор салата желаемого размера или организация логистики на основе количества салата и соответствующего подсчета размеров.

Для облегчения применения методов точного земледелия, в конце процесса анализа ААП-Л также генерирует файл результатов (дополнительный файл S2) , содержащий информацию о каждой ячейке сетки сбора урожая, соответствующие GPS-координаты, размер салата и количество растений в каждой ячейке. Для удовлетворения различных потребностей, связанных с разными требованиями, размер ячеек сетки сбора урожая на основе GPS можно изменять вручную в программном обеспечении.

Рис. 6: Карта сбора урожая, построенная на основе GPS-данных и классификации размеров кочанов салата. a)  Карта распределения размеров кочанов салата по цветам (маленькие — синим, средние — зелёным, большие — красным).  b)  Поле разделено на тысячи ячеек в зависимости от оптимального разрешения GPS.  c)  Ячейки окрашены в соответствии с наиболее репрезентативной категорией размеров кочанов салата на изображении, представляя собой зоны сбора урожая на всём поле.

3D-визуализация для стратегии сбора урожая

На рисунке  7  используется библиотека Matplotlib для 3D-моделирования на основе Python, которая  отображает карту сбора урожая с GPS-метками. Когда ААП-Л считывает изображение NDVI, он вычисляет количество кочанов салата и соответствующие категории размеров на изображении (рис.  7a).

Затем, объединив полевые сетки на основе GPS с репрезентативными размерами кочанов салата в этих сетках (рис. 7b), мы создали динамический скрипт для 3D-гистограммы (дополнительный файл S5) , который отображает количество кочанов салата по оси z, области сбора урожая в поле (как столбцы, так и строки) по осям x и y, а также репрезентативные размеры кочанов салата с использованием предопределенных цветов (рис. 7c).

С помощью 3D-графика пользователи могут увеличивать масштаб любой подобласти поля, чтобы проверить количество кочанов салата и репрезентативные размеры, что позволяет спланировать соответствующую стратегию сбора урожая. Также можно рассчитать общее количество кочанов салата и подсчет их размеров на экспериментальном поле.

Рис. 7: 3D-визуализация зон сбора урожая салата. a)  ААП-Л считывает изображение NDVI и экспортирует карту распределения размеров салата, где мелкий салат окрашен синим цветом, средний — зеленым, а крупный — красным.  b)  3D-визуализация полевых сеток на основе GPS для представления репрезентативных категорий размеров.  c)  Создается динамическая 3D-гистограмма для отображения зависимости между количеством салата, расположением на поле и репрезентативным размером салата, а также для количественной оценки количества и размера салата.

Проверка работоспособности ААП-Л

Для проверки ААП-Л и надежности алгоритма мы применили платформу для подсчета и классификации кочанов салата на трех ранее не исследованных экспериментальных полях в Кембриджшире, Великобритания (рис. 8a–c). На этих полях произрастает от 700 000 до 1 500 000 кочанов салата, и они расположены в разных местах графства. Такие характеристики, как количество кочанов салата на поле, измеренное платформой (рис. 8d), были сопоставлены с промышленными оценками, показав низкую погрешность подсчета кочанов (<5% разницы).

Помимо сравнения на уровне полей, мы также случайным образом выбрали участки различного размера на экспериментальном поле для оценки ААП-Л. Мы разделили эти участки на три группы (т.е. 36 малых участков, 21 большой участок и 57 смешанных участков), где в малых участках произрастает менее 400 кочанов салата, в больших — более 900 кочанов, а в смешанных участках — различные сорта кочанов салата.

После этого лаборанты вручную подсчитали кочаны салата в этих регионах. Корреляция между ручным и автоматическим подсчетом салата показывает, что для небольших регионов корреляция между ручным и автоматическим подсчетом составляет приблизительно 2% (R² =  0,978); для больших регионов это значение составляет около 0,8% (R² =  0,988); а для смешанных регионов корреляция R² превышает  0,9997. Дополнительный рисунок 2 и дополнительный файл S6 показывают  корреляцию между ручным и автоматическим подсчетом для всех трех групп регионов.

Рис. 8: Применение системы ААП-Л для подсчета и классификации миллионов кочанов салата на трех плантациях в Кембриджшире, Великобритания. a–c)  Программа ААП-Л используется для подсчета и классификации миллионов кочанов салата (маленькие окрашены в синий цвет, средние — в зеленый, а большие — в красный) на трех плантациях в Кембриджшире, Великобритания.  d)  Общая количественная оценка кочанов салата и категорий размеров на трех полях.

Традиционно измерение характеристик сельскохозяйственных культур в полевых условиях в больших масштабах является очень трудоемким и занимает много времени. Часто это требует применения разрушительных методов, потенциально подверженного ошибкам ручного подсчета или оценки признаков, которые имеют ключевое значение для урожайности или качества урожая [33].

Недавние достижения в области методов машинного обучения/глубокого обучения и компьютерной верификации привели к взрывному росту феномики растений, что быстро улучшило наши возможности по извлечению фенотипической информации из больших и сложных наборов данных фенотипирования [34].

Новые аналитические подходы, основанные на данных, также меняют феномику растений – сбор больших данных (т.е. фенотипирование) больше не является узким местом, вместо этого актуальной задачей стало извлечение биологически значимой информации (т.е. фенотипический анализ) из больших данных [35].

Таким образом, наряду с развитием аэрофотосъемки и технологий дистанционного зондирования, становится все более очевидным, что интеграция масштабируемого сбора данных, высокопроизводительного фенотипического анализа и моделирования прогнозирования урожайности является ключом к будущим исследованиям сельскохозяйственных культур и точному земледелию [36].

Представленная здесь платформа ААП-Л решает конкретную задачу в области сверхмасштабного аэрофотосъёмки и точного земледелия, объединяя аэрофотоснимки NDVI, кросс-валидацию, машинное обучение/глубинное обучение и разработку программного обеспечения с коммерческим производством салата. Платформа автоматизирует количественную оценку миллионов кочанов салата на поле, что позволяет нам связать основанный на исследованиях фенотипический анализ с реальными сельскохозяйственными проблемами.

В рамках междисциплинарного проекта мы выбрали гибкий метод исследований и разработок, поскольку технологии и требования постоянно менялись в ходе проекта. Результаты, полученные с помощью ААП-Л, показывают сильную корреляцию между автоматическим подсчётом и оценкой специалистов ( R² = 0,98  ). Таким образом, мы уверены, что ААП-Л способна помочь производителям свежих овощей и фермерам в их потребностях в крупномасштабной полевой фенотипизации, а также в анализе признаков, связанных с урожайностью.

Коммерческие последствия

С коммерческой точки зрения, производство салата предлагает привлекательную экономическую рентабельность по сравнению со многими другими агропродовольственными предприятиями [37]. На сегодняшний день предприятия по производству салата оцениваются в миллиарды долларов и обеспечивают работой сотни тысяч постоянных и сезонных работников по всему миру. Только европейские овощеводы произвели 2,95 миллиона тонн салата (и цикория) в 2016 году, общая годовая стоимость которого составила 2,5 миллиарда евро [38]. 

Далее по цепочке поставок свежей продукции планирование и эффективность многих важных видов деятельности по производству сельскохозяйственных культур в значительной степени зависят от сроков созревания урожая и его товарности (т.е. качества урожая) [39]. 

Маркетинговые мероприятия, такие как логистика, торговля и сбыт продукции, необходимо организовывать за несколько недель до сбора урожая; кроме того, необходимо заранее определить бронирование и резервирование поставок урожая, сельскохозяйственного оборудования и соответствующие коммерческие планы с розничными продавцами [40]. Таким образом, урожай можно собрать в нужное время с максимальной урожайностью [41].

Наша работа вносит непосредственный вклад в производство салата-латука, повышая фактическую урожайность и обеспечивая надежную количественную оценку качества урожая (например, размера кочанов), что является ключевым фактором для производства, маркетинга и управления цепочкой поставок.

Машинное обучение и компьютерное зрение в феномике растений

Еще одна цель этой работы — дальнейшее развитие программных решений на основе машинного обучения и компьютерного зрения в исследованиях феномики растений. Высокопроизводительное фенотипирование растений — быстрорастущая область исследований, охватывающая множество дисциплин, от селекции растений, выращивания, дистанционного зондирования до вычислительных наук [42]. Модульная разработка программного обеспечения позволяет нам тестировать и внедрять различные архитектуры обучения с открытым исходным кодом [43] (например, через фреймворки TensorFlow) и алгоритмы компьютерного зрения [44] (например, библиотеки Scikit-Image) в ААП-Л.

Следует отметить, что мы извлекли ряд уроков при применении машинного обучения/глубокого обучения и компьютерного зрения в фенотипическом анализе: (1) алгоритмы обучения могут работать плохо, если обучающие наборы данных плохо размечены и недостаточны; (2) хотя алгоритмы машинного обучения/глубокого обучения специализируются на сегментации и классификации, если целевые объекты хорошо определены, все еще существует большой разрыв между распознаванием объектов и измерением признаков; (3)

Для осмысленного фенотипического анализа требуется не только достаточное биологическое понимание для логического определения целевых признаков, но и специальные алгоритмы для разработки характеристик, позволяющих количественно описать эти признаки. Следовательно, в исследованиях феномики растений необходимо рассматривать биологические вопросы, аналитические решения и реализацию программного обеспечения в совокупности для решения возникающих задач.

Ограничения и дальнейшее развитие платформы

Помимо многообещающих результатов фенотипического анализа, представленных в этой статье, следует учитывать и ограничения платформы:

(1) ААП-Л тестировалась с использованием образцов салата айсберг, снятых сверху, в основном на стадиях H1 и H2, что означает, что ошибка анализа может увеличиться при слишком большом перекрытии между кочанами салата, например, начиная со стадии H3.

(2) Поскольку ААП-Л тестировалась только с использованием изображений NDVI, важно добавить новые функции в платформу для включения других индексов растительности, полученных с помощью многоспектральных и гиперспектральных датчиков изображения.

(3) Поскольку решения в области точного земледелия обычно основываются на изображениях, почвенных и климатических условиях, результаты ААП будут более надежными, если мы сможем включить информацию о почве для каждого региона сбора урожая и климатические условия на уровне поля. Таким образом, результаты можно будет сравнивать между участками в течение нескольких лет. Потенциальным подходом является использование наземных систем фенотипирования, таких как CropSight [45],  для передачи данных об окружающей среде в анализ.

(4) Метод был протестирован и подтвержден на полях салата в ряде географических мест с использованием стандартной процедуры аэрофотосъемки. Данные, собранные с разных участков с помощью различных стратегий аэрофотосъемки (например, разные углы, высоты и GSD), могут повысить надежность и совместимость платформы.

(5) Ключевые характеристики были построены с помощью алгоритмов машинного обучения, а не разработаны искусственно, что делает модели обучения уязвимыми при работе с совершенно неопределенными наборами данных. Следовательно, алгоритмы фенотипического анализа на основе машинного обучения/глубинного обучения необходимо обновлять с помощью новых размеченных обучающих данных для новых видов сельскохозяйственных культур.

(6) Для анализа поля, насчитывающего приблизительно миллион кочанов салата, на достаточно мощном компьютере (2,5 ГГц Intel Core i7, 8 ГБ памяти) требуется около 4 часов. Большая часть вычислительного времени тратится на модель обучения для идентификации отдельных кочанов салата, что можно улучшить за счет параллельных вычислений или обработки на графическом процессоре (GPU) для ускорения анализа.

Перспективы исследований в области растениеводства и точного земледелия.

Вместе с недавними достижениями в области управления данными многомасштабного дистанционного зондирования и фенотипирования [45-47], платформу можно относительно легко расширить, включив в нее другие виды сельскохозяйственных культур, такие как пшеница и рис, путем переобучения модели обучения с использованием дополнительных наборов данных.

Таким образом, ААП можно превратить в более комплексную аналитическую платформу, которая будет иметь большое значение для производства сельскохозяйственных культур и товарной урожайности в агропродовольственном секторе. Например, плотность посадки пшеницы и риса тесно связана с урожайностью из-за ее влияния на распределение воды, света и удобрений, что невозможно количественно оценить с помощью наземных RGB-изображений [48]. 

Следовательно, использование сверхмасштабных аэрофотоснимков NDVI и соответствующих методов распознавания объектов, встроенных в ААП-Л, позволит платформе улучшить оценку эффективности посева, скорости всхожести и распределения растений. Затем, используя многомасштабный подход к фенотипированию (то есть интегрируя наземные рабочие станции), селекционеры и исследователи сельскохозяйственных культур могли бы делать предварительные прогнозы урожайности зерна различных генотипов в полевых экспериментах.

С точки зрения точного земледелия, мониторинг отдельных растений, таких как кочан салата, позволяет точно отслеживать состояние посевов на ключевых стадиях роста на всей плантации. Это дает фермерам реальное количество посевов на поле, на основе которого можно количественно оценить урожайность, а не просто оценить ее. Расчет количества посевов также может привести к точному учету сельскохозяйственных ресурсов, облегчая автоматизированное внесение удобрений с переменной нормой, борьбу с сорняками и пестицидами с помощью программного обеспечения для тракторов, что позволяет получить более точную карту распределения посевов [49].

Кроме того, тщательный мониторинг ключевых показателей урожайности может помочь фермерам и производителям снизить вариативность применения агрохимикатов и орошения на разных полях, увеличивая урожайность и повышая рентабельность [50]. Наконец, новые аналитические платформы, такие как платформа ААП-Л, должны в значительной степени интегрироваться в рутинную сельскохозяйственную деятельность, что позволит избежать значительных дополнительных затрат и сделает новые агротехнологические решения более востребованными в агропродовольственном секторе.

ААП-Л  автоматически измеряет количество салата айсберг в поле, используя сверхмасштабные аэрофотоснимки NDVI, с акцентом на характеристики, связанные с урожайностью, такие как количество кочанов, категории размеров, распределение размеров поля и отмеченные GPS-метками регионы сбора урожая. Результаты анализа близки к ручному подсчету и могут быть использованы для повышения фактической урожайности.

Мониторинг миллионов кочанов салата в поле демонстрирует значительную ценность ААП-Л для сверхмасштабного фенотипирования в поле, точных стратегий сбора урожая и повышения товарности урожая до его уборки. Мы считаем, что разработанный нами алгоритм, программная реализация, применение алгоритмов машинного обучения/глубокого обучения и компьютерного зрения, а также междисциплинарные исследования и разработки будут иметь большое значение для будущих исследований в области феномики растений, которые обещают быть более сложными.

Благодаря непрерывной работе над исследованиями и разработками мы уверены, что платформа обладает большим потенциалом для поддержки агропродовольственного сектора с помощью интеллектуального и точного подхода к мониторингу овощных культур и, следовательно, для принятия более эффективных решений в области управления урожаем.

Литература