Повышение точности подсчёта всходов сельскохозяйственных культур с применением трёхмерного компьютерного зрения

ЗАКАЗАТЬ СИСТЕМУ

В данной статье представлен детализированный анализ методов трёхмерного компьютерного зрения для автоматизированного подсчёта всходов сельскохозяйственных культур. Рассмотрены физические принципы работы ключевых технологий получения 3D-данных (стереозрение, LiDAR, фотограмметрия), детально описаны алгоритмы предобработки, сегментации и классификации облаков точек, а также факторы, влияющие на точность оценки густоты стояния растений. Особое внимание уделено практическим аспектам внедрения данных технологий в полевых условиях, включая экономические и вычислительные ограничения. Приведены примеры параметров настройки алгоритмов и метрик оценки качества работы систем.

Введение

Оценка густоты стояния всходов — критически важный этап агрономического мониторинга, напрямую влияющий на прогноз урожайности, планирование внесения удобрений, гербицидов и принятие решений о пересеве. Традиционные методы учёта, такие как ручной подсчёт на учётных площадках размером 0,25–1 м², характеризуются высокой трудоёмкостью и ограниченной репрезентативностью выборки. Автоматизированные методы на базе двумерных изображений (RGB-съёмка с БПЛА или наземных платформ) позволяют охватить большие площади, но страдают от систематических ошибок, вызванных перекрытием листьев, неоднородностью фона и влиянием теней.

Трёхмерное компьютерное зрение предлагает принципиально иной подход, основанный на анализе пространственной структуры посевов. Вместо плоской проекции сцены система оперирует объёмной моделью, представленной в виде облака точек с координатами $(X,Y,Z)$. Это позволяет разделять перекрывающиеся объекты, надёжно отделять растения от фона и минимизировать влияние условий освещения.

Целью настоящей работы является максимально детальное описание технологических и алгоритмических аспектов применения 3D-компьютерного зрения для подсчёта всходов, включая физические основы методов получения данных, математические модели обработки, параметры настройки алгоритмов и практические рекомендации по внедрению.

В начале сезона перед агропромышленными предприятиями и управляющими фермами стоит важнейшая задача: точно определить количество успешно всходов, чтобы своевременно принимать решения о пересадке и внесении удобрений. Ручной подсчет — медленный, трудоемкий процесс, подверженный ошибкам выборки, искажающим оценки по всему полю. В этой статье рассматривается переход от традиционных методов мониторинга к передовым системам искусственного интеллекта, с особым акцентом на повышение точности подсчета всходов с помощью 3D-компьютерного зрения. Прочитав это руководство, вы поймете, как современные датчики, обработка облаков точек и облачная платформа компьютерного зрения могут превратить мониторинг урожая на ранних стадиях в точный, основанный на данных рабочий процесс.

Понимание подсчета всходов в точном земледелии

Точные данные о всхожести закладывают основу для всего вегетационного периода. Без знания точной плотности посадки растений агрономические модели прогнозирования урожайности и распределения ресурсов оказываются несостоятельными. Точное земледелие опирается на высокоточные данные, поэтому подсчет растений на ранних стадиях является критически важным оперативным показателем.

Почему точность подсчета всходов важна для планирования урожайности и ресурсов

Количество успешно прижившихся саженцев напрямую определяет потенциальную урожайность поля. Если плотность посадки слишком низкая, фермерам приходится в сжатые сроки принимать решение о повторной посадке, что является дорогостоящим решением, требующим точных данных. И наоборот, перенаселение может привести к конкуренции за ресурсы, замедляя рост урожая. Точные подсчеты позволяют фермерам оптимизировать внесение подкормки, корректировать графики полива и с большей уверенностью прогнозировать логистику уборки урожая.

Распространенные источники ошибок при ручном и основанном на 2D-изображениях подсчете сеянцев

Как правило, люди-разведчики подсчитывают урожай лишь на небольшой части поля — зачастую менее одного процента — и экстраполируют результаты, что приводит к значительным статистическим расхождениям. Когда первые автоматизированные системы начали использовать двухмерные камеры, они столкнулись с трудностями в решении физических задач сельского хозяйства. Двухмерные изображения сжимают трехмерный мир в плоские пиксели, что затрудняет для программного обеспечения различение двух перекрывающихся листьев и одного большого листа.

Полевые условия, затрудняющие точное обнаружение всходов.

Сельскохозяйственная среда хаотична и непредсказуема. Ряд факторов окружающей среды регулярно нарушает стандартные методы визуализации:

• Плотный слой растительных остатков, визуально сливающийся с зелеными всходами.
• Резкие колебания цвета почвы вызваны изменением уровня влажности.
• Резкий прямой солнечный свет, отбрасывающий глубокие тени и изменяющий форму растений.
• Степень засоренности, имитирующая цвет и текстуру целевой культуры.

В связи с ростом масштабов фермерских хозяйств и нехваткой рабочей силы, сельскохозяйственная отрасль стремительно отходит от примитивных методов подсчета. Переход к решениям для точного земледелия с использованием искусственного интеллекта обеспечивает огромный скачок в надежности, позволяя перейти от приблизительных оценок к точным цифровым инвентаризациям.

Ручной поиск, двухмерная визуализация и простые методы пороговой обработки.

Исторически сложилось так, что автоматический подсчет основывался на простом пороговом значении цвета — программировании компьютера для подсчета зеленых пикселей на фоне коричневой почвы. Этот метод неэффективен при наличии сорняков или изменении освещения. Стандартная двухмерная визуализация улучшила этот метод за счет использования базового обнаружения объектов, но ей по-прежнему не хватает пространственного контекста, что приводит к недоучету в густых рядах, где растения растут очень близко друг к другу. Между тем, ручной подсчет остается крайне подвержен человеческим ошибкам и основан на экстраполяции небольших выборок на целые поля, что ограничивает его точность.

Ограничения двумерных подходов при работе с перекрывающимися растениями и переменным освещением.

Когда камера трактора снимает двухмерное изображение сверху, перекрывающиеся кроны деревьев скрывают более мелкие саженцы под собой. Кроме того, переменное освещение изменяет значения RGB растения каждую минуту по мере прохождения облаков. Поскольку двухмерные камеры не обладают способностью к восприятию глубины, они не могут использовать физическую высоту растения, чтобы отличить его от плоского сорняка или тени.

Преимущества 3D-компьютерного зрения для обработки перекрытий и разделения объектов по высоте.

Системы 3D- компьютерного зрения в сельском хозяйстве решают проблему окклюзии, добавляя к данным ось Z (глубину). Понимая геометрическую структуру сцены, программное обеспечение может разделять перекрывающиеся растения на основе их структурных контуров.

Особенность	2D-изображение	3D компьютерное зрение
Восприятие глубины	Никто	Высокий
Перекрывающиеся растения	Плохое разделение	Отличное разделение
Теневые помехи	Высокий	Минимальный (глубина не учитывает тени)
Дифференциация сорняков	Полностью зависит от цвета/формы	Использует структурную высоту и объем.

Стереоскопические камеры для подсчета всходов

Для сбора трехмерных данных в условиях сельскохозяйственного производства на открытом воздухе требуется специализированное оборудование. Стереоскопическое зрение для подсчета урожая стало надежным решением, имитирующим человеческое восприятие глубины и позволяющим точно составлять карты рядов поля.

Принципы стереоскопического зрения и оценки диспаритета в рядах сельскохозяйственных культур

Стереокамеры используют две линзы, расположенные на заданном расстоянии друг от друга, для съемки одного и того же ряда растений под двумя немного разными углами. Программное обеспечение вычисляет «разницу» — смещение пикселей между левым и правым изображениями. Объекты, расположенные ближе к линзе, смещаются сильнее, чем объекты, расположенные дальше. Измеряя эту разницу, система вычисляет точное расстояние до каждого листа и комка почвы, создавая топографическую карту грядки с рассадой.

Основные параметры камеры, разрешение и угол обзора.

Физическая конструкция стереокамеры определяет её эффективность в полевых условиях. «Базовая линия» (расстояние между двумя объективами) определяет точность определения глубины; более широкая базовая линия лучше подходит для объектов, расположенных дальше, а узкая — идеально для сканирования рассады крупным планом. Высокое разрешение необходимо для съёмки тонких семядольных листьев, а широкое поле зрения обеспечивает возможность одновременной съёмки нескольких рядов посевов во время движения трактора.

Типичные алгоритмы стереоскопического зрения для обнаружения всходов в пропашных культурах

Стандартный конвейер обработки стереоизображений использует последовательный процесс для обеспечения точности. Он начинается с выравнивания изображения для сопоставления левого и правого кадров. Затем алгоритм стереосопоставления вычисляет карту диспаритета. Наконец, карта диспаритета преобразуется в трехмерное облако точек, где каждая точка представляет собой физическую координату (X, Y, Z) на поверхности растения или почвы.

Обработка облака точек для обнаружения саженцев

После получения данных о глубине их необходимо преобразовать в формат, который могут анализировать алгоритмы машинного обучения. Метод обнаружения «саженцев» в облаке точек преобразует плоские пиксели в измеримое, интерактивное трехмерное пространство.

Создание облаков точек для сельскохозяйственных объектов на основе стерео- и глубинных датчиков.

Облако точек — это цифровая копия поля, состоящая из миллионов отдельных точек данных. Стереокамеры, лидары или датчики глубины Time-of-Flight (ToF) непрерывно передают данные по мере движения сельскохозяйственной техники, создавая плотное трехмерное представление растительного покрова и почвы под ним.

Фильтрация, шумоподавление и удаление плоскости земли в сценах с рассадой

Исходные облака точек содержат шум из-за пыли, артефактов датчиков и вибраций трактора. Фильтры обработки изображений удаляют эти выбросы (шумоподавление). Для выделения саженцев алгоритмы выполняют «удаление плоскости земли». Идентифицируя плоскую поверхность почвенного слоя, программное обеспечение удаляет точки земли, оставляя только трехмерные кластеры растений, расположенные в цифровом пространстве. Алгоритмы фильтрации также помогают дополнительно уточнить данные, гарантируя, что изолированные трехмерные кластеры содержат только растения.

Кластеризация и сегментация отдельных сеянцев в трехмерном пространстве.

После удаления грунта оставшиеся точки данных необходимо сгруппировать в отдельные растения. Такие алгоритмы, как DBSCAN или Euclidean Cluster Extraction, группируют соседние точки на основе физической близости. Затем каждая отдельная группа сегментируется, измеряется и подсчитывается как отдельный саженец.

Модели обнаружения объектов для подсчета 3D-саженцев

Основной принцип работы современных систем подсчета основан на архитектурах глубокого обучения, которые интерпретируют пространственные данные. Эти модели обучены распознавать характерные геометрические особенности молодых растений.

Модели обнаружения 2D-объектов, адаптированные для 3D-контекста (YOLO, Faster R-CNN, Mask R-CNN)

Многие системы используют проверенные 2D-модели глубокого обучения, такие как YOLO (You Only Look Once) или Mask R-CNN, но подают на вход карты глубины вместо стандартных фотографий. Карта глубины кодирует ось Z в виде изображения в оттенках серого, что позволяет быстрым 2D-детекторам объектов использовать пространственную геометрию без значительной вычислительной нагрузки, связанной с обработкой истинных 3D-облаков точек.

Архитектуры глубокого 3D-обучения для облаков точек (PointNet, PointNet++, разреженные сверточные нейронные сети)

Для достижения максимальной точности необходимы настоящие трехмерные нейронные сети. Такие архитектуры, как PointNet и PointNet++, обрабатывают непосредственно необработанные, неупорядоченные облака точек. Эти модели анализируют локальные геометрические структуры точек, изучая физическую форму саженца кукурузы или сои, что делает их очень устойчивыми к изменениям цвета поля или освещения. Разреженные сверточные нейронные сети также используются для эффективной обработки изначально разреженных данных облака точек, снижая вычислительные затраты при сохранении высокой точности обнаружения трехмерных объектов.

Сочетание обнаружения объектов и сегментации экземпляров для точного подсчета всходов.

Для достижения практически идеального подсчета системы искусственного интеллекта сочетают обнаружение объектов по ограничивающим рамкам с сегментацией экземпляров. Этот гибридный подход сначала определяет общую область саженца, а затем присваивает уникальный идентификатор каждому пикселю или точке данных, принадлежащей конкретному растению. Это предотвращает двойной подсчет одного и того же растения с широко раскидистой листвой.

От необработанных данных с датчиков до точных подсчетов: машинное зрение и обработка изображений.

Для получения надежных результатов аппаратное обеспечение и алгоритмы должны работать вместе в рамках структурированного конвейера. Эффективное машинное зрение сглаживает хаотичные переменные живой сельскохозяйственной среды.

Предварительная обработка данных RGB и глубины для надежного обнаружения всходов.

Прежде чем ИИ получит доступ к данным, крайне важны этапы предварительной обработки. Это включает в себя нормализацию яркости изображения, коррекцию искажений объектива и идеальное выравнивание цветного RGB-изображения с картой глубины. Если цветовой пиксель не идеально соответствует соответствующей ему координате глубины, модель ИИ запутается и не сможет точно сегментировать растение.

Объединение RGB, данных о глубине и спектральной информации для улучшения классификации.

Наиболее надежные системы используют «слияние данных с датчиков». Объединяя данные RGB высокого разрешения (для текстуры и цвета), данные о глубине (для структуры и высоты) и мультиспектральные изображения (для измерения уровня хлорофилла), ИИ получает всестороннее понимание растения. Это делает различение живого саженца от зеленого сорняка или мертвого листа невероятно точным.

Обработка теней, неоднородности почвы и остатков в конвейерах машинного зрения

В системах машинного зрения используются данные о глубине для игнорирования теней, которые имеют цвет, но не имеют физической высоты. Изменчивость почвы обрабатывается путем обучения моделей глубокого обучения на разнообразных наборах данных, представляющих различные географические регионы и уровни влажности. Остатки отфильтровываются путем программирования ИИ на игнорирование горизонтальных геометрических структур, которые не соответствуют вертикальному росту саженца.

Наши решения как слой машинного зрения и искусственного интеллекта для подсчета всходов.

Создание собственной системы компьютерного зрения — ресурсоемкий и зачастую непрактичный процесс для руководителей фермерских хозяйств и интеграторов агротехнологий. Продукт нашей компании предоставляет необходимый уровень искусственного интеллекта для обработки сложных сельскохозяйственных изображений без необходимости разработки собственного программного обеспечения.

Платформа поддерживает рабочие процессы на основе ИИ для обнаружения, подсчета и оценки всхожести всходов с использованием сельскохозяйственных изображений. Его возможности машинного зрения помогают агропредприятиям более эффективно обрабатывать полевые данные и преобразовывать необработанные визуальные данные в полезную информацию о плотности растений. Вместо создания и поддержки собственной аналитической системы, команды могут использовать Продукт для оптимизации мониторинга урожая на ранних стадиях и сосредоточиться на качестве всходов, закономерностях появления всходов и готовых к принятию решений результатах.

Применение машинного обучения к изображениям и облакам точек для повышения точности подсчета всходов.

Наша команда  постоянно обучает модели машинного обучения на разнообразных многорегиональных наборах данных. Будь то анализ RGB-видеопотоков с тракторной стрелы или ортофотоснимков с дрона , модели обучаются адаптироваться к специфическим морфологическим особенностям различных типов культур. Этот непрерывный цикл обучения гарантирует, что повышение точности подсчета всходов является непрерывным и масштабируемым процессом.

Облачные программные приложения для обработки больших объемов полевых данных

Обработка гигабайтов 3D-облаков точек требует колоссальных вычислительных мощностей. Sairone предоставляет облачные SaaS-сервисы, которые выполняют сложные вычислительные задачи удаленно. Руководители ферм просто загружают данные с датчиков своих дронов или тракторов, а наша платформа обрабатывает изображения, предоставляя точные карты появления всходов и данные о численности популяции на удобную для пользователя панель управления.

Интеграция нашего решения с сеялками, опрыскивателями и системами управления фермерским хозяйством.

Данные ценны только в том случае, если они побуждают к действию. Платформы Sairone разработаны для бесшовной интеграции B2B. Полученные данные о количестве всходов и пространственные карты могут быть экспортированы непосредственно в существующие системы управления сельскохозяйственной информацией (FMIS). Такая совместимость позволяет поставщикам технических услуг мгновенно создавать рецепты на внесение удобрений с переменной нормой для целевой пересадки или точного применения агрохимикатов.

Методы, алгоритмы и практические ограничения

Сравнительный анализ 2D и 3D подходов

Двумерные методы анализа изображений опираются на следующие признаки объектов:

• Цветовые характеристики. Используются цветовые пространства RGB, HSV или Lab для выделения зелёной биомассы на фоне почвы. Например, индекс NDVI (Normalized Difference Vegetation Index) часто применяется для маскирования растительности. Однако на ранних стадиях развития всходы могут иметь пониженную интенсивность зелёного цвета из-за хлорозности или стресса, что снижает эффективность цветовой сегментации.
• Текстурные признаки. Анализируются локальные паттерны пикселей (например, с помощью матриц смежности GLCM — Gray-Level Co-occurrence Matrix) для различения листьев и почвы. Проблема заключается в том, что текстура мульчи или комков земли может быть схожа с текстурой молодых листьев.
• Контурные признаки. Применяются алгоритмы выделения границ (Canny Edge Detection) и поиска замкнутых контуров (Contour Detection). При высокой плотности посева контуры соседних растений сливаются, образуя один крупный объект неправильной формы.

Основные источники ошибок в 2D-подходе:

1. Перекрытие (Occlusion). Листья соседних растений накладываются друг на друга. Алгоритм может интерпретировать группу перекрывающихся листьев как одно крупное растение (занижение количества) или, наоборот, из-за разрывов в цветовой маске принять одно растение за несколько мелких объектов (завышение количества).
2. Неоднородность фона. Остатки мульчи, комья земли, сорняки и растительные остатки создают визуальный «шум». На ранних стадиях всходы имеют небольшие размеры и низкую контрастность, что затрудняет их отделение от мелких комков почвы.
3. Зависимость от освещения. Тени, возникающие при низком положении солнца или из-за рельефа поля, искажают форму объектов. Алгоритмы, основанные на цветовых порогах, часто ошибочно принимают тени за границы растений или даже за отдельные объекты.

Трёхмерное компьютерное зрение устраняет эти проблемы за счёт анализа глубины сцены. Основным представлением данных является облако точек (Point Cloud), где каждая точка Pi​ характеризуется координатами (xi​,yi​,zi​) и, в ряде случаев, дополнительными параметрами: интенсивностью отражённого сигнала Ii​ (для LiDAR) или цветом (Ri​,Gi​,Bi​) (для стереокамер или фотограмметрии).

Ключевое преимущество 3D-подхода — возможность разделения перекрывающихся объектов на основе их пространственного положения. Даже если листья двух растений перекрываются на 2D-проекции, в трёхмерном пространстве они занимают разные позиции по оси $Z$ (высота) или имеют различную ориентацию. Это позволяет применять алгоритмы сегментации, основанные на евклидовом расстоянии между точками, что значительно повышает точность подсчёта.

Технологии получения 3D-данных

Для формирования облака точек применяются три основные технологии, каждая из которых имеет свои физические принципы, преимущества и недостатки.

1. Стереозрение (Stereo Vision)

Метод основан на использовании двух камер, расположенных на известном расстоянии друг от друга (базис $B$). Принцип работы базируется на параллаксе: один и тот же объект проецируется в разные точки на левом и правом изображениях.

• Физические принципы. Смещение соответствующих пикселей на двух изображениях называется диспаратностью ($d$). Глубина сцены $Z$ вычисляется по формуле:  Z=(B⋅f)/d, где $f$ — фокусное расстояние камеры, $B$ — базис стереопары, $d$ — диспаратность.
• Этапы обработки:
  1. Калибровка камер. Определение внутренних параметров (фокусное расстояние, коэффициенты дисторсии) и внешних параметров (относительное положение и ориентация камер) с использованием калибровочного шаблона (например, шахматной доски).
  2. Ректификация изображений. Преобразование изображений таким образом, чтобы соответствующие эпиполярные линии стали горизонтальными и совпали друг с другом. Это упрощает поиск соответствующих пикселей.
  3. Вычисление карты диспаратности. Применение алгоритмов сопоставления блоков (Block Matching) или полуглобального сопоставления (SGM — Semi-Global Matching) для нахождения соответствующих пикселей на левом и правом изображениях.
  4. Построение карты глубины. Конвертация карты диспаратности в карту глубины с использованием формулы выше.
  5. Проекция в 3D. Преобразование карты глубины в облако точек с учётом параметров камеры.
• Преимущества: Относительно низкая стоимость оборудования, пассивный метод (не требует излучения), возможность получения цветных облаков точек.
• Недостатки: Чувствительность к условиям освещения и текстуре поверхности (на гладких или однородных участках сложно найти соответствующие пиксели), ограниченная дальность действия, снижение точности при увеличении расстояния до объекта.

2. LiDAR (Light Detection and Ranging)

Активный метод, основанный на измерении времени возврата отражённого лазерного луча.

• Физические принципы. Лазерный излучатель посылает короткий импульс света, который отражается от поверхности объекта и возвращается к приёмнику. Расстояние $D$ до объекта вычисляется по формуле: D=(c⋅t)/2, где $c$ — скорость света, $t$ — время прохождения луча до объекта и обратно.
• Типы LiDAR:
  • Импульсный LiDAR. Измеряет время полёта импульса. Обеспечивает высокую точность на больших расстояниях.
  • Фазовый LiDAR. Сравнивает фазу излучаемого и отражённого сигналов. Обеспечивает более высокую скорость сканирования и плотность точек, но имеет меньшую дальность действия.
• Параметры настройки: Частота сканирования, угол обзора, количество лучей (для многолучевых сканеров).
• Преимущества: Высокая точность измерений расстояния (до нескольких миллиметров), независимость от внешнего освещения, возможность работы в тёмное время суток, высокая плотность облака точек.
• Недостатки: Высокая стоимость оборудования, большие объёмы данных, сложность обработки из-за шумов и пропусков в данных.

3. Фотограмметрия (Photogrammetry)

Метод реконструкции 3D-модели на основе множества перекрывающихся 2D-снимков. Широко применяется при съёмке с беспилотных летательных аппаратов (БПЛА).

• Физические принципы. Основан на принципах триангуляции. Для каждой точки сцены, видимой на нескольких снимках, определяется её пространственное положение путём пересечения лучей, идущих от центров проекции камер к этой точке.
• Этапы обработки:
  1. Аэрофотосъёмка. Получение серии снимков с высоким перекрытием (обычно 70–80% продольное и 60–70% поперечное перекрытие).
  2. Поиск ключевых точек. Алгоритмы (например, SIFT — Scale-Invariant Feature Transform или ORB — Oriented FAST and Rotated BRIEF) находят характерные точки на изображениях, устойчивые к изменениям масштаба, поворота и освещения.
  3. Сопоставление ключевых точек. Определение соответствий между ключевыми точками на разных снимках.
  4. Определение параметров камер. Восстановление внутренних и внешних параметров камер (ориентация, положение) с помощью алгоритма Bundle Adjustment.
  5. Плотное сопоставление. Построение плотного облака точек путём сопоставления пикселей на всех снимках.
  6. Текстурирование. Наложение текстур (цветовых данных) на полученную 3D-модель.
• Преимущества: Возможность получения текстурированных 3D-моделей, использование стандартного фотооборудования, высокая детализация поверхности.
• Недостатки: Высокие вычислительные затраты на обработку, чувствительность к качеству снимков и условиям съёмки (требуется хорошая освещённость и отсутствие резких теней), зависимость от наличия текстурных особенностей на поверхности объектов.

Алгоритмы обработки 3D-данных для подсчёта всходов

После получения облака точек выполняется его обработка для выделения отдельных растений и их подсчёта. Процесс включает несколько этапов, каждый из которых требует тщательной настройки параметров.

1. Предварительная обработка

Цель этапа — удаление шумов, фильтрация выбросов и прореживание облака точек для снижения вычислительной нагрузки.

• Удаление шумов. Применяются фильтры, такие как фильтр радиуса (Radius Outlier Removal) или фильтр статистического выброса (Statistical Outlier Removal). Фильтр радиуса удаляет точки, у которых в заданном радиусе $r$ находится меньше $k$ соседей. Фильтр статистического выброса удаляет точки, которые находятся на расстоянии более $n$ стандартных отклонений от среднего значения расстояний до их $k$ ближайших соседей.
• Прореживание (Downsampling). Для уменьшения объёма данных применяется вокселизация (Voxel Grid Filtering). Пространство разбивается на кубические ячейки (воксели) заданного размера $s$. В каждом вокселе все точки заменяются одной точкой, расположенной в центре масс или медиане точек этого вокселя. Размер вокселя $s$ выбирается исходя из требуемой детализации: слишком большой размер приводит к потере деталей структуры растений, слишком маленький — к избыточному объёму данных.
• Выравнивание по поверхности. Для корректной сегментации растений необходимо выровнять облако точек по поверхности почвы. Это можно сделать путём построения плоскости, аппроксимирующей поверхность почвы (например, методом наименьших квадратов), и поворота облака точек так, чтобы плоскость почвы стала горизонтальной (параллельной плоскости $XY$).

2. Сегментация

Разделение облака точек на отдельные объекты (растения). Применяются следующие подходы:

• Кластеризация по пространственной близости. Алгоритмы, такие как DBSCAN (Density-Based Spatial Clustering of Applications with Noise) или Euclidean Clustering, группируют точки на основе их расстояния друг от друга.
  • DBSCAN. Требует задания двух параметров: радиуса окрестности $\epsilon$ и минимального количества точек $MinPts$ для формирования кластера. Точки, не вошедшие ни в один кластер, считаются шумом. Преимущество DBSCAN — способность находить кластеры произвольной формы и игнорировать выбросы. Недостаток — сложность выбора оптимальных параметров $\epsilon$ и $MinPts$, которые могут варьироваться в зависимости от стадии развития растений и плотности посева.
  • Euclidean Clustering. Более простой и быстрый алгоритм, который группирует точки, находящиеся на расстоянии меньше заданного порога dmax​ друг от друга. Подходит для предварительной сегментации, но может объединять близко расположенные растения в один кластер.
• Иерархическая сегментация. Сначала выделяются крупные зоны (bounding box), затем внутри каждой зоны выполняется детальная сегментация (instance segmentation) с присвоением каждой точке уникального идентификатора растения. Этот подход позволяет учитывать морфологические особенности растений на разных стадиях развития.
• Сегментация на основе геометрических примитивов. Для выделения стеблей или других цилиндрических частей растений можно использовать алгоритм RANSAC (Random Sample Consensus) для подгонки геометрических примитивов (цилиндров, конусов) к облаку точек.

3. Классификация и распознавание

Для определения принадлежности сегментов к целевым культурам и исключения сорняков используются методы машинного обучения.

• Извлечение признаков. Для каждого сегмента (кластера точек) вычисляются геометрические и статистические признаки:
  • Объём и площадь поверхности сегмента.
  • Высота и ширина сегмента.
  • Плотность точек в сегменте.
  • Ориентация нормалей точек (направление поверхности).
  • Распределение высот точек (гистограмма высот).
  • Текстурные признаки (если доступны цветовые данные).
• Обучение моделей. На основе извлечённых признаков обучаются классификаторы, такие как Random Forest, Support Vector Machine (SVM) или нейронные сети (PointNet, PointNet++). Модели обучаются на размеченных 3D-данных и учатся распознавать характерные признаки растений: форму стебля, распределение листьев, высоту и плотность точек в определённых зонах.
• Оценка качества. Для оценки точности классификации используются метрики: точность (Precision), полнота (Recall), F1-мера и площадь под кривой ROC (AUC-ROC).

4. Подсчёт и оценка густоты

На основе результатов сегментации и классификации выполняется подсчёт количества растений на единицу площади.

• Подсчёт растений. Количество растений определяется как количество сегментов, отнесённых к целевой культуре.
• Оценка густоты. Густота стояния всходов рассчитывается как отношение количества растений к площади учётного участка. Площадь учётного участка определяется на основе координат облака точек и может быть скорректирована с учётом рельефа местности.
• Учёт пропущенных и ложных срабатываний. Для повышения точности оценки густоты применяются статистические методы коррекции, учитывающие вероятность пропуска растений (False Negatives) и ложных срабатываний (False Positives). Например, если известно, что модель пропускает 5% растений, то итоговое количество корректируется путём деления на 0,95.

Факторы, влияющие на точность подсчёта

Точность оценки густоты всходов зависит от ряда факторов, которые необходимо учитывать при проектировании и эксплуатации системы.

• Плотность облака точек. Недостаточная плотность приводит к потере деталей структуры растений и ошибкам сегментации. Оптимальная плотность должна обеспечивать разрешение, достаточное для выделения отдельных листьев или стеблей. Для ранних всходов требуется более высокая плотность, чем для взрослых растений.
• Качество данных. Ошибки при сшивании снимков (в фотограмметрии) или шумы в данных LiDAR могут искажать геометрию объектов. Например, шумы в LiDAR-данных могут создавать ложные пики, интерпретируемые как отдельные растения.
• Стадия развития растений. На ранних стадиях всходы имеют небольшие размеры и низкую контрастность, что усложняет их обнаружение. По мере роста растений увеличивается перекрытие листьев, что требует более сложных алгоритмов сегментации.
• Условия съёмки. Ветер, вызывающий движение растений, может приводить к размытию и артефактам в 3D-модели. Дождь или роса могут изменять отражательные свойства поверхности растений, влияя на качество данных LiDAR и стереокамер.
• Разнообразие культур. Алгоритмы требуют адаптации под морфологические особенности конкретных культур (форма листьев, тип роста). Например, растения с вертикальным ростом (кукуруза) легче сегментировать, чем растения с горизонтальным ростом (тыквенные).
• Рельеф местности. Неровности почвы могут искажать высоту растений и усложнять сегментацию. Для компенсации этого эффекта необходимо выполнять выравнивание облака точек по поверхности почвы или использовать алгоритмы сегментации, устойчивые к изменениям рельефа.

Практические ограничения и вызовы

Несмотря на высокий потенциал, внедрение 3D-технологий в агрономическую практику сталкивается с рядом ограничений.

• Вычислительные затраты. Обработка больших облаков точек требует значительных вычислительных ресурсов и времени. Например, обработка облака точек размером 10 миллионов точек может занимать несколько минут на обычном компьютере. Для оперативного мониторинга полей необходимы высокопроизводительные вычислительные системы или оптимизация алгоритмов для работы на мобильных устройствах.
• Трудоёмкость аннотирования. Обучение моделей машинного обучения требует большого объёма вручную размеченных данных, что является дорогостоящим и длительным процессом. Разметка 3D-облаков точек сложнее, чем разметка 2D-изображений, поскольку требует выделения объектов в трёхмерном пространстве.
• Масштабируемость. Применение технологий на больших площадях требует оптимизации алгоритмов и использования высокопроизводительных вычислительных систем. Например, для обработки данных с БПЛА, охватывающих сотни гектаров, необходимо использовать распределённые вычисления или облачные платформы.
• Адаптация к полевым условиям. Системы должны быть устойчивы к изменениям погодных условий, освещённости и рельефа местности. Например, LiDAR-системы могут работать в тёмное время суток, но их эффективность снижается при сильном дожде или тумане. Стереокамеры чувствительны к освещённости и могут давать сбои при резких изменениях яркости.
• Экономическая целесообразность. Высокая стоимость оборудования (особенно LiDAR) и вычислительных ресурсов может ограничивать применение 3D-технологий на небольших фермах. Необходимо проводить экономический анализ, сравнивая затраты на внедрение системы с потенциальной выгодой от повышения точности учёта всходов и оптимизации агротехнических мероприятий.

Заключение

Трёхмерное компьютерное зрение представляет собой перспективное направление для повышения точности подсчёта всходов сельскохозяйственных культур. Использование пространственной информации позволяет преодолеть ключевые ограничения двумерных методов, связанные с перекрытием объектов, неоднородностью фона и влиянием освещения. Комбинация современных технологий получения 3D-данных (стереозрение, LiDAR, фотограмметрия) с алгоритмами сегментации и машинного обучения обеспечивает высокую точность оценки густоты стояния растений, достигающую 97% в контролируемых условиях.

Однако практическое внедрение данных технологий сдерживается рядом факторов, включая вычислительные затраты, трудоёмкость подготовки обучающих данных и необходимость адаптации к разнообразным полевым условиям. Дальнейшие исследования должны быть направлены на оптимизацию алгоритмов обработки 3D-данных, разработку универсальных моделей для различных культур и создание энергоэффективных решений для применения в полевых условиях. Особое внимание следует уделить разработке методов автоматической разметки 3D-данных и адаптации алгоритмов к изменяющимся условиям съёмки.

ЗАКАЗАТЬ СИСТЕМУ