Автоматизация процессов в сельском хозяйстве, в частности автономный контроль сорной растительности, ставит перед нами задачу управления транспортными платформами и рабочими органами в условиях нестабильной окружающей среды. Это требует формализации состояния внешней среды, что включает в себя:
- Определение и классификацию растений
- Выявление сорняков
- Локализация положения растений на обрабатываемом участке
Такая информация необходима для мониторинга и формирования программы обработки участка.
Локализация растений и определение их положения могут быть реализованы с помощью геоинформационных систем (ГИС).
Сельскохозяйственный сектор активно внедряет автономную навигацию, основанную на глобальной навигационной спутниковой системе (ГНСС), однако ее доступность ограничена. Для решения этой проблемы ГНСС можно дополнить системами, использующими реактивные датчики и визуальную информацию.
Совокупность средств получения и обработки визуальной информации будет составлять систему технического зрения (СТЗ) сельскохозяйственных робототехнических комплексов (СХ РТК). СТЗ будет опираться на детальную информацию о структуре окружающей среды, включая объекты, полевые структуры, естественные или искусственные маркеры и препятствия.
Для эффективной навигации с использованием данных СТЗ требуется высокая плотность информации. 3D-изображение (например, сглаженное RGBD-изображение или в формате облака точек) предоставляет больше информации о структуре окружающей среды по сравнению с двумерными данными (например, RGB-изображения от обычной камеры, ИК-изображения и др.).
2D-данные необходимы для определения морфологических свойств растений на обрабатываемом участке и формирования информации для раличных систем прогнозирования.
Таким образом, данные СТЗ могут быть использованы не только для навигации, но и для мониторинга состояния посевов и отдельных растений, локализованных в конкретной точке обрабатываемого участка.
В настоящем исследовании рассматривается проблема выбора оптимальной системы технического зрения для решения задач определения местоположения сельскохозяйственной техники, работающей по технологии RTK (Real Time Kinematic), а также объектов в окружающем пространстве.
Системы технического зрения играют определяющую роль в реализации алгоритмов позиционирования, движения, навигации робототехнических систем и управления их бортовыми системами. По этой причине они считаются ключевым элементом любой робототехнической системы (РТК).
Для получения исчерпывающей информации об окружающей среде, целесообразно использовать в качестве системы технического зрения комбинацию сенсоров различной физической природы. Это позволит сформировать комплексную модель внешней среды. Для расширения спектра получаемой информации о среде возможно дополнение системы инфракрасными и ультрафиолетовыми сенсорами.
К основным ограничениям функционирования систем технического зрения в составе РТК относятся: большой объем передаваемой для обработки информации, а также ограниченный радиус обзора в условиях неблагоприятной погоды (туман, дождь, снегопад).
Состав современных систем технического зрения РТК может изменяться в зависимости от условий предполагаемого функционирования РТК, поставленных перед ней задач и множества других параметров, определяемых на этапе проектирования.
Рис. 1. Пример состава СТЗ РТК сельхозназначения, работающего в условиях априори неизвестной динамически изменяющейся среды
В общем случае сенсоры систем телеуправления (СТЗ) могут быть представлены следующими системами:
- Системы визуализации: цифровые камеры, оптико-электронные или иные модули регистрации изображения. Спектр работы сенсоров (видимый, ультрафиолетовый и инфракрасный диапазоны) определяется основной задачей роботизированной телеуправляемой системы (РТК) и средой ее функционирования.
- Системы трехмерного сканирования: лазерные сканеры, стереоскопические, акустические или ультразвуковые СТЗ для получения пространственных данных о распределении объектов и построения «карты глубин» наблюдаемой сцены с последующей обработкой для отслеживания и определения скоростей объектов.
- Радиолокационные системы: различного диапазона для получения информации об объектах в среде функционирования РТК на расстояниях, превышающих предельные дальности работы других установленных сенсоров, а также для получения детальных двумерных и трехмерных данных о сцене наблюдения в неблагоприятных для распространения оптических сигналов условиях.
- Спектральные сенсоры: гиперспектральные и ультрафиолетовые для определения материального состава наблюдаемой сцены, изучения свойств грунта и объектов, а также для выявления трудно распознаваемых объектов в видимом и других диапазонах.
- Другие датчики: обеспечивающие высокую точность определения пространственного положения элементов и свойств окружающей среды.
Несмотря на разнообразие сенсоров, наиболее распространенным видом являются телевизионные камеры. Для регистрации рабочей сцены РТК и формирования геометрической текстурированной модели внешней среды они используются в составе стереосистем.
Автономная навигация сельскохозяйственных роботов (СХ) РТК на основе стереозрения возможна, например, в рядах саженцев. В качестве ориентиров могут использоваться необрезанные края, гребни, борозды, искусственные маркеры, валки и даже щетина.
Недавно была разработана система стереозрения, использующая трехмерную структуру рядов культур для автоматического наведения. Для подобных систем характерны проблемы, связанные с высокой вычислительной нагрузкой и пустыми пикселями в некоторых местах (особенно в тех, которые находятся вдали от сенсора). Решение этих проблем возможно с помощью использования кадра с уменьшенным разрешением и алгоритмов фильтрации.
В ряде работ показана возможность использования краев полей культур в качестве ориентиров для автономной навигации РТК, указаны трудности с вычислительной обработкой данных и ограничения при сильном солнечном свете, когда проецируемая тень трактора находится в зоне действия системы трехмерной визуализации.
Тринокулярное зрение позволяет использовать несколько базовых длин, которые дополняют друг друга, для более точного измерения глубины на разных диапазонах, в частности, для формирования данных системы сегментации и выделения почвы.
LIDAR и стереозрение представляют собой взаимодополняющие технологии, демонстрирующие повышенную эффективность при совместном использовании. Исследования показывают, что комбинация этих датчиков приводит к более точным результатам по сравнению с применением одиночных систем.
Камера TOF (Time-of-Flight), использующая непрерывную волновую модуляцию, может быть эффективно реализована в качестве основного навигационного датчика для сельскохозяйственной техники. Существуют коммерческие системы автоматического наведения, основанные на трехмерном зрении, уже внедренные в сельское хозяйство.
К примеру, компания CLAAS разработала интеллектуальную трехмерную камеру стереозрения CAM PILOT, способную отслеживать различные объекты окружающей среды, такие как гребни, валки и ряды культур (например, виноградники). Она использует двумерные изображения и методы обработки трехмерных данных, как в отдельности, так и в комбинации.
Компания IFM electronic предлагает интеллектуальный трехмерный датчик TOF, в котором излучатель расположен отдельно от приемника. Данная система, специально разработанная для наружного использования, нечувствительна к помехам, таким как солнечный свет или материалы с различными отражающими характеристиками. Она способна обнаруживать контурные линии полосы для автоматической навигации и автоматически распознавать до 20 различных объектов на расстоянии до 35 метров.
Французская компания Naio Technologies разработала коммерческого полевого робота для механической прополки, использующего стереозрение для автономной навигации между рядами культур. Изначально они использовали LIDAR (импульсную модуляцию) для навигации по рядам, но позже модернизировали систему зрения до стереозрения, что позволило добиться более точного позиционирования и поведения робота, а также обнаруживать более мелкие растения.
Роботизированные системы сбора плодов станут экономически эффективными при условии круглосуточной работы. Камеры SWIR (Short Wave Infrared) обладают большим потенциалом для применения в сельском хозяйстве ночью благодаря способности выводить инфракрасный поток.
В настоящем анализе рассматриваются основные типы датчиков и их применимость в различных задачах регистрации.
Стереозрение:
- Преимущества: Доступность готовых интеллектуальных камер с параллельными вычислительными возможностями и детальной документацией. Достаточная прочность для использования в открытой среде.
- Недостатки: Низкое качество текстуры изображения затрудняет обнаружение объектов. Стереосистемы на базе стандартных видеокамер чувствительны к прямому солнечному свету. Шкала глубины сильно зависит от базового расстояния.
Камера TOF (Time-of-Flight):
- Преимущества: Активное освещение, независимое от внешних источников света. Возможность получения данных в ночное время, в темноте или при недостаточном освещении. Коммерческие 3D-датчики для сельского хозяйства основаны на активно развивающейся технологии фотонного смесителя (PMD). Новые версии обладают разрешением до 4,2 мегапикселей и диапазоном измерения глубины до 25 метров.
- Недостатки: Большинство камер TOF по-прежнему имеют низкое разрешение, чувствительны к прямому солнечному свету и характеризуются высокой стоимостью.
LIDAR
Достоинства лидарных систем:
- Источники света, используемые в лидарах, обладают высокой стойкостью к воздействию солнечной радиации.
- Данные системы позволяют осуществлять измерения глубины в условиях недостаточной освещенности (ночью или в темноте).
- Лидарные системы характеризуются устойчивостью к электромагнитным помехам.
- Широкое применение лидаров в сельскохозяйственной сфере обусловило наличие обширной научной литературы и доступной информации по данной тематике.
- Современные версии лидаров демонстрируют высокую эффективность работы в неблагоприятных метеоусловиях (дождь, снег, туман, пыль).
Недостатки лидарных систем:
- Ограниченная точность определения краев объектов на значительных расстояниях из-за интервала между световыми лучами.
- Необходимость предварительного разогрева системы в течение 2,5 часов для стабилизации показаний глубины.
- Относительно крупные габариты и наличие подвижных частей, что может представлять потенциальную опасность.
- Старые версии лидаров могут испытывать трудности при работе в неблагоприятных погодных условиях (дождь, снег, туман, пыль).
Регистрация окружающей среды с помощью РТК:
Осуществляется комбинированным использованием вышеупомянутых сенсоров. Как правило, для получения информации о глубине и текстуре рабочей сцены применяются различные методы интеграции данных. Функционирование различных камер в разное время суток может существенно отличаться. Например, RGB-камеры имеют ограниченную применимость в ночное время. Однако использование нескольких камер различного спектрального диапазона и интеграция получаемой информации позволяют получить более точное изображение (рис. 2).
Предварительная алгоритмическая обработка полученной информации с применением цифровых и иных фильтров для повышения качества изображения и компенсации оптических и иных искажений является важным этапом функционирования систем трехмерного зрения (СТЗ).
Рис. 2. 3D-реконструкция растений при использовании CTЗ в разных условиях
СТЗ в задачах мониторинга
В современных роботизированных комплексах для сельского хозяйства (РТК) задачи кластеризации, сегментации и распознавания объектов окружающей среды решаются с помощью алгоритмов компьютерного зрения, машинного обучения или нейронных сетей.
Для систем контроля хода уборки (СХ РТК) актуальны задачи распознавания положения растений и оценки их характеристик. Рассмотрим базовые технологии, не связанные с использованием видеокамер.
В контексте автономного контроля состояния растений робот должен идентифицировать целевые объекты. Это означает разделение алгоритмом распознавания растений на две категории: пригодные и непригодные. Обычно задача решается поэтапно: робот анализирует одно растение, принимает решение относительно его состояния и переходит к следующему.
Для успешного выполнения этой задачи необходима предварительная подготовка базы данных с изображениями годных и негодных растений. В научной работе, посвященной идентификации ростков сахарной свеклы, было проанализировано 217 предварительно сделанных снимков. В результате было выделено 19 признаков, обеспечивающих максимальный процент успешного распознавания – 96%. Авторы подчеркивают, что при использовании системы в полевых условиях точность, вероятно, снизится на 10-15%, но предлагают компенсировать это поправкой с использованием дополнительного признака – расположения ростков (обычно «пригодные» растения высаживаются рядами).
Одним из фундаментальных методов, используемых для задач распознавания в сельском хозяйстве, является интерферометрия. Интерферометрия исторически применялась для измерения роста растений или изменений движения под воздействием различных раздражителей. В настоящее время различные интерферометрические методы исследуются с использованием трехмерного подхода для инспекции семян и контроля качества.
Например, для обнаружения зараженных семян дыни была использована оптическая когерентная томография (ОКТ) на основе интерферометрии белого света (рис. 3). ОКТ и интерферометрия обладают рядом преимуществ: высокой точностью, возможностью структурного анализа и высоким разрешением. К недостаткам можно отнести высокую стоимость, ограниченный диапазон работы, рассеяние световых лучей на высокотекстурированных поверхностях, относительность измерения, чувствительность к вибрациям, трудоемкость в реализации и эксплуатации.
Применение подобных методов затруднено в полевых условиях. Альтернативой может стать метод Structure from Motion (SfM) по комплексной информации с камер оптического спектра и в УФ- и ИК-диапазонах.
Рис. 3. 3D-реконструкция семян дыни, основанная на данных, полученных при интерферометрии
Недавно был представлен метод визуального распознавания кочанного овоща, получивший название «визуальная локализация Радиччи». Исследователи провели серию экспериментов по оценке эффективности данного алгоритма с использованием различных камер съемки. Несмотря на низкое качество исходных изображений, алгоритм демонстрировал высокую точность обнаружения. В ходе экспериментальных исследований не было зафиксировано ни одного случая ложного срабатывания.
Система технического зрения в системе управления РТК для контроля сорной растительности
Внедрение системы технического зрения (СТЗ) в систему управления робототехническим комплексом (РТК) направлено на повышение качества принятия решений за счет предоставления дополнительной информации.
Основные функции СТЗ:
- Обеспечение оператора РТК избыточной информацией о среде функционирования. Это особенно важно в условиях переменчивой погоды и освещенности.
- Управление движением РТК по заданному маршруту с учетом динамических изменений окружающей среды. СТЗ предоставляет информацию о препятствиях, позволяя оператору или системе автономно принимать решения по их преодолению.
- Отслеживание положения и параметров целевых объектов на основе данных СТЗ.
- Планирование движения РТК в динамически изменяющейся обстановке также осуществляется на основе информации СТЗ.
- Информационное сопровождение процесса управления движением РТК в среде с неопределенными или переменными характеристиками.
- Оптимизация и синхронизация обработки мультиспектральных данных комплексной системы СТЗ для комплексного анализа среды функционирования роботов.
- Выявление параметров текстуры объектов среды и свойств среды, например, опорная и геометрическая проходимость грунта или поиск скрытых элементов, на основе алгоритмического анализа мультиспектральных данных.
- Построение карты дальностей на основе алгоритмов обработки стереоскопических изображений СТЗ или комплексирования данных датчиков сканирования местности и систем регистрации изображений (при наличии).
- Выявление изменений параметров динамической среды или ее объектов с течением времени, а также положения целевых объектов.
Для оптимизации работы сенсоров и повышения качества получаемой информации предлагается схема (рис. 4), включающая следующие взаимосвязанные подсистемы:
- Система локальной обработки данных СТЗ: Микропроцессорные системы, обеспечивающие обработку изображений в режиме реального времени с высокой скоростью благодаря аппаратной реализации алгоритмов технического зрения. Данные системы также оснащены интерфейсами для получения информации от датчиков визуальной информации различных спектральных диапазонов.
- Исполнительные системы РТК: Механические или мехатронные системы наведения на объект и стабилизации сенсоров, предназначенные для увеличения зоны видимости сенсора, повышения качества регистрируемого изображения при движении РТК по неровной поверхности и эффективной работы комплексированных СТЗ.
- Системы обработки и анализа изображений: Подсистемы, осуществляющие обработку 2D-изображений и 3D-данных, а также реализующие алгоритмы выявления трехмерной информации из стереоскопических или мультиспектральных изображений. Данные системы обеспечивают решение задач автономной навигации РТК и других задач в динамично изменяющейся среде.
- Средства обработки изображений: Системы, осуществляющие распознавание и сопровождение целевых объектов, а также анализ окружающей среды на предмет возможных препятствий.
- Вычислительные средства: Аппаратура, реализующая алгоритмы компьютерного зрения для работы СТЗ РТК в режиме реального времени с учетом специфики различных уровней СТЗ и параметров их синхронизации.
- Средства визуализации информации: Инструменты, включая виртуальную реальность, предназначенные для оптимизации восприятия информации человеком и повышения эффективности операторского режима управления РТК.
- Сенсорный блок: Мультиспектральные визуальные датчики, используемые для обнаружения скрытых объектов и улучшения качества восприятия информации об окружающей среде в критических условиях работы сенсоров.
Рис. 4. Предлагаемая структура системы управления РТК для автономного контроля сорной растительности с использованием данных СТЗ
На начальных этапах реализации проекта предусматривается создание системы передачи информации, поступающей от системы телеуправления (СТЗ), в случае дистанционного оперативного управления робототехническим комплексом (РТК). Данная система потребует также внедрения механизмов приема и передачи навигационной информации от систем позиционирования для обеспечения информационного сопровождения работы РТК при дистанционном управлении.
В дальнейшем планируется создание базы данных знаний (впоследствии – база знаний), которая будет хранить актуальную информацию о состоянии объекта, а также основные положения по обработке земельных участков. Эта база данных будет использоваться для распознавания образов на изображениях и автономного формирования траектории движения РТК на основе карты местности.
Выводы
В настоящее время существует широкий спектр технологий машинного зрения, применяемых в сельскохозяйственной робототехнике. Несмотря на то, что эти технологии становятся все более доступными, они не обладают универсальностью и требуют алгоритмической обработки. Кроме того, в различных областях робототехники используются разные комбинации сенсоров, что обуславливает необходимость разработки индивидуальных конфигураций датчиков с учетом специфики решаемой задачи.
В данной работе предлагается решение по интеграции систем машинного зрения (СТЗ) в систему управления робототехническим комплексом (РТК) для решения задач контроля сорной растительности, локализации элементов в рабочем пространстве РТК и мониторинга. Для эффективного определения сорняков достаточно использовать средства локализации транспортных платформ на основе данных LIDAR и стереокамер. В свою очередь, задачи мониторинга целесообразно выполнять с помощью мультиспектральных камер, охватывающих оптический, инфракрасный и ультрафиолетовый спектры.