Технология машинного зрения для применения в сельском хозяйстве

21.04.2026

162

views

В данной статье кратко рассматриваются современные области применения машинного зрения в сельском хозяйстве. Обсуждаются требования и последние разработки в области аппаратного и программного обеспечения для систем машинного зрения, с акцентом на мультиспектральную и гиперспектральную съемку для современной инспекции пищевых продуктов. Приводятся примеры применения для обнаружения заболеваний, дефектов и загрязнений на тушах птицы и яблоках. Рассматриваются будущие тенденции в применении технологий машинного зрения.

1. Введение

В сельском хозяйстве разработано множество приложений, использующих технологии машинного зрения, таких как дистанционное зондирование с земли и с воздуха для оценки природных ресурсов, точное земледелие, контроль качества и безопасности продукции после сбора урожая, классификация и сортировка, а также автоматизация процессов. Это объясняется тем, что системы машинного зрения распознают не только размер, форму, цвет и текстуру объектов, но и предоставляют числовые атрибуты объектов или сцены, подвергающейся съемке.

Помимо получения изображений объектов в видимом диапазоне (VIS), некоторые системы машинного зрения также способны исследовать эти объекты в свете, невидимом для человека, таком как ультрафиолетовое (UV), ближнее инфракрасное (NIR) и инфракрасное (IR) излучение. Информация, полученная от объектов в невидимых диапазонах света, может быть очень полезна для определения зрелости растений перед сбором урожая, наличия болезней или стрессовых состояний. Она очень полезна для определения сорта, зрелости, степени созревания и качества растений и овощей. Она также полезна для определения качества и безопасности после сбора урожая, таких как дефекты, состав, функциональные свойства, болезни и загрязнение растений, зерна и орехов, овощей и фруктов, а также продуктов животного происхождения.

Преимущества использования технологий обработки изображений для мониторинга заключаются в их достаточно высокой точности, неразрушающем характере и стабильном качестве результатов. Применение технологий машинного зрения повысит производительность промышленности, снизит затраты и сделает сельскохозяйственные операции и переработку более безопасными для фермеров и работников перерабатывающих линий. Это также поможет обеспечить потребителей продуктами питания лучшего качества и безопасности.

Рассматриваемое здесь машинное зрение ограничивается системами машинного зрения с использованием камер. Оно обладает большим потенциалом и преимуществами для сельскохозяйственной отрасли благодаря своей простоте, низкой стоимости, высокой скорости проверки и широкому спектру применений. Машинное зрение также может быть выполнено с использованием рентгеновской визуализации и магнитно-резонансной томографии (МРТ). Рентгеновская и МРТ-визуализация широко используются в медицине. Хотя они обладают потенциалом для обнаружения заболеваний и дефектов в сельскохозяйственной продукции и продуктах питания (Chen et al., 1989, Schatzki et al., 1997, Marks et al., 1998), их применение в сельскохозяйственном секторе ограничено из-за высокой стоимости инвестиций в оборудование и низкой скорости работы.

2. Компоненты системы машинного зрения

Системы машинного зрения, широко используемые в сельском хозяйстве, получают изображения отражения, пропускания или флуоресценции сельскохозяйственных материалов при УФ, видимом или ближнем инфракрасном освещении. Базовая система машинного зрения состоит из камеры, компьютера, оснащенного платой захвата изображений, и системы освещения. Кроме того, для передачи электронных сигналов на компьютер, получения изображений, а также для их хранения и обработки требуется программное обеспечение.

2.1. Освещение

Диапазон излучения может быть ультрафиолетовым (200–400 нм), видимым (400–700 нм) или ближним инфракрасным (700–2500 нм). Также существуют области применения в тепловизионной съемке (выше 2500 нм) для сельскохозяйственной продукции. Когда излучение от системы освещения освещает объект, оно проходит сквозь него, отражается или поглощается. Эти явления называются оптическими свойствами. Поглощенный свет также может переизлучаться (флуоресценция), обычно на более длинных волнах. Ряд соединений излучают флуоресценцию в видимой области спектра при возбуждении ультрафиолетовым излучением. Оптические свойства и флуоресцентное излучение объекта являются интегральными функциями угла и длины волны падающего света, а также химического и физического состава объекта.

Важность правильного освещения для системы машинного зрения невозможно переоценить. При грамотно подобранной системе освещения падающий свет будет оптимально отображать объекты или сцены для распознавания или анализа, что позволит избежать многих трудоемких процедур обработки изображений, которые в противном случае потребовались бы. Выбор осветительного прибора и его конфигурация в системе машинного зрения зависят от области применения. В настоящее время осветительное оборудование легко доступно для распространенных задач машинного зрения в сельском хозяйстве.

2.2. Устройство захвата кадров

Многие монохромные платы захвата кадров способны принимать видеовходы RS-170 или CCIR, в то время как цветные платы захвата кадров принимают входные сигналы NTSC, PAL или S-VHS. Функции платы захвата кадров, необходимые для приложений машинного зрения, включают в себя получение изображений, управление камерой и предварительную обработку данных изображения. Плата захвата кадров может получать как цифровые, так и аналоговые изображения в зависимости от используемой камеры. Для управления камерой минимальным требованием является точная схема АЦП и точная синхронизация камеры. Обработка входного сигнала, например, возможность управления усилением и смещением, важна для минимизации влияния колебаний камеры или освещения. Кроме того, некоторые платы захвата кадров способны выполнять предварительную обработку изображений с помощью таких функций, как «первым вошел — первым вышел» (FIFO) и «таблица поиска» (LUT).

Современная плата захвата кадров может взаимодействовать с памятью центрального процессора через программный драйвер со скоростью 80–130 Мбайт/с (интерфейс шины PCI). Этой скорости достаточно для удовлетворения потребностей многих приложений, работающих в режиме реального времени в сельском хозяйстве.

2.3. Программное обеспечение для обработки и анализа изображений

Цифровая обработка изображений выполняется с помощью компьютера для манипулирования информацией внутри изображения с целью сделать её полезной. Обработка изображений в сельскохозяйственных приложениях может состоять из трёх этапов: (1) улучшение изображения, (2) извлечение признаков изображения и (3) классификация признаков изображения. Улучшение изображения обычно применяется к цифровым изображениям для исправления таких проблем, как низкий контраст или шум.

Процедуры улучшения изображения, такие как морфологические операции, фильтры и попиксельные операции, обычно используются для исправления несоответствий в полученных изображениях, вызванных недостаточным и/или неравномерным освещением. Для извлечения признаков из цифровых изображений могут использоваться статистические методы, начиная от базовой статистики изображений, такой как среднее значение, стандартное отклонение и дисперсия, и заканчивая более сложными измерениями, такими как анализ главных компонентов. После идентификации признаков изображения следующим шагом является классификация признаков. Численные методы, такие как нейронные сети и системы нечёткого вывода, могут быть успешно применены для выполнения классификации признаков изображения.

2.4. ПЗС-камеры

Системы машинного зрения используют камеры различного типа, от монохромных камер, выполняющих простые задачи распознавания формы и размера, до многоспектральных камер с общей апертурой для обнаружения дефектов поверхности и заболеваний на мясе, зерне, фруктах и овощах.

Камера принимает свет от поверхности объекта и преобразует его в электрические сигналы с помощью прибора с зарядовой связью (ПЗС). ПЗС-матрицы — это твердотельные кремниевые устройства, доступные в линейной или матричной конфигурации. Линейные ПЗС-матрицы способны регистрировать линию пикселей за одну экспозицию. Они используются для получения полного двухмерного изображения объекта путем перемещения объекта или датчика в направлении, перпендикулярном линии пикселей.

Матричные матрицы также способны получать двухмерное изображение за одну экспозицию, но их производство значительно дороже, особенно при больших размерах матриц. Светочувствительная ПЗС-матрица преобразует оптическое изображение в массив электрических сигналов. Электрические сигналы пропорциональны интенсивности света от поверхности. Аналого-цифровой преобразователь (АЦП) преобразует электрические сигналы в 8- или 16-битные данные, а оцифрованные данные изображения затем сохраняются в компьютере.

2.4.1. Монохромная визуализация

Для получения монохромных изображений требуется одночиповая ПЗС-матрица. При соответствующей конструкции она способна регистрировать видимый и ближний инфракрасный свет.

Разрешение изображения, получаемого с помощью ПЗС-матрицы, зависит от количества пикселей в этих матрицах. В зависимости от области применения, разрешение камеры может варьироваться от 480 до 1024 строк или даже выше.

Для определения качества сельскохозяйственной продукции использовались различные монохромные методы визуализации. Например, монохромные методы машинного зрения применялись для автоматической сегментации области рибай на срезе длиннейшей мышцы и для определения степени мраморности в области рибай говядины (McDonald and Chen, 1991, McDonald and Chen, 1992, Hwang et al., 1997).

Они также использовались для обнаружения дефектов и синяков на яблоках (Davenel et al., 1988 , Rehkugler and Throop, 1989 , Singh and Delwiche, 1994 , Throop et al., 1995). Монохромная технология машинного зрения также использовалась для обнаружения рубцов, трещин и растущих кончиков спаржи (Rigney et al., 1996). Были предприняты попытки классификации яблок с помощью машинного зрения в режиме реального времени (Rehkugler and Throop, 1989, Throop et al., 1995). Основные проблемы онлайн-инспекции заключаются в получении качественных изображений с четко различимыми признаками, а также в наличии эффективного оборудования и программного обеспечения для обработки изображений достаточно быстро для реализации в режиме реального времени.

2.4.2. Цветная визуализация

Для цветной съемки также можно использовать одночиповую ПЗС-камеру. Это достигается путем чередования пикселей в ПЗС-камере для получения красного, зеленого и синего (RGB) цветов в ПЗС-матрице, чтобы имитировать цвета, воспринимаемые человеческим глазом. Однако этот метод, подходящий для просмотра телепередач или видео, может быть непригоден для сложных задач машинного зрения.

Цветная съемка также может быть достигнута с помощью трехчиповых ПЗС-камер. Каждая ПЗС-матрица в трехчиповой камере получает RGB-цвета для получения изображений объектов, близких к истинному цвету. Это достигается за счет использования призменной сборки с полосовыми фильтрами и дихроичным покрытием на выбранных поверхностях призм, которые разделяют широкополосный свет на RGB-каналы. Изображение, полученное каждой ПЗС-матрицей, является монохромным либо для красного, зеленого, либо для синего цвета (рис. 1). Таким образом, композиция трехканальных сигналов обеспечивает изображение объекта, близкое к истинному цвету.

Рис. 1. Трехчиповый цветной сканер.

Цветная визуализация находит множество применений для определения качества сельскохозяйственной продукции. Труп и др. (1993) использовали разницу в цвете между поврежденными и неповрежденными участками яблок сорта «Голден Делишес». Дейли и др. (1993 , 1995) применяли методы цветной визуализации для онлайн-оценки качества птицы.

Система цветной визуализации использовалась в Лаборатории приборов и датчиков (ISL) для классификации печени и сердец здоровых и нездоровых кур (Чао и др., 1999). У нездоровых кур наблюдались синдромы саккулита воздушных мешков, трупного дерматита и септицемии/токсемии. Точность разделения печени от здоровых и нездоровых кур составила от 87,5 до 92,5%, а сердец — от 92,5 до 97,5%.

2.4.3. Многоспектральная визуализация

Многоспектральная визуализация представляет собой набор из нескольких изображений, каждое из которых получено в узком диапазоне длин волн. Простейший метод получения изображений в дискретном спектральном диапазоне — это размещение полосового фильтра (или интерференционного фильтра) перед объективом монохромной камеры.

Многоспектральные изображения можно получить путем захвата серии спектральных изображений с использованием либо жидкокристаллического перестраиваемого фильтра (LCTF), либо акустооптического перестраиваемого фильтра, либо путем последовательной смены фильтров перед камерой. На рис. 2 показана система многоспектральной визуализации с вращающимся фильтровым колесом (Kim et al., 2001a), на котором установлены четыре фильтра для визуализации флуоресцентного излучения листьев растений.

Рис. 2. Многоспектральная система визуализации с вращающимся фильтровым колесом.

Более совершенный подход в мультиспектральной визуализации — использование многоканальной камеры с общей апертурой. Трехканальная мультиспектральная камера с общей апертурой аналогична трехчиповой цветной камере. Диапазон спектральных областей достигается за счет правильного выбора дихроичных покрытий и полосовых фильтров. По тому же принципу можно создать двух-, четырех- или шестиканальную камеру с общей апертурой. Преимущество мультиспектральной визуализации с общей апертурой заключается в возможности одновременного получения нескольких спектральных изображений. Это позволяет обеспечить высокоскоростную съемку и точную обработку, например, вычитание и сложение, нескольких изображений разных спектральных диапазонов.

Тейлор и МакКьюр (1989) использовали многоспектральную систему визуализации с вращающимся колесом, на котором размещались шесть оптических фильтров. Они продемонстрировали, что три длины волны, 670, 800 и 990 нм, позволяют обнаруживать здоровые и нездоровые ткани листьев. Они также показали, что система может отображать распределение хлорофилла по поверхности листа. Мьюир и др. (1982) использовали пространственную информацию на восьми длинах волн для обнаружения 12–15 видов дефектов на картофеле. В ISL Парк и Чен (1994) использовали усиленную многоспектральную систему визуализации для различения здоровых тушек птицы от нездоровых.

Парк и Чен (1996) сообщили о результатах применения метода текстурного анализа матрицы совместной встречаемости в качестве инструмента многоспектрального анализа изображений для обнаружения нездоровых тушек птицы. Многоспектральные изображения использовались для характеристики изображений куриного сердца для обнаружения заболеваний (Чао и др., 2001). Было показано, что мультиспектральная флуоресцентная визуализация полезна для изучения диффузии гербицида внутри листьев после их обработки (Kim et al., 2001a).

2.4.4. Гиперспектральная визуализация

В последние годы гиперспектральная визуализация стала мощным методом дистанционного зондирования Земли и медицинской диагностики. Этот метод сочетает в себе возможности визуализации и спектроскопии для получения как пространственной, так и спектральной информации об объекте. Он позволяет получить гораздо больше полезной информации, чем другие методы визуализации, поскольку каждый пиксель на поверхности изображения обладает спектральной сигнатурой объекта в этом пикселе.

Методы спектроскопического анализа данных позволяют извлекать химический состав из каждого пикселя или из их совокупности. Благодаря этим объединенным характеристикам гиперспектральная визуализация может значительно расширить наши возможности по идентификации материалов и обнаружению тонких и/или незначительных особенностей объекта. Области применения варьируются от точного земледелия, например, обнаружения стресса растений или заражения вредителями, до медицинских приложений и контроля качества и безопасности сельскохозяйственной продукции.

В разработке методов гиперспектральной визуализации использовались два основных подхода. Один из них заключается в последовательном получении серии узкополосных спектральных изображений для создания трехмерного куба изображений. Другой подход — это метод сканирования, при котором последовательно захватывается линия пространственной информации с полным спектральным диапазоном для каждого пространственного пикселя, что позволяет получить объем пространственно-спектральных данных.

Тот факт, что ПЗС-детекторы имеют двумерные массивы и спектрограф, позволяет одновременно записывать линию пространственной и кратную ей спектральную информацию. Преимущество такого типа системы заключается в том, что размеры выборки в одном из пространственных направлений (рис. 3) не ограничены размером ПЗС-матрицы, в отличие от первого подхода, при котором последовательно захватывается серия узкополосных спектральных изображений.

Рис. 3. Линейное сканирование яблок с помощью сканера PGP.

Мартинсен и Шааре (1998) применили гиперспектральную визуализацию для измерения распределения растворимых твердых веществ в киви и сочли этот метод очень перспективным. Мао и Хайтшмидт (1999) сообщили о системе гиперспектральной визуализации, способной как к аэрофотосъемке, так и к наземной/лабораторной съемке данных. Они использовали LCTF, ПЗС-видеокамеру, устройство захвата кадров и портативную компьютерную систему. Спектральный диапазон составляет от 450 до 750 нм с полосой пропускания 10 нм. Система способна захватывать различные спектральные изображения со скоростью до 14 изображений в секунду.

3. Примеры из практики

3.1. Онлайн-инспекция птицеводства с помощью многокамерной системы

Существует острая необходимость в разработке автоматизированных систем контроля, способных работать в режиме реального времени (не менее 140 птиц в минуту) на птицебойне. Эти системы должны уметь точно обнаруживать и идентифицировать тушки, непригодные для употребления в пищу.

На основе раннего исследования (Park et al., 1998), проведенного с использованием промышленных станков, была создана портативная двухкамерная система для разделения пригодных и непригодных для употребления в пищу тушек кур в режиме реального времени (Chao et al., 2000).

Две камеры были оснащены фильтрами с центральными длинами волн 542 и 700 нм соответственно. Схема двухкамерной системы показана на рис. 4. Описание ее основных компонентов приведено в работе Chao et al. (2000) , где описана лабораторная версия системы. В портативной системе для равномерного освещения тушек птицы использовались два волоконно-оптических двухлинейных светильника, оснащенных кварцево-галогенными лампами переменного тока мощностью 150 Вт. Двухлинейные светильники были расположены симметрично под углом 45° для обеспечения сбалансированного освещения тушек птицы.

Рис. 4. Схема портативной системы контроля с двумя камерами: (1) камера с фильтром 540 нм, (2) камера с фильтром 700 нм, (3) волоконно-оптический двухлинейный осветитель, (4) промышленный компьютер, (5) интерфейс и блок управления камерой, (6) источник питания 12 В для двух камер, (7) волоконно-оптический источник света, (8) резервный источник питания (ИБП), (9) фотоэлектрические датчики приближения, (10) магнитный датчик приближения, (11) корпус камеры.

Для этой системы машинного зрения при инспекции использовались парадигмы объектно-ориентированного программирования (Rumbaugh et al., 1991) для интеграции аппаратных компонентов. Изображение уменьшается до размера 256×240 пикселей, а затем тушка сегментируется от фона с помощью простого порогового значения. Из каждого сегментированного изображения генерируется в общей сложности 15 горизонтальных слоев (по 16 горизонтальных линий пикселей в каждом), как показано на рис. 5.

Для каждого слоя вычисляется центроид из бинаризованного изображения. На основе этих центроидов каждый слой делится на несколько квадратных блоков (16×16 пикселей), всего 107 блоков. Средняя интенсивность каждого блока используется в качестве входных данных для моделей нейронных сетей. Постоянное количество блоков в каждом слое было определено заранее, чтобы выделить основную часть каждой тушки и исключить ноги и крылья. Для очень маленькой курицы краевые блоки могут содержать несколько пикселей фона, передавая информацию о размере курицы в нейронную сеть в виде пониженной средней интенсивности.

Рис. 5. Обработка изображений в реальном времени с помощью MVIS. Генерация центроида и сетки во время захвата изображения для автономного обучения. (a) фронтальная съемка при 540 нм, (b) фронтальная съемка при 700 нм, (c) тыловая съемка при 540 нм, (d) тыловая съемка при 700 нм.

Модель нейронной сети с обратным распространением ошибки для классификации была создана в автономном режиме на основе изображений, полученных в режиме реального времени. Затем эти параметры были включены в раздел онлайн-классификации программного обеспечения. Модель нейронной сети с прямым распространением ошибки имеет 107 входных узлов, 10 узлов в одном скрытом слое и 2 выходных узла.

Целевые значения выходных узлов равны (0 1) или (1 0), в зависимости от того, был ли образец идентифицирован ветеринаром как здоровый или нездоровый. Для каждого из трех наборов данных метод разработки модели начинается с разделения данных на два подмножества: обучающее (50%) и валидационное (50%). Каждое подмножество содержит равное количество здоровых и нездоровых туш. Модели нейронных сетей обучаются на обучающем подмножестве. Валидационное подмножество используется для определения того, какая модель сети и какой объем обучения является оптимальным. Обучение всегда останавливается после 15 000 итераций.

На рис. 6 показаны типичные изображения тушек птицы, отобранных для анализа, на двух длинах волн. Представлены типичные изображения целых тушек и трех видов нецелых тушек (сепсис, трупное поражение и саккулит). Интенсивность отражения целых тушек не зависела от длины волны фильтра. Как показано на рисунках (g) и (h), между длинами волн 500 и 700 нм наблюдалась небольшая разница в интенсивности отражения.

Однако интенсивность отражения нецелых тушек на длинах волн 540 и 700 нм значительно отличалась от интенсивности отражения целых тушек. Для нецелых тушек курицы интенсивность отражения с фильтром на длине волны 540 нм была ниже, чем интенсивность с фильтром на длине волны 700 нм (a–f). Это показывает, что спектральные изображения нецелых тушек на длине волны 700 нм не совпадают с изображениями на длине волны 540 нм. Таким образом, сочетание этих двух длин волн позволило отличить целые туши от нецельных.

Рис. 6. Многоспектральные изображения в реальном времени для осмотра тушек птицы.

Система с двумя камерами была установлена между станцией потрошения и станцией инспекции. Для разработки моделей классификации было измерено в общей сложности 1400 тушек птицы (700 пригодных и 700 непригодных). Она использовалась для тестирования в режиме реального времени 6347 тушек птицы (5952 пригодных и 395 непригодных) (Таблица 1). В каждом случае результаты измерений на длинах волн 540 и 700 нм объединялись с помощью операции И для получения единого прогноза. То есть, туша считается пригодной только в том случае, если данные с обеих камер подтверждают это. В таблице 2 приведены результаты тестирования в режиме реального времени. Из 5952 пригодных тушек 5599 были правильно определены (94%), а 87% из 395 непригодных тушек были правильно определены.

Таблица 1. Количество туш, использованных для разработки модели и онлайн-тестирования.

Дата сбора	Полезный	Нездоровый
Разработка модели
16.09.1999–20.09.1999	500	500
21.09.1999–22.09.1999	150	150
27.09.1999	50	50

Общий	700	700
Онлайн-тестирование
28.09.1999–30.09.1999	5952	395
Общий	5952	395

Таблица 2. Точность классификации при онлайн-тестировании.

Тест в день (дни)	Пустая клетка	Пустая клетка	Прогноз
Пустая клетка	Пустая клетка	Пустая клетка	Полезный	Нездоровый	Точность (%)
28.09.1999–30.09.1999	Действительный	Полезный	5599	353	94.0
		Нездоровый	50	345	87.3

3.2. Выявление болезней, дефектов и загрязнений яблонь с помощью гиперспектральной системы визуализации.

Применение технологии гиперспектральной визуализации для контроля и оценки качества и безопасности пищевых и сельскохозяйственных продуктов в ISL началось в 1998 году. Предварительное исследование по идентификации нормальных и аномальных тушек птицы с использованием гиперспектральной визуализации было проведено Лу и Ченом (1998) .

С тех пор система гиперспектральной визуализации ISL была переработана таким образом, чтобы ее можно было использовать для оценки изображений отражения и флуоресценции (спектральный диапазон от 425 до 950 нм) сельскохозяйственной продукции с очень высоким пространственным и спектральным разрешением (Ким и др., 2000 , Ким и др., 2001b).

На рис. 7 показана принципиальная схема и аппаратные компоненты гиперспектральной системы визуализации ISL. Модуль датчика включает в себя ПЗС-матрицу с задней подсветкой и блок управления (Pixel Vision, Inc., Тигард, Орегон), который взаимодействует с персональным компьютером на базе процессора Pentium. ПЗС-матрица имеет 512×512 пиксельных элементов с 16-битным динамическим диапазоном данных и охлаждается термоэлектрическим способом.

Рис. 7. Гиперспектральная система визуализации ISL для исследования безопасности пищевых продуктов.

К головке ПЗС-камеры прикреплен спектрограф (ImSpector-V9, Spectral Imaging Ltd., Оулу, Финляндия) с объективом C-mount. Спектрограф представляет собой конструкцию «призма-решетка-призма» (PGP), обеспечивающую голографическую пропускающую решетку. Эта конструкция рассеивает входящий свет в спектральную и пространственную матрицу, которая затем попадает на ПЗС-матрицу.

В систему встроены два независимых источника света для получения изображений в режиме отражения и флуоресценции. Освещение образца для измерений в режиме отражения обеспечивается двумя галогенными лампами мощностью 150 Вт, питаемыми от двух регулируемых источников постоянного тока. Свет собирается и передается через два прямолинейных волоконно-оптических пучка, обеспечивающих практически равномерное освещение образцов.

Для флуоресцентных измерений используются две УФ-А флуоресцентные лампы, обеспечивающие практически равномерную энергию возбуждения в области образца. Перед корпусом лампы установлены фильтры нижних частот, предотвращающие пропускание излучения с длиной волны более 400 нм, что исключает спектральное загрязнение псевдофлуоресценцией.

Ниже приведён пример применения гиперспектральных изображений отражения для обнаружения загрязнённых яблок сорта Red Delicious. Из-за крайне неоднородного цвета поверхности яблок Red Delicious обнаружение загрязнений на этих яблоках, независимо от сорта, представляет собой сложную задачу для приложений машинного зрения.

В ходе исследований в ISL изучались такие виды загрязнений, как физические повреждения, например, ушибы, боковая гниль, парша и загрязнение почвой. К нормальным или незагрязненным частям яблок относились плоды красноватого и желто-зеленого цвета.

На рис. 8 показаны типичные спектры, полученные из гиперспектральных изображений неповрежденных и поврежденных поверхностей яблок. В целом, неповрежденные поверхности яблок демонстрировали более высокое отражение в видимом (>600 нм) и ближнем инфракрасном диапазонах по сравнению с поврежденными или загрязненными поверхностями, за исключением участков с ушибами, которые имели более высокое отражение. Участки с паршами демонстрировали самое низкое отражение. В красной области спектра наблюдалась очень отчетливая полоса поглощения с максимумом поглощения, центрированным на 680 нм. Это поглощение было обусловлено присутствием молекула (Chappelle et al., 1992). На загрязненных участках отсутствовали полосы поглощения хлорофилла а, за исключением участков с ушибами. Низкое отражение, наблюдаемое в диапазоне примерно от 450 до 550 нм для неповрежденных яблок, являлось проявлением сильного поглощения составляющими пигментами, такими как хлорофилл b и каротиноиды.

Рис. 8. Сравнение спектров отражения яблок сорта «Красный Делишес».

Различие между загрязненными и дефектными яблоками от незагрязненных было достигнуто с помощью изображений, полученных на нескольких длинах волн. Из-за неплоской формы яблок большие различия в измерениях отражательной способности варьируются по всему яблоку от центра к краям. Это различие маскирует разницу, которая могла бы быть видна для каждого из состояний. Методы вторых разностей позволили бы лучше дифференцировать загрязненные и дефектные части яблок. Алгебраическое выражение для второй центральной разности дается следующим уравнением:

$S ′′ (λ_{n}, g)=S(λ_{n} +g) −2 S(λ_{n})+S(λ_{n} −g)$ где S (λ_n) — изображение отражения на центральной длине волны λ_n, а S′′(λ_n, g) — изображение второй разности на длине волны λ_n с зазором (g) в нм. Центральная длина волны и зазор были выбраны для обеспечения наилучшего контраста между дефектами поверхности и незагрязненными участками яблок. В целом, когда центральные спектральные полосы связаны с сильными полосами поглощения пигментов, например, каротиноидов и хлорофилла а , изображения второй разности обеспечивают улучшенный визуальный контраст между загрязненными и незагрязненными участками яблок по сравнению с изображением в одной полосе волн.

На рис. 9а показано использование полосы поглощения, характерной только для незагрязненных яблок, такой как полоса поглощения хлорофилла в красной области спектра на длине волны 685 нм, в качестве центральной полосы для метода второй разности.

Рис. 9. (a–d) Простая процедура обработки изображений яблок: (a) изображения в полосе поглощения хлорофилла, (b) изображения после применения асимметричной второй разности, (c) изображения-маски, полученные после морфологической обработки, и (d) дефектные, пораженные и загрязненные участки изображений после применения маскирования и пороговой обработки.

Для обобщения метода вторых разностей с фиксированным зазором Мель и др. (2002) предложили модифицированный метод вторых разностей с различными зазорами (асимметричными) для нижних и верхних длин волн относительно центральной длины волны:

$S ′′ (λ_{n}, g)=S(λ_{n} +g_{1}) −2 S(λ_{n})+S(λ_{n} − g_{2})$ где S ′′(λ_n, g) — асимметричное изображение второй разности S (λ_n) с пробелами g₁ и g₂ , где g₁ не равно g₂.

Было установлено, что полоса поглощения хлорофилла с центром на 685 нм и двумя более длинными волнами на 722 и 870 нм, соответственно, очень эффективна для различения загрязненных участков от незагрязненных частей яблок. На рис. 9b показаны асимметричные изображения второй разности с тремя полосами, центрированными на 685, 720 и 870 нм. Различные белые пятна внутри яблок указывают на дефекты и загрязнение. Следует отметить, что стебли изображены не как дефекты, а как части незагрязненных яблок.

На рисунках 9c и 9d также показаны изображения масок, созданные с использованием ближнего инфракрасного диапазона, и результаты простого маскирования и пороговой обработки соответственно. Все незагрязненные яблоки не имели дефектов или загрязнений, за исключением одного яблока, расположенного в верхнем правом углу на рисунке 9d . Белые пятна, показанные на рисунке 9d на изображении незагрязненного яблока, предположительно представляют собой крошечные повреждения.

Были также исследованы другие сорта яблонь, включая Гала, Фуджи и Голден Делишес, и получены аналогичные результаты. Три указанных выше спектральных диапазона могут быть использованы в трехканальной системе визуализации с общей апертурой для оперативного осмотра сортов яблонь на наличие болезней, дефектов и загрязнения почвы.

Были изучены методы гиперспектральной визуализации для разработки простых способов обнаружения фекального загрязнения яблок (Ким и др., 2000), как с использованием отражения, так и флуоресценции фекально загрязненных яблок сортов Red Delicious, Gala, Fuji и Golden Delicious. Образцы обрабатывали толстыми слоями коровьего навоза на левых половинках яблок и тонкими мазками (прозрачными) на правых половинках яблок.

Предварительные результаты показали, что простое соотношение двух изображений отражения в полосах 750 и 800 нм с последующим применением простого порогового значения позволяет различить толстые участки навоза от незагрязненных поверхностей ( рис. 10а ). Однако для обнаружения тонких пятен навоза методы многоспектральной отражательной визуализации оказались не столь успешными. Дальнейшие исследования показали, что простое соотношение изображений двух полос флуоресценции в полосах 680 и 450 нм ( рис. 10б ) позволяет легко различить незагрязненные участки поверхности яблок от загрязненных пятен, независимо от цвета кожуры яблок и толщины слоя навоза.

Рис. 10. Изображения отношения коэффициентов отражения яблок сорта Red Delicious, обработанных толстыми слоями коровьего навоза на левой половине и прозрачным навозом на правой половине яблок. (а) Изображение отношения коэффициентов отражения, R800/R750. (б) Изображение отношения флуоресценции, F680/F450.

4. Заключение

Технология машинного зрения имеет потенциал стать очень важной для сельскохозяйственной отрасли. Использование технологии машинного зрения для дистанционного зондирования с земли и с воздуха в целях оценки природных ресурсов, точного земледелия, контроля качества и безопасности продукции после сбора урожая, классификации и сортировки, а также автоматизации процессов может стать рутинной операцией в ближайшем будущем.

Достижения в технологии машинного зрения сделают системы машинного зрения точными, надежными и недорогими. Требования к работе в реальном времени могут быть удовлетворены с помощью высокоскоростного компьютера и платы захвата изображений. Плата захвата изображений получает данные изображения с камеры, выполняет некоторую обработку и сохраняет изображение. Она может обмениваться данными с главным компьютером со скоростью 132 Мбайт/секунду по шине PCI. Эти скорости и скорость передачи данных достаточно высоки для удовлетворения потребностей в реальном времени, обычно встречающихся в сельскохозяйственных приложениях.

Для быстрого прототипирования системы машинного зрения в нее можно интегрировать программирование на основе искусственного интеллекта. Могут быть применены более современные инструменты, такие как нейронные сети, нечеткая логика и экспертные системы. Например, Чао и др. (1999) использовали систему цветной визуализации для классификации внутренних органов здоровых и нездоровых туш. Они разработали нейро-нечеткое программное обеспечение для повышения надежности классификации системы цветной визуализации.

Для полного применения технологии машинного зрения, системы машинного зрения для сельскохозяйственных приложений должны в полной мере использовать тот факт, что растительность, продукты питания и сельскохозяйственная продукция являются биологическими материалами; следовательно, различия в характеристиках поглощения света сельскохозяйственными материалами имеют очень важное значение. Гиперспектральная техника визуализации сочетает в себе преимущества спектроскопии и визуализации. Эта технология должна найти множество потенциальных применений в сельском хозяйстве.

При анализе гиперспектральных изображений можно использовать спектральные характеристики каждого пикселя и различия между пикселями. Например, при гиперспектральной съемке фруктов специфические пики поглощения в полосах хлорофилла и каротиноидов могут быть использованы для определения дефектов, повреждений или загрязнений на поверхности фруктов. Хотя гиперспектральные системы визуализации предоставляют важную спектральную информацию, они страдают от неспособности к быстрой онлайн-съемке. Многоспектральная система визуализации с общей апертурой и ограниченным числом волновых диапазонов может удовлетворить потребности в сборе и обработке данных в реальном времени. Гиперспектральные системы визуализации могут быть использованы для поиска оптимальных диапазонов и разработки алгоритмов для многих пищевых продуктов. При наличии определенных оптимальных диапазонов их можно реализовать в многоспектральной системе визуализации с общей апертурой для онлайн- или приложений реального времени.

Литература

Chao et al., 1999

K Chao, Y.R Chen, H Early, B Park

Color image classification systems for poultry viscera inspection

Appl. Eng. Agric., 15 (4) (1999), pp. 363-369
Chao et al., 2000

K Chao, B Park, Y.R Chen, W.R Hruschka, F.W Wheaton

Design of a dual-camera system for poultry carcasses inspection

Appl. Eng. Agric., 16 (5) (2000), pp. 581-587
Chao et al., 2001

K Chao, Y.R Chen, W.R Hruschka, B Park

Chicken heart disease characterization by multispectral imaging

Appl. Eng. Agric., 17 (1) (2001), pp. 99-106
Chappelle et al., 1992

E.W Chappelle, M.S Kim, J.E McMurtrey

Ratio analysis of reflectance spectra (RARS): An algorithm for the remote estimation of the concentrations of chlorophyll a, chlorophyll b, and carotenoids in soybean leaves

Remote Sensing Environ., 39 (1992), pp. 239-247

View PDF
Chen et al., 1989

P Chen, M.J McCarthy, R Kauten

NMR for internal quality evaluation of fruits and vegetables

Trans. ASAE, 32 (1989), pp. 1747-1753
Daley et al., 1993

W Daley, R Carey, C Thompson

Poultry grading/inspection using color imaging

Proc. SPIE, 1907 (1993), pp. 124-132
Daley et al., 1995

W Daley, R Carey, C Thompson

Real-time color grading and defect detection of food products

Proc. SPIE, 2345 (1995), pp. 403-411
Davenel et al., 1988

A Davenel, C Guizard, T Labarre, F Sevila

Automatic detection of surface defects on fruit using a vision system

J. Agric. Eng. Res., 41 (1988), pp. 1-9

View PDF
Hwang et al., 1997

H Hwang, B Park, M Nguyen, Y.R Chen

Hybrid image processing for robust extraction of lean tissue on beef cut surfaces

Computers Electronics Agric., 17 (1997), pp. 281-294

View PDF
Kim et al., 2000
Kim, M.S., Chao, K., Chen, Y.R., Chan, D., Mehl, P.M., 2000. Hyperspectral imaging system for food safety: Detection of fecal contamination on apples. In: Chen, Y.R., Tu, S.I. (Eds.), Photonic Detection and Intervention Technologies for Safe Food, Proceedings of SPIE, vol. 4206, pp. 174–184.
Kim et al., 2001a

M.S Kim, J.E McMurtrey, C.L Mulchi, C.S.T Daughtry, E.W Chappelle, Y.R Chen

Steady-state multispectral fluorescence imaging system for plant leaves

Appl. Optics, 40 (1) (2001), pp. 157-166
Kim et al., 2001b

M.S Kim, Y.R Chen, P.M Mehl

Hyperspectral reflectance and fluorescence imaging system for food quality and safety

Trans. ASAE, 44 (3) (2001), pp. 721-729
Lu and Chen, 1998

R Lu, Y.R Chen

Hyperspectral imaging for safety inspection of foods and agricultural products

Proc. SPIE, 3544 (1998), pp. 121-133
Mao and Heitschmidt, 1999
Mao, C., Heitschmidt, J., 1999. Hyperspectral imaging with liquid-crystal tunable filter for biological and agricultural assessment. In: Meyer, G.E., DeShazer, J.A. (Eds.), Precision Agriculture and Biological Quality, Proc. SPIE, vol. 3543, pp. 172–181.
Marks et al., 1998
Marks, J.S., Schmidt, J., Morgan, M.T., Nyenhuis, J.A., Stroshine, R.L., 1998. Nuclear magnetic resonance for poultry meat fat analysis and bone chip detection. Industry summary for US Poultry and Egg Association.
Martinsen and Shaare, 1998

P Martinsen, P Shaare

Measuring soluble solids distribution in kiwifruit using near-infrared imaging spectroscopy

Postharvest Biol. Technol., 14 (1998), pp. 271-281

View PDF
McDonald and Chen, 1991

T.P McDonald, Y.R Chen

Visual characterization of marbling in beef ribeyes and its relationship to taste parameters

Trans. ASAE, 34 (6) (1991), pp. 2499-2504
McDonald and Chen, 1992

T.P McDonald, Y.R Chen

A geometric model of marbling in beef longissimus dorsi

Trans. ASAE, 35 (3) (1992), pp. 1057-1062
Mehl et al., 2002
Mehl, P.M., Chen Y.R., Kim, M.S., 2002. Development of detection methods for defects and contaminations on apple surface using hyperspectral imaging technique, J. of Food Engineering, in review.
Muir et al., 1982

A.Y Muir, R.L Porteous, R.L Wastie

Experiments in the detection of incipient diseases in potato tubers by optical methods

J. Agric. Eng. Res., 27 (1982), pp. 131-138

View PDF
Park and Chen, 1994

B Park, Y.R Chen

Intensified multispectral imaging system for poultry carcass inspection

Trans. ASAE, 37 (6) (1994), pp. 1983-1988
Park and Chen, 1996

B Park, Y.R Chen

Multispectral image co-occurrence matrix analysis for poultry carcasses inspection

Trans. ASAE, 39 (4) (1996), pp. 1485-1491
Park et al., 1998
Park, B., Chen, Y.R., Chao, K., 1998. Multispectral imaging for detecting contamination in poultry carcasses. In: Chen, Y.R. (Ed.), Pathogen Detection and Remediation for Safe Eating, Proceedings of SPIE, vol. 3544, pp. 156–165.
Rehkugler and Throop, 1989

G.E Rehkugler, J.A Throop

Image processing algorithm for apple defect detection

Trans. ASAE, 32 (1989), pp. 267-272
Rigney et al., 1996

M.P Rigney, G.H Brusewitz, M.L Stone

Peach physical characteristics for orientation

Trans. ASAE, 39 (1996), pp. 1493-1497
Rumbaugh et al., 1991

J Rumbaugh, M Blaha, W Premerlani, F Eddy, W Lorensen

Object-Oriented Modeling and Design, Prentice-Hall, Englewood Cliffs, New Jersey (1991), pp. 417-432 chapter 19
Schatzki et al., 1997

T.F Schatzki, R.P Haff, R Young, I Can, L.C Le, N Toyofuku

Defect detection in apples by means of X-ray imaging

Trans. ASAE, 40 (1997), pp. 1407-1415
Singh and Delwiche, 1994

N Singh, M.J Delwiche

Machine vision methods for defect sorting stonefruit

Trans. ASAE, 37 (1994), pp. 1989-1997
Taylor and McCure, 1989
Taylor, S.K., McCure, W.F., 1989. NIR imaging spectroscopy: Measuring the distribution of chemical components. In: Proceedings of the Second International NIR Conference, Tsukuba, Japan pp. 393–404.
Throop et al., 1993

J.A Throop, D.J Aneshansley, B.L Upchurch

Near-IR and color imaging for bruise detection on Golden Delicious apples

Proc. SPIE, 1836 (1993), pp. 33-44

View at publisherCrossref
Throop et al., 1995

J.A Throop, D.J Aneshansley, B.L Upchurch

An image processing algorithm to find new and old bruises

Appl. Eng. Agric., 11 (1995), pp. 751-757

Авторы: Yud-Ren Chen, Kuanglin Chao, Moon S Kim

ЗАКАЗАТЬ СИСТЕМУ