Сегодня в сельском хозяйстве многие дефекты влияют на эффективность производства; данная статья призвана показать, как сочетание машинного зрения (МЗ) и обработки изображений (ОИ) помогает обнаруживать дефектные участки продукции. Дефекты обычно возникают из-за повреждений насекомыми, рубцов, порчи продукции и т. д. В этом обзоре подчеркивается важность контроля качества в сельском хозяйстве и его влияние на мировые рынки, а также рассматриваются способы классификации продукции по дефектам.
На первом этапе, после сбора урожая, в подходящих условиях и при хорошем освещении, продукция фотографируется специальными камерами и оценивается с помощью методов ОИ. На следующем этапе она классифицируется на основе обнаруженных дефектов. Существует множество алгоритмов классификации, позволяющих классифицировать продукцию на основе качества и типа дефектов. Использование сочетания МЗ и ОИ, а затем применение специальных алгоритмов классификации, помогает повысить эффективность обнаружения дефектов в собранной продукции.
Введение
Технология компьютерного зрения соответствует эффекту человеческого зрения при оценке качества фруктов и овощей путем электронного восприятия изображения, интерпретации и распознавания характеристик, и, наконец, предоставления информации для машины сортировки и оценки качества.
Благодаря сочетанию машинного зрения (МВ) и обработки изображений (ОИ) с технологическим прогрессом в области компьютеров, такие системы нашли применение в различных областях пищевой инженерии для точного определения характеристик продукта в онлайн-, линейном, атлайн- и офлайн-подходах.
Сегодня исследователи используют комбинацию характеристик, включая цвет, морфологию и текстуру, для извлечения и анализа необходимых данных и достижения более высокой точности и эффективности, чем в случаях, когда эти характеристики применяются по отдельности [1, 2].
На основе процедур IP системы MV используются для извлечения количественной информации из цифровых изображений, полученных камерами, для быстрой и бесконтактной качественной оценки.
Применение систем MV в качестве неразрушающих и быстрых систем позволяет избежать разрушительных методов контроля качества продукции. Таким образом, оценка качества проводится в строго контролируемых условиях с точки зрения освещения и фотографии, с использованием алгоритмов и математических соотношений и т. д. [3, 4].
В традиционных методах можно было получить доступ только к внешней информации о продукте, но с развитием науки и техники, помимо внешней информации, такой как цвет, можно извлекать внутренние характеристики, такие как текстура, что позволяет лучше обнаруживать дефекты продукции.
Следует отметить, что доступ к внутренней информации с помощью систем получения RGB-изображений невозможен, однако некоторые исследователи использовали альтернативные методы, такие как мультиспектральная технология, ИК-изображение [5], тепловизионная съемка [6], рентгеновская съемка [7], магнитно-резонансная томография [8, 9], флуоресцентная визуализация [10] и гиперспектральная визуализация [11, 12], чтобы создать решение для извлечения внутренней информации. Однако эти методы сталкиваются с некоторыми проблемами, такими как ограничение скорости и необходимость дорогостоящих систем.
Изображения RGB используются для получения физической информации, такой как цвет, форма и размер, но по сравнению с гиперспектральными изображениями они не могут предоставлять композиционные свойства, а гиперспектральные изображения, в дополнение к извлечению характеристик положения, формы и размера, могут отражать химическую информацию. Поэтому с помощью систем MV можно разработать неразрушающий метод для более эффективного обнаружения дефектов в пищевых продуктах [13, 14, 15]. В классификации и сортировке сельскохозяйственной продукции участвуют различные параметры.
Эти параметры включают цвет, размер, зрелость, дефекты, форму и т. д., которые являются химическими и физическими параметрами продукта [16]. Анализ текстуры полезен для обнаружения дефектов, поскольку позволяет различать дефектные и здоровые участки продуктов; кроме того, подходящим методом является сочетание цветовых и текстурных характеристик для повышения точности обнаружения дефектов [17].
Дефекты фруктов и овощей определяются как «несовершенства или аномалии, которые делают фрукты и овощи менее полезными и ценными, ухудшая их качество и полезность». Дефекты являются одной из наиболее распространенных причин потери качества фруктов и овощей в сельском хозяйстве. Снижение содержания питательных веществ и ухудшение внешнего вида продукта из-за дефектов влияют на рынок и цену продукта.
Для решения этих проблем обнаружение дефектов считается одним из лучших подходов в современном мире. Обнаружение дефектов — это процесс выявления дефектов или повреждений фруктов и овощей на основе формы, цвета, текстуры и т. д. [18]. Одним из важных вопросов в области обнаружения дефектов фруктов и овощей является степень их влияния на рыночную стоимость, которая напрямую связана с тем, как потребители выбирают продукт. Сегодня, благодаря развитию науки и техники в сельском хозяйстве, дефекты обнаруживаются с большей точностью, чем традиционные методы, что способствует экономическому росту и улучшению качества продукции.
Следует также отметить, что цвет, размер, правильная форма и другие параметры качества являются наиболее важными показателями для покупателей при выборе продукта. Из-за условий обработки и хранения до и после сбора урожая фрукты и овощи подвержены различным дефектам, что приводит к потерям в пищевой цепочке. Дефекты можно разделить на внутренние и внешние; следовательно, в зависимости от характера дефекта методы обнаружения могут различаться в зависимости от конкретного случая. Поэтому правильный выбор систем и технологий обнаружения помогает обеспечить более точную процедуру выявления дефектов, что позволяет поставлять на рынок высококачественную продукцию.
В данном обзоре мы сосредоточимся на применении систем компьютерного зрения (СКТ) в неразрушающих методах обнаружения дефектов и проблемах, существующих в этой области.
Мы рассматриваем фрукты и овощи из различных продуктов садоводства, поскольку они являются важной частью сельскохозяйственного производства, и обнаружение дефектов представляет собой серьезную проблему для этой категории продуктов, а отделение дефектных продуктов может сыграть значительную роль в снижении потерь, повышении качества и удовлетворенности потребителей.
Таким образом, цель данной статьи — дать обзор методов обработки изображений и приложений компьютерного зрения в области фруктов и овощей, а также рассмотреть различные типы сегментации, характеристики изображений и анализ качества фруктов и овощей на основе цвета, формы, размера и текстуры, а также типа их дефектов. Кроме того, рассматриваются основные компоненты, базовые теории и соответствующие методы анализа и обработки. Мы указываем на препятствия, которые ученые пытаются преодолеть, и обсуждаем будущие тенденции исследований и разработок в области СКТ.
Таким образом, обзор организован следующим образом: в разделе «Типы дефектов» описываются типы дефектов, за которым следует раздел «Системы компьютерного зрения», в котором подробно и широко описываются системы компьютерного зрения (СКТ), применяемые для обработки фруктов и овощей. Далее, в разделе « Основные этапы компьютерной обработки изображений » представлена базовая процедура обработки изображений. В разделах « Проблемы стебля и чашечки » и « Дефекты фруктов и овощей » рассматриваются внешние и внутренние дефекты, обнаруживаемые системами компьютерного зрения у фруктов и овощей. В разделах « Будущие тенденции » и « Заключение » представлены перспективы развития и выводы.
Виды дефектов
Выявление дефектов дает три основных результата: обеспечение стабильно высокого качества продукции, снижение потерь продуктов питания и повышение прибыльности отрасли [19]. К наиболее распространенным дефектам фруктов и овощей относятся внутренние дефекты, морфологические нарушения, такие как деформация и неправильная форма; патологические нарушения; механические повреждения во время сбора урожая и переработки; и физиологические термины, такие как метаболические изменения (рис. 1) [20].
Рис. 1. Дефекты, которые обычно встречаются в свежих фруктах и овощах [ 20 ]
Однако в литературе отсутствуют точные и полные данные о потерях фруктов и овощей, возникающих из-за дефектов, а исследования, посвященные этой проблеме, предоставляют различную и противоречивую информацию о потерях фруктов и овощей. Тем не менее, Густавссон и др. [22] предоставили полезную информацию по этому вопросу, которая представлена на рис. 2.
Первоначальные потери или отходы производства на разных этапах цепочки поставок продуктов питания (ЦПП) для фруктов и овощей во всем мире [22]
На рисунке 2 представлена серия круговых диаграмм, соответствующих потерям или отходам на начальном этапе производства фруктов и овощей в мировой цепочке поставок продуктов питания.
В FSC выделено пять сегментов потерь/отходов фруктов и овощей, как показано ниже [22]:
- Производство: В процессе уборки урожая могут возникать потери из-за порчи или механических повреждений. В этом разделе рассматриваются морфологические нарушения, механические повреждения и патологические изменения.
- Хранение: Во время обработки, хранения и транспортировки пролитие и порча продукции могут привести к ее повреждению на пути от фермы до места дистрибуции. В этом контексте следует учитывать внутренние дефекты и механические повреждения.
- Обработка: Промышленная или бытовая обработка, такая как сортировка и маркировка, а также мойка, может привести к потерям продукции. Кроме того, в процессе промышленной обработки урожай может быть поврежден, повреждён или получить ушибы.
- Распределение: потери в магазинах, занимающихся дистрибуцией продукции. В промышленно развитых странах потери при доставке продукции потребителям невелики благодаря наличию специализированной инфраструктуры. Однако в неиндустриальных странах эти потери могут быть значительными.
- Потребление: Потери в домашнем хозяйстве, физиологические расстройства могут привести к порче фруктов и овощей.
В секторе фруктов и овощей болезни являются основным фактором потери качества, приводящим к экономическим потерям. Хотя многие болезни и вредители можно предотвратить с помощью пестицидов и удобрений, во многих случаях такие болезни не предотвращаются полностью, поэтому необходимо проводить больше проверок в послеуборочных процессах, чтобы как можно раньше отделить пораженный урожай.
Важной проблемой является то, что болезнь может распространяться по части изображения фруктов и овощей в течение короткого промежутка времени [23]. Поэтому применение CVS для обнаружения различных типов заболеваний имеет решающее значение в секторе фруктов и овощей. В настоящее время проводится множество исследований, направленных на разработку надежных CVS для преодоления таких проблем. В таблице 1 представлены последние достижения технологии CVS в обнаружении различных типов дефектов.
Таблица 1. Последние достижения технологии CVS в обнаружении различных типов дефектов.
| Тип дефекта | Продукт | Техника | Преимущества | Недостатки | Результаты | Ссылка |
|---|---|---|---|---|---|---|
| Внутрен-ние дефекты | Лук | методы нейронных сетей | Нейронный классификатор показал лучшие результаты, чем байесовский классификатор, при сортировке лука на два класса (хороший или бракованный). | – | Рентгеновская линейная сканирующая визуализация позволяет успешно обнаруживать внутренние дефекты в луке. Классификатор на основе нейронной сети показал лучшие результаты, чем байесовский классификатор, при классификации лука по наличию внутренних дефектов. | Шахин и др. [ 24 ] |
| Меха-нические повреж-дения | Черника | Две глубокие сверточные нейронные сети (CNN): ResNet и ResNeXt. | Классификация каждого тестового образца занимает всего 5,2 мс и 6,5 мс соответственно для ResNet и ResNeXt. | – | Фреймворк на основе глубокого обучения обладает огромным потенциалом для онлайн-сортировки фруктов. | Ван и др. [ 25 ] |
| манго | K — Ближайшие соседи | Обеспечивает наилучшие результаты среди всех моделей классификации. | – | Высокая эффективность алгоритма k-NN, достигнутая на третий день (97,95%) | Велес Ривера и др. [ 26 ] | |
| Морфо-логи-ческие нару-шения | Фрукты | Двумерное облако точек, полученное с помощью камеры глубины Kinect. | Получение полной модели – удаление стебля с использованием соотношения вогнутости и выпуклости между соседними участками. | – | Эффективность алгоритма проверяется путем сравнения измеренных значений длины ограничивающего прямоугольника и периметра плода с фактическими значениями. | Ван и Чен [ 27 ] |
| Пато- логи-ческие расс-тройства | Яблоко | Глубокая сверточная нейронная сеть (DCNN) | Скорость обучения и оптимизатор оказывают сильное влияние. | Необ-ходимо большое количество образцов. | Модель DCNN имеет меньше параметров и более высокую точность распознавания, чем существующие модели. | Аяз и др. [ 28 ] |
| Капуста | Сравнение адаптивной пороговой техники и пороговой техники | Адаптивный алгоритм пороговой обработки позволяет более четко выявлять грибковые заболевания на изображениях листьев капусты. | Алгоритм пороговой обработки не способен эффек-тивно обна-руживать заболевание на изоб-ражениях листьев капусты. | По точности (80,5%) и чувствительности (93,5%) алгоритм адаптивной пороговой обработки оказывается лучше по сравнению с точностью (62,7%) и чувствительностью (43,1%) алгоритма пороговой обработки. | Алекс и Премкума [ 29 ] | |
| Физио-логи-ческие расстрой-ства | Яблоко | Дискриминантная калибровочная модель PLS | Способна выявлять поражения горькой пятнистости, даже невидимые невооруженным глазом, например, сразу после сбора урожая. | Не удалось различить горькие язвы и пробковую ткань. | С помощью гиперспектральной системы ближнего инфракрасного изображения калибровочная модель была успешно проверена на другом сорте яблок. | Николай и др. [ 30 ] |
| Цитру-совые | k -ближайших соседей | Предложенный метод классификации является быстрым, устойчивым к шуму и может применяться к любому существующему рентгеновскому оборудованию, устанавливаемому в линию. | С неко-торых ракурсов обна-ружение оказы-вается более сложным. | Представленный высокоскоростной и надежный алгоритм может быть внедрен в существующие системы онлайн-рентгенографии для успешного выявления нарушений грануляции в плодах апельсина и эндоксероза в плодах лимона. | ван Даэль и др. [ 31 ] | |
| Огурец | Онлайн-система гиперспектральной визуализации с выбором признаков и контролируемой классификацией. | Двухклассовая классификация (последовательный прямой отбор – SVM) показала 100% точность. Алгоритм классификации может быть использован для онлайн-сортировки и классификации огурцов. | – | Метод отбора признаков SFS в сочетании с классификатором SVM позволил достичь наилучшей общей точности классификации в 100%, а общая точность классификации для трех классов составила 90,5% на основе спектрального анализа. | Цен и др. [ 32 ] | |
| Помидор | Сверточная нейронная сеть под названием YOLOv2 | Средняя точность сети обнаружения плодов томата YOLOv2 составила 97,24%. | – | Результаты эксперимента показали, что предложенный метод эффективен для выявления здоровых плодов томата и плодов томата с распространенными физиологическими заболеваниями. | Чжао и Цюй [ 33 ] |
Морфологические нарушения
Деформация продукта, придающая ему неправильную форму, является одним из морфологических нарушений, которое может препятствовать диагностике дефектов и заболеваний из-за создания теней или искажений, поэтому это может негативно повлиять на результаты, полученные с помощью CVS. Поскольку поврежденные участки могут быть не идентифицированы, продукт будет считаться здоровым [34, 35].
Обработка изображений может помочь в обнаружении неправильных форм продуктов. Джаханбахши и Хейралипур [36] использовали метод обработки изображений для различения правильной и неправильной формы моркови, извлекая признаки, включая длину, ширину, периметр и компактность, для классификации с помощью методов линейного дискриминантного анализа (LDA) и квадратичного дискриминантного анализа (QDA) и сообщая о точности классификации 92,59% и 96,30% LDA и RDA соответственно.
Внутренние дефекты
Для обнаружения внутренних дефектов были разработаны специальные камеры, позволяющие выявлять дефекты сельскохозяйственной продукции. Эти камеры исследуют скрытые повреждения и нарушения, включая физиологические и патологические расстройства, а также механические повреждения. Способность систем обнаружения внутренних дефектов выявлять такие скрытые дефекты имеет большое значение на протяжении всей пищевой цепи.
Диагностика внутренних заболеваний предотвращает распространение болезней, потери продуктов питания и недовольство потребителей [31, 37, 38, 39]. Рентгенография была предложена ван Даэлем и др. [31] для обнаружения внутренних дефектов цитрусовых, что привело к точности 93,6% для лимонов и 95,7% для апельсинов. Гиперспектральная визуализация также использовалась для обнаружения внутренних дефектов огурцов, при этом была достигнута точность 91,1%, о чем сообщили Цен и др. [32].
Патологические расстройства
Еще одним параметром являются патологические повреждения, связанные с атаками грибов, вирусов, бактерий или микробных патогенов [20]. Существует множество нарушений патологической природы, и их проявления в сельскохозяйственной продукции могут быть визуально схожими независимо от типа инфекции или продукта [40].
Таким образом, способность обнаруживать инфекционный агент и/или связанные с ним химические реакции помогает выявить причинно-следственные связи и точно определить конкретное нарушение [41]. Сунь и др. [42] предложили гиперспектральную визуализацию для обнаружения грибковых заболеваний на основе содержания хлорофилла в персиках, которая дает точность 98,75%.
Механические повреждения
Еще одним фактором, влияющим на качество и срок хранения продукта, являются механические повреждения, возникающие в результате ударов, воздействия ветра и условий окружающей среды. Механические повреждения приводят к метаболическим изменениям, разрушению тканей, раздавливанию, царапинам, ухудшению пигментации и т. д. на поверхности или внутренних тканях продукта [43, 44].
Некоторые из механических повреждений цитрусовых фруктов включают ушибы, порезы и сжатие. Различные факторы, особенно на стадии сбора урожая, влияют на чувствительность фруктов. Высокая относительная влажность может повысить чувствительность фруктов к механическим повреждениям. Факторы окружающей среды включают повреждения от града и дождя. Кроме того, повреждения насекомыми являются одной из самых серьезных проблем цитрусовой промышленности.
Например, у апельсинов повреждения поверхности плода могут быть связаны с повреждениями от насекомых, ветром, рубцами, поражением щитовками, язвами, растрескиванием плодов, медным ожогом и фитотоксичностью [45]. Подходящим методом обнаружения механических повреждений является термография, которая использует инфракрасное излучение, испускаемое нагретым объектом, для получения хорошей количественной информации о глубине и размере повреждений [46]. Гиперспектральная визуализация также была предложена Цуй и др. [47], которая использовалась для обнаружения механических повреждений с точностью 87% для черники.
Физиологические расстройства
Солнечные ожоги, поверхностные ожоги, водянистая сердцевина, внутренняя сухость, грануляция, мучнистость, потемнение, горькая ямка и т. д. возникают из-за физиологических стрессов, связанных с температурой, дыханием, транспирацией и питанием продукта на разных стадиях роста, сбора урожая и послеуборочной обработки [48, 49].
Следовательно, из-за этих нарушений коммерческая ценность продукта снижается [31]. Ближний инфракрасный диапазон демонстрирует способность обнаруживать физиологические нарушения в дынях, как сообщают Ито и др. [50]. Термография рассматривается как еще одна технология, позволяющая обнаруживать водянистую сердцевину в яблоках, как сообщают Барановски и Мазурек [51].
Система компьютерного зрения
Традиционные методы обнаружения дефектов обычно основаны на диагностике экспертов. Эти методы непоследовательны, ненадежны, трудоемки и дорогостоящи. Человеческий фактор, приводящий к усталости и отвлечению внимания, также неизбежен. Системы компьютерного зрения могут помочь решить эти проблемы. При анализе фруктов и овощей системы освещения структурированы как фронтальная и тыльная подсветка.
Для проверки качества поверхности определены такие атрибуты, как цвет, текстура и дефекты кожи, фронтальная подсветка. Однако для проверки качества границ определены такие атрибуты, как размер и форма, тыльная подсветка. Традиционные, мультиспектральные и гиперспектральные системы компьютерного зрения широко используются для анализа качества пищевых и сельскохозяйственных продуктов [52].
В целом, как показано на рис. 3, система CVS состоит из следующих основных компонентов: камеры, освещения, платы захвата изображения и компьютерной системы. Для гиперспектральной и мультиспектральной фотографии обычно используются спектрометр и механизм перемещения образца.
Типичная система машинного зрения для традиционных, гиперспектральных и мультиспектральных систем компьютерного зрения.
Типы систем CVS можно разделить на три категории: традиционные системы CVS (T-CVS), гиперспектральные системы CVS (H-CVS) и мультиспектральные системы CVS (M-CVS). В таблице 2 представлены различные системы MV и их применение в литературе для обнаружения дефектов в фруктах и овощах.
Таблица 2. Были проведены некоторые исследования по выявлению дефектов в фруктах и овощах.
| Продукт | Тип CVS | Техника | Преимущества | Недостатки | Точность | Ссылка |
|---|---|---|---|---|---|---|
| Яблоко | Т-СВС | Три цветные камеры | Снижение ошибки классификации за счет сканирования всей поверхности яблока. | Не удалось различить различные типы дефектов. | 89% | Сяо-бо и др. [ 53 ] |
| Яблоко | М-СВС | Статистические и синтаксические классификаторы | Повышенная точность по сравнению с современными технологиями – полностью автоматизированная работа по выравниванию грунта. | – | 93,5% | Унай и др. [ 54 ] |
| Яблоко | H-CVS | РАС | Простой и требующий меньших вычислительных затрат, чем другие методы, такие как анализ главных компонентов. | – | Мель и др. [ 55 ] | |
| Цитрусовые | H-CVS | Коррекция освещения | Эффективен для минимизации побочных эффектов – облегчает последующие задачи классификации. | – | – | Гомес-Санчис и др. [ 56 ] |
| Огурец | H-CVS | ПКА, БР | – | – | 75–95% | Ариана и др. [ 10 , 57 ] |
| солодовый ячмень | Т-СВС | Текстурные дескрипторы | Быстрорастущий – хорошо переносит соприкосновение с зернами. | Увеличение времени вычислений и размера вектора признаков в (MRELBP) | > 95% | Рамирес-Паредес и Эрнандес-Бельмонте [ 4 ] |
| Мандарин | H-CVS | БР, ПКА | Полезно разработать систему быстрой многоспектральной визуализации для онлайн-оценки. | Не удалось установить, что изображения, полученные с использованием различных длин волн, являются оптимальным выбором для обнаружения всех типов дефектов. | 96,63% | Чжан и др. [ 11 ] |
| Апельсин | Т-СВС | Методы локальной сегментации с использованием скользящего окна сравнения | Успешная сегментация различных типов дефектов поверхности – без необходимости дополнительной коррекции яркости изображения. | – | 97% | Ронг и др. [ 45 ] |
| Папайя | Т-СВС | кластеризация методом k-средних, SVM | – | – | 90% | Хабиб и др. [ 58 ] |
| Персик | М-СВС | БР, ПКА | Может быть распространено и на другие фрукты. | – | 96,6% | Ли и др. [ 59 ] |
| Рис | Т-СВС | SVM | Это можно рассматривать как значительный вклад в рисоводческую отрасль. | – | 93% | Миттал и др. [ 3 ] |
| Рис | Т-СВС | SVM | Быстрое и точное определение качества | – | > 96,4% | Чен и др. [ 60 ] |
| Соя | H-CVS | CNN, SVM | Новый метод классификации с более высокой точностью. | – | 94,7% | Ги и др. [ 13 ] |
| Помидор | Т-СВС | RBF-SVM | Может быть интегрирован с критериями оценки, такими как вес, объем и форма. Достигнуты приемлемые результаты. | Точность выставления оценок снижалась по мере увеличения количества категорий оценивания. | > 95% | Ирери и др. [ 61 ] |
Традиционная система компьютерного зрения
Поскольку человеческий глаз чувствителен к основным цветам: красному, зеленому и синему (RGB), T-CVS работают аналогично человеческому глазу, и их фотосъемка основана на этих трех цветах. Низкая стоимость и простота использования — наиболее важные преимущества этих систем. T-CVS можно использовать для идентификации инородных тел путем извлечения таких характеристик, как цвет, размер и форма.
Однако у T-CVS есть и некоторые недостатки, но значительная часть этих проблем идентификации может быть решена с помощью алгоритмов искусственного интеллекта. Одна из таких проблем — неспособность распознавать поврежденные участки, которые выглядят тем же цветом, что и здоровые участки на изделии.
Также следует отметить, что эти типы CVS не способны обнаруживать внутренние повреждения изделий, поскольку они не обладают способностью проникать внутрь продуктов. T-CVS ограничена захватом только трех монохроматических изображений с центрами на 700,0 нм (красный, R), 546,1 нм (зеленый, G) и 435,8 нм (синий, B), которые очень близки к цветам, воспринимаемым человеческим глазом.
Поэтому T-CVS основана лишь на визуальной системе визуализации, что означает, что она может предоставить лишь ограниченную информацию, что ограничивает применение CV для обнаружения дефектов, особенно на ранних стадиях внутренних дефектов [62]. Некоторые недостатки T-CVS включают низкую точность классификации и слабую способность по сравнению с более новыми системами или методами. На рисунке 4 показано цветное RGB-изображение персика и его компонентов.
Цветное RGB-изображение персика и его компонентов [63]
Гиперспектральная система компьютерного зрения
Гиперспектральная визуализация основана на молекулярных колебаниях, что делает её привлекательным методом для одновременного получения спектральных и пространственных данных о фруктах и овощах. H-CVS в основном используется для исследования механизмов и выбора эффективных длин волн.
В отличие от T-CVS, которая может получать только три монохроматических изображения, имитирующих зрение человека, H-CVS, или гиперспектральная система визуализации, объединяет методы визуализации и спектроскопии в одной системе для получения набора монохроматических изображений практически непрерывного диапазона в сотни тысяч длин волн. В гиперспектральной визуализации регистрируемые спектры имеют высокое разрешение по длине волны и охватывают широкий диапазон длин волн.
Структура данных гиперспектральных изображений обычно называется гиперкубом или кубом данных. Для получения гиперспектрального изображения в виде куба можно использовать три метода: точечное сканирование, линейное сканирование и сканирование по областям. Как показано на рис. 5, при точечном сканировании объект или камера перемещаются в направлениях x и y для захвата всей поверхности объекта.
Для третьего измерения этого куба можно применять разные длины волн, однако следует отметить, что этот метод является трудоемким. При линейном сканировании объект или камера перемещаются только в одном направлении для захвата всей поверхности. При сканировании по областям вся поверхность тела мгновенно отображается и дополняется различными длинами волн третьего измерения куба; этот метод работает быстрее, чем упомянутые выше методы.
Методы получения гиперспектрального куба изображений [63]; ( а ) метод точечного сканирования, ( б ) метод линейного сканирования, ( в ) метод сканирования области.
Наибольшим преимуществом H-CVS является предоставление широкого спектра информации в гиперспектральном изображении. Некоторые внешние характеристики качества всегда нечетко видны на традиционных цифровых изображениях, что делает их обнаружение невозможным или затруднительным, например, ранние синяки, гниение и некоторые другие заболевания. Кроме того, некоторые дефекты идентичны коже продукта из-за текстуры и цвета, что представляет собой сложную задачу для обнаружения.
В отличие от изображений в T-CVS, где спектральная информация ограничена тремя цветовыми каналами, гиперспектральные изображения содержат сотни тысяч монохромных изображений в спектральной области, и при большом объеме данных требуется значительная емкость хранения, что можно считать проблемой. В качестве еще одного преимущества следует отметить, что с помощью пространственных взаимосвязей между различными спектрами можно достичь точной классификации и сегментации изображений [64]. Недостатками H-CVS являются сложность и стоимость. На рисунке 6 показано концептуальное представление гиперспектрального изображения в спектральной и пространственной областях.
Концептуальное представление гиперспектрального изображения со спектральной и пространственной областями [65]
Многоспектральная система компьютерного зрения
Система M-CVS отличается от гиперспектральной системы визуализации количеством монохроматических изображений в спектральном диапазоне. Одним из преимуществ M-CVS является возможность свободного выбора длин волн монохроматических изображений с помощью узкополосных фильтров.
Спектральная визуализация позволяет извлекать дополнительную информацию, которую человеческий глаз не может уловить с помощью своих видимых рецепторов для красного, зеленого и синего цветов. Многоспектральная визуализация измеряет свет в небольшом количестве (обычно от 3 до 15) спектральных полос. Системы M-CVS используются для быстрых поточных приложений. На рисунке 7 показаны изображения яблок, полученные с использованием различных фильтров и ручной сегментации.
Примеры изображений яблок и их ручной сегментации. Первые четыре столбца представляют изображения, полученные с помощью разных фильтров, а последний показывает соответствующую ручную сегментацию. Строки отображают яблоки, поврежденные различными типами дефектов [54]
Использование мультиспектральных систем при внешней проверке качества продукции позволяет выявлять повреждения, невидимые для RGB-камер на определенных длинах волн с помощью специальных фильтров. К недостаткам этой системы относятся необходимость ручного программирования, многократной калибровки, а также необходимость решения таких проблем, как искажение объектива камеры и т.д.
Сравнение гиперспектральной и мультиспектральной визуализации показано на рис. 8. Очевидно, что количество захваченных изображений в гиперспектральной системе значительно больше, чем в мультиспектральной, поэтому и отклик у них различен: гиперспектральная система дает непрерывный спектр, а мультиспектральная создается с помощью нескольких спектральных полос.
Разница между гиперспектральной и мультиспектральной визуализацией [66]
Основные этапы компьютерной обработки изображений
Типичную задачу обработки изображений можно разделить на три основные группы, как показано на рис. 9 , включая получение изображения, в котором задействованы такие компоненты, как камера, освещение и дигитайзер, а на следующем этапе обработка изображений делится на три этапа: предварительная обработка, сегментация и извлечение признаков, и, наконец, понимание изображения, которое включает распознавание и интерпретацию изображения.
Основные этапы в IP
Успешное выполнение задачи CVS может быть достигнуто, если все три подзадачи IP работают хорошо, но если одна из подзадач нарушена, то желаемый результат не будет достигнут.
Получение изображений
Получение изображений для последующей обработки — основная деятельность в системах видеонаблюдения. Хороший источник света или система освещения и соответствующая камера являются важнейшими инструментами для получения качественного цифрового изображения для обработки.
Камера
На первом этапе необходимо выбрать подходящую камеру для получения изображений в контролируемых условиях с точки зрения освещения и фотосъемки. Наиболее распространенными камерами, используемыми в МВС, являются камеры на основе приборов с зарядовой связью (ПЗС), комплементарных металл-оксидных полупроводников (КМОП), магнитно-резонансной томографии (МРТ), электротомографии и компьютерной томографии (КТ).
CCD-камеры используются практически во всех приложениях компьютерной обработки изображений с момента их появления в начале 1960-х годов, и, согласно их преимуществам, они могут быть напрямую подключены к компьютеру, обладают высокой чувствительностью к низкому уровню освещенности, а их изображения мгновенно доступны без пленки или обработки в темной комнате. CMOS-камеры были представлены в середине 1990-х годов, и при сравнении CCD и CMOS можно отметить, что CMOS-сенсоры быстрее своих CCD-аналогов, что позволяет получать более высокие частоты кадров видео, CMOS-матрицы обеспечивают более высокий динамический диапазон и требуют меньшего тока и напряжения для работы.
Поэтому, чтобы выбрать подходящую камеру для задачи компьютерной обработки изображений, необходимо учитывать конкретные условия и требования задачи, а затем выбрать камеру. Кроме того, важными факторами при этом выборе являются разрешение, аналоговый или цифровой выход, отношение сигнал/тон, минимально необходимая яркость, выходной сигнал и дополнительная настройка камеры [52].
В области гиперспектральной и мультиспектральной визуализации используемая камера может анализировать широкий спектр света, а не просто присваивать каждому пикселю основные цвета (красный, зеленый, синий). Эти камеры работают, визуализируя различные длины волн света. Количество длин волн, используемых в гиперспектральной визуализации, значительно больше, чем в мультиспектральной, а основное различие между мультиспектральной и гиперспектральной визуализацией заключается в количестве визуализируемых диапазонов длин волн и их узости.
Освещение
Источник освещения является решающим фактором при получении информативных и высококачественных изображений. Любое приложение компьютерного зрения требует, чтобы исследуемые объекты были хорошо видны на изображении. С развитием алгоритмов анализа и обработки изображений освещение может влиять на производительность камеры, что, в свою очередь, влияет на успешность и надежность работы приложений компьютерного зрения. Правильное освещение улучшает обнаружение и различение признаков образца и сокращает время обработки. Поэтому предпочтительнее улучшать условия освещения, чем писать сложные алгоритмы, чтобы снизить затраты и сократить время выполнения.
В целом, применение компьютерного зрения в сельском хозяйстве сталкивается с большим количеством проблем, чем в других отраслях, таких как автомобильная промышленность. Примерами таких проблем являются перекрытие и затенение, которые можно преодолеть с помощью правильного освещения.
Разработка подходящей системы освещения и адаптация условий освещения к условиям окружающей среды и изучаемому продукту — один из важных принципов применения компьютерного зрения. Освещение будет падать на продукт спереди и сзади: фронтальное освещение используется для поверхностных элементов, а заднее — для подповерхностных. Свет, отраженный от объекта, проходит через RGB-фильтр, имитируя стандартные функции наблюдателя для конкретного источника света.
Оптический детектор, расположенный за каждым фильтром, определяет количество света, проходящего через каждый фильтр, и эти сигналы отображаются в виде значений X, Y и Z. Когда свет падает на объект, он проходит через три фильтра: красный, зеленый и синий. Детектор создает изображение для каждого фильтра, представляющее собой двумерную матрицу.
Каждое изображение является серым, а комбинация этих трех изображений представляет собой цветное изображение. Согласно стандарту Международной комиссии по освещению (CIE), значения X, Y и Z получаются из уравнения (1), которые составляют цвета. Трехстимульное значение для цвета со спектральной яркостью L e.Ω.λ задается в терминах стандартного наблюдателя; λ — длина волны монохроматического света с пределами [380, 780]; факторы В этом стандарте есть три кривые в зависимости от используемых фильтров и принимаемого света [52].
Следовательно, цветовые матрицы, а именно x, y и z, можно получить с помощью уравнения ( 2 ):
Обработка изображений
IP работает с полученными изображениями и приводит к получению изображений, которые могут улучшить видимость существующих признаков и облегчить дальнейший анализ. Как уже упоминалось, IP делится на три основные части: предварительная обработка изображения, сегментация изображения и извлечение признаков, каждая из которых подробно описана ниже [52].
Предварительная обработка
Целью предварительной обработки является улучшение качества полученного изображения в поле IP, которое часто ухудшается из-за искажений и шума в оптических и электронных системах входного устройства. В разделе IP это действие подготавливает желаемые и важные признаки для дальнейшей обработки путем улучшения существующего изображения; геометрические преобразования изображений, такие как вращение и масштабирование, рассматриваются как операции предварительной обработки [67].
На этапе предварительной обработки полученные изображения должны быть улучшены с точки зрения качества и читаемости. Эти улучшения направлены на устранение шума и решение таких проблем, как размытие фотографий, сделанных с движущихся объектов на рельсах, и отсутствие освещения. Два основных подхода к предварительной обработке — это пиксельная предварительная обработка и локальная предварительная обработка. Первый подход преобразует полученное изображение в выходное изображение, при этом каждый выходной пиксель коррелируется с входным, имеющим соответствующие координаты.
В то время как локальная предварительная обработка использует небольшую окрестность пикселя для получения нового значения яркости в выходном изображении [68]. С помощью фильтров и масок можно выявлять и устранять аномалии. Некоторые полезные низкочастотные фильтры в области предварительной обработки изображений — это усредняющий фильтр, гауссовский фильтр и медианный фильтр, которые всегда используются для удаления размытия и шума из полученных изображений.
Ронг и др. [45] использовали медианный фильтр для заполнения отверстий и удаления области конца стержня. Миттал и др. [3] использовали медианный фильтр с размером пикселя 5 × 5 для удаления шумов. В области овощей и фруктов из-за неравномерного освещения получается низкий уровень контраста, который можно решить, увеличив уровень яркости. Одним из методов является выравнивание гистограммы, нелинейная техника, которая делает гистограмму плоской; фактически, она увеличивает значение яркости пикселей.
Другая область предварительной обработки изображений — это искажение изображения, которое также можно исправить с помощью некоторых геометрических преобразований, таких как вращение изображения, зеркальное отображение объекта, сдвиг, транспонирование и масштабирование. Самый важный недостаток предварительной обработки заключается в том, что она занимает много времени, и успех на последующих этапах в значительной степени зависит от этого этапа.
Сегментация
Сегментация используется для разделения областей на изображении. Белый и черный фон упрощают сегментацию, поскольку на гистограмме пороговое значение вычислить проще. Другие области применения сегментации могут включать диагностику заболеваний и дефектов. Цветные изображения RGB гораздо сложнее, чем изображения в оттенках серого, в зависимости от программного обеспечения, используемого в алгоритмах. Но при использовании изображений в оттенках серого проще и быстрее идентифицировать образцы для удаления фона.
Пороговая обработка по уровням серого — это простейший метод сегментации, который легко выполнить в реальном времени. Многие области изображения или объекты можно идентифицировать по постоянной отражательной способности или поглощению света их поверхностью; затем можно определить порог для сегментации объектов и фона.
Пороговая обработка является вычислительно недорогой, быстрой, а также старейшим методом сегментации, который до сих пор широко используется в простых задачах компьютерного зрения. Согласно уравнению (3), пороговая обработка — это преобразование входного изображения (A) в выходное (сегментированное) бинарное изображение (B):
где (i, j) представляет пиксели двумерного изображения, а пороговое значение выступает в качестве ограничения для сегментации объекта от фона. При сегментации, согласно указанному уравнению, алгоритм просматривает все пиксели изображения и сравнивает их со значением порогового значения, а затем решает, считать ли их фоном (значение 0 или черный) или объектом (значение 1 или белый). Правильный выбор порогового значения необходим для успешной сегментации; этот метод подходит для изображений, на которых объекты не соприкасаются друг с другом, а их уровни серого отличаются от уровней серого фона.
Как уже упоминалось, операция пороговой обработки, основанная на гистограммах, из-за больших цветовых различий между фоном и образцом, позволяет выполнить разделение с высокой точностью. Ронг и др. [45] использовали метод пороговой обработки гистограмм, выбрав белый фон для большей четкости между образцом и фоном. Миттал и др. [3] использовали темный фон для риса для точной сегментации. Следовательно, в зависимости от цвета образца следует выбрать подходящий цвет фона для лучшей сегментации. Ирери и др. [61] выбрали черный неотражающий фон для красного образца.
Для удаления фона с изображения исследователи предлагают различные стратегии, среди которых предпочтительны методы сегментации в одном цветовом пространстве. Ниже представлены наиболее полезные методы сегментации изображений с описанием, преимуществами и недостатками: метод пороговой обработки, метод на основе границ, метод на основе областей, традиционные алгоритмы сегментации, метод водоразделов, искусственные нейронные сети, k-средних и пороговая обработка Оцу [69].
Метод пороговой обработки фокусируется на поиске пиковых значений на основе гистограммы изображения для обнаружения похожих пикселей; он не требует сложной предварительной обработки; при этом могут быть упущены простые, но многочисленные детали, и часто встречаются ошибки пороговой обработки. Метод, основанный на границах, в отличие от метода обнаружения сходства, основан на обнаружении разрывов; он хорошо подходит для изображений с лучшим контрастом между объектами, но не подходит для зашумленных изображений.
Метод, основанный на областях, основан на разделении изображения на однородные области; он очень хорошо работает для изображений со значительным количеством шума, может использовать пользовательские маркеры для быстрой оценки, но является трудоемким и ресурсоемким. Традиционные алгоритмы сегментации делят изображение на k однородных, взаимоисключающих кластеров, получая таким образом объекты.
Метод водоразделов основан на топологической интерпретации границ изображения, полученные сегменты более стабильны, обнаруженные границы четкие, но вычисление градиента для гребней является сложным. Искусственные нейронные сети основаны на алгоритмах глубокого обучения – сверточных нейронных сетях (CNN);
Они просты в реализации, не требуют использования сложных алгоритмов, готовые библиотеки доступны в Python, имеют более практичные приложения, но обучение модели для пользовательских и деловых изображений занимает много времени и требует больших ресурсов [69]. Что касается неразмеченных данных, то кластеризация k-средних — один из лучших способов использования в качестве алгоритма сегментации.
Алгоритм кластеризации k-средних — это алгоритм без учителя, используемый для сегментации области интереса от фона. Неразмеченные данные можно описать как набор данных, которые не сгруппированы или не определены по категориям. Этот алгоритм кластеризует, или разделяет заданные данные на K кластеров или частей на основе K центроидов. Другие алгоритмы кластеризации с лучшими характеристиками, как правило, более затратны.
В этом случае алгоритм кластеризации k-средних является отличным решением для предварительной кластеризации, уменьшая пространство на непересекающиеся меньшие подпространства, где могут быть применены другие алгоритмы кластеризации. K-средних в области реализации и запуска — это самый простой метод.
Метод пороговой обработки Оцу — один из самых простых и лёгких способов сегментации изображения и разделения его на передний и задний план. Это глобальная пороговая техника, которая использует гистограмму изображения для поиска порога. При сегментации объектов с использованием глобальной пороговой обработки возникают ограничения, снижающие точность работы; к таким ограничениям относятся большой уровень шума, малая средняя разница между пикселями переднего и заднего плана, а также большие дисперсии пикселей, принадлежащих объекту, и пикселей, принадлежащих фону [70].
Извлечение признаков
После процесса сегментации извлекаются признаки образца. Эти дескрипторы обычно применяются для распознавания изображений; они представляют собой полезную информацию изображения, а избыточная информация исключается [20, 71].
Эти признаки можно разделить на категории: цвет, морфология и текстура. В качестве важного этапа процесса обнаружения дефектов в фруктах и овощах извлечение признаков направлено на управление данными, в то время как отбор признаков направлен на сокращение количества признаков до наиболее важных без потери или с минимальной потерей информации [72].
Это помогает разрабатывать более гибкие модели обнаружения, выбирая минимально возможное количество признаков, что приводит к наименьшей ошибке и наивысшему показателю правильной классификации. Цвет как наиболее базовый дескриптор признака извлекается с помощью различных методов, включая гистограмму RGB, гистограмму оттенков, гистограмму оппонентов и преобразованное распределение цвета [73].
Среднее значение, дисперсия, корреляция, энтропия, энергия и контраст являются основными дескрипторами текстуры, широко используемыми в приложениях MV. Высокая эффективность, простота извлечения и мощное представление визуального контента изображений являются основными преимуществами цветовых признаков.
Некоторые цветовые признаки включают вектор цветовой когерентности, цветовую гистограмму, цветовую коррелограмму и цветовые моменты. Цветовые моменты являются эффективными и простыми признаками. Среднее значение, асимметрия и стандартное отклонение являются наиболее распространенными моментами [68]. Пространственные и фурье-дескрипторы, а также моменты изображения и угловое преобразование применяются в качестве дескрипторов формы [74].
Глубокое обучение также может быть применено для обеспечения интеграции извлечения признаков, что приводит к превосходной производительности по сравнению с традиционными методами IP, что впоследствии повышает производительность систем обнаружения дефектов для фруктов и овощей [20].
Метод глубокого извлечения признаков на основе глубокой нейронной сети будет полезен, когда данные сложны или когда обучающий набор имеет ограниченный размер [75]. Конформация CNN состоит из этапов, начиная со сверточного слоя, который обнаруживает локальные связи признаков из предыдущего слоя, и слоев пулинга, которые семантически объединяют похожие признаки в один [20, 76].
Цен и др. [32] представили комбинацию стекированного разреженного автокодировщика (SSAE) с CNN, назвав ее системой CNN-SSAE, для обучения спектральным и пространственным признакам для обнаружения дефектов в огурце, что приводит к более высокой точности и более короткому времени обработки обнаружения, чем достигается только с помощью спектральных данных [32].
Таким образом, успех в разработке алгоритмов и моделей для оценки и классификации фруктов и овощей зависит от стратегий извлечения признаков. Ввиду огромной важности извлечения признаков для успеха моделей обнаружения на основе MVS, исследователи уделяют особое внимание разработке методов извлечения признаков [20].
Цветовые характеристики
В этой области в исследованиях широко используются такие полезные цветовые пространства, как RGB, HSV и LAB. RGB — это трехмерное цветовое пространство, состоящее из красного, зеленого и синего цветов. Оно подобно трехмерной матрице; каждая матрица представляет значения пикселей в цветовом пространстве. На фотографиях в цветовом пространстве RGB каждый пиксель представляет собой комбинацию трех основных цветов: красного, зеленого и синего.
Различные комбинации этих трех основных цветов создают разные цвета. Цветовые пространства RGB хорошо подходят для захвата, хранения и отображения изображений, но с точки зрения интеллектуальной собственности информация об этом цветовом пространстве непонятна и требует сложных алгоритмов для понимания. Цветовые пространства RGB и HSV показаны на рис. 10 .
Цветовые пространства RGB ( A ) и HSV ( B ) [77]
Для преобразования RGB в HSV можно использовать уравнение ( 4 ):
HSL (оттенок, насыщенность, яркость) и HSV (оттенок, насыщенность, яркость, также известные как HSB или оттенок, насыщенность, яркость) — это альтернативные представления цветовой модели RGB. В этих моделях цвета каждого оттенка располагаются в радиальном сечении вокруг центральной оси нейтральных цветов, варьирующихся от черного до белого.
HSV — это цилиндрическая цветовая модель, которая преобразует основные цвета RGB в измерения, более понятные человеку; три измерения цветовой модели HSV взаимозависимы. HSL — это еще одна цилиндрическая цветовая модель, которая имеет два общих измерения с HSV, заменяя измерение яркости измерением яркости. L*A*B* — одно из наиболее широко используемых цветовых пространств, имеющее три измерения, как показано на рис. 10.
L* обозначает интенсивность яркости, значение которой 100 соответствует белому цвету, а 0 — черному. + a* — красная ось, −a * — зеленая ось, + b* — желтая ось, и −b* — синяя ось. На рисунке 11 представлено цветовое пространство CIELAB.
Представление цветового пространства CIELAB [78]
Указанные цветовые пространства широко используются для обнаружения дефектов, сортировки и других применений в послеуборочной обработке. В таблице 3 представлен обзор исследований по контролю цвета фруктов и овощей.
Таблица 3. Краткий обзор некоторых исследований по проверке цвета фруктов и овощей.
| Продукт | Приложение | Цветовое пространство | Точность | Ссылки |
|---|---|---|---|---|
| Яблоко | Оценка по внешним критериям качества. | RGB | 78% | Леманс и др. [ 79 ] |
| Яблоко | Обнаружение дефектов | RGB—ГСИ | 89% | Сяо-бо и др. [ 53 ] |
| Яблоко | Обнаружение зрелости | Лаборатория CIE | 100% | Карденас-Перес и др. [ 80 ] |
| Яблоко | Классификация по цвету | HSI | 100% | Чаухан и Сингх [ 81 ] |
| Банан | Оценка качества | RGB | − | Ван и др. [ 82 ] |
| Карамбола | Дискриминант зрелости | HSI | 95,3% | Абдулла и др. [ 83 ] |
| Цитрусовые | Цветовая гамма | RGB | 93% | Дорж и др. [ 84 ] |
| солодовый ячмень | Оценка качества | Лаборатория CIE | − | Рамирес-Паредес и Эрнандес-Бельмонте [ 4 ] |
| Гриб | Обнаружение дефектов | Лаборатория CIE | − | Вижаньо и Фелфельди [ 85 ] |
| Масличная пальма | Проверка зрелости | HSI | 90% | Абдулла и др. [ 86 ] |
| Папайя | Цветовая гамма | RGB | 94,3% | Сантос Перейра и др. [ 87 ] |
| Персик | Цвет и размер | HSI | 90% | Эсехагбейги и др. [ 88 ] |
| Перец | Сортировка по цвету и дефектам. | HSI | 96% | Ширер и Пейн [ 89 ] |
| Картофель | Обнаружение дефектов | RGB | 89,6% | Барнс и др. [ 90 ] |
| Клубника | Оценка по внешним критериям качества. | Лаборатория CIE | 88,8% | Лиминг и Яньчао [ 91 ] |
| Помидор | Дискриминант дефектов – Оценка | Лаборатория CIE | > 95% | Ирери и др. [ 61 ] |
Морфологические признаки
Бинарные изображения могут содержать множество дефектов. Бинарные области, извлеченные с помощью простого метода сегментации, такого как пороговая обработка, искажаются шумом. Морфологическая обработка изображений может помочь удалить эти дефекты в соответствии с формой и структурой изображения. Морфологическая обработка изображений представляет собой набор нелинейных операций, связанных с формой или морфологией элементов изображения.
Морфологические операции основаны только на относительном порядке значений пикселей, а не на их числовых значениях. Морфологические операции, применяя структурирующий элемент к входному изображению, создают выходное изображение того же размера, а значение каждого пикселя в выходном изображении определяется на основе сравнения соответствующего пикселя во входном изображении с его соседями.
Морфологические признаки (форма, размер и т.д.) используются для классификации и сортировки. Форма является ключевым фактором для потребителей; ожидается, что фрукты и овощи будут иметь правильную форму без каких-либо морфологических нарушений; неправильная форма снизит цену продукта [92]. Морфологические признаки с их математическими формулами представлены в таблице 4 .
Таблица 4. Морфологические признаки с их математической формулой [93]
С помощью CVS (Common View System) для измерения формы продуктов используются различные признаки, а именно: дескриптор Фурье, инвариантные моменты, кодирование границ и зависимость от размера. Кодирование границ описывает форму с помощью вектора цепного кода, который записывает последовательность координат пикселей на границе. Инвариантные моменты описывают форму своими величинами, которые инвариантны относительно трансляции, вращения, а также изменения масштаба.
Дескрипторы Фурье описывают форму, беря преобразование Фурье границы двумерного объекта на изображении. Измерения формы, зависящие от размера, используют один единственный параметр размера или комбинируют два или более различных параметра размера для формирования безразмерных выражений для описания формы. Из-за неправильной формы фруктов и овощей для повышения точности сортировки сельскохозяйственной продукции рекомендуется использовать более одного признака.
Кроме того, размер является одним из эффективных факторов ценообразования сельскохозяйственной продукции. Размер можно измерить с помощью таких параметров, как площадь, периметр, большая и малая оси, длина и ширина, которые можно рассчитать после этапа сегментации. Самая длинная и самая короткая линии, пересекающие объект, указывают на большую и малую оси, которые перпендикулярны друг другу.
Общая основа морфологического анализа заключается в преобразовании изображения в структуру, в которой отображаемая информация более понятна. Он используется в области геометрической структуры изображения, которая включает размер, форму и распределение частиц образца. Исследования показывают, что метод, не зависящий от размера, является наиболее точным методом оценки качества по сравнению с методом, зависящим от размера.
Кондо [94] использовал максимальную длину и диаметр для измерения размера фруктов. Чен и др. [60] использовали большой диаметр эллипса для идентификации сломанных зерен риса. Также, применяя другие геометрические характеристики, такие как периметр, площадь и соотношение сторон, для идентификации сломанных зерен, можно обратиться к работам ван Далена [95] и Зарейфоруша и др. [96] исследования.
Особенности текстуры
Текстура изображения представляет собой набор критериев и предоставляет информацию о пространственном расположении цвета или его интенсивности на изображении, а также о желаемой области на изображении. Существуют также два типа текстур: региональные и граничные, которые не являются хорошими критериями для сегментации, но при использовании в сочетании с другими критериями, такими как цвет, они могут помочь улучшить сегментацию изображения.
Текстура изображения будет разделена на четыре категории: статистическая текстура, которая содержит матрицу совместной встречаемости уровней серого (GLCM), матрицу длины последовательности пикселей уровней серого и матрицу зависимости соседних уровней серого, на основе которой текстура будет получена на основе порядка значений интенсивности пикселей по всему изображению [97]. В таблице 5 представлены уравнения GLCM в области текстурных признаков.
Таблица 5. Характеристики GLCM с их математическими формулами [98]
В методах, основанных на преобразованиях, сверточные маски могут использоваться в виде небольшой матрицы, которая применяется к изображению и скользит по всем пикселям до тех пор, пока не будет покрыта вся область изображения; одно из применений масок — определение границ объектов внутри изображения; следовательно, в статистических методах сверточная маска, преобразование
Фурье и вейвлет-преобразование, а также текстура могут быть извлечены из соответствующих изображений в пространственно-частотной области. Два других типа текстуры изображения — это модельные методы, которые включают фрактальные и авторегрессионные методы, а также структурная текстура, которая редко используется в сельском хозяйстве.
Статистическая текстура является наиболее часто используемым методом анализа и оценки текстуры фруктов и овощей благодаря низкой вычислительной стоимости и высокой точности; текстура, основанная на преобразованиях, и текстура, основанная на моделях, используются при оценке и проверке внешнего качества фруктов и овощей [100].
Что касается текстуры, Кавдир и Гайер [101] использовали текстурные признаки, основанные на матрицах пространственной зависимости уровней серого, для обработки монохромных изображений яблок с целью обнаружения дефектов и синяков на кожуре яблок, а также методов дифференциации между стеблем и чашечкой; они использовали искусственную нейронную сеть обратного распространения (BPANN), дерево решений (DT) и метод k-ближайших соседей (K-NN). Рамирес-Паредес и Эрнандес-Бельмонте [4] использовали локальный бинарный шаблон (LBP), медианный тройной шаблон (MTP), локальное фазовое квантование (LPQ) и т. д. в качестве дескрипторов текстуры, наряду со свойствами цвета и формы, для извлечения свойств солодовения ячменя.
Обнаружение дефектов
При диагностике заболеваний кожуры следует помнить, что необходимо осмотреть всю поверхность изделия, и если в скрытой части изображения не обнаружено повреждений, изделие считается здоровым. Соответственно, Беннедсен и др. [102] предполагают, что можно получить несколько изображений изделия, вращающегося с помощью конических роликов, чтобы можно было визуализировать и исследовать всю поверхность.
В цитрусовых цвет продукта является одним из основных параметров диагностики заболеваний. Поскольку цвет пораженного участка на плоде может быть известен как здоровый участок на другом плоде, системы, которые следует выбирать для оценки продуктов и диагностики их дефектов, должны быть хорошо обучены, поэтому выбор обучаемой системы имеет важное значение для исследования широкого спектра фруктов, чтобы избежать проблем с идентификацией [103]. Поскольку заболевание обычно занимает меньшую площадь на поверхности продукта, чем здоровая область, Бласко и др. [104] использовали систему MV, которая использует алгоритм неконтролируемого роста области.
Как уже упоминалось, дефекты можно разделить на две группы: внешние и внутренние. Для внешних дефектов важными факторами при обнаружении дефектов являются поверхность продукта и процедура получения изображения ; необходимо сфотографировать всю поверхность кожуры. Но для внутренних дефектов выбор правильной камеры для поиска внутренней текстуры имеет важное значение для диагностики дефектов, поскольку сельскохозяйственная продукция почти всегда непрозрачна.
Проблемы между стволом и чашечкой
Как уже упоминалось, проблемой в диагностике заболеваний является наличие стебля и чашечки, которые могут быть диагностированы как дефекты в продуктах. Ронг и др. [45] использовали метод, который после применения медианной фильтрации и сегментации подсчитывает количество областей; если количество областей больше или равно 2, то апельсин считается дефектным, но если это одна область, то учитывается граница в 450 пикселей, и если площадь области больше или равна 450 пикселям, то апельсин считается дефектным.
Средняя точность этого исследования для 8 типов заболеваний составила 97%. Ли и др. [105] использовали алгоритм BPANN с одним скрытым слоем для обнаружения стебля и чашечки в дефектных областях с точностью 93%. Ирери и др. [61] использовали значения среднего gr при пороговой обработке гистограммы, области, связанные с наличием стебля и чашечки, были идентифицированы с точностью 95%. Кроме того, в цветовом пространстве YCbCr различные чашечки яблок были обнаружены методом кластеризации k-средних [35]. Лиминг и Яньчао [91] также использовали значения среднего gr при пороговой обработке плодов клубники.
В исследовании Сяо-бо и др. [53] в качестве образца использовалось яблоко, и они обратили внимание на количество областей. Поскольку стебель и чашечка не должны находиться внутри фотографии, если на каждой фотографии обнаружено две или более областей, это считается дефектным яблоком. Этот метод не использует специальный и сложный алгоритм и подходит для подсчета интересующих областей.
Как показано на рис. 12, чашечка и стебель образцов томата были обнаружены и удалены; Ирери и др. [61] реализовали процесс сегментации перед классификацией для достижения большей точности, используя 50 изображений томата, был разработан алгоритм обнаружения; они обнаружили, что среднее значение gr рубца от чашечки до стебля (CS) больше, чем у плода, поэтому с помощью порогового значения гистограммы CS был точно обнаружен и удален.
Обнаружение и сегментация чашечки и рубца стебля: исходные RGB-изображения в первом ряду, обнаруженная чашечка и рубец стебля в среднем ряду, и сегментация чашечки и рубца стебля в последнем ряду [61]
Дефекты фруктов и овощей
Полезным параметром для получения более точных результатов сегментации является измерение контраста между дефектными и здоровыми продуктами. Ронг и др. [45] предложили локальную сегментацию апельсинов с помощью скользящего окна сравнения, которая позволяет разделить дефекты, такие как повреждения от насекомых, ветровые рубцы, рубцы от трипсов, поражение щитовками, язвы, растрескивание продукта, медный ожог и фитотоксичность.
Они достигли точности обнаружения дефектных апельсинов в 97%. После применения медианного фильтра измерялось количество областей изображения для различения конца стебля от дефектной области. Они установили критерий ограничения (450 пикселей) в качестве границы между концом стебля и дефектной областью; как только количество областей становилось равным или превышало 2, пиксели указывали на наличие дефектов; использованный метод показал точность 93,8% для различения конца стебля.
С помощью большой оси эллипса инвариантного момента поврежденные зерна риса были идентифицированы с точностью 99% классификатором SVM по их длине [60]. Параметр длины играл важную роль в различении здоровых и поврежденных зерен, кроме того, меловые участки были обнаружены с помощью ограничения расстояния до центроида и позиционирования пикселей с точностью 96,3%. Поврежденные и пятнистые участки были идентифицированы с помощью обнаружения краев и морфологической обработки, что привело к точности 93,6%. Среднее время выполнения метода для обнаружения четырех типов дефектов одновременно составило 0,15 с, что демонстрирует большой потенциал для быстрой и точной проверки качества риса.
Рамирес-Паредес и Эрнандес-Бельмонте [4] предложили метод , сочетающий цвет и форму с несколькими дескрипторами текстуры зерен ячменя для солодовенного производства. Они идентифицировали дефектные образцы на основе полученного показателя F1, который представляет собой число гармонического среднего полноты и точности; они достигли точности более 99%. Лучшим дескриптором текстуры оказался LPQ, который достиг точности 95,65% с линейным SVM и 99,96% с SVM на основе радиальных базисных функций (RBF-SVM). Наилучшие результаты этого метода были получены при использовании комбинации признаков цветовой гистограммы, дескриптора текстуры LPQ и дескрипторов формы. Кроме того, SVM-RBF демонстрирует значительный потенциал для быстрого и точного алгоритма классификации.
В другом исследовании Сяо-бо и др. [53] для фотографирования поверхности яблок использовались трехцветные камеры. При вращении яблок с помощью роликов фотографировалась вся поверхность, и с одного яблока было получено девять изображений; после диагностики было сделано заключение, что использование трех камер повышает точность до приемлемого уровня и снижает частоту ошибок с 21,8 до 4,2%. Частота ошибок классификации также снижается с 15 до 11%.
Однако этот метод не может быть широко использован. Области интереса подсчитывались для каждых девяти изображений, и поскольку плодоножка и чашечка могут отсутствовать хотя бы на одном изображении, изображение образца, имеющее две или более области интереса, будет считаться дефектным. Другими словами, области интереса являются ключевым фактором для обнаружения дефектов в яблоках. Одна из проблем при фотографировании сельскохозяйственной продукции — это кривизна или сферичность фруктов и овощей, из-за чего отраженный свет имеет неравномерное распределение, что делает результаты менее точными [59, 106, 107].
Ирери и др. [61] предложили систему RGB-изображений для томатов, у которых стебель-чашечка были удалены с помощью среднего значения гистограммы gr с точностью 95%, чтобы избежать их идентификации как дефектов. Также поврежденные области в пространстве LAB были идентифицированы с точностью 98,9%.
При использовании RBF-SVM была получена наивысшая точность, составившая 97%, для диагностики здоровых и дефектных групп. По мере увеличения количества доступных групп точность может снижаться. Как показано на рис. 13 , гистограмма показывает, что здоровые томаты имеют более высокую интенсивность пикселей, чем дефектные.
Гистограмма — это быстрый метод обнаружения дефектных областей продуктов, но следует учитывать, что необходимо обеспечить все условия, такие как освещение и подходящая камера. Неправильное освещение влияет на процедуру получения изображения, и, следовательно, будет получен неверный результат.
Различия в интенсивности пикселей, позволяющие различать фоновые, дефектные, переходные и здоровые участки томата [61]
Чжан и др. [11] использовали гиперспектральный анализ в видимом-ближнем инфракрасном (Vis–NIR) диапазоне спектра для обнаружения дефектов мандаринов. Точность идентификации при 5 различных состояниях кожуры (здоровая и четыре типа дефектов) составила около 96,63%. Результаты этого исследования также показали, что мультиспектральная визуализация на основе отношения полос и анализа главных компонентов (PCA) может быть использована для диагностики дефектов; в качестве системы мультиспектральной визуализации использовались две длины волны: 680 нм и 715 нм; также для обнаружения дефектов с использованием двух выбранных длин волн использовались изображение отношения и второе изображение главных компонентов; результат демонстрирует, что система мультиспектральной визуализации может рассматриваться как быстрый метод оценки мандаринов.
Сюн и др. [108] применили лабораторную систему гиперспектральной визуализации для получения гиперспектральных изображений плодов личи для обнаружения микромеханических повреждений. Они использовали GLCM для извлечения размерных текстурных признаков, включая контраст, корреляцию, энергию, однородность, дисперсию, среднее значение и энтропию.
Для анализа гиперспектральных данных и построения прогностической модели использовался метод дискриминантного анализа методом частичных наименьших квадратов (PLS-DA). Предложенный метод показал полноту и точность, равные 94,10% и 93,95% соответственно. Они создали модель LS-SVM на основе размерных текстурных признаков GLCM, демонстрирующую среднюю точность 95%.
Предлагаемая дальнейшая работа сосредоточена на исследовании улучшенных методов для достижения онлайн-обнаружения повреждений плодов личи. Настоятельно рекомендуется эффективно использовать гиперспектральную технологию в сочетании с методами глубокого обучения для обнаружения механических повреждений плодов личи, чтобы приблизить точность системы к 100%.
Синяки, возникающие в результате механического воздействия, являются очень распространенным дефектом фруктов и овощей. Раннее обнаружение синяков полезно для приложений скрининга. Ранние невидимые синяки, которые обычно не обнаруживаются цифровыми камерами, могут быть идентифицированы с помощью гиперспектральной съемки.
Однако проблема быстрого обнаружения таких дефектов на ранних стадиях развития для автоматических приложений остается актуальной. Нтурамбирве и др. [109] предложили систему гиперспектральной съемки для обнаружения скрытых повреждений в виде синяков и определения состояния задержки появления синяков с использованием классификационных алгоритмов на основе данных гиперспектральной съемки яблок сорта «Голден Делишес».
Искусственный интеллект в обнаружении дефектов
Благодаря развитию искусственного интеллекта и его применению в различных областях, включая сельское хозяйство, эта технология, благодаря высокой точности и экономии времени, может также использоваться для обнаружения дефектов фруктов и овощей. Было проведено несколько исследований по обнаружению дефектов фруктов и овощей с использованием искусственного интеллекта, которые показали многообещающие результаты с очень высокой точностью.
Искусственный интеллект может использоваться для классификации или регрессии, анализа данных и извлечения признаков, кластеризации данных и т. д. Например, дискриминантный анализ, метод k-ближайших соседей, нелинейная регрессия, нейронные сети, метод опорных векторов и деревья решений широко используются для классификации и регрессии в контролируемом обучении. С другой стороны, анализ главных компонентов, нечеткий c-средних, кластеризация методом k-средних, модель гауссовой смеси и факторный анализ используются для кластеризации и уменьшения размерности данных в неконтролируемом обучении.
CNN — один из новых методов искусственного интеллекта, применяемых в агронауке, который используется для обнаружения широкого спектра дефектов, например, физиологических нарушений [33] и механических дефектов [25]. Когда делаются фотографии продукта, они обрабатываются алгоритмами сегментации для обнаружения дефектов.
Обработанные изображения рассматриваются как входные данные для искусственной нейронной сети, которая проверяет имеющиеся данные с помощью алгоритмов обратного распространения и распознает дефекты фруктов и овощей с высокой точностью и за меньшее время, чем инспекторы-люди. CNN, как новая формулировка нейронных сетей, очень успешно применяется в области распознавания образов на изображениях, «называемых глубоким обучением», благодаря взаимосвязи слоев и автоматическому извлечению параметров.
CNN имеет различные архитектуры для различных приложений, такие как AlexNet [110], ResNet [111], GoogLeNet [112], VGG Net [113], ZF Net [114], CNN на основе регионов (R-CNN) и LeNet-5 [115]. Типичная архитектура сверточной нейронной сети, включающая простые сверточные и пулинговые слои, представлена на рис. 14.
Схема сверточных нейронных сетей
Ву и др. [116] использовали CNN и обратное рассеяние света для обнаружения дефектов яблок. Модель Alex-net обучалась с 11-слойной структурой. Функция ReLU также использовалась для предотвращения переобучения и повышения прагматизма.
Фан и др. [117] обеспечили 92% точность для образцов дефектных яблок с использованием CNN, которая после обучения оказалась намного точнее, чем метод SVM, анализирующий подсчет площади. CNN — один из алгоритмов глубокого обучения, используемый в приложениях классификации и распознавания благодаря своей высокой точности.
Каждое входное изображение проходит через ряд сверточных слоев с фильтрами, пулингом и полносвязанными слоями (FC) и применяет функцию SoftMax для классификации объекта с вероятностными значениями от 0 до 1. Как показано на рис. 14, представлена диаграмма модели CNN; входное изображение преобразуется в ряд других изображений с помощью сверточных масок, которые скользят по исходным матрицам изображения и создают новое изображение с новыми значениями матрицы;
При объединении полученных матриц размер будет меньше, что ускорит процессы, пока данные не будут сглажены для классификации или распознавания с помощью функции SoftMax.
Преимущества и недостатки
Наиболее важным преимуществом автоматизированных систем сортировки и классификации (CVS) для плодоовощной промышленности является внедрение процессов сортировки и классификации неразрушающим, более быстрым и безопасным способом по сравнению с традиционными методами, что приводит к сокращению использования рабочей силы.
Однако основными проблемами являются освещение, запыленность, позиционирование и частичное соприкосновение. Точность таких CVS, как правило, высока; однако в большинстве случаев 100% точность не может быть достигнута. В то же время, работники проводят обследования с большей уверенностью, и сортировка и классификация фруктов и овощей осуществляется с почти 100% точностью. Но усталость и отвлечение оператора могут существенно повлиять на точность.
Сегодня, благодаря развитию цифровых многофункциональных систем и сверхбыстрых компьютеров, время, необходимое для обработки образцов, значительно сократилось; очевидно, что этот технологический прогресс очень полезен для автоматизированной сортировки на машинах, что позволяет применять эти системы в непрерывном и высокоскоростном режиме.
Цена систем визуализации, таких как МРТ и оборудование HSI, является важным фактором, который следует учитывать. Кроме того, существуют некоторые проблемы интеграции устройств визуализации с автоматическими сортировочными линиями. Наиболее важной проблемой является синхронизация механизмов системы скрининга и реакции CVS, поскольку новые CVS требуют длительного времени для получения изображения, IP и принятия решения [62].
При разработке алгоритмов обработки данных в системах сортировки фруктов и овощей необходимо уделять внимание корректному и точному проектированию и разработке процедуры алгоритма. Если на каждом из этапов: предварительной обработки, сегментации, извлечения и отбора признаков, а также в моделях на основе искусственного интеллекта присутствуют ошибки, эти несовершенства негативно влияют на последующие этапы и в конечном итоге снижают производительность системы. Поэтому лучше разрабатывать эти этапы по отдельности, выявлять и исправлять возможные ошибки и, наконец, интегрировать весь алгоритм в единое целое.
Основная проблема заключается в том, что, в отличие от промышленных продуктов, фрукты и овощи очень неоднородны и зависят от различных факторов, таких как климат, район выращивания, сорт и условия произрастания. Поэтому вариации и неоднородность конкретного продукта настолько велики, что во многих случаях автоматизация процесса обнаружения дефектов с помощью CVS сталкивается с серьезными проблемами. Следовательно, один и тот же подход типичной CVS, вероятно, дает разную точность для одного и того же продукта. Однако недавно были разработаны системы обнаружения дефектов в реальном времени на основе CVS [117, 118, 119], но до их коммерческого применения еще далеко.
Будущие тенденции
Обнаружение дефектов в фруктах и овощах по-прежнему остается сложным процессом из-за огромного разнообразия типов дефектов [68, 120]. В будущем необходимо провести дополнительные исследования для решения существующих проблем обнаружения дефектов в фруктах и овощах. Основные связанные с этим проблемы включают равномерное распределение света на поверхности свода, распознавание стебля/чашечки, эффективный и правильный выбор длины волны для различных продуктов, время получения и обработки спектральных изображений, а также различение дефектов.
Глубокое обучение как новый подход в области интеллектуальной собственности привлекает внимание многих исследователей и может стать одним из направлений будущих работ по обнаружению дефектов в фруктах и овощах. В будущих работах применение концепции глубокого обучения в сочетании с многоспектральными системами скрининга (MVS) поможет преодолеть многие проблемные моменты в обнаружении дефектов фруктов и овощей.
Разработка недорогих систем скрининга на основе гиперспектральной и мультиспектральной визуализации по более низким ценам и миниатюризация такого оборудования при сохранении производительности могут способствовать их коммерциализации и использованию в промышленности. Исследования по интеграции систем скрининга с автоматическими линиями скрининга также полезны. Для точного обнаружения дефектов необходимо сканирование всей поверхности изделия. Фрукты и овощи обычно имеют форму, близкую к эллиптической, сферической или конической, поэтому половина их поверхности скрыта от камеры. Вращающееся устройство может быть полезно для тщательного сканирования и получения нескольких изображений с разных ракурсов.
Во многих случаях исследований считается, что один фон позволяет легко и быстро отделить фрукты или овощи от фона. В промышленности наличие пыли, шума и т. д. влияет на производительность этих упрощенных лабораторных систем. Поэтому будущие исследования должны расширить обучающий набор данных, включив в него другие аспекты, такие как различные фоны и углы захвата света во время сканирования. Будущие работы могут быть сосредоточены на улучшении обобщающей способности моделей путем внедрения методов аугментации данных к новым данным и на применении передовых методов классификации, таких как методы глубокого обучения, для создания более компактного конвейера для обработки изображений и приложений классификации [109].
Заключение
В данном исследовании представлены основные определения MV и IP, а также их применение в сельском хозяйстве для оценки качества продукции, обнаружения дефектов, сортировки и классификации. Рассматриваются различные типы систем контроля качества (CVS) и область их применения, а затем точность этих систем сравнивается с методами, выбранными исследователями для различных продуктов. Системы контроля качества, включая T-CVS, H-CVS и M-CVS, широко используются для оценки и контроля качества сельскохозяйственной продукции, обеспечивая неразрушающую, быструю и точную оценку.
Мы обнаружили, что системы компьютерного зрения (CVS) играют значительную роль и обладают большим потенциалом в решении задач, связанных с обнаружением дефектов фруктов и овощей. CVS — это научные и мощные инструменты для точной и быстрой автоматической внешней проверки качества фруктов и овощей. Кроме того, с развитием технологий традиционные методы сегодня не очень эффективны и должны быть заменены новыми методами, такими как глубокое обучение или спектральные изображения, поскольку эти новые методы обладают более высокой точностью и скоростью, чем традиционные.
Мы представили всесторонний обзор технических и технологических аспектов различных систем, используемых для обнаружения дефектов фруктов и овощей; мы также обсудили различные типы дефектов, присутствующих в фруктах и овощах, и подробно рассмотрели проблемы и вопросы, связанные с каждым из типов дефектов. Большинство проблем связано с тем, что сельскохозяйственная продукция не имеет одинаковых внешних, внутренних и физико-механических свойств даже в одном и том же виде фруктов или овощей, что серьезно влияет на производительность алгоритмов и систем обнаружения дефектов.
При разработке новых методов обнаружения дефектов в плодоовощной отрасли следует учитывать два основных аспекта: технологическое развитие приборов с новыми возможностями, способных преодолеть существующие проблемы, и разработка алгоритмов обработки и анализа данных. Установление связи между этими двумя аспектами может решить многие задачи. Однако не следует упускать из виду разработку высокоскоростных вычислительных систем, способных хранить большие объемы информации.
Обнаружение дефектов в режиме реального времени является одним из наиболее востребованных применений неразрушающих методов для сортировки и оценки качества фруктов и овощей. Однако системы микроспектрального анализа (МВС) все еще недостаточно эффективны для обнаружения внутренних дефектов и контроля качества.
Для повышения эффективности таких систем внедряются другие перспективные технологии, а также гиперспектральная визуализация, обладающие необходимыми возможностями для исследования внутренних дефектов фруктов и овощей. Но эти системы работают медленно, и необходимы дальнейшие усилия по разработке высокоскоростных алгоритмов, чтобы адаптировать эту новую технологию к промышленным задачам онлайн-сортировки.
Тем не менее, необходимы дальнейшие исследования в области передовых алгоритмов машинного обучения с уменьшенным временем обработки данных, улучшенным выбором признаков и надежными методами предварительной обработки. Хотя для разработки онлайн-систем применение подходящего алгоритма машинного обучения является необходимым условием для успешного обнаружения дефектов. Поэтому стандартизация и предоставление основы для методов машинного обучения, разработанных к настоящему времени для различных продуктов, были бы очень полезны для индустриализации систем онлайн-обнаружения дефектов.
Однако наиболее успешной технологией для неразрушающего быстрого обнаружения дефектов в фрукто-овощной промышленности является машинное зрение (MVS), но она сталкивается с проблемами в выявлении внутренних дефектов, требующими дальнейших исследований. Для поверхностных дефектов MVS в сочетании с глубоким обучением демонстрирует успешные результаты, сокращая необходимое время обработки и обеспечивая более эффективную процедуру извлечения признаков.
Тем не менее, необходимы дополнительные исследования для улучшения этого метода и его применения ко всем продуктам. Разработка новых стратегий инновационного использования систем на основе машинного зрения была бы очень эффективна в разработке и совершенствовании этих систем. Одна из стратегий может заключаться в том, что, используя высокоскоростные компьютеры и возможность хранения больших данных, можно создать всеобъемлющую базу данных изображений всех дефектов фруктов и овощей для использования в моделях глубокого обучения, которые могут применяться в системах автоматической сортировки.
Литература
- Dubey SR, Jalal A (2016) Apple disease classification using color, texture and shape features from images. SIViP 10:819–826.
- Mebatsion HK, Paliwal J, Jayas DS (2013) Automatic classification of non-touching cereal grains in digital images using limited morphological and color features. Comput Electron Agric 90:99–105.
- Mittal S, Dutta MK, Issac A (2019) Non-destructive image processing based system for assessment of rice quality and defects for classification according to inferred commercial value. Measurement 148:106969.
- Ramirez-Paredes J-P, Hernandez-Belmonte U-H (2020) Visual quality assessment of malting barley using color, shape and texture descriptors. Comput Electron Agric 168:105110.
- Raghavendra A, Guru DS, Rao MK (2021) Mango internal defect detection based on optimal wavelength selection method using NIR spectroscopy. Artif Intell Agric 5:43–51.
- Yogesh Dubey AK, Arora RR, Mathur A (2021) Fruit Defect Prediction Model (FDPM) based on three-level validation. J Nondestruct Eval 40(2):1–12.
- Van De Looverbosch T, Raeymaekers E, Verboven P et al (2021) Non-destructive internal disorder detection of conference pears by semantic segmentation of X-ray CT scans using deep learning. Expert Syst Appl 176:114925.
- Kim T, Lee J, Sun GM et al (2022) Comparison of X-ray computed tomography and magnetic resonance imaging to detect pest-infested fruits: A pilot study. Nucl Eng Technol 54:514–522.
- Fu Y, Wang Y, Lin W et al (2022) A novel non-destructive detection of deteriorative dried longan fruits using machine learning algorithms based on low field nuclear magnetic resonance. J Food Meas Charact 16:652–661.
- Ariana DP, Lu R, Guyer DE (2006) Near-infrared hyperspectral reflectance imaging for detection of bruises on pickling cucumbers. Comput Electron Agric 53(1):60–70.
- Zhang H, Zhang S, Dong W, Luo W, Huang Y, Zhan B, Liu X (2020) Detection of common defects on mandarins by using visible and near infrared hyperspectral imaging. Infrared Phys Technol 108:103341.
- Munera S, Gómez-Sanchís J, Aleixos N, et al (2021) Discrimination of common defects in loquat fruit cv. “Algerie” using hyperspectral imaging and machine learning techniques. Postharvest Biol Technol 171.
- Gui J, Fei J, Wu Z, Fu X, Diakite A (2020) Grading method of soybean mosaic disease based on hyperspectral imaging technology. Inf Process Agric.
- Jia B, Wang W, Ni X, Lawrence KC, Zhuang H, Yoon S-C, Gao Z (2020) Essential processing methods of hyperspectral images of agricultural and food products. Chemom Intell Lab Syst 198:103–936.
- Liu D, Ning X, Li Z, Yang D, Li H, Gao L (2015) Discriminating and elimination of damaged soybean seeds based on image characteristics. J Stored Prod Res 60:67–74.
- Arjenaki OO, Moghaddam PA, Motlagh AM (2013) Online tomato sorting based on shape, maturity, size, and surface defects using machine vision. Turkish J Agric For 37:62–68.
- Zheng C, Sun D-W, Zheng L (2006) Recent applications of image texture for evaluation of food qualities–a review. Trends Food Sci Technol 17(3):113–128.
- Anjali N, Kannan R, Andres F, Ghinea G (2021) Trend review related to defects detection from fruits and vegetables. Preprints, 2021110035.
- Lu Y, Lu R (2017) Non-destructive defect detection of apples by spectroscopic and imaging technologies: a review. Transactions of the ASABE (Am Soc Agric Biol Eng) 60.
- Nturambirwe JFI, Opara UL (2020) Machine learning applications to non-destructive defect detection in horticultural products. Biosys Eng 189:60–83.
- Zheng Y, Ma Y, Liu W, Qiu F (2020) Chapter 4 – plant nutrition and physiological disorders in fruit crops. In: Srivastava AK, Hu C (eds) Fruit Crops. Elsevier, p 47–58.
- Gustavsson J, Cederberg C, Sonesson U, van Otterdijk R, Meybeck A (2011) Global food losses and food waste: Extent, causes and prevention. FAO, Rome, Italy
- Tripathi MK, Maktedar DD (2020) A role of computer vision in fruits and vegetables among various horticulture products of agriculture fields: A survey. Inf Process Agric 7:183–203.
- Shahin M, Tollner E, Gitaitis R, Sumner D, Maw B (2002) Classification of sweet onions based on internal defects using image processing and neural network techniques. Trans ASAE 45.
- Wang Z, Hu M-H, Zhai G (2018) Application of deep learning architectures for accurate and rapid detection of internal mechanical damage of blueberry using hyperspectral transmittance data. Sensors (Basel, Switzerland) 18.
- Vélez Rivera N, Gómez-Sanchis J, Chanona-Pérez J, Carrasco JJ, Millán-Giraldo M, Lorente D, Cubero S, Blasco J (2014) Early detection of mechanical damage in mango using nir hyperspectral images and machine learning. Biosys Eng 122:91–98.
- Wang Y, Chen Y (2020) Fruit morphological measurement based on three-dimensional reconstruction. Agronomy 10(4):455
- Ayaz H, Rodríguez-Esparza E, Ahmad M, Oliva D, Pérez-Cisneros M, Sarkar R (2021) Classification of apple disease based on non-linear deep features. Appl Sci 11(14):6422.
- Alex S, Premkumar S (2021) Detection of fungal disease in cabbage images using adaptive thresholding technique compared with threshold technique. Revista geintec-gestao inovacao e tecnologias
- Nicolaï BM, Lötze E, Peirs A, Scheerlinck N, Theron KI (2006) Non-destructive measurement of bitter pit in apple fruit using nir hyperspectral imaging. Postharvest Biol Technol 40(1):1–6.
- van Dael M, Lebotsa S, Herremans E, Verboven P, Sijbers J, Opara UL, Cronje PJ, Nicolaï BM (2016) A segmentation and classification algorithm for online detection of internal disorders in citrus using x-ray radiographs. Postharvest Biol Technol 112:205–214.
- Cen H, Lu R, Zhu Q, Mendoza F (2016) Nondestructive detection of chilling injury in cucumber fruit using hyperspectral imaging with feature selection and supervised classification. Postharvest Biol Technol 111:352–361.
- Zhao J, Qu J (2019, 23–25 Aug) A detection method for tomato fruit common physiological diseases based on YOLOv2. In 2019 10th international conference on Information Technology in Medicine and Education (ITME)
- Anyasi TA, Jideani AIO, Mchau GA (2015) Morphological, physicochemical, and antioxidant profile of noncommercial banana cultivars. Food Sci Nutr 3(3):221–232.
- Moallem P, Serajoddin A, Pourghassem H (2017) Computer vision-based apple grading for golden delicious apples based on surface features. Inf Process Agric 4(1):33–40.
- Jahanbakhshi A, Kheiralipour K (2020) Evaluation of image processing technique and discriminant analysis methods in postharvest processing of carrot fruit. Food Sci Nutr 8(7):3346–3352.
- Moggia C, Pereira M, Yuri JA, Torres CA, Hernández O, Icaza MG, Lobos GA (2015) Preharvest factors that affect the development of internal browning in apples cv. Cripp’s pink: six-years compiled data. Postharvest Biol Technol 101:49–57.
- Raghavendra A, Rao M (2016) A survey on internal defect detection in fruits by non-intrusive methods. Int J Latest Trends Eng Technol 6:343–348
- Van Dael M, Verboven P, Zanella A, Sijbers J, Nicolai B (2019) Combination of shape and x-ray inspection for apple internal quality control: in silico analysis of the methodology based on x-ray computed tomography. Postharvest Biol Technol 148:218–227.
- Barbedo JGA (2016) A review on the main challenges in automatic plant disease identification based on visible range images. Biosyst Eng 144:52–60.
- Ray M, Ray A, Dash S et al (2017) Fungal disease detection in plants: Traditional assays, novel diagnostic techniques and biosensors. Biosens Bioelectron 87:708–723.
- Sun Y, Wang Y, Xiao H, Gu X, Pan L, Tu K (2017) Hyperspectral imaging detection of decayed honey peaches based on their chlorophyll content. Food Chem 235:194–202.
- Hussein Z, Fawole O, Opara U (2018) Preharvest factors influencing bruise damage of fresh fruits – a review. Sci Hortic 229:45–58.
- Li Z, Thomas C (2014) Quantitative evaluation of mechanical damage to fresh fruits. Trends Food Sci Technol 35(2):138–150.
- Rong D, Rao X, Ying Y (2017) Computer vision detection of surface defect on oranges by means of a sliding comparison window local segmentation algorithm. Comput Electron Agric 137:59–68.
- Kim G, Kim G-H, Park J, Kim D-Y, Cho B-K (2014) Application of infrared lock-in thermography for the quantitative evaluation of bruises on pears. Infrared Phys Technol 63:133–139.
- Cui S, Ling P, Zhu H, Keener HM (2018) Plant pest detection using an artificial nose system: a review. Sensors 18(2):378
- Herremans E, Verboven P, Bongaers E, Estrade P, Verlinden BE, Wevers M, Hertog MLATM, Nicolai BM (2013) Characterisation of braeburn browning disorder by means of x-ray micro-ct. Postharvest Biol Technol 75:114–124.
- Magwaza LS, Opara UL, Terry LA, Landahl S, Cronje PJ, Nieuwoudt H, Mouazen AM, Saeys W, Nicolaï BM (2012) Prediction of ‘nules clementine’ mandarin susceptibility to rind breakdown disorder using vis/nir spectroscopy. Postharvest Biol Technol 74:1–10.
- Ito H, Fukino-Ito N, Horie H, Morimoto S (2004) Non-destructive detection of physiological disorders in melons using near infrared (NIR) spectroscopy. Acta Hortic 229–234
- Baranowski P, Mazurek W (2009) Detection of physiological disorders and mechanical defects in applesusing thermography. Int Agrophys 23:9–17
- Jha S (2010). Nondestructive evaluation of food quality.
- Xiao-Bo Z, Jie-Wen Z, Yanxiao L, Holmes M (2010) In-line detection of apple defects using three color cameras system. Comput Electron Agric 70(1):129–134.
- Unay D, Gosselin B, Kleynen O, Leemans V, Destain M-F, Debeir O (2011) Automatic grading of bi-colored apples by multispectral machine vision. Comput Electron Agric 75(1):204–212.
- Mehl PM, Chen Y-R, Kim MS, Chan DE (2004) Development of hyperspectral imaging technique for the detection of apple surface defects and contaminations. J Food Eng 61(1):67–81.
- Gómez-Sanchis J, Moltó E, Camps-Valls G, Gómez-Chova L, Aleixos N, Blasco J (2008) Automatic correction of the effects of the light source on spherical objects. An application to the analysis of hyperspectral images of citrus fruits. J Food Eng 74(2):191–200.
- Ariana D, Guyer DE, Shrestha B (2006) Integrating multispectral reflectance and fluorescence imaging for defect detection on apples. Comput Electron Agric 50(2):148–161.
- Habib MT, Majumder A, Jakaria AZM, Akter M, Uddin MS, Ahmed F (2020) Machine vision based papaya disease recognition. J King Saud Univ Comput Inf Sci 32(3):300–309.
- Li J, Huang W, Zhao C, Zhang B (2013a) A comparative study for the quantitative determination of soluble solids content, ph and firmness of pears by vis/nir spectroscopy. J Food Eng 116(2):324–332.
- Chen S, Xiong J, Guo W, Bu R, Zheng Z, Chen Y, Yang Z, Lin R (2019) Colored rice quality inspection system using machine vision. J Cereal Sci 88:87–95.
- Ireri D, Belal E, Okinda C, Makange N, Ji C (2019) A computer vision system for defect discrimination and grading in tomatoes using machine learning and image processing. Artif Intelligence Agric 2:28–37.
- Du Z, Zeng X, Li X et al (2020) Recent advances in imaging techniques for bruise detection in fruits and vegetables. Trends Food Sci Technol 99:133–141.
- Zhang B, Huang W, Li J, Zhao C, Fan S, Wu J, Liu C (2014) Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: a review. Food Res Int 62:326–343
- Ran L, Zhang Y, Wei W, Zhang Q (2017) A hyperspectral image classification framework with spatial pixel pair features. Sensors (Basel, Switzerland) 17(10):2421.
- Li X, Li R, Wang M et al (2018) Hyperspectral imaging and their applications in the nondestructive quality assessment of fruits and vegetables. In: Hyperspectral imaging in agriculture, food and environment
- Giannoni L, Lange F, Tachtsidis I (2018) Hyperspectral imaging solutions for brain tissue metabolic and hemodynamic monitoring: past, current and future developments. J Opt 2010:20
- Sonka M, Hlavac V, Boyle R (1993) Image pre-processing. In: Sonka M, Hlavac V, Boyle R (eds) Image Processing, Analysis and Machine Vision. Springer US, p 56–111.
- Bhargava A, Bansal A (2021) Classification and grading of multiple varieties of apple fruit. Food Anal Methods.
- Kaur D, Kaur Y (2014) Various image segmentation techniques: A review. Int J Comput Sci Mob Comput 3:809–814
- Lee SU, Yoon Chung S, Park RH (1990) A comparative performance study of several global thresholding techniques for segmentation. Comput Vision Graphics Image Process 52(2):171–190.
- Naik S, Patel B (2017) Machine vision based fruit classification and grading – A review. Int J Comput Appl 170:22–34.
- Leiva-Valenzuela GA, Aguilera JM (2013) Automatic detection of orientation and diseases in blueberries using image analysis to improve their postharvest storage quality. Food Control 33:166–173.
- Van De Sande K, Gevers T, Snoek C (2010) Evaluating color descriptors for object and scene recognition. IEEE Trans Pattern Anal Mach Intell 32:1582–1596.
- Amanatiadis A, Kaburlasos VG, Gasteratos A, Papadakis SE (2011) Evaluation of shape descriptors for shapebased image retrieval. IET Image Process 5:493–499.
- Chen Y, Jiang H, Li C et al (2016) Deep feature extraction and classification of hyperspectral images based on convolutional neural networks. IEEE Trans Geosci Remote Sens 54:6232–6251.
- LeCun Y, Bengio Y, Hinton G (2015) Deep learning. Nature 521:436–444.
- Chen R, Wang M, Lai Y (2020) Analysis of the role and robustness of artificial intelligence in commodity image recognition under deep learning neural network. PLoS One 15:e0235783.
- Afonso T, Moresco R, Uarrota V, Bachiega Navarro B, Nunes E, Maraschin M, Rocha M (2017) Uv-vis and cielab based chemometric characterization of manihot esculenta carotenoid contents. J Integr Bioinform 14.
- Leemans V, Magein H, Destain MF (2002) On-line fruit grading according to their external quality using machine vision. Biosys Eng 83(4):397–404.
- Cárdenas-Pérez S, Chanona-Pérez J, Méndez-Méndez JV, Calderón-Domínguez G, López-Santiago R, Perea-Flores MJ, Arzate-Vázquez I (2017) Evaluation of the ripening stages of apple (golden delicious) by means of computer vision system. Biosys Eng 159:46–58.
- Chauhan AP, Singh A (2012) Intelligent estimator for assessing apple fruit quality. Int J Comput Appl 60:35–41.
- Wang Y, Zhang M, Mujumdar AS (2012) Influence of green banana flour substitution for cassava starch on the nutrition, color, texture and sensory quality in two types of snacks. LWT Food Sci Technol 47(1):175–182.
- Abdullah MZ, Mohamad-Saleh J, Fathinul-Syahir AS, Mohd-Azemi BMN (2006) Discrimination and classification of fresh-cut starfruits (averrhoa carambola l) Using automated machine vision system. J Food Eng 76(4):506–523.
- Dorj U-O, Lee M, Yun S-S (2017) An yield estimation in citrus orchards via fruit detection and counting using image processing. Comput Electron Agric 140:103–112.
- Vízhányó T, Felföldi J (2000) Enhancing colour differences in images of diseased mushrooms. Comput Electron Agric 26(2):187–198.
- Abdullah MZ, Guan LC, Mohamed AMD, Noor MAM (2002) Color vision system for ripeness inspection of oil palm elaeis guineensis. J Food Process Preserv 26(3):213–235.
- Santos Pereira LF, Barbon S, Valous NA, Barbin DF (2018) Predicting the ripening of papaya fruit with digital imaging and random forests. Comput Electron Agric 145:76–82.
- Esehaghbeygi A, Ardforoushan M, Monajemi SAH, Masoumi AA (2010) Digital image processing for quality ranking of saffron peach. Int Agrophys 24(2):115–120.
- Shearer S, Payne F (1990) Color and defect sorting of bell peppers using machine vision. Trans ASABE 33:2045–2050
- Barnes M, Duckett T, Cielniak G, Stroud G, Harper G (2010) Visual detection of blemishes in potatoes using minimalist boosted classifiers. J Food Eng 98(3):339–346.
- Liming X, Yanchao Z (2010) Automated strawberry grading system based on image processing. Comput Electron Agric 71:s32–s39.
- Cubero S, Aleixos N, Moltó E, Gómez-Sanchis J, Blasco J (2011) Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables. Food Bioprocess Technol 4(4):487–504.
- Yustika Manik F, Herdiyeni Y, Herliyana E (2016) Leaf morphological feature extraction of digital image anthocephalus cadamba. Telkomnika (Telecommun Comput Electron Control) 14:630.
- Kondo N (2009) Robotization in fruit grading system. Sens Instrum Food Qual Saf 3(1):81–87.
- Van Dalen G (2004) Determination of the size distribution and percentage of broken kernels of rice using flatbed scanning and image analysis. Food Res Int 37(1):51–58.
- Zareiforoush H, Minaei S, Alizadeh MR, Banakar A (2016) Qualitative classification of milled rice grains using computer vision and metaheuristic techniques. J Food Sci Technol 53(1):118–131.
- Bharati MH, Liu JJ, Macgregor JF (2004) Image texture analysis: methods and comparisons. Chemom Intell Lab Syst 72(1):57–71.
- PS SK, VS D (2016) Extraction of texture features using glcm and shape features using connected regions. Int J Eng Technol 8:2926–2930
- Lu D, Li G, Moran E, Dutra L, Batistella M (2014) The roles of textural images in improving land-cover classification in the brazilian amazon. Int J Remote Sens 35:8188–8207.
- Armi L, Fekri Ershad S (2019) Texture image analysis and texture classification methods – a review 2:1–29
- Kavdir I, Guyer DE (2004) Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features. Biosys Eng 89(3):331–344.
- Bennedsen BS, Peterson DL, Tabb A (2005) Identifying defects in images of rotating apples. Comput Electron Agric 48(2):92–102.
- Li J, Chen L, Huang W, Wang Q, Zhang B, Tian X, Fan S, Li B (2016) Multispectral detection of skin defects of bi-colored peaches based on vis-nir hyperspectral imaging. Postharvest Biol Technol 112:121–133.
- Blasco J, Aleixos N, Moltó E (2007) Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm. J Food Eng 81(3):535–543.
- Li Q, Wang M, Gu W (2002) Computer vision based system for apple surface defect detection. Comput Electron Agric 36(2):215–223.
- Li J, Rao X, Wang F, Wu W, Ying Y (2013b) Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods. Postharvest Biol Technol 82:59–69.
- Yang T (1996) Spherical transform of fruit images for on-line defect extraction of mass objects. Opt Eng 35(2):344–350.
- Xiong J, Lin R, Bu R et al (2018) A micro-damage detection method of litchi fruit using hyperspectral imaging technology. Sensors (Switzerland) 18.
- Nturambirwe JFI, Nieuwoudt HH, Perold WJ, Opara UL (2019) Non-destructive measurement of internal quality of apple fruit by a contactless NIR spectrometer with genetic algorithm model optimization. Sci African 3.
- Jiang B, He J, Yang S, Fu H, Li T, Song H, He D (2019) Fusion of machine vision technology and AlexNet-CNNs deep learning network for the detection of postharvest apple pesticide residues. Artif Intell Agric 1:1–8.
- He K, Zhang X, Ren S, Sun J (2016) Identity mappings in deep residual networks. In: Lecture notes in computer science (including subseries Lecture notes in artificial intelligence and Lecture notes in bioinformatics). pp 630–645
- Mohanty SP, Hughes DP, Salathé M (2016) Using deep learning for image-based plant disease detection. Front Plant Sci 7(September), Article 1419.
- Simonyan K, Zisserman A (2015) Very deep convolutional networks for large-scale image recognition. CVPR 1–14
- Zeiler MD, Fergus R (2014) Visualizing and Understanding Convolutional Networks. Computer Vision – ECCV, Cham
- Kirk D, Wen-Mei WH (2016) Programming massively parallel processors: a hands-on approach. Morgan Kaufmann
- Wu A, Zhu J, Ren T (2020) Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Comput Electr Eng 81:106454.
- Fan S, Li J, Zhang Y, Tian X, Wang Q, He X, Zhang C, Huang W (2020) On line detection of defective apples using computer vision system combined with deep learning methods. J Food Eng 286:110102.
- Ismail N, Malik OA (2021) Real-time visual inspection system for grading fruits using computer vision and deep learning techniques. Inf Process Agric.
- Yao J, Qi J, Zhang J et al (2021) A real-time detection algorithm for kiwifruit defects based on yolov5. Electron 10(14).
- Unay D, Gosselin B (2006) Automatic defect segmentation of “Jonagold” apples on multi-spectral images: A comparative study. Postharvest Biol Technol 42:271–279.
Авторы: Mahmoud Soltani Firouz & Hamed Sardari