Машинное зрение для контроля качества риса

1. Введение

Рис занимает неоспоримое место среди важнейших продовольственных культур мира. Большинство китайцев употребляют рис в пищу в качестве основного продукта, его годовое потребление составляет около 180 миллионов тонн (Мэн и др., 2019). Под влиянием различных факторов, таких как увеличение объемов производства гибридного риса, улучшение качества жизни населения и диверсификация рынка в нашей стране, рисовая промышленность отказалась от прежней модели слепого стремления к высокой урожайности и начала развиваться в направлении улучшения качества риса (Лю и др., 2017). В процессе производства и хранения риса традиционные методы определения внешнего вида и качества риса в основном осуществляются с помощью искусственной автономной идентификации, то есть, идентификация осуществляется с помощью человеческого глаза в сочетании с интуитивным анализом эталонного вещества. Метод ручной проверки и оценки не только трудоемок и занимает много времени, но и результаты в значительной степени зависят от субъективности профессиональных инспекторов. Субъективность инспекторов и различия в стандартах оценки, обусловленные разными регионами, приводят к тому, что быстрая, автоматическая и точная диагностика внешнего вида риса становится тенденцией развития отрасли.

С развитием искусственного интеллекта в сельском хозяйстве, проверка качества риса с помощью современных высокоточных приборов становится новым трендом как в стране, так и за рубежом. Технологии контроля качества риса, разработанные в последние годы, включают в себя технологии анализа текстуры, ближнеинфракрасной спектроскопии, машинного зрения, сканирующей электронной микроскопии, интеллектуальных сенсорных технологий и обработки изображений. В ответ на проблемы трудоемкости, высокой стоимости и нестабильной точности ручного контроля,  Руан (2021)  разработал систему контроля качества риса на основе машинного зрения с использованием технологий обработки изображений, которая позволяет подсчитывать количество зерен риса и идентифицировать неполные зерна. Однако система нуждается в улучшении точности определения количества зерен и имеет некоторые проблемы, такие как единичный результат обнаружения и отсутствие практической ценности. Кроме того,  Син и Ло (2021)  предложили алгоритм обработки данных на основе обработки изображений для сегментации образцов риса и фона, максимального устранения шума и повышения точности последующей функции обнаружения. Кроме того, в качестве тестовых образцов были выбраны шесть видов риса, и система позволила определить процент битого риса, определить вид риса и обнаружить трещины в случайных образцах риса, что лучше, чем традиционные методы ручной проверки. Однако система имеет ограниченный размер выборки и не подходит для широкого применения. Более того,  Литанапанич и др. (2016)  исследовали морфологию полупрозрачного, мелового и обработанного риса с помощью сканирующей электронной микроскопии при ускоряющем напряжении 10 кВ и проанализировали влияние условий замачивания и сушки на меловидность риса. Как показали результаты, сушка при температуре выше температуры стеклования крахмала также способствовала перегруппировке крахмальных гранул, что еще больше снижало меловидность риса. Хотя сканирующая электронная микроскопия позволяет получать более четкие и качественные изображения риса по сравнению с промышленными камерами, она более дорогостоящая и непригодна для разработки систем контроля качества риса (Чжан и др., 2007). Разработана система электронного носа, подходящая для обнаружения плесени на рисе, которая тестировала рис с различными уровнями поражения плесенью. Как показали экспериментальные результаты, система обладает высокой аналитической точностью при определении степени поражения риса плесенью. Система использует газовые датчики, такие как пары этанола, аммиак и оксид углерода, для анализа степени поражения риса плесенью. Однако реализация системы является сложным процессом и сильно зависит от условий проведения анализа. Текстуру риса можно оценить с помощью сенсорного тестирования, но этот метод имеет некоторые недостатки, такие как высокая трудоемкость и субъективность. Для решения этой проблемы  Лю и др. (2020)  использовали анализатор текстуры, оснащенный многоканальным зондом, для мониторинга изменений силы и оценки вкусовых качеств риса путем моделирования процесса обработки риса во рту. Метод анализа текстуры в основном использовался для определения вкусовых качеств риса после пропаривания, однако этот метод не обладает достаточной интуитивностью по сравнению с определением внешнего вида. Кроме того,  Сирифоллакул и др. В работе (2017)  использовалась ближнеинфракрасная спектроскопия для неразрушающего определения качества съедобных сортов риса KDML105 методом пропускания через одно зерно. Для точного прогнозирования содержания прямоцепочечного крахмала в сыром рисе с малой погрешностью прогнозирования использовался метод регрессионного анализа методом частичных наименьших квадратов. В то же время  Сампайо и др. (2018)  использовали комбинацию ближнеинфракрасной спектроскопии и хемометрики для точного количественного определения содержания прямоцепочечного крахмала в сортах риса. Метод частичных наименьших квадратов и другие методы, такие как регрессия методом частичных наименьших квадратов (PLSR), также были проверены, и результаты показали удовлетворительные результаты для всех оценок. По сравнению с традиционными лабораторными методами, этот метод имеет преимущества простоты выполнения, низкой стоимости, высокой скорости, низкого уровня химических отходов и неразрушающего обнаружения, что делает его подходящим для «онлайн» анализа. Комбинация ближнеинфракрасной спектроскопии и хемометрики представляет собой простой, быстрый и надежный метод количественного определения прямоцепочечного крахмала.

На основе современных технологий и предыдущих исследований в работе были рассмотрены технологии обработки изображений, ближнего инфракрасного излучения и машинного зрения для проверки качества внешнего вида риса. Хотя в технологиях проверки риса появилось множество интеллектуальных методов контроля, являющихся альтернативой ручному труду, наиболее широко используемой и быстро развивающейся технологией проверки качества внешнего вида риса является технология обработки изображений (Image Processing) (Ma et al., 2018). В частности,  Wu et al. (2021)  описали применение и перспективы развития технологии цифровой обработки изображений в проверке качества фруктов и овощей. Кроме того,  Zhang et al. (2021)  разработали метод проверки внешнего вида и оценки на основе технологии обработки изображений для анализа размера, веса и дефектов молодых овощей. Также  Du et al. (2018)  предложили неразрушающий метод оценки качества семян чеснока на основе обработки изображений для решения проблем, связанных с легким повреждением семян чеснока и высокими затратами на оборудование в процессе оценки семян чеснока. Обладая определенными характеристиками, необходимыми для сортировки семян чеснока по качеству, устройство обеспечивает проверку качества семян чеснока и отвечает требованиям нормальной работы в режиме реального времени.

Существующая модель обнаружения в основном основана на трехканальных значениях RGB-изображений, что имеет недостатки, связанные с изменчивостью и нестабильностью. Поэтому была предложена технология ближнего инфракрасного диапазона (NIR), которая позволяет получать изображения более гладкой поверхности семян. Проще говоря, принцип заключается в том, что инфракрасный свет имеет большую длину волны, что снижает вероятность рассеяния и преломления на поверхности и обеспечивает более высокую проникающую способность. Таким образом, он не блокируется пигментами эпидермиса, что позволяет лучше отражать информацию самого эпидермиса. Кроме того,  Мэй (2020)  разработал многоспектральную сеть слияния на основе сверточной нейронной сети для цветных и NIR-изображений, которая позволяет не только эффективно объединять цветные и NIR-изображения, но и создавать высококачественные изображения, содержащие текстурную информацию NIR-изображений и цветовую информацию цветных изображений. Это изображение характеризуется низким уровнем шума, полной детализацией и хорошей цветопередачей.  Тан и др. В работе (2020)  был предложен алгоритм слияния ближнего инфракрасного (БИК) и видимого света при низкой освещенности на основе сверточной нейронной сети, который демонстрирует превосходные результаты как по субъективным, так и по различным объективным показателям, что способствует развитию применения глубокого обучения в практических задачах слияния БИК и видимого света при низкой освещенности.

Приведенные выше рассуждения все еще не дают достаточных оснований для поддержки интеллектуального определения внешнего вида риса. Однако развитие технологии машинного зрения способствовало интеллектуальному и автоматическому развитию современных технологий определения внешнего вида сельскохозяйственных культур. Для определения качества риса и других зерновых культур  Чжоу (2016)  использует технологию машинного зрения и сравнивает ее с ручным определением. Первая обладает преимуществами высокой точности, высокой эффективности и простоты повторяющихся операций. Внедрение технологии машинного зрения для сортировки зерна вместо традиционного ручного определения является новой тенденцией для повышения эффективности определения в будущем. Поскольку использование технологии машинного зрения позволяет эффективно избежать ошибок, вызванных некоторыми внешними факторами и многими субъективными факторами, возникающими при ручном определении,  Чен и др. (2018)  предположили, что определение качества зерна на основе технологии машинного зрения в основном обладает преимуществами неразрушающего, быстрого и высокоточного распознавания. Применение технологии машинного зрения для определения качества пищевых продуктов позволило реализовать неразрушающий контроль качества продуктов питания, что открывает значительные перспективы в этой области и в будущем станет актуальной темой исследований как в стране, так и за рубежом (Zhao, 2021).

Учитывая недостатки и преимущества предыдущих работ, в данном исследовании самостоятельно разработано аппаратное устройство для определения качества внешнего вида риса, оснащенное программной операционной системой, с использованием технологии машинного зрения в качестве ведущей технологии и сочетанием технологии обработки изображений и технологии ближнего инфракрасного диапазона. Что касается метода, впервые предложено генерировать пятиканальные данные изображения путем объединения изображений NIR и RGB, что повышает точность и стабильность модели. Изображения предварительно обрабатываются с помощью алгоритма водоразделов с адаптивной пороговой функцией Отуса, что позволяет точно сегментировать 20 г (800-1000) зерен риса, указанных в национальном стандарте. Различные зерна были помечены и помещены в сверточную нейронную сеть для обучения. Была выбрана оптимальная обучающая модель для классификации риса и анализа его фенотипических данных. Было доказано, что разрешение модели может достигать 92,3%.

В данной работе в качестве основы для классификации риса использовался стандарт GB1354-2018. Китайский национальный стандарт GB1354-2018 устанавливает различные термины и определения, требования к качеству, классификацию, правила и методы контроля качества риса. Среди них неполноценное зерно характеризуется наличием пятен, плесени и недозрелости, а полноценное зерно — наличием целых зерен, отсутствием пятен и плесени.

В процессе оценки внешнего качества риса данная система не только снижает субъективность, вызванную различными условиями проверки, зрительной усталостью из-за большого объема выборки и личными факторами инспектора, но и значительно сокращает время и повышает точность проверки, что улучшает эффективность определения внешнего качества и сорта риса. Таким образом, она обеспечивает автоматическую, научную и точную оценку внешнего качества риса и становится хорошей альтернативой традиционным методам проверки.

2. Введение в систему

2.1 Общая структура системы

Разработанная в данном исследовании система контроля качества внешнего вида риса включает в себя темный бокс, полосовой источник света, пятиканальную камеру, выдвижной столик, держатель весов, плату подсветки, модуль управления и компьютер. Эта система обладает преимуществами высокой эффективности и точности по сравнению с существующим ручным контролем качества внешнего вида риса. Она исключает субъективность ручной работы и повышает эффективность контроля за счет сокращения времени. Общая схема системы показана на  рисунке 1 , а физическая схема системы представлена ​​на  рисунке 2.

Рис. 1. Общая структура системы.

Рис. 2. Физическая система.

3 Экспериментальные методы

3.1 Предварительная обработка изображений

При преобразовании цветных изображений в бинарные в них могут присутствовать шумы или примеси из-за помех от оборудования или внешней среды. Поэтому в данной работе мы выполнили удаление шума и примесей из полученных бинарных изображений (Cui et al., 2021), что, в свою очередь, может повысить точность подсчета риса и извлечения фенотипических данных.

В технологиях обработки изображений существует множество методов удаления шумовых точек. В настоящее время наиболее распространенными методами удаления шумовых точек являются гауссовская фильтрация, медианная фильтрация, фильтрация среднего значения и т. д. Шумовые точки на бинарных изображениях в основном появляются в белых пятнах на фоне, а не на основной части риса. В связи с этой особенностью в данном исследовании для удаления шумовых точек был использован метод гауссовой фильтрации (Лян и Ма, 2017). К гауссовой фильтрации была добавлена ​​функция удаления примесей для удаления примесей из бинарного изображения.

3.2 Сегментация изображений

С учетом требований практического применения и стандартов обнаружения, изображение, полученное разработанной в данном исследовании системой, содержит 20 г (800-1000 зерен) риса. Однако использование изображений отдельных зерен риса в качестве входных данных для обучения моделей сверточных нейронных сетей дает лучшие результаты, поэтому необходимо провести сегментацию предварительно обработанного изображения. Связные области были помечены индикаторами округлости, и были разделены области связей отдельных зерен риса и области связей прилипших зерен риса. Затем был применен алгоритм сегментации, сочетающий алгоритм водоразделов и адаптивный пороговый алгоритм Отуса, для точной сегментации зерен в областях прилипших зерен.

После удаления шума и примесей мы обнаружили, что рис на изображении находится в двух состояниях: одно зерно риса и другое – прилипшее к зерну (см.  рисунок 3). Трудность заключается в том, как справиться с прилипшим к зерну рисом.

В данном исследовании сначала была проведена эффективная сегментация отдельных зерен риса и зерен, образующих клеточную структуру. Для эффективного разделения был выбран метод обнаружения связанных областей (Ren et al., 2021). Мы пометили связанные области на предварительно обработанном бинарном изображении, результаты разметки были определены с помощью индекса округлости, в соответствии с которым были разделены связанные области отдельных зерен риса и связанные области клеточного риса (Liu et al., 2019). Индекс округлости определен в уравнении.

где A — площадь связной области; S — периметр связной области. Была сегментирована отмеченная связная область клейкого риса. В настоящее время к широко используемым методам сегментации относятся метод обнаружения выемок, алгоритм DPC+K-средних и алгоритм водоразделов. В соответствии с характеристиками изображения и с учетом объема вычислений, в данной работе выбран алгоритм водоразделов (Mo, 2020). Процесс вычисления алгоритма водоразделов представляет собой итеративный процесс маркировки. Сначала уровень серого каждого пикселя сортируется от низкого к высокому. Затем, в процессе заполнения от низкого к высокому, используется структура «первым вошел — первым вышел» (FIFO) для определения и маркировки каждого локального минимального значения в области влияния h-го порядка высоты. Водораздел указывает точку максимального значения входного изображения. Поэтому, чтобы получить информацию о границах изображения, в качестве входного изображения обычно используется градиентное изображение. Градиентное изображение вычисляется с помощью оператора Собеля (Han et al., 2020), а именно:

где  $\text{f}\left(\text{x},\text{y}\right)$ обозначает исходное изображение, а  $\text{grad}\left(\text{f}\left(\text{x},\text{y}\right)\right)$ обозначает операцию вычисления градиента.

Хотя алгоритм водоразделов хорошо реагирует на слабые границы, он может приводить к чрезмерной сегментации. Это явление можно устранить с помощью пороговой обработки градиентного изображения. В процессе пороговой обработки особенно важно получить подходящее пороговое значение, которое оказывает большое влияние на качество конечного сегментированного изображения. Поэтому был добавлен адаптивный пороговый алгоритм Отуса (Луо и Чжан, 2018;  Яо и др., 2020), который позволяет избежать недостатка ручной настройки порогового значения.

3.3 Наложение изображений

Для повышения стабильности и точности обучающей модели в данной работе использована пятиканальная камера. Принцип работы этой камеры заключается в использовании технологии разделения призмы для разделения исходного изображения на три датчика, что позволяет получить три изображения: RGB, NIR ₁  и NIR_2. Чтобы три отдельных изображения можно было рассматривать как одно изображение в качестве входных данных для обучения модели, изображения RGB сначала разделяются на изображения каналов R, G и B. Затем они равномерно накладываются на изображения NIR₁  и NIR₂, образуя пятиканальное изображение (RGB+NIR+NIR) размером пикселя 100 × 100 с пятью слоями (см.  рисунок 4).

3.4 Модель анализа на основе сверточной нейронной сети

В данном исследовании для определения качества риса использовалась модель сверточной нейронной сети, поскольку в современных процессах обработки и транспортировки ручная оценка качества риса является трудоемким и субъективным процессом. Поэтому срочно необходима альтернатива ручной оценке, и для обучения модели для риса было применено глубокое обучение (Wang et al., 2021). После сравнения была выбрана модель с лучшей точностью для системы определения качества риса. Ниже представлен процесс обучения различных моделей обнаружения.

3.4.1 Анализ модели VGG19

Данная модель представляет собой сверточную нейронную сеть (CNN) с изменениями, основанными на сети VGG19. Модель сети имеет в общей сложности 24 слоя, которые разделены на один входной слой, пять сверточных слоев, пять слоев активации, пять слоев пулинга, один полносвязный слой, пять слоев пакетной нормализации, функцию softmax и один выходной слой (Ishengoma et al., 2021;  Wan et al., 2021). В этом эксперименте входным слоем модели VGG19 является пятиканальное изображение риса с размером пикселя 100 × 100. К сети применяются как слой максимального пулинга, так и функция softmax. Преимущество слоя максимального пулинга заключается в минимизации переобучения. Максимальное количество обучающих аргументов установлено на 100 итераций, а скорость обучения — на 0,001. Архитектура сети показана на  рисунке 5. В общей сложности используется 2464 изображения из предварительно обработанных пятиканальных наборов, из которых 2100 составляют обучающий набор, а 364 — тестовый. Кроме того, модель VGG19 обучена для проведения обучения классификации риса с идеальными и неидеальными результатами.

3.4.2 Анализ модели Resnet50

Resnet, также известная как остаточная нейронная сеть, добавляет идею остаточного обучения к традиционной сверточной нейронной сети, чтобы избежать явления ухудшения обучения, происходящего по мере увеличения количества слоев модели сети (He et al., 2016). По сути, идею остаточного обучения можно понимать как блок, который можно определить уравнением (3). Где Y обозначает выход, F(X,{Wi}) обозначает остаточную часть, а x обозначает образец.

ResNet50 состоит из 49 сверточных слоев и 1 полносвязного слоя (Wang et al., 2019). Структура показана на  рисунке 6. Где ID BLOCK x2 на втором-пятом этапах представляет собой два остаточных блока, размер которых не изменяется, CONV BLOCK представляет собой остаточные блоки с добавленными масштабами, и каждый остаточный блок содержит три сверточных слоя. Таким образом, имеется 1 + 3 × (3 + 4 + 6 + 3) = 49 сверточных слоев, в которых CONV представляет собой сверточный слой для операции свертки, Batch Norm представляет собой процесс регуляризации, Relu представляет собой функцию активации, а MAX POOL и Avg POOL представляют собой слой максимального пулинга и слой среднего пулинга соответственно. Как показано на  рисунке 7, ResNet50 состоит из нескольких остаточных блоков, и глубокая сеть может быть обучена с использованием этих остаточных блоков. В общей сложности используется 2464 изображения из предварительно обработанных пятиканальных наборов данных, из которых 2100 составляют обучающий набор, а 364 — тестовый. Кроме того, настроенная модель Resnet50 обучается для проведения обучения классификации риса с идеальными и неидеальными результатами.

4. Результаты эксперимента

4.1 Результаты обработки изображений

На основе гауссовой фильтрации была добавлена ​​функция bwareaopen для удаления примесей из бинарного изображения, результат показан на  рисунке 6. Метод хорошо работает на практике. Путем обработки бинарного изображения можно эффективно удалить шумовые точки и примеси, возникшие в процессе получения изображения, что обеспечивает более точную последующую сегментацию изображения и обработку данных.

Изображение можно разделить на области, соединенные отдельными рисовыми зернами, и области, соединенные клейкими рисовыми зернами, с помощью маркера соединенной области. Бинарное изображение классифицируется на области, соединенные отдельными рисовыми зернами, и области, соединенные клейкими рисовыми зернами, для лучшей сегментации клейкого риса. Затем к области клейкого риса применяется комбинация адаптивной пороговой функции и алгоритма водоразделов для достижения лучшего эффекта сегментации. Эффект контраста сегментации представлен на  рисунке 8, что позволяет снизить вычислительные затраты алгоритма сегментации при точной сегментации целевого объекта. Кроме того, адаптивная пороговая функция позволяет избежать трудоемкого процесса ручной настройки порога, что не только решает проблему избыточной сегментации алгоритма водоразделов, но и обеспечивает удобство настройки порога.

На рисунке 8 показаны результаты оптимизации алгоритма водораздельного сегментирования в сочетании с адаптивным пороговым значением.  Рисунки 8A–C  получены с использованием ручного порогового значения, и на них зерна риса демонстрируют избыточную сегментацию в различной степени, тогда как  рисунок 8D — результат применения алгоритма водораздельного сегментирования в сочетании с адаптивным пороговым значением. На рисунке видно, что сегментация зерен риса эффективна и не приводит к избыточной сегментации.

4.2 Результаты тестирования модели

4.2.1 Тестирование модели VGG19

В данном исследовании в качестве входных данных для модели VGG19 использовались пятиканальные изображения риса, а модель VGG19 использовалась для классификации риса. В качестве проверочных наборов были собраны и обработаны 25 изображений с идеальными зернами и 25 изображений с неидеальными зернами. Размер пятиканального изображения риса составляет 100×100 пикселей. Для проверки того, что итоговая точность не слишком высока или слишком низка из-за переобучения или недообучения, модель VGG19 обучалась на пятиканальных изображениях риса несколько раз. Количество итераций в каждом обучении было различным. Сравнивая точность обучения в несколько этапов, было обнаружено, что отклонение точности невелико. Итоговая точность обучения представляет собой среднее значение нескольких показателей точности обучения. Точность результатов проверочного набора показана с помощью матрицы ошибок, как показано на  рисунке 9, а точность классификации проверочного набора этой модели представлена ​​в  таблице 1.

4.2.2 Тестирование модели Resnet50

Для обучения модели Resnet50 было использовано в общей сложности 2464 предварительно обработанных пятиканальных изображения. Количество итераций составило 100. Для обучения модели Resnet50 классификации идеальных и неидеальных зерен были использованы изображения рисовых зерен. Аналогичным образом проводилось предсказание идеальности и неидеальности, и в качестве проверочного набора было выбрано 200 изображений идеальных зерен и 200 изображений неидеальных зерен. Процесс обучения и проверки показан на  рисунке 10, а точность модели представлена ​​в  таблице 2.

Из  рисунка 10  и  таблицы 2 видно, что точность обучения модели составила 95,5%, а точность прогнозирования — 91,3%. Из 200 листов с дефектами было выявлено 182 зерна с точностью 91%; из 200 листов с целыми зернами было выявлено 183 зерна с точностью 91,5%. Точность классификации была высокой. Эффект прогнозирования модели для риса показан на  рисунке 11.

4.2.3 Тест сравнения моделей

Для выбора оптимальной модели в качестве модели классификации данной системы были подготовлены 111 изображений идеальных зерен и 113 изображений неидеальных зерен из пятиканальных изображений предварительно обработанного риса в качестве наборов данных для прогнозирования, которые были использованы в обученных моделях нейронных сетей VGG19 и Resnet50 для прогнозирования. Результаты прогнозирования представлены в  таблице 3.

4.3 Сравнение эффективности обнаружения

4.3.1 Время обнаружения

Экспериментальные данные были собраны на Национальном складе перевалки зерна, при этом ручная проверка проводилась национальным инспектором по качеству, а машинная проверка — с помощью данной исследовательской системы. В качестве образцов для тестирования использовались 12 групп риса, включающих 10, 20, 50, 80, 100, 200, 500, 800, 1000, 1500, 2000 и 5000 зерен. Рис отбирался случайным образом в одинаковых условиях, и для различного количества зерен проводились соответствующие тесты на внешний вид. Время тестирования и количество зерен сравнивались и анализировались (результаты анализа представлены на  рисунке 12).

Как показано на  рисунке 12, машинная проверка не показала преимуществ по времени при тестировании образцов в четырех группах по 10, 20, 50 и 80 зерен, но машинная проверка значительно превосходила ручную проверку для образцов более 80 зерен. При тестировании образца весом 50 зерен ручная проверка занимала 0,67 минуты, а машинная — 1 минуту. Однако при тестировании образца весом 100 и 4000 зерен время ручной проверки составляло 1,16 минуты и 33,5 минуты соответственно, а время машинной проверки — 1 минуту и ​​5 минут соответственно. После полевых исследований мы выяснили, что большинство образцов риса для проверки содержали около 700-800 зерен или даже больше. Поэтому на практике машинная проверка имеет значительные преимущества перед ручной проверкой с точки зрения времени тестирования.

4.3.2 Точность обнаружения

Экспериментальные данные были собраны на Национальном складе перевалки зерна, при этом ручная проверка проводилась национальным инспектором по качеству, а машинная проверка — с помощью данной исследовательской системы. В качестве тестовых образцов использовались 17 групп риса, включающих 10, 20, 50, 80, 100, 200, 500, 800, 1000, 1200, 1500, 1800, 2000, 2500, 3000, 4000 и 5000 зерен. Рис отбирался случайным образом в одинаковых условиях, и для разных количеств зерен проводились соответствующие тесты на качество внешнего вида. Точность тестов и подсчет зерен сравнивались и анализировались (результаты анализа представлены на  рисунке 13).

Как показано на рисунке, машинный контроль не демонстрировал преимуществ в точности при количестве образцов 10, 20, 50 и 80 зерен, но машинный контроль значительно превосходил ручной контроль при количестве образцов более 80 зерен. При количестве образцов 50 точность ручного контроля составляла 100%, а точность машинного контроля — 98,2%. При количестве образцов 800 и 3000 точность ручного контроля составляла 94,3% и 85% соответственно, а точность машинного контроля — 95,5% и 93,2% соответственно. По мере увеличения количества проверяемых зерен и времени тестирования, ручной контроль испытывал эффект усталости, и точность снижалась, в то время как машинный контроль не испытывал подобных проблем. Таким образом, машинный контроль имеет значительное преимущество перед ручным.

5. Обсуждение

В данном исследовании для обработки изображений использовался алгоритм водоразделов в сочетании с адаптивной пороговой функцией. Гауссова фильтрация позволяет эффективно удалять шумовые точки в процессе бинаризации изображения, а добавлен алгоритм для вычисления чистоты пиксельных точек с учетом характеристик бинарных изображений, что позволяет быстро и эффективно получать четкие предварительно обработанные изображения. Алгоритм водоразделов сам по себе может приводить к избыточной сегментации из-за незначительных изменений оттенков серого на поверхности объекта на изображении. Чтобы избежать этого явления, добавлена ​​адаптивная пороговая функция, позволяющая избежать трудностей ручной настройки порога и устранить избыточную сегментацию, вызванную небольшими изменениями оттенков серого. Оба метода повышают точность сегментации и предотвращают явление избыточной сегментации.

Перед созданием модели в качестве входных данных использовались пятиканальные изображения. В большинстве предыдущих моделей обучения сверточных нейронных сетей использовались трехканальные RGB-изображения, и точность обученной модели была высокой, но стабильность модели не могла быть гарантирована. В данном случае используются пятиканальные RGB-изображения и двухканальные изображения в ближнем инфракрасном диапазоне (NIR). Изображения NIR позволяют запечатлеть более гладкую поверхность семян, а инфракрасный свет имеет большую длину волны, что снижает вероятность рассеяния и преломления на поверхности, а также обеспечивает более сильное проникновение. Следовательно, он не будет блокироваться пигментом эпидермиса, и информация о самом эпидермисе будет лучше отражаться. По сравнению с трехканальными RGB-изображениями в качестве входных данных, пятиканальные изображения отражают больше информации, и, следовательно, обученная модель обладает более высокой точностью и стабильностью.

При выборе моделей в данном исследовании в качестве модели глубокого обучения была выбрана модель VGG19. Модели VGG19 и Resnet50 были сравнены по точности классификации риса. Согласно результатам, дискриминационная точность модели VGG19 составила 92,3%, а модели Resnet50 — 91,3%. Первая явно выше второй. Таким образом, модель VGG19 выбрана в качестве дискриминационной модели данной системы.

С точки зрения эффективности обнаружения, по мере увеличения времени и размера выборки при ручной проверке повышается квалификация, но при этом устает персонал, что приводит к снижению эффективности обнаружения. Поэтому в данном исследовании сравниваются время и точность обнаружения при машинной и ручной проверке. Как показывают результаты сравнения, при размере выборки менее 100 зерен машинная проверка не имеет преимуществ перед ручной. Однако после проведения фактического исследования было установлено, что размер выборки для проверки риса обычно составляет около 1000 зерен, и при этом время и точность ручной проверки составляют 6 минут и 94,2% соответственно, в то время как время и точность машинной проверки составляют 2 минуты и 94,6% соответственно. Это означает, что в практических приложениях машинная проверка имеет значительные преимущества перед ручной.

6. Заключение

Учитывая отсталость современного уровня контроля качества внешнего вида риса и появление различных технологий контроля, в данном исследовании предложен метод быстрой автоматической проверки качества внешнего вида риса. Благодаря быстроте, точности, удобству и неразрушающему контролю, метод значительно улучшен в плане автоматизации и интеллектуальности. На основе технологий машинного зрения и обработки изображений, метод использует сверточную нейронную сеть для создания надежной и стабильной модели классификации риса. Одновременно, для сегментации изображений и зерен риса используются алгоритм водоразделов и адаптивная пороговая функция, что обеспечивает точность и стабильность обучения сети. Кроме того, созданы модели сети VGG19 и Resnet50. Согласно результатам, точность классификации модели, созданной на основе сети VGG19, достигает 92,3%. Таким образом, VGG19 выбрана в качестве модели классификации данной системы. После экспериментальной проверки разработанная в данном исследовании система определения внешнего вида риса показала хорошие результаты в эксплуатации, является хорошей альтернативой традиционным методам определения, значительно повышает эффективность определения внешнего вида риса и обеспечивает быструю автоматическую проверку внешнего вида риса. В то же время она оказывает положительное влияние на отрасль хранения и транспортировки риса. Технология контроля качества риса всегда была популярным направлением исследований. С ростом требований к качеству риса возникли инновационные задачи в области технологий контроля качества. Постепенная замена трудоемкого и длительного ручного контроля технологиями определения внешнего вида риса также стала новым методом в отрасли. Поэтому крайне важно постоянно разрабатывать и открывать новые методы проверки внешнего вида риса, чтобы улучшить нашу систему стандартов качества риса.

Литература

1. ChenS. B.YuanJ.XingC. R.JuX. R.HuangJ. W. (2018). Application status of machine vision detection technology in rice. Food Sci. Technol. Economy43 (05), 50–54. doi: 10.16465/j.gste.cn431252ts.20180509

2. ChengX.LiZ. M.WenL. C.MaY. X.ShenX.YuY. (2022). Based on near infrared spectrum detection technology research progress of rice roots. China’s fruit7), 51–56. doi: 10.19590/j.carolcarrollnki.1008-1038.2022.07.008

3. CuiC. C.ZhouX. C.ZanM. Y.ChenJ.WangZ. F.YinH.et al. (2021). Image BM3D denoising method based on applying adaptive filtering. Electronic Measurement Technol.44 (12), 97–101. doi: 10.19651/j.cnki.emt.2106553

4. DuY.CaoS. J.JiaK. J.WangX. J. (2018). Research on nondestructive classification of garlic seed quality based on image processing. Hebei J. Ind. Sci. Technol.35 (05), 317–321. doi: 10.7535/hbgykj.2018yx05003

5. HanL. L.TianY. M.QiQ. H. (2020). Research on edge detection algorithm based on improved sobel operator. MATEC Web Conf.309, 3–31. doi: 10.1051/matecconf/202030903031

6. HeK. M.ZhangX. Y.RenS. Q.SunJ. (2016). “Deep residual learning for image recognition,” in Proceedings on the IEEE conference on computer vision and pattern recognition (Institute of Electrical and Electronics Engineers), 770−778.

7. IshengomaF. S.RaiI. A.SaidR. N. (2021). I dentification of maize leaves infected by fall armyworms using UAV-based imagery and convolutional neural networks. Comput. Electron. Agric.184, 106–124. doi: 10.1016/j.compag.2021.106124

8. LeethanapanichK.MauromoustakosA.WangY. J. (2016). Impact of soaking and drying conditions on rice chalkiness as revealed by scanning electron microscopy. Cereal Chem.93 (5), 478–481. doi: 10.1094/CCHEM-12-15-0248-N

9. LiangM.MaK. (2017). Study on the method of echo signal denoising based on gauss filter. Geomatics Spatial Inf. Technol.40 (01), 40–42. doi: 1672-5867(2017)01-0040-03

10. LiuX. R.CaoL.ZhangB. (2017). Analysis and outlook of China’s rice market in 2017. China Grain Economy5), 34–38. doi: 10.3969/j.issn.1007-4821.2017.05.014

11. LiuX. Y.WuX.SunW.MaoC. G. (2019). Image segmentation of pellet particles based on morphological reconstruction and GMM. Chin. J. Sci. Instrument40 (03), 230–238. doi: 10.19650/j.cnki.cjsi.J1804521

12. LiuG.ZhangC.ZhangS.LiuX.WeiH.. (2020). Simulated oral processing of cooked rice using texture analyzer equipped with Multiple Extrusion Cell probe (TA/MEC). LWT- Food Sci. Technol.138, 110731. doi: 10.1016/j.lwt.2020.110731

13. LuoS.ZhangD. M. (2018). Improved watershed segmentation algorithm based on adaptive threshold and mathematical morphology. Shanxi Electronic Technol.06), 3–5.

14. MaC.ZhouW.ZhangZ. W. (2018). Study on the application of image processing on rice quality Detection. Machinery Electron.4 (36), 58–62.

15. MeiL. A. (2020). Study on Multispectral fusion of color and near infrared images based on convolutional neural networks (Xi’an, China: Xi dian University). doi: 10.27389/d.cnki.gxadu.2020.003276

16. MengN.LiuM.LiuY. X.ZanX. M.SunY.ZhangP. Y.et al. (2019). Application and prospect of nondestructive testing technology in rice quality detection. Sci. Technol. Cereals Oils Foods27 (06), 98–101. doi: 10.16210/j.cnki.1007-7561.2019.06.018

17. MoY. J. (2020). Research and implementation of image segmentation algorithm based on watershed technology. Changjiang Inf. &Communications03), 59–60.

18. RenX. W.HeL. F.SongA. L.YaoB.ZhaoX. (2021). A droplet size detection algorithm for crude oil emulsion based on connected-component-labeling. Comput. Appl. Software38 (07), 196–201. doi: 10.3969/j.issn.1000-386x.2021.07.032

19. RuanD. X. (2021). Machine vision based on grain and rice inspection system design. China South. Agric. Machinery52 (23), 24–26. doi: 10.3969/j.issn.1672-3872.2021.23.007

20. SampaioP.SoaresA.CastanhoA.AlmeidaS.OliveiraJ.BritesC. (2018). Optimization of rice amylose determination by NIR-spectroscopy using PLS chemometrics algorithms. Food Chem.9 (242), 196–204. doi: 10.1016/j.foodchem.2017.09.058

21. SiriphollakulP.NakanoK.KanlayanaratS.OhashiS.SakaiR.RittironR.et al. (2017). Eating quality evaluation of Khao Dawk Mali 105 rice using near-infrared spectroscopy. Food Sci. Technol.8 (79), 70–77. doi: 10.1016/j.lwt.2017.01.014

22. TangC. Y.PuS. L.YeP. Z.XiaoF.FengH. J. (2020). Fusion of low-illumination visible and near-infrared images based on convolutional neural networks. Acta Optica Sin.40 (16), 37–45. doi: 10.3788/AOS202040.1610001

23. WanX.ZhangX. Y.LiuL. L. (2021). An improved VGG19 transfer learning strip steel surface defect recognition deep neural network based on few samples and imbalanced datasets. (Applied Sciences), 11 (6), 2606–2606.

24. WangP. M.HeM.WangH. B. (2021). Fast training method of deep-learning model fused with prior knowledge. J. Harbin Eng. Univ.42 (04), 561–566.

25. WangW. C.JiangH.QiaoQ.ZhuH. H.ZhengH. (2019). Research on classification and recognition of ten fish images based on resNet50 network. Rural Economy Science-Technology30 (19), 60−62. doi: 10.3969/j.issn.1007-7103.2019.19.028

26. WangX. Y.MaY. B.PanX.YanW. H. (2021). Forage seed recognition model based on hierarchical convolutional neural network. J. Inner Mongolia Agric. Univ. (Natural Sci. Edition)42 (05), 89–93. doi: 10.16853/j.cnki.1009-3575.2021.05.014

27. WuS. L.ZhaoC.ZhuY. N.YuanS. B.ChenX. Y. (2021). Appliation of digital image processing technology in fruit and vegetable grading detection. Fujian Agric. Machinery03), 30–36.

28. XiaoZ. Y. (2020). Research on the appearance quality inspection of rice based on image processing technology (Wuhan, China: Wuhan University of Light Industry).

29. XingJ.LuoJ. S. (2021). Rice appearance quality detection technology based on muti-demensional features. J. Harbin University of Science and Technol.26 (05), 76–82. doi: 10.15938/j.jhust.2021.05.010

30. YaoY. Q.ZhangW.SongY. F.ZuoG. P.XuW. H.LiS. W. (2020). Study on adaptive threshold segmentation methon of soybean image based on HS Channel. J. Jingdezhen Univ.35 (06), 57–60.

31. ZhangB. H.DaiD. J.HuangJ. C.ZhouJ.GuiQ. F. (2018). Influence of physical and biological variability and solution methods in fruit and vegetable quality nondestructive inspection by using imaging and near- infrared spectroscopy techniques: A review. Crit. Rev. Food Sci. Nutr.58 (12), 2099–2118. doi: 10.1080/10408398.2017.1300789

32. ZhangZ. S.LiuM. M.LuW. Q.YouL. F.YuanL. M. (2021). Detection of external quality for baby cabbage by image sensing technology. J. Food Saf. Qual.12 (04), 1374–1379. doi: 10.19812/j.cnki.jfsq11-5956/ts.2021.04.024

33. ZhangH. M.WangJ.YeS.YuX. S.TianX. J. (2007). Optimized of sensor array and detection of moldy degree for grain by electronic nose. Chin. J. Sensors Actuators06), 1207–1210.

34. ZhaoT. (2021). Development and application of machine vision technology in food inspection. Food Res. Dev.42 (19), 233–234.

35. ZhouJ. Q. (2016). Research of rapid detection of nutrional quality and degree of milling in rice based on the near infrared spectral technology (China: Gansu Agricultural University. Lanzhou City).

Авторы: Yangfan He, Baojiang Fan, Lei Sun, Xiaofei Fan, Jun Zhang, Yuchao Li, Xuesong Suo