Компьютерное зрение для обнаружения мучнистой росы на зернах риса

128
views

В настоящее время методы обнаружения микробных индикаторов на рисе обычно основаны на культивировании микроорганизмов или сенсорном анализе, которые являются трудоемкими или требуют специальных знаний и, следовательно, не могут удовлетворить потребности в экспресс-тестировании риса на месте, когда рис извлекается из хранилища или продается. Для разработки быстрого и неразрушающего метода обнаружения плесени на рисе в данной работе используется технология микрокомпьютерного зрения для сбора изображений образцов риса, пораженных плесенью, из 9 точек на снимке.

Затем с помощью сверточной нейронной сети YOLO-V5 обнаруживаются заплесневелые участки риса, и оценивается площадь покрытия плесенью. Получена взаимосвязь между заплесневелыми участками и общим количеством бактериальных колоний на изображении.

Результаты показывают, что точность и полнота разработанной модели YOLO-v5 при идентификации заплесневелых участков риса на валидационном наборе данных составили 82,1% и 86,5% соответственно. На основе средней площади пораженного плесенью участка, определенной с помощью модели YOLO-v5, точность и полнота обнаружения легкой плесени составили 100% и 95,3% соответственно.

Предложенный метод, основанный на микрокомпьютерном зрении и сверточной нейронной сети YOLO, может быть применен для быстрого обнаружения плесени на рисе, извлеченном из хранилища или приобретенном для продажи.

1. Введение

Рис — одна из основных продовольственных культур в мире, и значительная часть сельскохозяйственных угодий Китая отведена под его производство. Безопасное производство риса имеет решающее значение для обеспечения продовольствием не только Китая, но и всего мира. Рис богат углеводами, белками, жирами, витаминами и минералами, что делает его естественной питательной средой для микроорганизмов.

Во время хранения и транспортировки риса изменения температуры, влажности и уровня влаги в условиях хранения могут привести к росту и размножению таких распространенных плесневых грибов, как  Aspergillus flavus  и  Aspergillus niger. Это явление не только приводит к огромным экономическим потерям, но и наносит серьезный вред здоровью сельскохозяйственных животных и здоровью человека (Mannaa et al.,  2017; Santos et al.,  2022).

В связи с огромными объемами производства риса в мире существует высокая потребность в методах обнаружения микробных индикаторов, которые обычно применяются при извлечении риса из хранилища или при его продаже. В настоящее время наиболее распространенные методы обнаружения микробных индикаторов включают в себя методы посева на чашки Петри, методы искусственной сенсорной оценки и методы, основанные на иммунном ответе.

Однако из-за трудоемкости, низкой точности или высокой стоимости этих методов обнаружение микробных индикаторов может проводиться только на небольших образцах (Gong et al.,  2021). В таких условиях рисовую плесень относительно легко пропустить, поэтому необходимы более удобные, быстрые и точные методы обнаружения, которые позволили бы тестировать более крупные образцы.

Неразрушающие методы контроля, основанные на оптических сигналах и сигналах летучих газов, обладают преимуществами быстроты и не требуют предварительной обработки (Chen et al.,  2021; Wen et al.,  2022). С помощью таких методов можно наблюдать значительные изменения цвета, запаха, морфологии и текстуры как у обычных, так и у сильно пораженных плесенью злаков (Wan et al., 2019). В последние годы появился ряд методов, использующих датчики запаха, спектральные технологии, гиперспектральную визуализацию и компьютерное зрение в сочетании с хемометрией для идентификации и обнаружения заплесневелых зерен. Эти методы обладают выдающейся производительностью в режиме реального времени и имеют высокую прикладную ценность в оценке качества зерна.

В своей работе с использованием датчиков запаха Шен и др. (2016) применили технологию электронного носа в сочетании с моделями линейного и наименьшего квадратичного дискриминантного анализа для обнаружения образцов зерновых, зараженных  A. flavus , паразитическим Aspergillus и Penicillium, при этом общая точность обнаружения с помощью двух моделей достигла 100% и 97,4% соответственно.

Цзярпиньнюн и др. (2020) добились раннего обнаружения грибковой инфекции в неочищенном рисе с помощью оборудования электронного носа в сочетании с анализом главных компонентов, моделями регрессии методом частичных наименьших квадратов и моделями машины опорных векторов. Ван и др. (2021) использовали колориметрическую сенсорную технологию и метод пятикратной перекрестной проверки для определения оптимальных параметров качественной модели идентификации мучнистой росы пшеницы и количества главных компонентов (ПК). Используя модель распознавания на основе машины опорных векторов, они достигли 100% правильной точности распознавания для независимых образцов пшеницы. Однако процесс обнаружения с использованием датчиков запаха требует длительных временных интервалов для адсорбции летучих молекул и деионизации, поэтому он не подходит для экспресс-тестирования.

В своей работе, использующей спектроскопию и гиперспектральную визуализацию, Конг и др. (2018) добились неразрушающего определения общего числа колоний плесени в рисе с помощью модели, сочетающей оптимизацию методом серых волков и регрессию опорных векторов.

Цзян и др. (2018) использовали спектрометр на основе анализа главных компонентов для проведения кластерного анализа образцов пшеницы, зараженных различными видами плесени, и создали модель линейного дискриминантного анализа с точностью более 90%. Чен и др. (2021) идентифицировали 21 характерное вещество из летучих органических соединений в образцах риса с помощью газовой хроматографии с ионно-миграционной спектрометрией. Объединив анализ главных компонентов и  кластеризацию методом k -средних, они создали кластерную модель, которая может быть использована для быстрого определения степени поражения риса мучнистой росой.

Цзя и др. в работе (2022 г.) была разработана модель нейронной сети обратного распространения с использованием модели классификации оптимизации муравьиной колонии, сочетающая стандартные нормальные переменные и исключение неинформативных переменных, для обработки гиперспектральных изображений пяти степеней поражения семян кукурузы плесенью одного сорта.

Лю и др. (2023 г.) предложили метод идентификации степеней поражения семян подсолнечника мучнистой росой на основе спектроскопии диффузного отражения и пропускания в ближнем инфракрасном диапазоне, а также одномерной сверточной нейронной сети (CNN). Однако обычные спектрометры ближнего инфракрасного диапазона могут измерять только точки образца и требуют гомогенизации образца, что не подходит для быстрого обнаружения загрязнения риса. Кроме того, многоспектральное и гиперспектральное оборудование дорого, а время получения данных изображения велико.

В приложениях компьютерного зрения Пан и др. (2017) использовали компьютерное зрение, машины опорных векторов, дискриминантный анализ методом частичных наименьших квадратов и алгоритмы непрерывной проекции для сбора и анализа изображений образцов риса с различной степенью поражения плесенью, достигнув общей точности различения пораженных плесенью участков более 90%.

Чен и др. (2019) использовали самостоятельно разработанную систему машинного зрения для одновременного обнаружения четырех типов дефектов в красном индийском рисе: сломанные зерна, меловидность, повреждения и пятна, с точностью распознавания более 93%. Из-за ограничений размера поля и разрешения традиционное компьютерное зрение имеет низкую чувствительность к обнаружению плесени. По сравнению с традиционным машинным обучением, технология глубокого обучения имеет очевидные преимущества в способности классификации и скорости.

Сунь и др. (2016) сравнили влияние традиционного машинного обучения и сверточной нейронной сети LeNet5 на распознавание изображений риса, пораженного плесенью, и результаты показали, что ранний алгоритм глубокого обучения LeNet5 имеет значительное преимущество в скорости и точности распознавания. Однако традиционные методы компьютерного зрения не способны обнаруживать образцы риса с легким поражением плесенью, и трудно обнаружить зерна, пораженные плесенью, с общим количеством жизнеспособных бактерий (TVC) 10⁵ 10⁶ КОЕ  /г, используя методы в обычных масштабах наблюдения (Сунь и др.,  2022; Чжоу и др.,  2008).

Сунь и др. В работе (2022 г.) использовалась технология микрокомпьютерного зрения (МКЗ) для повышения чувствительности к признакам плесени, а также усовершенствованная сверточная нейронная сеть YOLO для распознавания местоположения  A. nigerPenicillium orange и  Aspergillus griseus  на отдельных зернах риса с точностью 89,26%, 91,15% и 90,19% соответственно. Традиционные методы компьютерного зрения позволяют напрямую обнаруживать явные бактериальные колонии на изображениях риса, пораженного плесенью; однако бактериальные колонии на таком рисе невелики, и для извлечения признаков требуются методы МКЗ (Barsanti et al.,  2022 ; Sun et al.,  2022).

В настоящее время методы обнаружения плесени на рисе, основанные на МКЗ, позволяют обнаруживать только один вид плесени на отдельных зернах риса. Методы обнаружения, подходящие для анализа нескольких зерен и нескольких типов плесени, пока не представлены.

Меньшие масштабы наблюдения также содержат более сложную информацию об изображении, и для распознавания изображений, полученных с помощью MCV, требуются мощные модели распознавания. Сверточная нейронная сеть YOLO (You Only Look Once) — это продвинутая модель глубокого обучения с мощными возможностями анализа изображений и обнаружения целей, способная находить несколько целей на изображениях (Redmon et al.,  2016).

По сравнению с более ранними сетями, такими как LeNet и Alexnet, модель YOLO имеет более глубокую сетевую структуру и более высокую скорость распознавания, чем R-CNN и Fast R-CNN, а время обнаружения целей на изображениях обычно составляет менее 0,1 с. Она широко используется в областях распознавания лиц, мониторинга заболеваний и вредителей, транспорта и медицинской визуализации, но ее применение в области микробиологии все еще ограничено (Cao et al.,  2019 ; Chen et al.,  2021 ; Jiang et al.,  2021; Li et al.,  2022).

Модель YOLO CNN подходит для распознавания плесени на сложных микроскопических изображениях риса. YOLO-v5 — это пятое поколение модели YOLO, и ее скорость обучения и распознавания, а также размер модели сравниваются с показателями предыдущих поколений; таким образом, в настоящее время это наиболее часто используемая версия YOLO.

В данной работе, с целью популяризации практического применения метода MCV для обнаружения плесени на рисе, образцы риса помещали в чашки Петри, и изображения пораженного плесенью риса получали с помощью метода MCV в сочетании с 9-точечным методом получения изображений. Затем была создана модель YOLO-V5 для обнаружения участков плесени на изображениях, и была проверена ее точность.

Наконец, с помощью этой модели определяли долю участков плесени на каждом изображении образца и проводили корреляционный анализ с фактическим общим количеством колоний для определения порогового значения доли пораженных плесенью участков в образцах с легкой плесенью. Предложенный комплексный метод обнаружения позволяет выявлять легкую плесень риса с помощью метода MCV и модели YOLO.

2. Материалы и методы

2.1 Имитация хранения риса после инокуляции

В данном исследовании в качестве объекта исследования был выбран сорт риса, который естественным образом покрывается плесенью в полевых условиях (рис индика, приобретенный в поселке Хуолунган, город Уху, провинция Аньхой, Китай). Этапы инокуляции плесенью и имитации условий хранения следующие:

  1. Образец риса поместили в печь и запекали при температуре 80°C в течение 4 часов для удаления первоначальной плесени, которая находилась на рисовых зернах. Высушенные рисовые зерна поместили в набор круглых чашек Петри диаметром 60 мм (по 10 г риса в каждой чашке).
  2. Естественно заплесневелый рис промывали стерильной дистиллированной водой для приготовления суспензии спор. С помощью полимеразной цепной реакции (ПЦР) проводили анализ бактериальной суспензии методом амплификации in vitro, и результаты показали, что плесень на поверхности риса принадлежит к видам  Aspergillus  и  Fusarium . Суспензию спор инокулировали на картофельно-глюкозный агар. Полученную чашку Петри помещали в инкубатор с постоянной температурой и влажностью (температура 28°C, относительная влажность 90%) на 24–36 часов. Концентрацию в суспензии спор измеряли методом подсчета колоний на чашках Петри, а затем разбавляли до 1,5 × 10⁵ КОЕ  /мл.
  3. Было подготовлено 70 чашек Петри, содержащих по 10 г рисовых зерен. В каждую чашку вносили 1 мл суспензии спор и тщательно встряхивали для полного пропитывания каждого рисового зерна. Затем чашки хранили при постоянной температуре и влажности 28°C и 90% относительной влажности в течение 13 дней. Каждые 48 часов проводили осмотр группы образцов (10 чашек Петри) для определения момента достижения высокой степени образования плесени, то есть когда содержание плесени на грамм зерна превышало 10⁶ КОЕ  /г.
2.2 Получение микроскопических изображений образцов риса

В данном исследовании для сбора микроскопических изображений заплесневелого риса в каждой чашке Петри в 9 точках использовалась комбинация микроскопического объектива и промышленной цветной матричной камеры Dahua A7A20MU30 (приобретенной у компании Hangzhou Huarui Technology Co., Ltd., Китай). В этом процессе важно обеспечить равномерное распределение 9 точек отбора проб и их отсутствие, чтобы все детали были четко зафиксированы.

Поэтому для каждой чашки Петри (10 г риса) было получено 9 микроскопических изображений (как показано на рисунке  1 ) с размером изображения 2560 × 1876 пикселей и пространственным разрешением около 0,02 мм на пиксель. Во время имитации хранения примерно каждые 48 часов извлекалась группа образцов (10 чашек Петри) для сбора изображений, и каждый раз получалось 90 изображений. В общей сложности за 13 дней было получено 630 микроскопических изображений заплесневелого риса.

РИСУНОК 1. Изображения неочищенного риса, полученные методом MCV (9 областей изображения в одной чашке Петри).
2.3 Разметка изображений

YOLO CNN — это алгоритм глубокого обучения, используемый для обнаружения целей, и поэтому требует ручной разметки целевых областей. Чтобы выделить пораженные плесенью (т.е. целевые) участки на изображениях риса MCV, каждое изображение было разделено на четыре части, в результате чего разрешение каждой части составило 1280 × 938 пикселей. Как показано на рисунке  2 , для разметки пораженных плесенью участков на всех изображениях MCV использовался инструмент разметки изображений Labelimg, разработанный на Python. Для более точного выделения пораженных плесенью участков в качестве основного объекта распознавания были выбраны спорангии, поскольку они имеют определенную оптическую структуру и расположение областей на изображениях.

РИСУНОК 2. Отметки пораженных плесенью участков (b) на исходном изображении риса в формате MCV (a).
2.4 Создание модели YOLO-v5

Для создания модели идентификации участков риса, пораженных плесенью, использовалась модель YOLO пятого поколения (YOLO-v5). Архитектура и основные функции модели соответствовали тем, что описаны в работе Sun et al. (2022), где для извлечения целевых признаков из изображений, последующего агрегирования этих целевых признаков и построения модели для идентификации тех же самых целевых объектов использовалась модель YOLO пятого поколения (YOLO-v5).

В данном исследовании было выявлено в общей сложности 38 061 пораженный плесенью участок на 2520 микроскопических изображениях зерен риса. Микроскопические изображения риса были случайным образом разделены на обучающую и тестовую выборки в соотношении 6:4, в результате чего получилось 1512 изображений для обучающей выборки и 1008 изображений для тестовой выборки.

Для повышения скорости обучения и снижения потребления памяти была использована модель YOLO-v5s, представляющая собой версию модели YOLO-v5 с меньшим количеством слоев и узлов для упрощения обучения и развертывания. Модель была построена с использованием PyCharm (JetBrains, Чехия) и основного инструментария YOLOv5 (https://github.com/ultralytics/yolov5).

Гиперпараметры YOLO-v5 были следующими: разрешение входного изображения установлено на 1280, размер пакета — на 8, скорость обучения модели — на 0,01, а количество эпох — на 50. Также применялись такие методы, как мозаичное улучшение и поворот изображения.

Для снижения вероятности неправильной оценки фона моделью и повышения степени соответствия выходной граничной области и пораженных плесенью участков, пороговое значение достоверности модели было установлено на уровне 0,5. После завершения обучения оптимальная модель была определена на основе изменения потерь в граничной области, потерь в объекте и средней точности при пороговом значении достоверности 0,5 (mAP0,5). Затем, для проверки точности модели, были получены матрица ошибок, точность и полнота результатов обнаружения пораженных плесенью участков.
где tp и fp — количество истинных и ложных срабатываний соответственно.
2.5 Анализ взаимосвязи между площадью пораженных плесенью участков риса и общим количеством бактериальных колоний.

Для получения более точной зависимости между площадью пораженного плесенью риса и общим количеством бактериальных колоний необходимо повторить эксперименты по инокуляции риса и имитации хранения. В этом эксперименте группа образцов (10 чашек Петри) отбиралась каждые 48 часов в течение 13-дневного периода имитации хранения для определения общего количества жизнеспособных клеток (TVC). Поскольку текущая цель обнаружения плесневевшего риса относится к неочищенной части риса после шелушения, половина риса была очищена от шелухи. Цель этого эксперимента заключалась в оценке того, можно ли использовать степень поражения плесенью неочищенного риса для оценки степени поражения плесенью неочищенного риса в реальных производственных процессах путем наблюдения за степенью соответствия кривой TVC двух образцов. Поэтому частицы риса в каждой чашке Петри (содержащей 10 г риса) были приблизительно разделены по массе на две части. После взвешивания и регистрации данных о массе их пересыпали в пробирки. Одна часть риса хранилась в неочищенном виде, а для очистки использовалась инспекционная шелушильная машина (Rizhao Liang’an Storage Equipment Co., Ltd.), то есть для получения определенного количества коричневого риса.

Затем в 20 пробирок добавили 10 мл стерильной дистиллированной воды, содержимое перемешали и вибрировали с помощью роторного миксера SK-1 (Jiangsu Jintan Yitong Electronics Co., Ltd.) для полного элюирования спор плесени с поверхности неочищенных и неочищенных зерен риса, в результате чего получили суспензии спор неочищенного и неочищенного риса. В первый день, после десятикратного разбавления суспензии, 0,5 мл отобрали и засеяли на картофельно-глюкозный агар с добавлением хлорамфеникола. Полученные 20 чашек Петри (круглые чашки Петри диаметром 90 мм) поместили в инкубатор с постоянной температурой и влажностью (температура 28°C, относительная влажность 90%) на 36 часов, и общее количество колоний неочищенного и неочищенного риса подсчитали методом подсчета колоний на чашках Петри. В ходе имитации хранения коэффициент разбавления постепенно увеличивался на порядок в зависимости от роста колоний плесени, и было получено в общей сложности 7 наборов измерений, каждый из которых содержал 20 измерений качества и 20 значений TVC. Впоследствии данные были обработаны и проанализированы. Уравнение для расчета TVC на грамм риса (или коричневого риса) показано в (3).

Затем был проведен корреляционный анализ изменений общего содержания летучих веществ в рисе и неочищенном рисе, и рассчитан коэффициент детерминации R².

Наконец, предложенная модель YOLO была использована для идентификации пораженных плесенью участков на изображениях. Для каждого изображения зерна была рассчитана средняя доля пораженной плесенью площади на каждом изображении (MAI). Метод расчета показан в уравнении ( 2 ):

где  i  — индекс исследуемого участка изображения;  k  — индекс 9 захваченных областей образца риса;  M  — площадь пораженного плесенью участка на одном из 4 разделенных изображений; и  S  — общая площадь разделенного изображения (1280 × 938). Затем был проведен регрессионный анализ между TVC и площадью пораженных плесенью участков риса.

3. Результаты 

3.1 Изменения в функции потерь в процессе обучения модели

На рисунке  3  показаны изменения значений функции потерь для ограничивающих рамок, функции потерь для объектов и показателя mAP 0,5  в процессе обучения модели. Как видно из рисунка, на начальном этапе обучения значение функции потерь для ограничивающих рамок в обучающем и проверочном наборах данных быстро уменьшалось. После 30 эпох значение функции потерь в проверочном наборе данных стабилизировалось. Показатель mAP0,5  также стабилизировался после 30 эпох и превысил 0,9.

РИСУНОК 3. Изменение параметров во время обучения модели. (a) Функция потерь типа Box (b) Функция потерь типа object (c) mAP0,5.
3.2 Матрица ошибок для результатов идентификации модели обнаружения очагов мучнистой росы на рисе

Матрица ошибок результатов обнаружения пятен плесени на рисе с помощью модели представлена ​​в таблице  1. В обучающей и проверочной выборках точность обнаружения очагов плесени достигла 89,3% и 86,5% соответственно, а полнота обнаружения очагов плесени составила 90,5% и 86,5%.

ТАБЛИЦА 1.  Матрица ошибок модели YOLO.
Пораженный плесенью участок (×10³ пикселей) Фоновая область (×10³ пикселей) Точность (%) Отзывать (%)
Тренировочный набор
заплесневелый участок 11,480 1377 89.3 90,5
Фоновая область 1202 1 814 165
Набор проверок
заплесневелый участок 7320 1597 82.1 86,5
Фоновая область 1143 1,209,101

На рисунке  4  показано изображение MCV плесени на рисе, обнаруженной моделью, полученное при слабом поражении зерна (общее количество жизнеспособных клеток в диапазоне 10⁵ 10⁶КОЕ  /г). Как видно из рисунка, предложенная модель эффективно идентифицирует все пораженные плесенью участки на изображении, независимо от количества зерен риса и типа плесени. Кроме того, скорость распознавания этой модели очень высока, время анализа одного изображения составляет около 0,04 с.

РИСУНОК 4. На изображении риса, полученном с помощью модели YOLO-v5, обнаружены участки, пораженные плесенью.
3.3 Степень соответствия кривой количества бактерий в неочищенном и неочищенном рисе

На рисунке  5  показано изменение общего количества жизнеспособных микроорганизмов (TVC) неочищенного и неочищенного риса. С увеличением количества дней имитированного хранения значение TVC обоих типов риса демонстрировало экспоненциальную тенденцию к росту, при этом скорость роста плесени в неочищенном рисе была выше, чем в неочищенном. На 9-й день имитированного хранения значение TVC находилось в диапазоне 10⁵ 10⁶ КОЕ  /г, и зерно находилось в слегка заплесневелом состоянии; на 11-й день значение TVC превысило 10⁶ КОЕ  /г, и зерно находилось в сильно заплесневелом состоянии. После корреляционного анализа коэффициент детерминации  R² логарифма значений TVC неочищенного и неочищенного риса составил  0,9926. Среднеквадратичная ошибка (RMSE) прогнозирования значения TVC неочищенного риса с использованием значения TVC неочищенного риса составила 0,2025.

РИСУНОК 5. Изменения общего содержания летучих веществ в неочищенном и неочищенном рисе. (а) Изменение общего содержания летучих веществ. (б) Зависимость общего содержания летучих веществ в неочищенном и неочищенном рисе.
3.4 Анализ взаимосвязи между содержанием общего количества витамина С в рисе и площадью пораженных плесенью участков, выявленных с помощью модели.

На рисунке  6  показана зависимость между общим количеством жизнеспособных микроорганизмов (TVC) неочищенного и неочищенного риса и площадью пораженного плесенью риса, определенной моделью (обозначена буквой  S ). Согласно уравнениям трендовой линии, площадь пораженных плесенью участков, выявленных моделью, линейно коррелировала с логарифмом TVC для неочищенного и неочищенного риса. Коэффициент детерминации регрессионных  моделей составил 0,8059 и 0,7794 соответственно.

В частности, значения MAI в 29 образцах без значительного количества плесени (TVC < ​​10⁵ КОЕ  /г, обнаружено с помощью неочищенного риса) были ниже 0,001, в то время как только в 2 образцах со слабой плесенью значения MAI были выше 0,001. Значения MAI в 41 образце со слабой плесенью (10⁵  TVC < ​​10⁶ КОЕ  /г, обнаружено с помощью неочищенного риса) были выше 0,001. Видно, что существует четкое пороговое значение MAI как для неочищенного, так и для неочищенного риса (MAI = 0,001), которое можно использовать для различения риса без явной плесени и риса с относительно легкой степенью поражения плесенью. Используя это пороговое значение MAI, точность и полнота обнаружения легкой плесени составили 100% (41/41) и 95,3% (41/43).

РИСУНОК 6. Взаимосвязь между общим содержанием летучих микроорганизмов в неочищенном рисе (а) и неочищенном рисе (б) и площадью пораженных плесенью участков, выявленных с помощью модели.

4. Обсуждение

В данном исследовании роль модели YOLO заключалась, по сути, в сегментации изображений, то есть в разделении изображения на области, пораженные плесенью, и фоновые области. Однако области, пораженные плесенью, на изображениях обычно непрерывны и имеют сложную форму. Целевые прямоугольники, идентифицированные моделью или размеченные вручную, редко полностью совпадают с реальными областями, пораженными плесенью. Для создания модели с более высокой точностью и полнотой сегментации областей, пораженных плесенью, можно использовать модели CNN для точной сегментации изображений, такие как U-net или Deeplab net (Srinitya et al.,  2023), но разметка областей объектов для этих моделей сложнее, чем для модели YOLO.

В последние годы постоянно появляются научные исследования по идентификации и обнаружению заплесневелых зерен с использованием электронных носов, гиперспектральной визуализации и ближнеинфракрасной спектроскопии. Джиарпиниджнун и др. (2020) использовали электронный нос в сочетании с технологией анализа ГХ-МС для обнаружения характерных летучих запахов, возникающих в результате грибкового загрязнения зерен бурого риса, но эта технология требует квалифицированных операторов, а процесс обнаружения является дорогостоящим и трудоемким, и, следовательно, не подходит для быстрого обнаружения на месте.

Цзя и др. (2022) использовали гиперспектральную технологию для обнаружения заплесневелых семян кукурузы. Гиперспектральные камеры дорогостоящи, а извлечение данных гиперспектрального изображения требует от операторов значительных возможностей обработки данных. Поэтому этот метод также не подходит для практического процесса производственного тестирования. Кроме того, два вышеупомянутых метода могут только обнаруживать заплесневелые зерна, но не могут различать разные степени заплесневелости.

В данном исследовании, анализируя взаимосвязь между значением TVC риса и площадью пораженных плесенью участков, выявленных с помощью модели, удалось эффективно различать рис с незначительным и слабым поражением плесенью. Лю и др. (2023) использовали ближнеинфракрасную спектроскопию для классификации степени поражения плесенью семян подсолнечника. Хотя эта технология позволяет с некоторой точностью обнаруживать слабое поражение плесенью, пространственное разрешение ближнеинфракрасной спектроскопии очень низкое.

Если эту технологию применять для обнаружения плесени в рисе, изменения содержания жирных кислот в рисе вызовут изменения их ближнеинфракрасных спектроскопических характеристик, что увеличит погрешность обнаружения (Конг и др.,  2018). Технология MCV, использованная в этом исследовании, отличается низкой стоимостью и хорошей производительностью обнаружения в реальном времени. По сравнению с традиционным компьютерным зрением (Сун и др.,  2016), полученные микроскопические изображения имеют более высокое разрешение и позволяют получить подробную информацию об образцах риса, тем самым обеспечивая более высокую точность обнаружения заплесневелого риса.

По сравнению с исследованием Сунь и др. ( 2022 ), в данном исследовании в качестве объекта обнаружения использовалось 10 г риса, а не отдельные зерна. Идентификация и анализ пораженных плесенью участков группированных образцов позволяют получить результаты, которые могут быть более эффективны в практическом применении для обнаружения плесени в больших партиях риса. В этом исследовании бактериальная суспензия, приготовленная путем элюирования спор и колоний, была нанесена на поверхность естественно заплесневелого риса, что привело к увеличению количества и разнообразия видов плесени.

В то время как захват изображений методом MCV неизбежно приводит к уменьшению поля зрения образца, в данном исследовании используется 9-точечный метод получения микроскопических изображений группированных зерен риса и комплексной обработки и анализа 9 изображений одной и той же группы образцов риса. Таким образом, полученные данные изображений являются более репрезентативными.

В связи с тем, что существующий метод обнаружения плесени на рисе основан на анализе неочищенного риса внутри рисовой шелухи, в данном исследовании был проанализирован уровень соответствия значений общего количества жизнеспособных микроорганизмов (TVC) неочищенного и неочищенного риса, и было установлено, что коэффициент детерминации  между  двумя значениями близок к 1.

Значение среднеквадратичной ошибки (RMSE) при прогнозировании значения TVC неочищенного риса с использованием значения TVC неочищенного риса было относительно небольшим, и степень поражения неочищенного риса демонстрировала аналогичную закономерность роста, как и неочищенный рис при том же времени инкубации.

Следовательно, степень поражения неочищенного риса плесенью может быть использована для оценки степени поражения неочищенного риса плесенью, что исключает трудоемкие этапы очистки при обнаружении плесени на рисе, делая процесс обнаружения более быстрым и эффективным. Кроме того, в данном исследовании не удалось четко различить типы плесени, поражающей рис. Независимо от того, неочищенный это рис или коричневый, полученные пороговые значения четко различают отсутствие значительного образования плесени и незначительные изменения, поэтому на результаты эксперимента не повлияют различия в способности плесени к распространению и ее видимости.

В ходе данного исследования было установлено, что разработанная модель Yolov5 может эффективно использоваться для обнаружения пораженных плесенью участков в сгруппированных образцах риса, и этот метод способен обнаруживать даже слегка заплесневелый рис.

5. Заключение и перспективы

В данной статье разработана модель YOLO-v5 для автоматического обнаружения пораженных плесенью участков на MCV-изображениях риса, слабо загрязненного плесенью. С помощью этой модели можно обнаруживать пораженные плесенью образцы неочищенного риса с общей численностью жизнеспособных клеток (TVC) 10⁵ 10⁶ КОЕ  /г, используя пороговое значение MAI. По сравнению с традиционными методами, этот метод является оперативным и недорогим, и может широко использоваться для оценки безопасности риса на рынке. В будущем этот метод следует протестировать на образцах риса, собранных на зернохранилищах или рынках, чтобы проверить его практическую применимость. Кроме того, для получения модели с более высокой точностью и полнотой можно протестировать эффект сегментации пораженных плесенью участков риса на MCV-изображении с помощью U-net или Deeplab net.

Литература

  1. Barsanti, L.Birindelli, L., & Gualtieri, P. (2022). Water monitoring by means of digital microscopy identification and classification of microalgaeEnvironmental Science-Processes & Impacts23(10), 14431457.
  2. Cao, C. Y.Zheng, J. C.Huang, Y. Q.Liu, J., & Yang, C. F. (2019). Investigation of a promoted you only look once algorithm and its application in traffic flow monitoringApplied Sciences-Basel9(17), 3619.
  3. Chen, S.Xiong, J.Guo, W.Bu, R.Zheng, Z.Chen, Y.Yang, Z., & Lin, R. (2019). Colored rice quality inspection system using machine visionJournal of Cereal Science888795.
  4. Chen, W.Huang, H.Peng, S.Zhou, C., & Zhang, C. (2021). YOLO-face: a real-time face detectorVisual Computer37(4), 805813.
  5. Cong, S.Sun, J.Mao, H., & Wu, X.Wang, P.Zhang, X. (2018). Non-destructive detection for mold colonies in rice based on hyperspectra and GWO-SVRJournal of the Science of Food and Agriculture98(4), 14531459https://doi.org/10.1002/jsfa.8613
  6. Gong, Y. H.Yang, T. J.Liang, Y. T.Ge, H. Y., & Shen, E. B. (2021). Comparative assessments between conventional and promising technologies for wheat aging or mold detectionCereal Research Communications49(4), 511519.
  7. Jia, Y.Li, Z.Gao, R.Zhang, X.Zhang, H., & Su, Z. (2022). Mildew recognition on maize seed by use of hyperspectral technologySpectroscopy Letters55(4), 240249.
  8. Jiang, X. S.Zhao, T. X.Liu, X.Zhou, Y. C., & Zhou, H. P. (2018). Study on method for on-line identification of wheat mildew by array fiber spectrometerSpectroscopy and Spectral Analysis38(12), 37293735.
  9. Jiang, Z.Liu, X.Yan, Z.Gu, W., & Jiang, J. (2021). Improved detection performance in blood cell count by an attention-guided deep learning methodOSA Continuum4(2), 323333.
  10. Jiarpinijnun, A.Osako, K., & Siripatrawan, U. (2020). Visualization of volatomic profiles for early detection of fungal infection on storage jasmine brown rice using electronic nose coupled with chemometricsMeasurement157, 107561.
  11. Li, S.Feng, Z.Yang, B.Li, H.Liao, F.Gao, Y.Liu, S.Tang, J., & Yao, Q. (2022). An intelligent monitoring system of diseases and pests on rice canopyFrontiers in Plant Science13, 972286.
  12. Liu, J.Fan, S.Cheng, W.Yang, Y.Li, X.Wang, Q.Liu, B.Xu, Z., & Wu, Y. (2023). Non-destructive discrimination of sunflower seeds with different internal mildew grades by fusion of near-infrared diffuse reflectance and transmittance spectra combined with 1D-CNNFood12(2), 295.
  13. Mannaa, M.Oh, J. Y., & Kim, K. D. (2017). Biocontrol activity of volatile-producing Bacillus megaterium and Pseudomonas protegens against Aspergillus flavus and aflatoxin production on stored rice grainsMycobiology45(3), 213219.
  14. Pan, L.Wang, Z.Sun, K.Jia, X.Du, L.Yuan, J., & Tu, K. (2017). Detection of paddy mildew degree based on computer visionTransactions of the Chinese Society of Agricultural Engineering33(3), 272280.
  15. Redmon, J.Divvala, S.Girshick, R., & Farhadi, A. (2016). You Only Look Once: Unified, real-time object detection. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016; pp. 779–788.
  16. Santos, A. S.Carreiro, F.Freitas, A.Barros, S.Brites, C.Ramos, F., & Silva, A. S. (2022). Mycotoxins contamination in rice: Analytical methods, occurrence and detoxification strategiesToxins14(9), 647.
  17. Shen, F.Wu, Q.Wei, Y.Du, L., & Tang, P. (2016). Electronic nose and GC-MS detection of volatile substances produced by mould strainsJournal of the Chinese Cereals and Oils Association31(7), 148152. +156.
  18. Srinitya, G.Sharmila, D.Logeswari, S., & Raja, S. D. M. (2023). Automated SAR image segmentation and classification using modified deep learningInternational Journal of Pattern Recognition and Artificial Intelligence37(1), 2252027.
  19. Sun, K.Wang, Z.Tu, K.Wang, S., & Pan, L. (2016). Recognition of mould colony on unhulled paddy based on computer vision using conventional machine-learning and deep learning techniquesScientific Reports6, 37994.
  20. Sun, K.Zhang, Y. J.Tong, S. Y.Tang, M. D., & Wang, C. B. (2022). Study on rice grain mildewed region recognition based on microscopic computer vision and YOLO-v5 modelFood11(24), 4031.
  21. Wan, L. H.Qu, C. L.Xue, F., & Wang, R. L. (2019). Study on the relationship between the degree of paddy mildew and the changes of its sensitive qualityCereals & Oils32(9), 7175.
  22. Wang, J.Jiang, H., & Chen, Q. (2021). High-precision recognition of wheat mildew degree based on colorimetric sensor technique combined with multivariate analysisMicrochemical Journal168, 106468.
  23. Wen, F. R.Guan, H. O.Ma, X. D.Zuo, F., & Qian, L. (2022). Moldy rice detection method based on near infrared spectroscopy image processing technologySpectroscopy and Spectral Analysis42(2), 428433.
  24. Zhou, J.Ju, X.Sun, X.Jin, H.Yao, M., & Shen, H. (2008). Succession of mould flora for paddy in different storage conditionsJournal of the Chinese Cereals and Oils Association5133136.

Авторы: Ke Sun, Mengdi Tang, Shu Li, Siyuan Tong