Система компьютерного зрения для контроля свежести куриных яиц

Яйца богаты белками, витаминами, минералами, жирами и другими питательными веществами, необходимыми организму человека, и поэтому занимают важное место в пищевой пирамиде. Качество яиц влияет на сортировку и продажу на ферме, переработку яиц, качество продукта и желание потребителей купить [1]. Под влиянием времени хранения, условий хранения и вибраций во время транспортировки минералы внутри яйца обмениваются между белком и желтком через желтковую мембрану.

Вода и углекислый газ обмениваются с внешним миром через поры скорлупы, что приводит к разжижению белка, повышению pH, уплощению желтка, росту высоты воздушной камеры и истончению скорлупы, все это приводит к потере питательных веществ и ухудшению качества яиц [2]. Поэтому неразрушающий контроль свежести яиц, важнейшего показателя качества яиц, особенно важен. В настоящее время свежесть яиц измеряется единицей Хау (HU), коэффициентом желтка (YC) и высотой воздушной камеры (ACH) [3].

Традиционные методы проверки свежести яиц основаны на человеческом наблюдении и разрушающих испытаниях, которые являются медленными, требуют специализированного персонала и не отвечают потребностям современных испытаний. Поскольку яйца производят оксиды аммиака, алканы, спирты и другие газы во время хранения [4], Дутта и др. построили систему электронного носа для измерения этих газов с использованием четырех контролируемых классификаторов свежести яиц с точностью 95% [5].

Йимену, Ким и Ким определили долю различных концентраций газов на поверхности яйца согласно газовой хроматографии и подтвердили различия в летучих характеристиках образцов яиц при разном времени хранения с помощью анализа главных компонентов (PCA) и дискриминантного факторного анализа (DFA); это исследование продемонстрировало возможность использования быстрого электронного носа газовой хроматографии для прогнозирования свежести яиц [6].

Однако метод обнаружения электронного носа подходит только для обнаружения выборки и уязвим к влиянию внешних газов в окружающей среде; кроме того, скорость обнаружения низкая и не подходит для обнаружения трубопроводов. Наконец, использование методов электропроводности [7] и диэлектрической спектроскопии [8, 9] для определения свежести яиц требует много времени и не находит широкого применения.

Для достижения быстрого определения свежести яиц в этой области была применена спектральная технология. Абунаджми и др. создали модель сети радиальных базисных функций, собрав спектральные данные яиц в диапазоне длин волн 30–1100 нм на основе технологии видимой ближней инфракрасной спектроскопии, которая имела хорошую точность прогнозирования для HU и ACH [10].

Каванна и др. объединили спектрометрию ионной подвижности (IMS) с газовой хроматографией (GC) для классификации яиц с различными уровнями свежести, и 97% образцов были правильно классифицированы [11]. Дай и др. изучили рассеянное гиперспектральное, отражательное гиперспектральное, пропускающее гиперспектральное и гибридное гиперспектральное изображение для определения свежести яиц и обнаружили, что точность обнаружения рассеянного гиперспектрального изображения была самой высокой, а точность обнаружения была обратно пропорциональна величине угла падения [12].

Хотя спектроскопические методы позволяют определить свежесть яиц неразрушающим способом, данные велики, изменчивы, ограничены в диапазоне обнаружения и сильно подвержены влиянию толщины яичной скорлупы и факторов внешнего освещения.

Машинное зрение было наиболее широко используемым методом определения свежести яиц в последние годы. Сан и др. собрали информацию о размере и весе яиц на основе машинного зрения и динамической системы взвешивания [13]. Они создали модель прогнозирования HU, используя множественную линейную регрессию (MLR), со значением коэффициента корреляции (R) 0,8653. Аналогичным образом, линейная зависимость между плотностью яиц и свежестью была определена с использованием системы машинного зрения для оценки объема яиц и системы взвешивания для измерения веса [14].

Тан и др. использовали ядерно-магнитные изображения, чтобы установить корреляцию между скоростью центроида и HU на основе изменения влажности яиц со временем хранения [15]. Хотя использование технологии машинного зрения относительно зрелое во всех областях [16, 17, 18], этот метод восприимчив к эффектам толщины скорлупы и поверхностных темных пятен при проверке свежести яиц.

С развитием интеллектуального сельского хозяйства машинное обучение и глубокое обучение стали широко использоваться в области инспекции сельскохозяйственной продукции [19, 20, 21, 22]. В то же время, неразрушающие методы тепловизионной визуализации широко используются для контроля качества сельскохозяйственной продукции [23, 24, 25, 26, 27, 28], и их также можно применять для проверки свежести яиц.

В данном исследовании в качестве объекта исследования были использованы яйца. Для определения свежести яиц на промышленных сборочных линиях мы предложили схему определения свежести яиц, основанную на инфракрасном тепловидении и нейронной сети SegNet. Основные результаты данного исследования следующие: (1) был проведен имитационный анализ характеристик теплового отклика яиц.

Результаты этого моделирования позволили получить параметры признаков для определения свежести яиц и определить взаимосвязь между высотой воздушной камеры яйца и информацией о признаках на тепловых инфракрасных изображениях яиц. (2) Для сбора информации о признаках яиц использовались машинное обучение и нейронная сеть SegNet, и было создано пять моделей определения свежести яиц для эффективного различия свежести различных яиц.

По сравнению с традиционным машинным зрением для определения свежести яиц, этот метод предоставил больше информации о характеристиках яиц и оказался подходящим для обнаружения яиц с разным цветом скорлупы и уровнем чистоты. Метод, предложенный в данной статье, может послужить основой для разработки оборудования для определения свежести яиц на заводских линиях.

2. Материалы и методы

2.1. Оптимизация температуры и времени теплового возбуждения на основе конечно-элементного анализа теплопередачи яйца.

2.1.1. Решения для передачи жидкостей и тепла

Для решения задачи теплопередачи вблизи тупого конца яйца при воздействии горячего воздуха мы использовали программу ANSYS Mechanical APDL 19.2. Для упрощения решения предполагалось, что теплофизические свойства яйца постоянны в зависимости от температуры, а разница между белком и желтком не учитывалась.

2.1.2. Геометрия и генерация сетки в ANSYS

Первым шагом анализа в ANSYS является проектирование геометрии системы и её дискретизация в вычислительную сетку контрольных объёмов. Геометрия яйца была получена путём вращения уравнения профиля яйца вокруг оси симметрии [ 29 ]:

где  a  — радиус длинной оси яйца;  b  — радиус короткой оси яйца;  θ  — угол формы яйца;  x  и  y  — горизонтальная и вертикальная координаты точек на кривой соответственно.  Значения a  и  b  для яйца, использованного в экспериментах, составляли 28,435 и 21,89 мм соответственно, а  значение θ  — 10°. Толщина яичной скорлупы была установлена ​​равной 0,35 мм.

Для анализа температурного поля яиц с разной степенью свежести после мгновенного нагрева в данной работе мы разработали три геометрические модели: H-EGG, горизонтальная воздушная камера и ACH = 3 мм; S-EGG, наклонная воздушная камера и ACH = 3 мм; и N-EGG, горизонтальная воздушная камера и ACH = 9 мм (рисунок 1).

Рисунок 1.  Схематические диаграммы сеток различных моделей яиц. ( а ) H-EGG, ( б ) S-EGG и ( в ) N-EGG.

2.1.3 Начальные и граничные условия

Многие ученые изучали процесс теплопередачи яиц. Саблиов и др. использовали осесимметричную нестационарную модель теплопередачи с конечными элементами для моделирования процесса охлаждения яичной скорлупы низкотемпературным углекислым газом, в ходе которого яйца считались состоящими из изотропного желтка, белка, воздушной полости и скорлупы [30].

Денис, Питерс и Деветтинк подвергали яйца, заполненные вязкой жидкостью, нагреванию в водяной бане и обнаружили, что наличие сферических желтков не влияет на общий процесс теплопередачи [31].

Эрдогду и др. использовали систему с щелевым обдувом воздухом для охлаждения сваренных вкрутую яиц и моделировали различные условия охлаждения, обнаружив, что система была более эффективна при охлаждении сваренных вкрутую яиц, чем охлаждение погружением в воду [32].

Соответствующие условия для данного исследования были следующими:

Мы предположили, что общее начальное распределение температуры яйца постоянно и равно 10 °C, а теплопередача, вызванная излучением поверхности яйца, игнорировалась.

Чтобы обеспечить стабильность внутренней химической структуры яиц и подчеркнуть изменения температуры, мы использовали горячий воздух при температуре 20, 25, 30, 35, 40 и 45 °C для нагревания тупого конца яйца.

Содержимое яйца и газовой камеры были равномерно распределены в виде твердой массы без взаимного перетекания.

Тепловые и физические свойства, используемые в модели, представлены в  Таблице 1  [33].

Таблица 1. Теплофизические свойства модели яйца.

	Теплопроводность (Вт/мК)	Удельная теплоемкость (Дж/кг·К)	Плотность (кг/м3 )
Оболочка	0,4560	888.0	2300.000
Воздушная ячейка	0,0239	1008.5	1.265
Альбумин	0,5900	3560.0	1035.000

2.1.4. Анализ постобработки

Температурные поля тупого конца в модели H-EGG, нагреваемой тепловым возбуждением при различных температурах в течение 10 с, показаны на  рисунке 2. При различных температурных условиях теплового возбуждения общая температура изменялась по одинаковому закону, несмотря на то, что конечные значения температуры яиц были разными.

Поскольку инфракрасный тепловизор был чувствительным, на тепловом инфракрасном изображении формировалась заметная граница, как только возникала разница температур между воздушной полостью яйца и белком. После сравнения смоделированных изображений теплового возбуждения при различных температурах и нескольких пробных экспериментов мы провели кратковременный нагрев тупого конца яйца, используя тепловое возбуждение 40 °C.

Рисунок 2.  Температурные поля тупого конца H-EGG после приложения разного теплового возбуждения в течение 10 с. ( а ) 20 °C, ( б ) 25 °C, ( в ) 30 °C, ( г ) 35 °C, ( д ) ​​40 °C и ( е ) 45 °C.

Динамическая облачная диаграмма изменения температуры тупого конца яйца с течением времени после воздействия теплового возбуждения 40 °C представлена ​​на  рисунке 3. Воздушная камера яйца создала разницу температур с белком в 1,31224 с, образовав четкую границу между ними (рисунок 3б). Начиная с 6,36327 с, множественные градиенты температуры накапливались в месте соединения воздушной камеры яйца и белка по мере увеличения времени нагревания (рисунок 3е). Когда время достигло 8,78776 с, температура белка начала расти, поскольку он подвергся как тепловой конвекции, так и передаче тепла от яичной скорлупы (рисунок 3f).

Рисунок 3.  Динамические облачные диаграммы температуры тупого конца H-EGG с течением времени. ( a )  t  = 0,10000 с, ( b )  t  = 1,31224 с, ( c )  t  = 2,52449 с, ( d )  t  = 3,73673 с, ( e )  t  = 4,94898 с, ( f )  t  = 6,36327 с, ( g )  t  = 7,57551 с, ( h )  t  = 8,78776 с и ( i )  t  = 10,00000 с.

Для изучения процесса изменения температуры в различных областях яйца были построены соответствующие кривые изменения температуры для узлов, расположенных на тупом конце различных моделей яиц (рисунок 4). На  рисунке 4а точка H₁(S₁, N₁) располагалась в верхней части тупого конца яйца, точка H₃(S₃, N₃) располагалась внутри воздушной камеры яйца, точка H2 располагалась на  краю мембраны воздушной камеры в модели H-EGG, точка S2(S5, S6) располагалась на краю мембраны воздушной камеры в модели S-EGG, точка N2 располагалась  на краю мембраны воздушной камеры в модели N-EGG, а точка H4 располагалась  на поверхности белка.

Рисунок 4.  Схематические диаграммы изменения температуры различных узлов на яйцах с течением времени. ( а ) Расположение узлов, ( б ) температурный профиль узлов в модели H-EGG, ( в ) температурный профиль узлов в модели S-EGG и ( г ) температурный профиль узлов в модели N-EGG.

Соотношение между температурой и расстоянием до различных узлов в одно и то же время можно получить из  рисунка 4. Расстояние между H 2  и H 1  в модели H-EGG было короче, чем между H₄ и H₁, и температуры трех узлов от высшего к низшему были H₁, H₂ и H₄  в одно и то же время. Аналогично в модели N-EGG расстояние между N₂  и N₁  было короче, чем между N₄  и N₁ , и температуры трех узлов от высшего к низшему были N₁ , N₂ и N₄ в одно и то же время.

Для модели S-EGG расстояния от каждого узла до S₁  были в порядке S₅, S₂, S₆ и S₄. В то же время температуры этих узлов от высшего к низшему были S₅, S₂, S₆ и S₄. Для той же модели яйца температура в верхней части тупого конца яйца росла быстрее всего, а скорость роста температуры в других точках поверхности скорлупы обратно пропорциональна расстоянию от верхней части тупого конца яйца. При этом поверхность скорлупы нагревалась быстрее, чем воздушная камера яйца, поэтому температура H₂(S₂, N₂) была выше, чем температура H₃(S₃, N₃) .

В момент времени 2,119534 с разница температур Δ T H между узлами в модели H-EGG составила:

В момент времени 1,750721 с разница температур Δ T_S между узлами в модели S-EGG составила:

В момент времени 1,963445 с разница температур Δ T_N между узлами в модели N-EGG составила:

При термическом воздействии на яйца в течение периода от 1,31224 до 2,52449 с наблюдалась значительная разница температур между воздушной оболочкой яйца и альбумином, поэтому время термического воздействия было установлено равным 2 с. Этого можно было достичь на сборочной линии, согласуя область термического воздействия со скоростью сборочной линии.

2.2. Импульсная термографическая система визуализации

2.2.1 Подготовка образцов

Мы приобрели в общей сложности 900 неоплодотворенных, целых и без трещин яиц на птицеводческой ферме Panchu Mechanized Chicken Farm в Нанкине, провинция Цзянсу, Китай. Эти яйца были получены в течение 24 часов с момента покупки. Среди них было 450 яиц с розовой скорлупой (массой 54,51 ± 9,37 г) и 450 яиц с коричневой скорлупой (массой 64,16 ± 7,94 г). Два типа яиц были разделены на шесть групп: Pink-A (200 чистых яиц с розовой скорлупой), Pink-B (200 грязных яиц с розовой скорлупой), Pink-C (50 чистых яиц с розовой скорлупой), Brown-A (200 чистых яиц с коричневой скорлупой), Brown-B (200 грязных яиц с коричневой скорлупой) и Brown-C (50 чистых яиц с коричневой скорлупой). После получения тепловых инфракрасных изображений яиц Pink-A, Pink-B, Brown-A и Brown-B в первый день, а также измерения показателя HU, все эти яйца были помещены в инкубатор PQX-250L (30 °C, относительная влажность 80%). Затем эта же операция проводилась каждые два дня, и окончательные измерения были получены на 13 и 15 день.

2.2.2. Система получения тепловизионных инфракрасных изображений яиц

Для облегчения сбора данных была создана импульсная термографическая система визуализации [34]. Яйца помещались на конвейерную ленту и транспортировались к месту обнаружения (рисунок 5). Когда яйцо обнаруживалось фотоэлектрическим выключателем, подключался электромагнитный клапан, и яйцо нагревалось возбуждением горячим воздухом из канала B.

Когда фотоэлектрический выключатель не мог обнаружить яйцо, электромагнитный клапан отключался, и возбуждение горячим воздухом прекращалось из канала A. Тепловое инфракрасное видео процесса нагревания яиц собиралось и сохранялось с помощью инфракрасного тепловизора с компьютерным управлением. Чтобы обеспечить стабильность яиц во время эксперимента, скорость движения сборочной линии была установлена ​​на уровне 0,015 м/с, время, необходимое для открытия и закрытия электромагнитного клапана, составляло 3 с, а время, необходимое для приложения теплового возбуждения к поверхности яиц, составляло 2 с. Всего было собрано 1061 тепловое инфракрасное видео яйца в процессе теплового возбуждения.

Рисунок 5.  Принципиальная схема устройства получения теплового инфракрасного изображения яйца. ( a ) Соленоидный клапан, ( b ) тепловой инфракрасный тепловизор, ( c ) образцы яиц и ( d ) светодиодный фотоэлектрический переключатель.

2.3. Моделирование и классификация яиц с использованием машинного обучения

2.3.1 Математико-механистический анализ

ACH является важным показателем для определения уровня свежести яиц. Мы определили свежесть яиц, изучив корреляцию между характеристиками тепловых инфракрасных изображений яиц и ACH.

Поскольку тупой конец яйца представляет собой сферическую корону, воздушная камера яйца, являющаяся поперечным сечением сферической короны, имеет круглую форму, а её проекция на экваториальную плоскость яйца – эллиптическую ( рисунок 6 ). Когда воздушная камера яйца параллельна экваториальной плоскости яйца, её проекция имеет форму круга. На  рисунке 6а плоскость xOz соответствует короткой оси яйца, окружность  O  – сечению короткой оси яйца, окружность  O₁  – воздушной камере яйца, а эллипс  O₂ –  проекции окружности  O₁ на  плоскость xOz .

Рисунок 6.  Схематическая проекция воздушной камеры яйца. ( а ) Проекция воздушной камеры на тупой конец яйца и ( б ) поперечное сечение тупого конца яйца на плоскости xOy.

Рисунок 6 б представляет собой сечение тупого конца яйца в плоскости xOy, показанной на  рисунке 6 а. Сектор  EHE₁  представляет собой профиль тупого конца яйца, а  OE – радиус короткой оси яйца. Полуокружность  GHG₁  представляет собой полусечение тупого конца яйца (сферическая корона), принадлежащее сфере, а  O₀G  – радиус этой сферы.  AB  – диаметр мембраны яйцевой камеры, а A₁B₁ – проекция диаметра мембраны яйцевой камеры, то есть короткая ось проекции камеры.  O₁ F  – высота воздушной камеры яйца, а ∠ ABB₂  – угол между мембраной воздушной камеры и сечением максимального радиуса яйца; горизонтальные координаты  A  и  B  могут быть определены на проекционном изображении как  x_A  и x_B соответственно. Соответственно, известно, что:  O₀H =  O₀G =  O₀ B =  R, O₁A =  O₁B =  Ra, O₂A₁ =  O₂B₁ =  Rb, O₁F =  h , ∠ ABB₂ =  α, причем 0 < α < 90°.

Из этого видно:

Затем, есть:

На тепловом инфракрасном изображении яйца ACH связан с длиной короткой оси яйца, центром сечения, расположенного на короткой оси, длинами длинной и короткой осей проецируемого эллипса и центром проецируемого эллипса, как выражено в уравнении (13).

2.3.2 Обработка тепловизионных изображений и выбор характеристик

Выбор кадра, обнаружение границ, извлечение признаков, статистический анализ и выбор признаков были выполнены на 1061 тепловом инфракрасном видео яиц с использованием программного обеспечения MATLAB (рисунок 7).

Рисунок 7.  Извлечение признаков из тепловых инфракрасных видеозаписей яиц.

Когда яйцо не нагревалось, его общая температура оставалась неизменной, и наблюдалась лишь разница температур между яйцом и внешней средой. В этот момент внутренняя часть яйца имела самую низкую температуру на всем изображении, то есть синюю область теплового инфракрасного изображения.

Для получения характеристик внешнего края яйца было выбрано изображение в оттенках серого B-канала в цветовом пространстве RGB. Его бинарное изображение было получено с помощью метода максимальной межклассовой дисперсии (Otsu), а для извлечения внешнего края яйца использовался оператор края Кэнни [35].

При термическом возбуждении тупого конца яйца на тепловом инфракрасном изображении яйца наблюдались три четкие температурные зоны: воздушная камера яйца, яичный белок и внешняя среда. Среди них самая высокая температура была в воздушной камере яйца, за ней следовал край воздушной камеры яйца, а самая низкая температура была в белке яйца. Хотя температура внешней среды повышалась из-за тепла, наблюдалась значительная разница температур с яичным белком.

Поэтому после операции удаления фона из покадрового теплового инфракрасного видео яйца, для извлечения области воздушной камеры яйца (красного цвета) использовалась пороговая сегментация RGB. Для определения края воздушной камеры яйца использовался алгоритм обнаружения края Кэнни, и для получения информации о крае воздушной камеры была подобрана эллипсная кривая, перекрывающаяся с краем. Затем области воздушной камеры яйца во всех кадрах сравнивались, из кадра извлекалась информация о крае воздушной камеры яйца, и сохранялась самая большая область.

Наконец, в качестве характерных параметров для определения свежести яйца были использованы 8 значений, включая координаты центра яйца (x_egg,  y_egg), радиус (r) круглой кромки яйца, координаты центра (x_eggaircell, y_eggaircell), длинную ось (L_m), короткую ось (L_s) и угол эксцентриситета (θ_c) эллиптической воздушной камеры, что позволило создать наши модели определения свежести яйца. На основе вышеперечисленных признаков окончательная извлечённая матрица признаков выглядела следующим образом:

2.3.3 Моделирование и классификация

Мы установили четыре модели дискриминации уровня свежести яиц, а именно наивную байесовскую модель (NBM), k-ближайших соседей (KNN), дерево решений и случайный лес (RF). NBM — это алгоритм, основанный на предположении условной независимости и теореме Байеса, что означает, что уровень свежести каждого образца яиц предполагался независимым от уровня свежести других яиц; затем он вычислял условные вероятности яиц, принадлежащих каждому уровню свежести, и делил их на уровень свежести с наибольшей вероятностью [36].

KNN классифицировал яйца, вычисляя евклидово расстояние между обучающим набором и образцами, которые должны были быть протестированы в пространстве признаков, выбирая K образцов с самым близким расстоянием; если большинство этих яиц принадлежали определенному уровню свежести, яйца, которые должны были быть протестированы, также принадлежали этому уровню [37].

Модель классификации дерева решений отражала сопоставление отношений между параметрами признаков образца яиц и свежестью, что по сути было набором правил определения свежести яиц, обобщенных из обучающего набора [28]. Случайный лес случайным образом извлекал образцы яиц из обучающего набора данных с помощью метода бутстрапа и генерировал различные подмножества данных; затем он по очереди устанавливал модель дерева решений для получения различных результатов определения свежести яиц, и, наконец, в соответствии с результатами голосования и принципом большинства голосов, были определены результаты определения свежести яиц с помощью модели случайного леса [38].

2.4 Моделирование и классификация яиц с использованием глубокого обучения

2.4.1. Набор данных

Исходный набор данных тепловых инфракрасных изображений яиц был получен из тепловых инфракрасных видеозаписей яиц, снятых на сборочной линии. После скрининга в качестве исходных данных были отобраны 992 тепловых инфракрасных изображения нагретых яиц. Затем целое яйцо, область воздушной камеры и область фона были помечены как «скорлупа яйца», «воздушная камера яйца» и «фон» соответственно. Набор данных обучающей выборки был дополнен путем расширения обучающих изображений до 7470 с помощью геометрических преобразований, таких как горизонтальное и вертикальное отражение, а также перенос.

2.4.2. Свёрточная нейронная сеть

Свёрточная нейронная сеть (CNN) — это нейронная сеть прямого распространения с вычислением свёртки и глубокой структурой, которая обычно включает входной слой, свёрточный слой, функцию активации, слой объединения и слой полного соединения (рис. 8). Она широко используется для извлечения и классификации признаков изображений, сегментации и восстановления изображений [39].

Рисунок 8.  Принципиальная схема структуры сверточной нейронной сети.

Во входном слое в качестве входных данных использовались тепловые инфракрасные изображения яиц, предварительно обработанные путем стандартизации, улучшения, масштабирования и шумоподавления. В сверточном слое признак входного изображения извлекался путем скольжения фиксированного шага через несколько различных ядер свертки, а карта признаков выводилась нелинейной функцией активации. Входными изображениями в этой статье были трехканальные изображения RGB, которые требовали сверточной обработки для каждого канала.

Слой пулинга был расположен в середине непрерывного слоя свертки и использовал окно пулинга фиксированного размера для сканирования карты признаков с целью получения максимального или среднего значения в окне, тем самым создавая новое изображение для уменьшения количества признаков и фильтрации информации. Полностью связанный слой располагался за слоями свертки и пулинга, и его режим соединения заключался в расширении выходных данных последнего слоя свертки до того же уровня.

В выходном слое для нормализации сети использовалась функция Softmax. В процессе обучения использовалась функция Dropout для предотвращения переобучения нейронной сети; то есть функция Dropout была установлена ​​на полном соединительном слое, а 20% детекторов признаков были случайным образом проигнорированы.

2.4.3. Передача обучения

Перенос обучения переносит знания, полученные в исходной области, в целевую область. В случае небольшого количества данных изображений перенос обучения позволяет обновлять нижние веса на основе весов, полученных с помощью большого количества наборов данных изображений, что позволяет сократить объем данных, необходимых для обучения модели, и повысить ее эффективность [31]. VGG — наиболее часто используемая модель [40], и сеть сегментации изображений, использованная в данной статье, основана на ней.

2.4.4. Сети VGGNet и SegNet

Как видно на  рисунке 9 , левая сторона сети SegNet представляла собой входное тепловое инфракрасное изображение яйца, правая сторона — выходной результат сегментации изображения, а средняя структура сети представляла собой весь процесс семантической сегментации.

Рисунок 9.  Принципиальная схема структуры сети SegNet.

Сеть сегментации теплового инфракрасного изображения яйца SegNet состояла из двух частей: кодера и декодера. Сеть кодера состояла из 13 слоев сверточного слоя (первые 13 слоев VGG16) и 5 ​​слоев слоя пулинга.

Архитектура сверточной нейронной сети VGG-16 была разработана Симоняном и др. [41]. Сеть декодирования состояла из 5 слоев верхнего слоя выборки, 13 слоев сверточного слоя и одного слоя классификации Softmax. Ядром сети SegNet был процесс повышения частоты дискретизации с использованием максимального индекса расположения пулинга [42].

После добавления последнего слоя Softmax максимальная вероятность принадлежности каждого пикселя всем категориям была выведена с помощью извлечения признаков кодером и пространственного отображения декодером. Наконец, была выведена карта результатов классификации для завершения классификации уровня пикселей теплового изображения яйца.

2.4.5 Обучение нейронной сети и сегментация изображений

Были подготовлены набор данных теплового инфракрасного изображения яйца и параметры веса до обучения, а набор данных был случайным образом разделен на обучающий и проверочный наборы в соотношении 4:1. Набор данных был пропущен через нейронную сеть сегментации изображений SegNet, созданную MATLAB для обучения. Модель обучалась с начальной скоростью обучения 0,03, фактором снижения скорости обучения 0,3, периодом снижения скорости обучения 10 раундов, максимальной эпохой 30, и данные перемешивались в каждой эпохе. В процессе обучения каждый параметр веса сетевой модели обновлялся итеративно. Когда точность теста проверочного набора больше не улучшалась, были сохранены относительно оптимальные параметры модели. За короткий период времени значение потерь обучающего набора неуклонно уменьшалось и стабилизировалось на уровне 0,05, а точность быстро увеличивалась и слегка колебалась между 0,97 и 1 (Рисунок 10).

Рисунок 10.  Процесс обучения при трансферном обучении. ( а ) Точность обучающего набора и ( б ) функция потерь обучающего набора.

Для проверки эффекта классификации модели сегментации изображений SegNet использовался тестовый набор из 600 изображений.  На рисунке 11  показано, что воздушная камера яйца может быть разделена более точно, и большая часть яичного белка может быть различена правильно; однако некоторые области были неправильно классифицированы. Ошибочная классификация на границе между яйцом и фоном была обычным явлением, поскольку температура яичной скорлупы повышалась при тепловом возбуждении, что приводило к расширению теплового ореола за пределами яичной скорлупы.

Результаты показали, что модель сегментации изображений SegNet оказала заметное влияние на сегментацию тепловых инфракрасных изображений яйца, при этом общая точность достигла 98,25% ( таблица 2 ). Метрика mIoU является распространенной метрикой производительности, используемой в алгоритмах глубокого обучения, основанных на распознавании областей, и она использовалась для измерения производительности сети SegNet при сегментации тепловых инфракрасных изображений яиц. Она использовалась для определения степени перекрытия обнаруженных областей фона, воздушной камеры яйца и белка с фактическим набором меток.

Рисунок 11.  Связанная область целого яйца и газовой камеры после разделения.

Таблица 2.  Результаты сегментации теплового инфракрасного изображения яйца SegNet.

	Вся точность			Оценка соответствия границ		Пересечение через Юнион
	Точность	Глобальная точность	Средняя точность	Оценка BF	Средний балл BF	долговая расписка	миллиоу
Фон	0,9862	0,9825	0,9834	0,9868	0,9822	0,9835	0,9626
Альбумин	0,9793			0,9783		0,9502
Воздушная ячейка	0,9901			0,9924		0,9527

2.4.6 Извлечение признаков изображения после сегментации SegNet

Процесс извлечения признаков показан на  рисунке 11. 50 кадров видео до и после прекращения нагревания были импортированы в сетевую модель SegNet, и было выбрано изображение с наибольшим значением пикселя в области воздушной камеры яйца, поскольку это изображение содержало наиболее точную информацию о «воздушной камере яйца».

Затем, согласно информации на этикетке, были получены домены, связанные с яйцом и воздушными ячейками, а центры тяжести двух соединенных доменов были получены как (x_egg,  y_egg) и (x_{𝑒𝑔𝑔𝑎𝑖𝑟𝑐𝑒𝑙𝑙,}  y_{𝑒𝑔𝑔𝑎𝑖𝑟𝑐𝑒𝑙𝑙)} соответственно; площадь и периметр были равны  S_egg  и  C_egg, и  S_{𝑒𝑔𝑔𝑎𝑖𝑟𝑐𝑒𝑙𝑙} и C_{𝑒𝑔𝑔𝑎𝑖𝑟𝑐𝑒𝑙𝑙}, соответственно. Расстояние центра тяжести (d) между двумя соединенными областями, тета между линией центра тяжести и горизонтальной линией (тета), отношение площадей (PS) и отношение периметров (C) были получены следующим образом:

Между тем, четыре текстурных признака: контрастность, корреляция, энтропия и моменты второго порядка яйцесвязанной области были извлечены с использованием матрицы когенерации в оттенках серого (GLCM), где  G(i, j) обозначает нормализованную матрицу когенерации в оттенках серого, а  i  и  j  являются координатами матрицы:

где

На основе вышеуказанных признаков окончательная извлеченная матрица признаков имела вид:

2.4.7 Моделирование и классификация методом опорных векторов (SVM)

Основываясь на критерии минимизации структурного риска (SRM), SVM отображает данные выборки из низкоразмерного пространства в высокоразмерное пространство признаков посредством нелинейных изменений, определяемых функцией ядра; таким образом, линейные неразделимые данные в низкоразмерном пространстве имеют возможность линейной разделимости в высокоразмерном пространстве. Принцип работы заключается в построении оптимальной гиперплоскости с максимальным геометрическим интервалом для всех векторов, которые могут быть правильно разделены на наборы данных [43].

3. Результаты и обсуждение

3.1. Тепловое инфракрасное изображение тупого конца яйца

Мы записали тепловое инфракрасное видео тупого конца яйца в трёх состояниях: без нагрева, при нагревании и при охлаждении.  На рисунке 12  показаны некоторые кадры, выбранные из теплового инфракрасного видео яйца. В процессе нагревания тупого конца яйца воздушная камера яйца быстро нагревалась, создавая большой температурный градиент между ней и белком. В процессе рассеивания тепла температура падала быстрее в области, расположенной ближе к белку, а медленнее всего – в верхней части воздушной камеры яйца. Экспериментальные результаты согласуются с результатами конечно-элементного анализа.

Рисунок 12.  Кадры изображений с тепловизионных инфракрасных видеозаписей яиц.

Нам удалось получить качественные тепловые инфракрасные изображения яиц с розовой чистой скорлупой, розовой грязной скорлупой, коричневой чистой скорлупой и коричневой грязной скорлупой соответственно (рис. 13). Таким образом, цвет и чистота скорлупы не оказали влияния на тепловые инфракрасные изображения яиц.

Рисунок 13.  Тепловые инфракрасные изображения разных яиц. ( a ) Чистое яйцо с розовой скорлупой, ( b ) грязное яйцо с розовой скорлупой, ( c ) чистое яйцо с коричневой скорлупой и ( d ) грязное яйцо с коричневой скорлупой.

4. Выводы

В данном исследовании установлена ​​возможность использования инфракрасной термографии для определения свежести различных сортов яиц с разной степенью загрязнения. В нашем исследовании с помощью ANSYS были разработаны три модели конечно-элементного термического анализа яиц с разной степенью свежести (рисунок 1). Наиболее выраженная граница между двумя областями яйца и газовой камеры была определена при воздействии на яйцо теплового возбуждения при температуре 40 °C в течение 2 с (рисунок 4). Это послужило теоретической основой для метода определения свежести яиц, основанного на инфракрасной термографии (рисунок 3).

В этом исследовании мы определили свежесть яиц на основе высоты газовой камеры, поэтому мы использовали математическую модель для установления корреляции между высотой газовой камеры яйца и размером мембраны воздушной камеры яйца. Два метода сегментации изображений, основанные на цветовых признаках и нейронной сети SegNet, соответственно, были использованы для обработки изображений тепловых инфракрасных изображений яиц.

Результаты обоих методов были схожи при сегментации только горизонтально наклоненных тепловых инфракрасных изображений свежих яиц, но SegNet дал более точные результаты семантической сегментации для яиц с разной степенью свежести и цветом скорлупы, изученных в этом эксперименте. Метод сегментации, основанный на цветовых признаках, использовал положения координат в математической модели и извлекал координаты воздушной камеры в качестве параметров признаков для установления матрицы признаков (λ₁), в то время как метод сегментации, основанный на нейронной сети SegNet, использовал центр тяжести изображения и матрицу совместной генерации в оттенках серого в качестве параметров признаков (λ₂). Точность обнаружения установленных моделей определения свежести яиц составила более 90%, что эффективно определяло свежесть яиц. Этот метод можно использовать для проверки свежести яиц на автоматизированной линии.

В то же время мы накладываем ограничение на метод, требуя, чтобы тепловой шок был установлен на определённом расстоянии перед обнаружением. Поскольку края изображения в тепловом инфракрасном изображении подвержены влиянию температурных градиентов, появится ореол, связанный с разницей температур между яйцом и окружающей средой (рисунок 12); чем больше разница температур, тем меньше ореол. Яйца можно охладить перед тепловым возбуждением, чтобы увеличить разницу температур, уменьшить образование ореолов и повысить точность обнаружения.

Модель определения свежести яйца также может быть оптимизирована и улучшена для достижения более быстрых результатов. Мы дополнительно изучим применение инфракрасной термографии для обнаружения оплодотворённых яиц с целью повышения скорости вылупления эмбрионов.

Литература

1. Karoui, R.; Kemps, B.; Bamelis, F.; De Ketelaere, B.; Merten, K.; Schoonheydt, R.; Decuypere, E.; De Baerdemaeker, J. Development of a rapid method based on front-face fluorescence spectroscopy for the monitoring of egg freshness: 2—Evolution of egg yolk. Eur. Food Res. Technol. 2006, 223, 180–188.
2. Yimenu, S.M.; Koo, J.; Kim, J.; Kim, J.; Kim, B. Kinetic modeling impacts of relative humidity, storage temperature, and air flow velocity on various indices of hen egg freshness. Poult. Sci. 2018, 97, 4384–4391.
3. Feddern, V.; Prá, M.C.D.; Mores, R.; Nicoloso, R.D.S.; Coldebella, A.; Abreu, P.G.D. Egg quality assessment at different storage conditions, seasons and laying hen strains. Cienc. Agrotecnologia 2017, 41, 322–333.
4. Suman, M.; Riani, G.; Dalcanale, E. MOS-based artificial olfactory system for the assessment of egg products freshness. Sens. Actuators B Chem. 2007, 125, 40–47.
5. Dutta, R.; Hines, E.L.; Gardner, J.W.; Udrea, D.D.; Boilot, P. Non-destructive egg freshness determination: An electronic nose based approach. Meas. Sci. Technol. 2003, 14, 190–198.
6. Yimenu, S.M.; Kim, J.Y.; Kim, B.S. Prediction of egg freshness during storage using electronic nose. Poult. Sci. 2017, 96, 3733–3746.
7. Ragni, L.; Cevoli, C.; Berardinelli, A. A waveguide technique for non-destructive determination of egg quality parameters. J. Food Eng. 2010, 100, 343–348.
8. Soltani, M.; Omid, M. Detection of poultry egg freshness by dielectric spectroscopy and machine learning techniques. LWT-Food Sci. Technol. 2015, 62, 1034–1042.
9. Akbarzadeh, N.; Mireei, S.A.; Askari, G.; Mahdavi, A.H. Microwave spectroscopy based on the waveguide technique for the nondestructive freshness evaluation of egg. Food Chem. 2019, 277, 558–565.
10. Suktanarak, S.; Teerachaichayut, S. Non-destructive quality assessment of hens’ eggs using hyperspectral images. J. Food Eng. 2017, 215, 97–103.
11. Cavanna, D.; Zanardi, S.; Dall’Asta, C.; Suman, M. Ion mobility spectrometry coupled to gas chromatography: A rapid tool to assess eggs freshness. Food Chem. 2019, 271, 691–696.
12. Dai, D.; Jiang, T.; Lu, W.; Shen, X.; Xiu, R.; Zhang, J. Nondestructive detection for egg freshness based on hyperspectral scattering image combined with ensemble learning. Sensors 2020, 20, 5484.
13. Sun, L.; Yuan, L.; Cai, J.; Lin, H.; Zhao, J. Egg freshness on-line estimation using machine vision and dynamic weighing. Food Anal. Method 2015, 8, 922–928.
14. Harnsoongnoen, S.; Jaroensuk, N. The grades and freshness assessment of eggs based on density detection using machine vision and weighing sensor. Sci. Rep. 2021, 11, 16640.
15. Tan, W.; Zhang, Q.; Yang, L.; Tian, L.; Jia, J.; Lu, M.; Liu, X.; Duan, X. Actual time determination of egg freshness: A centroid rate based approach. Food Packag. Shelf Life 2020, 26, 100574.
16. Chen, M.; Tang, Y.; Zou, X.; Huang, K.; Huang, Z.; Zhou, H.; Wang, C.; Lian, G. Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology. Comput. Electron. Agric. 2020, 174, 105508.
17. Tang, Y.; Huang, Z.; Chen, Z.; Chen, M.; Zhou, H.; Zhang, H.; Sun, J. Novel visual crack width measurement based on backbone double-scale features for improved detection automation. Eng. Struct. 2023, 274, 115158.
18. Tang, Y.; Zhu, M.; Chen, Z.; Wu, C.; Chen, B.; Li, C.; Li, L. Seismic performance evaluation of recycled aggregate concrete-filled steel tubular columns with field strain detected via a novel mark-free vision method. Structures 2022, 37, 426–441.
19. Wang, D.; He, D. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning. Biosyst. Eng. 2021, 210, 271–281.
20. Tang, Y.; Qiu, J.; Zhang, Y.; Wu, D.; Cao, Y.; Zhao, K.; Zhu, L. Optimization strategies of fruit detection to overcome the challenge of unstructured background in field orchard environment: A review. Precis. Agric. 2023.
21. Zhao, G.; Yang, R.; Jing, X.; Zhang, H.; Wu, Z.; Sun, X.; Jiang, H.; Li, R.; Wei, X.; Fountas, S.; et al. Phenotyping of individual apple tree in modern orchard with novel smartphone-based heterogeneous binocular vision and YOLOv5s. Comput. Electron. Agric. 2023, 209, 107814.
22. Tang, Y.; Zhou, H.; Wang, H.; Zhang, Y. Fruit detection and positioning technology for a Camellia oleifera C. Abel orchard based on improved YOLOv4-tiny model and binocular stereo vision. Expert Syst. Appl. 2023, 211, 118573.
23. Varith, J.; Hyde, G.M.; Baritelle, A.L.; Fellman, J.K.; Sattabongkot, T. Non-contact bruise detection in apples by thermal imaging. Innov. Food Sci. Emerg. 2003, 4, 211–218.
24. Baranowski, P.; Mazurek, W.; Wozniak, J.; Majewska, U. Detection of early bruises in apples using hyperspectral data and thermal imaging. J. Food Eng. 2012, 110, 345–355.
25. Kim, G.; Kim, G.; Park, J.; Kim, D.; Cho, B. Application of infrared lock-in thermography for the quantitative evaluation of bruises on pears. Infrared Phys. Technol. 2014, 63, 133–139.
26. Kuzy, J.; Jiang, Y.; Li, C. Blueberry bruise detection by pulsed thermographic imaging. Postharvest Biol. Technol. 2018, 136, 166–177.
27. Chandel, A.K.; Khot, L.R.; Osroosh, Y.; Peters, T.R. Thermal-RGB imager derived in-field apple surface temperature estimates for sunburn management. Agric. For. Meteorol. 2018, 253–254, 132–140.
28. Freni, F.; Quattrocchi, A.; Piccolo, S.A.; Montanini, R. Quantitative evaluation of eggs freshness using flash thermography. Quant. Infrared Thermogr. 2020, 17, 13–25.
29. Lin, J.P.S.U.; Puri, V.M.; Anantheswaran, R.C. Strains in Eggshell during cooling of eggs—Measurement and prediction using the finite element method. Trans. ASAE 1996, 39, 1005–1012.
30. Sabliov, C.M.; Farkas, B.E.; Keener, K.M.; Curtis, P.A. Cooling of shell eggs with cryogenic carbon dioxide: A finite element analysis of heat transfer. LWT-Food Sci. Technol. 2004, 63, 281–290.
31. Denys, S.; Pieters, J.G.; Dewettinck, K. Computational fluid dynamics analysis of combined conductive and convective heat transfer in model eggs. J. Food Eng. 2004, 63, 281–290.
32. Erdogdu, F.; Ferrua, M.; Singh, S.K.; Paul Singh, R. Air-impingement cooling of boiled eggs: Analysis of flow visualization and heat transfer. J. Food Eng. 2007, 79, 920–928.
33. Wan Nurazwin Syazwani, R.; Muhammad Asraf, H.; Megat Syahirul Amin, M.A.; Nur Dalila, K.A. Automated image identification, detection and fruit counting of top-view pineapple crown using machine learning. Alex. Eng. J. 2022, 61, 1265–1276.
34. Fleuret, J.; Ebrahimi, S.; Ibarra-Castanedo, C.; Maldague, X. Application of blind image quality assessment metrics to pulsed thermography. Quant. Infrared Thermogr. 2022; ahead-of-print.
35. Hakim, A.S.; Awale, R.N. Extraction of hottest blood vessels from breast thermograms using state-of-the-art image segmentation methods. Quant. Infrared Thermogr. 2022, 19, 347–365.
36. Zhao, J.; Lin, H.; Chen, Q.; Huang, X.; Sun, Z.; Zhou, F. Identification of egg’s freshness using NIR and support vector data description. J. Food Eng. 2010, 98, 408–414.
37. Loffredi, E.; Grassi, S.; Alamprese, C. Spectroscopic approaches for non-destructive shell egg quality and freshness evaluation: Opportunities and challenges. Food Control 2021, 129, 108255.
38. Keramat-Jahromi, M.; Mohtasebi, S.S.; Mousazadeh, H.; Ghasemi-Varnamkhasti, M.; Rahimi-Movassagh, M. Real-time moisture ratio study of drying date fruit chips based on on-line image attributes using kNN and random forest regression methods. Measurement 2021, 172, 108899.
39. Botta, B.; Gattam, S.S.R.; Datta, A.K. Eggshell crack detection using deep convolutional neural networks. J. Food Eng. 2022, 315, 110798.
40. Kolhar, S.; Jagtap, J. Convolutional neural network based encoder-decoder architectures for semantic segmentation of plants. Ecol. Inform. 2021, 64, 101373.
41. Nasiri, A.; Omid, M.; Taheri-Garavand, A. An automatic sorting system for unwashed eggs using deep learning. J. Food Eng. 2020, 283, 110036.
42. Badrinarayanan, V.; Kendall, A.; Cipolla, R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Trans. Pattern Anal. Mach. Intell. 2017, 39, 2481–2495.
43. Abdullah, M.H.; Nashat, S.; Anwar, S.A.; Abdullah, M.Z. A framework for crack detection of fresh poultry eggs at visible radiation. Comput. Electron. Agric. 2017, 141, 81–95.

Авторы: Jingwei Zhang, Wei Lu, Xingliang Jian, Qingying Hu, Dejian Dai