Оценка свежести перепелиных яиц с использованием тепловизионного машинного зрения

1. Введение

В последние несколько лет сельскохозяйственная цепочка поставок претерпевает цифровую трансформацию, поглощая элементы индустрии 4.0 [1]. Инновации, связанные с сенсорными технологиями, телекоммуникациями, робототехникой, Интернетом вещей (IoT) и искусственным интеллектом (AI), применяются для автоматизации управления и вмешательства на основе данных в режиме реального времени. Кроме того, ожидается, что эти революции, направленные на повышение производства продуктов питания, волокон и энергии, обеспечат решения проблем утилизации отходов и снижения уровня загрязнения окружающей среды [2].

Новые методы для агропродовольственной промышленности, внедряющие вычислительные методы в сочетании с интеллектуальными устройствами, позволяют использовать новые альтернативы для оценки качества сельскохозяйственной продукции и обеспечения отслеживаемости. Таким образом, с недавним запуском телекоммуникационных сетей 5-го поколения (5G) сельские районы впервые получили доступ к высокоскоростному интернету, что может помочь фермерам и лицам, принимающим решения, внедрять передовые методы и оперативно реагировать на изменения.

В области компьютерных наук искусственный интеллект (ИИ) — это передовая технология последних десятилетий, способная в ближайшие годы кардинально изменить общество. Глубокие нейронные сети (DNN) являются основой ИИ и позволяют находить решения нелинейных и многомерных задач, таких как обработка изображений, обработка естественного языка и распознавание речи. Кроме того, сочетание больших данных, более быстрых алгоритмов и мощных процессоров считается одним из главных факторов, способствовавших популяризации подхода глубокого обучения (DL), и в настоящее время DL считается передовой технологией в человекоориентированных системах ИИ.

Тем временем, наибольшие усилия были сосредоточены на компьютерном зрении для решения задач классификации изображений, обнаружения объектов, сегментации и локализации. Более быстрые алгоритмы постоянно совершенствовались для достижения высокой точности и скорости за счет использования сверточных нейронных сетей (CNN) в качестве основы этих алгоритмов. В настоящее время лучшие алгоритмы обнаружения объектов основаны на алгоритме You Only Look Once (YOLO) [3].

Ряд улучшений этого алгоритма глубокого обучения позволил добиться быстрой обработки на периферийных устройствах, включая смартфоны, компьютеры низкого класса и облачные вычислительные платформы [4]. YOLO классифицируется как одноэтапный алгоритм обнаружения [5], тот же класс, что и RetinaNet [6] и SSD [7]; однако его архитектура основана на якорях и унаследована от двухэтапных детекторов, таких как семейство R-CNN [8], Fast R-CNN [9] и Faster R-CNN [10].

YOLO был представлен в 2015 году [3]; прорывом этого алгоритма обнаружения объектов стала его способность предсказывать классы и локализовать координаты на изображениях (ограничивающие рамки) с помощью одной сверточной нейронной сети, что делает вывод быстрее и позволяет создавать приложения в реальном времени.

Основная идея архитектуры YOLO заключалась в том, чтобы рассматривать все изображение (или кадр) целиком, затем разделить его на сетку S × S, после чего локализация объекта рассматривается как задача регрессии, а не как традиционная задача классификации. Когда центр объекта попадает в определенную сетку, эта сетка становится ответственной за обнаружение объекта [11].

С момента своего выпуска YOLO эволюционировал в серию, также известную как версии. Первые 3 версии YOLO были выпущены Редмоном и др. [3, 12, 13], а 4-я версия (YOLOv4) — Бочковским и др. (2020) [5]; сообщается, что последняя версия превзошла предыдущую версию (YOLOv3) на 12% по скорости и на 10% по точности, и впоследствии стала одним из наиболее часто используемых алгоритмов обнаружения объектов в реальном времени.

Со временем обновленные версии улучшили компромисс между скоростью и точностью обнаружения, а кроме того, начиная с версии 5 (обозначаемой как YOLOv5), алгоритмы YOLO стали обладать удобными для пользователя характеристиками, включая менее сложную структуру, эффективность обучения и переносимость моделей между различными платформами вывода [14]. Системы компьютерного зрения на основе серии YOLO были описаны для решений, связанных с обнаружением фруктов в садах с использованием YOLOv3 [15], YOLOv4 [16] и YOLOv5 [17], обнаружением болезней листьев [18], оценкой дефектов фруктов [19] и обнаружением вредителей [20].

Кроме того, для других сельскохозяйственных целей системы компьютерного зрения, основанные на алгоритмах обнаружения объектов с использованием глубокого обучения, демонстрируют огромный потенциал, включая беспилотные транспортные средства [21, 22], робототехнику [23] и отслеживание объектов [24, 25]. Однако большая часть использования систем машинного зрения связана с сельскохозяйственными операциями, направленными на восполнение нехватки рабочей силы и повышение качества работы; лишь немногие реализации направлены на сокращение отходов на уровне прилавков в качестве приоритетной цели.

Качество яиц – сложная задача, поскольку она включает в себя множество параметров, таких как размер, вес, цвет, дефекты скорлупы, порча, бактериальная инфекция и свежесть (которые можно считать основными критериями качества [26]).

Понятие свежести объясняется как объективный атрибут, представляющий собой биохимические и физические переменные, имеющие сенсорное значение [27]. Отсутствие свежих характеристик происходит главным образом из-за эффектов старения, которые начинают ухудшать качество яиц сразу после откладки. Потеря воды и CO2 через  поры скорлупы уменьшает вес яиц [28] и повышает pH [29], соответственно, разжижая белок и желток и, следовательно, облегчая осмотический обмен между ними [30]. Эти факторы могут усиливаться условиями окружающей среды, особенно температурой и влажностью [ 31 ], в течение периода хранения.

Было описано несколько методов оценки свежести яиц, включая деструктивный анализ, например, единицу Хауга (HU) [32], pH белка [33], индекс желтка (YI) [34] и размер воздушной ячейки [35]. Неразрушающие методы в основном включают спектроскопию ближнего инфракрасного диапазона/рамановскую спектроскопию [30, 36, 37], датчики запаха [38, 39, 40], электропроводность [41], ультразвук [42] и просвечивание [43].

Однако большинство из этих методов не являются надежными для применения в режиме реального времени, а методы неразрушающего анализа даже не подходят из-за проблем, связанных со стоимостью оборудования, внутриклассовыми вариациями, связанными с цветом скорлупы (требуется специальная калибровка) и толщиной, а также параметрами окружающей среды, такими как освещение, температура и влажность [44].

В недавнем исследовании использовался подход импульсной фазовой термографии с нейронными сетями, и удалось оценить возраст куриных яиц по приблизительному размеру воздушной камеры, получив высокую степень корреляции (R² > 0,95) [45], что демонстрирует потенциал высокопроизводительного применения тепловизионной съемки и эвристических алгоритмов.

Во всем мире разные страны приняли различные метрики для стандартов свежести. Например, Европейский Союз (ЕС) принял размер воздушной ячейки в качестве параметра для оценки свежести птичьих яиц [46], в то время как в Бразилии стандартом является HU [47].

Поэтому целью данной работы было разработать быстрый и точный метод с использованием модели компьютерного зрения, основанной на алгоритмах глубокого обучения, для обнаружения воздушных ячеек в качестве быстрого и неразрушающего метода классификации несвежих перепелиных яиц с помощью тепловизионной микрокамеры.

Наша гипотеза заключалась в том, что потеря веса яйца, определяемая увеличением воздушной ячейки, может быть обнаружена тепловизионными камерами из-за газообмена через скорлупу; таким образом, система машинного зрения может быть реализована путем быстрого и неразрушающего обнаружения этой особенности.

В этом исследовании мы использовали алгоритмы обнаружения объектов глубокого обучения для оценки качества хранения перепелиных яиц с точки зрения свежести путем классификации радиометрических изображений с тепловизионной камеры в соответствии с новой предложенной методологией.

2. Материалы и методы

2.2. Тепловизионная диагностика

Для получения радиометрических изображений яиц перепелов использовалась тепловизионная камера FLIR ®  (Teledyne FLIR LLC, Wilsonville, OR, USA) модели VUE™ 336, 6,8 мм, с разрешением сенсора 336 × 256 пикселей и спектральным диапазоном 7,5 – 13,5 мкм, размером 2,26” (5,74 см) × 1,75” (4,44 см). Тепловизионные камеры могут создавать изображения, интерпретируя интенсивность инфракрасного (ИК) излучения, испускаемого целью при взаимодействии с окружающей средой.

Таким образом, изображения являются результатом атмосферного пропускания, ИК-отражения и длины волны излучения цели [48]. В этом отношении три переменные являются определяющими для получения информации об объектах: размер, расстояние до целей и угол от камеры.

Главное преимущество тепловизоров заключается в их независимости от света по сравнению с оптическими камерами. Тепловизоры используются, в частности, для решения задач ночного видения и измерения температуры тела. Однако у них есть ограничения, связанные с низким разрешением и высокой стоимостью по сравнению с обычными камерами. Кроме того, тепловизоры обеспечивают измерение относительной температуры, а абсолютные значения могут быть получены после обработки данных или калибровки для конкретных целей.

В этом исследовании мы использовали тепловизионную микрокамеру для получения изображений яиц. Путем случайного исследования тепловизионной камеры мы обнаружили, что радиометрические изображения, полученные с холодных яиц, могут выделять «камеру» на большом основании яиц, поскольку мы знали, что воздушная камера расположена в том же месте. Мы исследовали возможность оценки свежести по размеру этой особенности, которая могла бы служить ориентиром для воздушной камеры в зависимости от воздействия старения на яйца (рис. 1). Когда яйца холоднее комнатной температуры, камера выделяется (рис. 1с).

Рисунок 1.  ( а ) Тепловое изображение яйца при комнатной температуре. ( б ) Нагретое яйцо при 37 °C. ( в ) Тепловое изображение холодного яйца при 17 °C, когда температура в помещении составляла 28 °C.

Мы собирали изображения внутри автоматического инкубатора (без указания марки), чтобы избежать прямого воздействия атмосферы на яйца. Инкубатор нагревали до 38 °C для усиления температурного контраста между окружающей средой и холодными яйцами, и повторно нагревали после каждых 20 снимков яиц. Температура в помещении оставалась постоянной на уровне 27 °C в течение всего периода сбора данных. Мы удерживали яйца внутри инкубатора, поднимая их за экватор. Тепловизионная камера располагалась над целью в положении обзора вверх на расстоянии ± 10 см от яиц (рис. 2). Тепловизионная камера управлялась смартфоном SHARP® (Sharp Corporation, Сакаи, Осака, Япония), AQUOS™ sense4 basic Model A003SH с операционной системой ANDROID™ версии 11, подключенным к камере по технологии Bluetooth. Использовалось программное обеспечение FLIR® UAS  ™ 2 версии 2.2.4.

Рисунок 2.  Схематическое представление предлагаемой методики сбора тепловых изображений перепелиных яиц.

2.4. Методология оценки воздушных ячеек

Для установления корреляции между увеличением воздушной камеры и потерей веса яйца был проведен эксперимент с яйцами из группы 2. В основном, мы взвешивали свежие яйца сразу после покупки (1-й день) и после 10-дневного периода хранения в условиях ускоренного старения (яйца хранились при комнатной температуре в летних условиях, где средняя температура в помещении составляла 27 °C, а влажность — 60%, такие условия могут ускорить обезвоживание яиц).

Все 148 яиц из группы 2 были пронумерованы и взвешены с помощью цифровых полуточных весов (точность 0,001 г, без указания марки). Кроме того, размер по длинной оси (Y) был измерен с помощью цифрового штангенциркуля (точность 0,01 мм).  На рисунке 3  показана эта процедура.

Рисунок 3.  ( а ) Цифровая полуточная шкала. ( б ) Измерение продольной оси цифровым штангенциркулем.

Измерения репрезентативной воздушной ячейки на изображениях выполнялись вручную путем контурирования выделенной особенности на большом основании яиц. Мы использовали программное обеспечение с открытым исходным кодом ImageJ (64 бита, версия 1.8.0), разработанное Уэйном Расбандом и другими участниками из Национальных институтов здравоохранения США [49]. Программа могла обеспечить преобразование между реальными измерениями и длиной пикселей в соответствии с известным реальным расстоянием.  На рисунке 4 показана процедура рабочего процесса. Сначала реальное расстояние было преобразовано в длину пикселя. Затем, в соответствии с масштабом (пиксель/мм), программа рассчитывала площадь контура.

Рисунок 4.  ( а ) Процесс калибровки проводился путем масштабирования известного расстояния от точки «А» до точки «В». ( б ) Площадь определялась путем вычисления количества пикселей под очерченным контуром относительно известного расстояния, определенного в ( а ).

Мы определяли расстояние в пикселях между двумя точками с помощью трех линейных расстояний (трех точек AB), чтобы уменьшить погрешность и субъективность преобразования длины в пиксели.

Для расчета зависимости между изменением веса и размера воздушной камеры в период ускоренного старения был использован коэффициент корреляции Пирсона (уравнение (1)).

где r — коэффициент корреляции, x_ᵢ и  y_ᵢ —  выборки переменных x и y (площадь и вес) соответственно, а   xᵢ и  yᵢ — средние значения  выборочных переменных xy.

2.5. Алгоритмы обнаружения объектов на основе глубокого обучения

В области методов машинного обучения (МО) глубокое обучение (ГО) использует глубокие нейронные сети для решения нелинейных задач, связанных с большими данными, для создания прогностических моделей. В последние годы, по сравнению с традиционным МО, таким как логистическая регрессия, метод опорных векторов и другие методы, ГО стало быстрее и точнее при работе с многомерными данными [50], например, при классификации изображений, сегментации и локализации.

Сложность алгоритмов глубокого обучения заставляет нас воспринимать их как комбинацию «черных ящиков», где весь процесс трудно представить простым способом. Однако YOLO — это алгоритм обнаружения объектов на основе глубокого обучения, который использует одну сверточную нейронную сеть (CNN) для локализации интересующего объекта на изображении и классификации объекта, что представляет собой задачу регрессии.

В наших задачах обучающий набор данных подавался на вход YOLO (версии 4 и 5). Затем алгоритм анализировал каждое изображение сразу и делил каждое изображение на сетку 13 × 13. Поскольку размер входных данных составлял 416 × 416, каждая ячейка сетки имела размер 32 × 32 пикселя. Таким образом, когда обнаруживалась высокая вероятность нахождения центральной точки яиц с большой воздушной ячейкой, эта сетка использовалась для предсказания класса «несвежие». Упрощенная архитектура алгоритма YOLO представлена ​​на  рисунке 2 .

С момента своего выпуска YOLO получил множество версий, включая YOLOv5 [51] и YOLOv6 [52], выпущенных компаниями. Тем не менее, рецензируемые научные статьи еще не опубликованы. Однако, несмотря на это, сообщество разработчиков и индустрия предлагают решения, использующие эти инструменты. YOLOv5 был использован в этом исследовании из-за его стабильности и портативности (возможности развертывания), учитывая непосредственный потенциал нашей методологии, которая может быть расширена на мобильные приложения, работающие с наиболее распространенными форматами развертывания, такими как TensorFlow™ Lite и Edge TPU. Первые 4 версии YOLO [5] были основаны на фреймворке Darknet, а 5-я версия использует фреймворк PyTorch, который основан на экосистеме Python, одного из наиболее используемых языков программирования в мире [53], особенно в области науки о данных.

Некоторые элементы были изменены в YOLOv4 по сравнению с YOLOv5, включая модифицированные слои снизу вверх и сверху вниз в новой сети пирамиды признаков (FPN) [54] внутри сети агрегации путей (PANet) [55] в «шейке» алгоритма. Еще одно изменение касалось функции потерь; в 5-й версии используется бинарная кросс-энтропия с логит-функцией потерь [56].

В данной работе мы обучили архитектуры обнаружения объектов YOLOv4, YOLOv5 и EfficientDet для прогнозирования несвежих яиц после истечения срока годности и повторной проверки даты метки оставшихся яиц. Общая архитектура алгоритмов глубокого обучения показана на  рисунке 5, где мы сравнили различные структуры алгоритмов обнаружения объектов, использованных в данной работе.

Рисунок 5.  Базовая архитектура одноступенчатых детекторов YOLOv4, YOLOv5 и EfficientDet для наборов данных на основе тепловых изображений.

В основе алгоритма лежит сверточная нейронная сеть (CNN), отвечающая за извлечение признаков (границы, формы, цветовые различия) и создание карты признаков с помощью сверточных операций. «Шея» представляет собой сеть-агрегатор признаков; она собирает эти признаки из основной сети и объединяет их в качестве признаков «снизу вверх» и «сверху вниз» для «головы», которая является заключительным шагом для прогнозирования положения несвежего яйца на изображении или кадре. Эта последняя часть отвечает за построение ограничивающих рамок вокруг класса и присвоение изображению его названия.  В таблице 1  представлено сравнение моделей обнаружения объектов и их базовой архитектуры, использованной в данном исследовании.

Таблица 1.  Сравнение базовых архитектур алгоритмов глубокого обучения для обнаружения объектов YOLOv4, YOLOv5 и EfficientDet.

Model	Backbone	Neck	Head	Loss Function	Training Framework
YOLOv4	CSPDarknet53	PANet SPP block	YOLO layer	Binary cross entropy	Darknet
YOLOv5	CSPDarknet53	PANet Modified FPN	YOLO layer	Binary cross entropy and logits function	PyTorch
EfficientDet	EfficientNet	BiFPN	Box Prediction net	Focal loss	TensorFlow

EfficientDet был выпущен компанией Google Research, LLC [ 57 ]. Главным преимуществом этого алгоритма является легкая модель, высокая точность и масштабируемость, ориентированные на эффективность при обнаружении мелких объектов и скорость обнаружения, предназначенные для устройств низкого класса. EfficientDet использует сверточную нейронную сеть EfficientNet в качестве базовой сети для извлечения признаков, связанных с формой, цветом и границами воздушных ячеек яйца, с максимальной эффективностью с точки зрения вычислительных затрат. Двунаправленная пирамидальная сеть признаков (BiFPN) в области шеи представляет собой агрегатор, аналогичный PANnet, для слияния признаков, за исключением некоторых пропущенных соединений между пирамидальной сетью и базовой сетью, что также способствует повышению эффективности обнаружения наших тепловых признаков, связанных с яйцами. Наконец, сеть предсказания ограничивающих рамок в области головы отвечает за маркировку предсказанного класса.

2.5.1. Маркировка данных

Первая группа (174 яйца) использовалась для обучения алгоритмов YOLO и EfficientDet, а общее количество данных составило 522 (за 30-й, 50-й и 60-й дни хранения). Мы предположили, что после 30 дней хранения все яйца перестанут быть свежими. Следовательно, модель несвежих яиц может быть хорошо представлена ​​на основе этого набора данных. 522 изображения были увеличены с помощью методов аугментации для расширения обобщающей способности и лучшего извлечения признаков во время обучения. Мы использовали методы пространственной, пиксельной и сегментированной аугментации.

Пространственное расширение было выполнено путем применения свободного вращения к яйцам. Пиксельное расширение было выполнено за счет монохромного преобразования (черно-белое), а метод cutmix был создан вручную путем объединения 100 изображений в композицию (рис. 6) из двух других температурных условий, описанных на  рис. 1 a,b. Следует отметить, что YOLOv4 уже включает в себя методы мозаичного и cutmix расширения в базовую часть и часть детектора алгоритма в качестве «набора бесплатных бонусов». Тем не менее, учитывая, что на каждом изображении был только один объект, объединение похожих объектов, не принадлежащих к интересующему нас классу, позволило нам получить более надежную модель для обнаружения сложных объектов.

Рисунок 6.  ( a ) Исходное изображение. ( b , c ) Свободные повороты, примененные к исходному изображению. ( d – f ) Монохромное преобразование для увеличения пикселей. ( g ) Исходное изображение, полученное с помощью Cutmix. ( h ) Cutmix + свободный поворот. ( i , j ) Cutmix + монохромное преобразование + свободный поворот.

2.5.2. Параметры обучения

Общий обучающий набор данных, состоящий из 3610 изображений, был разделен на две группы в соотношении 70:30; таким образом, 2527 изображений были использованы для обучения, а 1083 — для валидации.

Для обучения алгоритма обнаружения объектов YOLO данные были размечены в соответствии с форматом YOLO с использованием разработанной нами программы, которая могла предоставлять координаты ограничивающей рамки и метки x, y, высоту и ширину (рис. 7). С другой стороны, для обучения алгоритма EfficientDet изображения были размечены с использованием программного обеспечения с открытым исходным кодом LabelIMG, которое предоставляет координаты ограничивающей рамки в формате PASCAL VOC XML.

Рисунок 7.  Подпись к изображению в формате YOLO. Координаты x и y представляют положение центра объекта относительно фигуры в пикселях. H и W — размеры ограничивающих рамок в пикселях.

Для обучения моделей мы использовали различные фреймворки. Как упоминалось ранее, YOLOv4 встроен в фреймворк Darknet, YOLOv5 основан на PyTorch, а EfficientDet использует TensorFlow.

YOLOv4 и EfficientDet обучались на персональном компьютере под управлением Windows® 10  ™ 64-бит, с процессором Intel® Xeon  ™ E5-1607, 32 ГБ оперативной памяти, графическим процессором NVIDIA® GTX  1650™ 4 ГБ, Python версии 3.8.5, CUDA 10.1, cuDNN 7.6.5, OpenCV 4.4.0, TensorFlow 2.3.1 и TensorFlow-GPU 2.3.1. YOLOv5 обучался в облачной среде Google, LLC, Collab с использованием PyTorch 1.11.0 + cu102 и графического процессора Tesla T4 с 16 ГБ оперативной памяти.

Некоторые значения гиперпараметров, такие как размер пакета и количество итераций (таблица 2), различались в зависимости от используемой платформы. Однако, поскольку мы намеревались оценить только точность обнаружения, производительность обучения в данном исследовании не рассматривалась.

Таблица 2.  Параметры обучения для каждого алгоритма обнаружения объектов, использованного в данной работе.

Algorithm	Batch Size	Input Size	Momentum	Number of Iterations
YOLOv4	64	416 × 416	0.949	4000 batches
YOLOv5	16	416 × 416	0.937	60 epochs
EfficientDet	4	512 × 512	0.899	30,000 steps

2.5.3. Показатели оценки

Для проверки моделей и сравнения результатов мы использовали общепринятые метрики, принятые и признанные разработчиками глубокого обучения и академическим сообществом: точность (P) определяется как доля истинно положительных (TP) обнаружений по отношению к ложноположительным (FP) обнаружениям (Уравнение (2)), полнота (R) — это отношение TP к ложноотрицательным (FN) обнаружениям (Уравнение (3)), а показатель F1 (Уравнение (4)) указывает на баланс между точностью и полнотой и является хорошей метрикой для сравнения эффективности моделей. Средняя точность (AP, Уравнение (5)) и mAP@0.5 (Уравнение (6)) — это метрики, используемые для оценки параметров обученных моделей, принятых в конкурсе PASCAL VOC [58].

Важно отметить, что понятия истинного и ложного обнаружения определяются в соответствии с ограничивающими рамками предсказания (bbox) относительно эталонной метки bbox, называемой истинной меткой. Истинность определяется путем установки пересечения над объединением (IoU), которое определяет долю предсказания по отношению к эталону. Обычно IoU определяется как превышающее 50% в обучающей выборке (рис. 8).

Рисунок 8.  ( а ) IoU демонстрирует соотношение между площадью пересечения и площадью объединения. ( б ) TP обозначает правильное обнаружение объекта, TN — правильное необнаружение объекта, FP — ложное обнаружение, а FN — ложноотрицательный результат, представляющий случай, когда объект должен был быть обнаружен, но не был.

3. Результаты

3.1. Корреляционный тест

Тепловизионная камера интерпретирует интенсивность инфракрасного излучения, проходящего через атмосферу. Холодные яйца демонстрируют различные особенности в зависимости от толщины скорлупы и состояния содержимого, которые могут варьироваться в зависимости от условий хранения и химических свойств яиц. Мы наблюдали, что воздушная камера яиц была видна при изменении температуры яйца относительно комнатной; некоторые примеры тепловых изображений яиц показаны на  рисунке 9 .

Рисунок 9.  Влияние старения на яйца после 10 дней хранения в условиях ускоренного старения при температуре 28 °C и влажности 60%.

Размер воздушной камеры измеряли в соответствии с методикой, описанной в  разделе 2.4 . Результаты были сведены в таблицу в Microsoft ®  Excel™ версии 2209, и были рассчитаны статистические данные для корреляционного теста ( таблица 3 ). Изменение размера воздушной камеры происходило с 1-го по 10-й день ( рисунок 10 ); все яйца, без исключения, подвергались старению, что подтверждается потерей веса. Однако некоторые яйца пострадали сильнее, чем другие, что, вероятно, связано с составом яичной скорлупы, которая может обеспечивать сопротивление потере воды и газов.

Рисунок 10.  Изменение размера воздушных ячеек каждого яйца в период с первого по десятый день хранения в условиях ускоренной деградации.

Таблица 3.  Анализ данных по весу и размеру воздушных ячеек хранящихся яиц.

Metric	Height (mm)	1st Day Pixel Length	10th Day Pixel Length	Chamber Area 1st Day	Chamber Area 10th Day	Weight (g) 1st Day	Weight (g) 10th Day
Average	30.993	147.678	141.122	40.464	93.763	9.902	9.282
SD	1.306	16.963	18.897	32.071	59.454	0.930	0.968

Высота представляла собой реальное расстояние, измеренное цифровым штангенциркулем, а длина пикселя — соответствующее расстояние по высоте в пикселях, предоставленное программным обеспечением ImageJ. Мы собирали данные о длине пикселя за 1-й и 10-й день, чтобы убедиться, что любые минимальные изменения положения яиц относительно камеры не влияют на репрезентативную высоту на изображениях. Площадь воздушной камеры определялась программой в соответствии с эталонной длиной (пиксель/мм), полученной из предыдущих измерений.

Статистические данные показывают, что разница между весом [(вес на 10-й день) − (вес на 1-й день)] и площадью пикселя [(площадь пикселя на 10-й день) − (площадь пикселя на 1-й день)] коррелирует согласно критерию Пирсона (таблица 4).

Таблица 4.  Статистический анализ коэффициента корреляции Пирсона между весом и размером воздушной камеры.

Weight Difference (Mean)	Pixel Area Difference (Mean)	n Observations	Degrees of Freedom (n-2)	T-Statistic	Coefficient (r)	p Value
−0.620	53.300	148	146	17.47713	−0.82256	1.3 × 10−37

Значение  p  было очень близко к 0, что означает, что мы могли отклонить нулевую гипотезу относительно потери веса, не связанной с увеличением размера воздушных ячеек (таблица 4). В этом случае была принята альтернативная гипотеза; другими словами, изменение веса могло объяснить изменение размера воздушных ячеек, и вероятность того, что это произошло случайно, была близка к нулю.

Разница в весе и размере была показана на графике (рисунок 11). Средняя разница в весе составила 0,620 г за 10 дней, что составляет 6,26% от среднего веса свежих яиц. Перепелиные яйца имеют разный цвет и пигментацию, что затрудняет обнаружение трещин и мелких повреждений невооруженным глазом. Некоторые яйца, потерявшие больше веса, чем другие, могли быть повреждены в месте, которое не было обнаружено до начала эксперимента.

Рисунок 11.  Корреляционный тест для разницы в весе и площади воздушной камеры.

График показывает отрицательную корреляцию между весом и размером воздушных ячеек, с коэффициентом детерминации R² =  0,6766. Таким образом, наблюдалась отрицательная корреляция и обратная зависимость между двумя переменными, что означает, что при уменьшении веса размер воздушной ячейки увеличивался.

В дополнение к статистическому анализу была проведена визуальная оценка особенностей воздушных ячеек вареных яиц и соответствующих тепловых изображений. Мы заметили, что выделенная область на тепловых изображениях соответствует полости на фотографии (рис. 12). Тепловые изображения, на которых не были видны особенности воздушных ячеек на радиометрическом снимке, также не показывали отверстий в вареном яйце.

Рисунок 12.  Оценка состояния яиц при варке и соответствующее тепловое изображение. ( а ) В несвежих яйцах имеется большая воздушная камера. ( б ) В свежих яйцах воздушная камера отсутствует или уменьшена по сравнению с несвежими яйцами.

3.2. Прогнозирование с помощью моделей компьютерного зрения

3.2.1. Результаты обучения

Обучающий алгоритм обнаружения объектов YOLOv4 обучался в течение 4000 шагов (рис. 13) в рамках фреймворка Darknet на языке программирования C и с использованием CUDA. Обучение заняло 26 часов.

Рисунок 13.  Ход обучения алгоритма обнаружения объектов YOLOv4 с использованием фреймворка Darknet.

Согласно графику, средняя ошибка модели (которая являлась наиболее важным параметром, указывающим на прогресс обучения в глубоком обучении) достигла минимального значения после 1600 шагов (итераций), и обучение можно было прервать. Средняя точность достигла 99%, но не достигла 100%, что свидетельствует об отсутствии переобучения модели на обучающем наборе данных.

Как упоминалось в  разделе 2.5.2 , YOLOv5 обучался в среде Colab компании Google LLC в рамках фреймворка PyTorch в течение приблизительно 1 часа. Оценка моделей PyTorch представлена ​​в приложении Tensorboard™ (рисунок 14); подобный инструмент также использовался для оценки EfficientDet. В отличие от фреймворка Darknet, отчет Tensorboard по данным был более подробным и понятным.

Рисунок 14.  Результаты обучения с использованием YOLOv5.

Модель YOLOv5 обучалась в течение 60 эпох. Однако, при анализе графиков оценки было замечено, что после 25 эпох обучения функция потерь объекта достигла удовлетворительного значения в качестве параметра обучения, близкого к минимальной стоимости точности модели как алгоритма обучения с учителем (рис. 14). Кроме того, по сравнению с метрикой точности, mAP можно считать стабильным после 25 эпох, с минимальными улучшениями, выявленными при визуальном анализе. Таким образом, модель обучалась более чем достаточно эпох, чтобы достичь наилучших результатов. Аналогичная ситуация наблюдалась и для модели YOLOv4.

Наша третья модель, несмотря на принадлежность к классу одноступенчатых детекторов, имела другую архитектуру по сравнению с моделями YOLO. Заметное различие наблюдалось в стандартном размере сети, который был больше (512 × 512) и был выбран для эффективного обнаружения мелких объектов в целях создания масштабируемых моделей.

Суммарные потери при обучении (рисунок 15) существенно не уменьшились после 6000 шагов, что означает, что обучение могло бы быть короче 30 000 шагов, повторяя результаты предыдущих моделей (YOLOv4 и YOLOv5).

Рисунок 15.  Ход обучения EfficientDet за 30 000 шагов и значение mAP@0,50.

Точность и достоверность каждой модели (YOLOv4, YOLOv5 и EfficientDet) не пострадали от этапов обучения, и все модели обучались дольше, чем было необходимо для достижения стабильности mAP, которая являлась основным параметром для оценки точности моделей ( таблица 5 ).

Таблица 5.  Оценка моделей обнаружения объектов для IoU 0,5.

Model	Precision (P)	Recall (R)	F1 Score	mAP@0.50
YOLOv4	0.99	0.99	0.99	99.24%
YOLOv5	0.99	0.99	0.99	99.5%
EfficientDet	0.95	0.73	0.82	95.0%

Для проверки моделей тестовые образцы были сгруппированы со всеми 60 перепелиными яйцами. Оценка результатов проводилась путем вычисления метрик уравнений (2)–(4), как указано в  разделе 2.5.3 . Оценка точности тепловых изображений проводилась путем кипячения яиц и ручного разрезания продольной оси ( рис. 12 ). Яйца с отсутствием или минимальным количеством воздушных ячеек считались свежими; исходное изображение (рис. 16а) использовалось для проверки моделей обнаружения объектов YOLOv4, YOLOv5 и EfficientDet ( рис. 16б–д).

Рисунок 16.  ( а ) Для тестирования моделей обнаружения объектов на основе глубокого обучения использовались исходные изображения 60 яиц. ( б – г ) Модели YOLOv4, YOLOv5 и EfficientDet применялись к исходному тестовому набору данных.

Оценка точности яиц (продольная нарезка вареных яиц, представленная на  рисунке 12 ) соответствовала «правильным ответам» алгоритма контролируемого обучения и служила основным эталонным параметром для расчета метрик точности, полноты и F1-меры. В нашем наборе данных 22 яйца были признаны свежими, что соответствовало истинно отрицательным (TN) обнаружениям (яйца, которые не должны быть обнаружены как «несвежие яйца»).

На  рисунке 16a мы использовали исходное тестовое изображение, где яйца были расположены в числовом порядке от 1 до 60 (сверху слева вниз справа), чтобы проверить точность моделей обнаружения объектов. На  рисунке 16b –d для каждого ограничивающего прямоугольника (bbox) в правом верхнем углу bbox показана оценка обнаружения без порогового значения для YOLOv4 и с порогом 25% для моделей YOLOv5 и EfficientDet.

На  рисунке 16b показаны результаты обнаружения YOLOv4 (фиолетовая рамка), где мы можем наблюдать одно обнаружение с показателем 0,26 (26%) в качестве примера отсутствия порогового значения. В случае YOLOv4 это было важным доказательством надежности и стабильности модели при обнаружении только несвежих яиц. Название класса было опущено для большей наглядности, кроме того, поскольку у нас был только один класс, название не имело отношения к нашей цели.

На  рисунке 16c представлены результаты тестирования YOLOv5; название класса «nf» означает не новый класс, поскольку для YOLOv5 это был обязательный входной параметр для обучения модели. Оценка снова показана в правом верхнем углу каждого красного прямоугольника (минимальная оценка составляла 0,5 или 50%).

Результаты тестирования EfficientDet показаны на  рисунке 16d . Минимальный показатель достоверности составил 0,73 (73%), что является лучшим результатом по сравнению с двумя другими моделями по показателю достоверности bbox. Однако это было ожидаемо для масштабируемой модели (разработанной для обнаружения объектов на изображениях от низкого до высокого разрешения) и не повлияло на конечную цель нашего исследования, которая основывалась только на точности обнаружения несвежих яиц.

Были систематизированы выходные прогнозы тестового набора данных (таблица 6), и выполнены метрические расчеты.

Таблица 6. Метрики тестового набора данных для оценки точности и производительности.

odel	Total bbox	True Positive (TP)	True Negative (TN)	False-Positive (FP)	False Negative (FN)
YOLOv4	20	20	22	0	18
YOLOv5	31	31	22	0	7
EfficientDet	29	29	22	0	9

В таблице 6 общее количество bbox-объектов   — это общее число обнаружений для каждой модели, использованной в этом исследовании; истинно положительные значения обозначают количество bbox-объектов, соответствующих обнаружению несвежих яиц; в данном случае все bbox-объекты для всех моделей были правильно отнесены к классу несвежих; истинно отрицательные значения — это яйца, которые не должны были быть обнаружены, поскольку они соответствуют еще свежим яйцам.

Столбец ложноположительных значений обозначает еще свежие яйца, ошибочно классифицированные как несвежие (ни одно яйцо не было ошибочно классифицировано для всех трех моделей); и, наконец, столбец ложноотрицательных значений обозначает количество яиц, которые должны были быть обнаружены как несвежие, но не были обнаружены. Согласно таблице 5, мы могли бы рассчитать точность, полноту и F1-меру (таблица 7).

Таблица 7.  Оценка точности тестового набора данных без порогового значения для YOLOv4 и с пороговым значением 0,5 для YOLOv5 и EfficientDet.

Model	Precision (P)	Recall (R)	F1 Score
YOLOv4	1	0.53	0.69
YOLOv5	1	0.81	0.89
EfficientDet	1	0.76	0.86

На тестовом наборе данных метрика точности (уравнение (2)) для всех трех моделей составила 1 или 100%, что означает, что все обнаружения были правильно отнесены к классу «несвежие». Метрика полноты (уравнение (3)) описывает соотношение между правильными обнаружениями и необнаруженными яйцами, которые должны быть обнаружены. Полнота была выше для YOLOv5; в этом случае мы сказали, что эта модель отвечает за правильное обнаружение большего количества несвежих яиц (меньше ложноотрицательных обнаружений). Для показателя F1 (уравнение (4)) эта метрика представляет собой баланс между точностью и полнотой и может быть понята как эквивалентная метрика для mAP. Поскольку мы не размечали тестовый набор данных, mAP не мог быть оценен в рамках; в этом случае показатель F1 отвечал за информацию о том, какая модель показала лучшие результаты. YOLOv5 превзошла две другие ( рисунок 17 ), а также набор данных для валидации.

Рисунок 17.  Результаты расчета метрик для оценки тестового набора данных.

3.2.2. Повторная проверка срока действия

На основе результатов прогнозирования с помощью глубокого обучения мы смогли рассчитать долю повторной проверки яиц через 15 дней после указанной даты истечения срока годности ( таблица 8 ). Повторная проверка проводилась с учетом разницы общего количества обнаружений (общее количество bbox) как «несвежих» (YOLOv4, YOLOv5 и EfficientDet) от общего количества яиц (60). Таким образом, повторная проверка с помощью глубокого обучения (DL) определялась как {[(TN+FN)/Общее количество яиц] × 100}, а истинная повторная проверка определялась как [(TN/Общее количество яиц) × 100]. Ошибка повторной проверки определялась как [(повторная проверка DL − истинная повторная проверка)].

Таблица 8.  Количество повторных проверок в соответствии с алгоритмами обнаружения объектов глубокого обучения.

Model	Total Eggs	Not Fresh (bbox)	DL Fresh (TN + FN)	True Negative (TN)	DL Revalidation	True Revalidation	Revalidation Error
YOLOv4	60	20	40	22	66.67%	36.67%	30.00%
YOLOv5	60	31	29	22	48.33%	36.67%	11.67%
EfficientDet	60	29	31	22	51.67%	36.67%	15.00%

4. Обсуждение

В данной работе мы использовали тепловизионную камеру и предложили новую методологию определения свежести яиц по размеру воздушной камеры. Тепловизионные камеры способны интерпретировать интенсивность инфракрасных волн, передаваемых через атмосферу. Следовательно, учитывая, что CO₂ тяжелее атмосферного воздуха (при одинаковой температуре и давлении), при сравнении различных температур холодных яиц и теплой комнатной температуры, CO₂ и состав других газов в воздушной камере  создают спектральную  сигнатуру, передаваемую от яиц, которая может быть обнаружена радиометрическими датчиками тепловизионных камер.

Мы назвали этот метод «методом контраста тепловизионного изображения». При использовании этого метода идентификация воздушной камеры была простой, быстрой и доступной для определения несвежих яиц. Поэтому этот метод может использоваться в режиме реального времени для высокопроизводительных приложений на промышленном уровне, особенно в сочетании с алгоритмами обнаружения объектов на основе глубокого обучения в автоматизированных системах, как показано в данной работе.

В ходе этого исследования pH белка или желтка не измерялся в течение периода хранения. Однако литература показывает, что у куриных яиц pH белка может немного повыситься по сравнению с pH желтка [59], и это изменение можно уменьшить в контролируемых атмосферных системах путем введения CO2 в помещение для хранения [60]. Дополнительные факторы также могут способствовать потенциализации химических превращений белка и желтка, такие как генотип, состав корма для перепелов, заболевания, возраст родительского стада и условия окружающей среды.

Методы, позволяющие проводить анализ в режиме реального времени и без разрушения образцов, могут способствовать развитию перепелиного животноводства и послеуборочной обработки для обеспечения качества и безопасности продукции для потребителей. В данном исследовании было замечено, что некоторые яйца из одной группы были менее свежими, чем другие. На основании этого наблюдения можно предположить, что яйца, собранные от одной и той же перепелки, могут различаться по составу скорлупы, например, по толщине и твердости.

В ходе корреляционного анализа мы обнаружили, что стандартное отклонение реальных измерений и измерений в пикселях сильно различается по величине, поскольку измерения в пикселях проводились относительно ручной обводки отмеченных точек. Это означает, что длина линии, проведенной между двумя точками, может изменяться при соединении линии с верхней и нижней точками яиц. Тем не менее, мы провели линию три раза и использовали среднее значение для определения длины в пикселях; следовательно, погрешность наших измерений была уменьшена.

Во второй части нашего исследования, используя глубокое обучение для обнаружения объектов, удалось с высокой точностью предсказать, являются ли перепелиные яйца несвежими. При сравнении трех моделей наилучшие результаты были получены с помощью YOLOv5, за которой следуют EfficientDet и YOLOv4. Модели распознавания и локализации изображений на основе глубокого обучения постоянно совершенствуются, поскольку спрос на применение этого инструмента во многих сферах нашей повседневной жизни растет.

Сравнение алгоритмов глубокого обучения показало, что усовершенствование алгоритмов обнаружения объектов может уменьшить ошибку переклассификации несвежих яиц. Однако, поскольку тепловизоры имеют низкое разрешение, дальнейшее улучшение тепловизионных возможностей также может повысить эффективность и точность систем компьютерного зрения на основе глубокого обучения; следовательно, компромисс между оборудованием и алгоритмами следует рассматривать как недостаток.

При обучении моделей глубокого обучения некоторые параметры могут влиять на скорость и точность модели, и наиболее важным параметром является размер сети. Размер сети для YOLOv4 и YOLOv5 был установлен на уровне 416 × 416 пикселей, поскольку эти модели используют одинаковую архитектуру; однако размер пакета был различным из-за зависимости от аппаратных ресурсов, особенно вычислительной мощности (GPU). Для EfficientDet минимальный размер сети составлял 512 × 512 из-за масштабируемой архитектуры признаков, и размер пакета был надежным для обработки в TensorFlow™. Поскольку наше оборудование не позволяло обучать YOLOv4 с размером сети более 416 × 416, сравнивалась только точность между моделями, поэтому скорость развертывания в данном исследовании не учитывалась.

5. Выводы

Воздушная камера является одним из важнейших параметров, определяющих свежесть яиц. Тепловизионная камера смогла интерпретировать интенсивность инфракрасного излучения, проходящего через атмосферу через поры скорлупы, и затем, с помощью контрастной техники, выделить участки, где газы накапливались на большом основании яиц в результате периода хранения. Поскольку процесс старения влияет на размер воздушной камеры, несвежесть коррелировала с размером воздушной камеры (R² =  0,676).

Комбинация изображений с тепловизионной камеры и алгоритмов обнаружения объектов на основе глубокого обучения позволила с высокой точностью идентифицировать несвежие перепелиные яйца; кроме того, наше исследование продемонстрировало их потенциал для создания автоматизированных систем оценки свежести на промышленном и гражданском уровнях.

Мы протестировали нашу модель на яйцах после истечения срока годности; модели YOLOv4, YOLOv5 и EfficientDet смогли обнаружить несвежие яйца с показателями F1, равными 0,69, 0,89 и 0,86 соответственно. Лучшая модель (YOLOv5) показала, что для 48,33% яиц срок годности, указанный на этикетке, может быть продлен как минимум на 15 дней, при этом частота ошибок составила 11,67%. Модели EfficientDet и YOLOv4 продемонстрировали показатели переклассификации 51,67% и 66,67% и частоту ошибок 15% и 30% соответственно.

Разработанная методика, как сообщается, представляет собой быстрый и неразрушающий способ оценки свежести перепелиных яиц путем определения размера воздушных ячеек; сама методика может быть расширена для промышленного применения, супермаркетов и ресторанов с целью перемаркировки яиц для продления сроков потребления и минимизации послеуборочных потерь в птицеводстве.

Основное ограничение разработанной методологии заключается в возможности продления срока годности. В связи с этим необходимы дальнейшие исследования, в том числе оценка толщины скорлупы для прогнозирования оптимального срока хранения перепелиных и других птичьих яиц.

Литература

1. Rotz, S.; Gravely, E.; Mosby, I.; Duncan, E.; Finnis, E.; Horgan, M.; LeBlanc, J.; Martin, R.; Neufeld, H.T.; Nixon, A.; et al. Automated pastures and the digital divide: How agricultural technologies are shaping labour and rural communities. J. Rural. Stud. 2019, 68, 112–122.
2. Benyam, A.A.; Soma, T.; Fraser, E. Digital agricultural technologies for food loss and waste prevention and reduction: Global trends, adoption opportunities and barriers. J. Clean. Prod. 2021, 323, 129099.
3. Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. You only look once: Unified, real-time object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016; pp. 779–788.
4. Wang, C.-Y.; Bochkovskiy, A.; Liao, H.-Y.M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors. arXiv 2022, arXiv:2207.02696.
5. Alexey, B.; Wang, C.-Y.; Liao, H.-Y.M. Yolov4: Optimal speed and accuracy of object detection. arXiv 2020, arXiv:2004.10934.
6. Lin, T.-Y.; Goyal, P.; Girshick, R.; He, K.; Dollar, P. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 22–29 October 2017; pp. 2980–2988.
7. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, A.C. SSD: Single shot multibox detector. In Proceedings of the European Conference on Computer Vision (ECCV), Amsterdam, The Netherlands, 8–16 October 2016; pp. 21–37.
8. Girshick, R.; Donahue, J.; Darrell, T.; Malik, J. Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, OH, USA, 23–28 June 2014; pp. 580–587.
9. Girshick, R. Fast R-CNN. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Santiago, Chil, 7–13 December 2015; pp. 1440–1448.
10. Ren, S.; He, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. In Proceedings of the Advances in Neural Information Processing Systems (NIPS), Montreal, QC, Canada, 7–12 December 2015; pp. 91–99.
11. Zhao, Z.-Q.; Zheng, P.; Xu, S.-T.; Wu, X. Object Detection With Deep Learning: A Review. IEEE Trans. Neural Netw. Learn. Syst. 2019, 30, 3212–3232.
12. Joseph, R.; Farhadi, A. YOLO9000: Better, faster, stronger. In Proceedings of the IEEE conference on computer vision and pattern recognition, Honolulu, HI, USA, 21–26 July 2017.
13. Joseph, R.; Farhadi, A. Yolov3: An incremental improvement. arXiv 2018, arXiv:1804.02767.
14. Jiang, P.; Ergu, D.; Liu, F.; Cai, Y.; Ma, B. A Review of Yolo Algorithm Developments. Procedia Comput. Sci. 2022, 199, 1066–1073.
15. Lawal, M.O. Tomato detection based on modified YOLOv3 framework. Sci. Rep. 2021, 11, 1447.
16. Gai, R.; Chen, N.; Yuan, H. A detection algorithm for cherry fruits based on the improved YOLO-v4 model. Neural Comput. Appl. 2021.
17. Kuznetsova, A.; Maleva, T.; Soloviev, V. YOLOv5 versus YOLOv3 for Apple Detection. In Cyber-Physical Systems: Modelling and Intelligent Control. Studies in Systems, Decision and Control; Kravets, A.G., Bolshakov, A.A., Shcherbakov, M., Eds.; Springer: Cham, Switzerland, 2021; Volume 338, pp. 349–358.
18. Qi, J.; Liu, X.; Liu, K.; Xu, F.; Guo, H.; Tian, X.; Li, M.; Bao, Z.; Li, Y. An improved YOLOv5 model based on visual attention mechanism: Application to recognition of tomato virus disease. Comput. Electron. Agric. 2022, 194, 106780.
19. Fan, S.; Liang, X.; Huang, W.; Zhang, V.J.; Pang, Q.; He, X.; Li, L.; Zhang, C. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network. Comput. Electron. Agric. 2022, 193, 106715.
20. Chen, C.; Liang, Y.; Zhou, L.; Tang, X.; Dai, M. An automatic inspection system for pest detection in granaries using YOLOv4. Comput. Electron. Agric. 2022, 201, 107302.
21. Li, B.; Ouyang, W.; Sheng, L.; Zeng, X.; Wang, X. GS3D: An efficient 3d object detection framework for autonomous driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019; pp. 1019–1028.
22. Gupta, A.; Anpalagan, A.; Guan, L.; Khwaja, A.S. Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues. Array 2021, 10, 100057.
23. Karaoguz, H.; Jensfelt, P. Object detection approach for robot grasp detection. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, 20–24 May 2019; pp. 4953–4959.
24. Parico, A.I.B.; Ahamed, T. Real Time Pear Fruit Detection and Counting Using YOLOv4 Models and Deep SORT. Sensors 2021, 21, 4803.
25. Zhang, Y.; Sun, P.; Jiang, Y.; Yu, D.; Yuan, Z.; Luo, P.; Liu, W.; Wang, X. BYTETrack: Multi-object tracking by associating every detection box. arXiv 2021, arXiv:2110.06864.
26. Karoui, R.; Kemps, B.; Bamelis, F.; De Ketelaere, B.; Decuypere, E.; De Baerdemaeker, J. Methods to evaluate egg freshness in research and industry: A review. Eur. Food Res. Technol. 2006, 222, 727–732.
27. Schmilovitch, Z.; Hoffman, A.; Egozi, H.; Klein, E. Determination of egg freshness by NNIR spectroscopy. In Proceedings of the AgEn Conference, Budapest, Hungary, 30 June–4 July 2002. Paper number 02-AP-023.
28. Romanoff, A.L.; Romanoff, A.J. Physicochemical properties. In The Avian Egg; John Wiley & Sons Inc.: New York, NY, USA, 1949.
29. Burley, R.W. The albumen: Chemistry. In The Avian Egg: Chemistry and Biology; Wiley-Interscience: Hoboken, NJ, USA, 1989; pp. 65–128.
30. Brasil, Y.L.; Cruz-Tirado, J.; Barbin, D.F. Fast online estimation of quail eggs freshness using portable NIR spectrometer and machine learning. Food Control 2022, 131, 108418.
31. Stadelman, W.J.; Newkirk, D.; Newby, L. Egg Science and Technology; CRC Press: Boca Raton, FL, USA, 2017.
32. Haugh, R.R. The Haugh unit for measuring egg quality. United States Egg Poult. Mag. 1937, 43, 522–555.
33. Dong, X.; Dong, J.; Peng, Y.; Tang, X. Comparative study of albumen pH and whole egg pH for the evaluation of egg freshness. Spectrosc. Lett. 2017, 50, 463–469.
34. Jiang, S.; Zhu, T.; Jia, D.; Yao, J.; Jiang, Y. Effect of egg freshness on their automatic orientation. J. Sci. Food Agric. 2018, 98, 2642–2650.
35. Kumbár, V.; Trnka, J.; Nedomová, Š.; Buchar, J. On the influence of storage duration on rheological properties of liquid egg products and response of eggs to impact loading–Japanese quail eggs. J. Food Eng. 2015, 166, 86–94.
36. Giunchi, A.; Berardinelli, A.; Ragni, L.; Fabbri, A.; Silaghi, F.A. Non-destructive freshness assessment of shell eggs using FT-NIR spectroscopy. J. Food Eng. 2008, 89, 142–148.
37. Liu, Y.; Ren, X.; Yu, H.; Cheng, Y.; Guo, Y.; Yao, W.; Xie, Y. Non-destructive and online egg freshness assessment from the eggshell based on Raman spectroscopy. Food Control 2020, 118, 107426.
38. Dutta, R.; Hines, E.L.; Gardner, J.W.; Udrea, D.D.; Boilot, P. Non-destructive egg freshness determination; an electronic nose-based approach. Meas. Sci. Technol. 2003, 14, 190–198.
39. Xiang, X.; Wang, Y.; Yu, Z.; Ma, M.; Zhu, Z.; Jin, Y. Non-destructive characterization of egg odor and fertilization status by SPME/GC-MS coupled with electronic nose. J. Sci. Food Agric. 2019, 99, 3264–3275.
40. Liu, M.; Pan, L.Q.; Tu, K.; Liu, P. Determination of egg freshness during shelf life with electronic nose. Nongye Gongcheng Xuebao/Trans. Chin. Soc. Agric. Eng. 2010, 26, 317–321.
41. Tsarenko, P.P.; Karaseva, Z.H. Ways of improving egg quality. Poult. Abstr. 1986, 12, 129.
42. Aboonajmi, M.; Setarehdan, S.; Akram, A.; Nishizu, T.; Kondo, N. Prediction of poultry egg freshness using ultrasound. Int. J. Food Prop. 2014, 17, 1889–1899.
43. Cattaneo, P.; Balzaretti, C.; Quaglia, F.; Di Giancamillo, M. Valutazione della freschezza delle uova in guscio con metodi chimici e fisici. Ing. Aliment. Conserve Anim. 1997, 13, 9–20.
44. Harnsoongnoen, S.; Jaroensuk, N. The grades and freshness assessment of eggs based on density detection using machine vision and weighing sensor. Sci. Rep. 2021, 11, 16640.
45. Quattrocchi, A.; Freni, F.; Montanini, R.; Turrisi, S.; Zappa, E. Development, Validation and Preliminary Experiments of a Measuring Technique for Eggs Aging Estimation Based on Pulse Phase Thermography. Sensors 2022, 22, 3496.
46. EC. Commission Regulation No. 2295/2003 of December 2003 Introducing Detailed Rules for Implementing Council Regulation (EEC) No 1907/90 on Certain Marketing Standards for Eggs (Official Journal of the European Union L 340 of December 2003); EC: Brussels, Belgium, 2003.
47. BRASIL Ministério da Agricultura, Pecuária e Abastecimento. Portaria n° 1, de 21 de Fevereiro de (1990); BRASIL Ministério da Agricultura, Pecuária e Abastecimento: Brasilia, Brasil, 1990. Available online: статья (accessed on 17 July 2022).
48. Nakaguchi, V.M.; Ahamed, T. Development of an Early Embryo Detection Methodology for Quail Eggs Using a Thermal Micro Camera and the YOLO Deep Learning Algorithm. Sensors 2022, 22, 5820.
49. Rasband, W.S. ImageJ. U.S. National Institutes of Health: Bethesda, MD, USA, 1997–2018. Available online: статья (accessed on 20 July 2022).
50. Ahmad, H.M.; Rahimi, A. Deep learning methods for object detection in smart manufacturing: A survey. J. Manuf. Syst. 2022, 64, 181–196.
51. YOLOv5. 2021. Available online: статья (accessed on 12 August 2022).
52. YOLOv6. 2022. Available online: статья (accessed on 12 August 2022).
53. Paszke, A.; Gross, S.; Massa, F.; Lerer, A.; Bradbury, J.; Chanan, G.; Killeen, T.; Lin, Z.; Gimelshein, N.; Antiga, L.; et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In Advances in Neural Information Processing Systems 32; Curran Associates, Inc.: Red Hook, NY, USA, 2019; pp. 8024–8035. Available online: статья (accessed on 12 August 2022).
54. Lin, T.Y.; Dollár, P.; Girshick, R.; He, K.; Hariharan, B.; Belongie, S. Feature Pyramid Networks for Object Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 2117–2125. Available online: статья  (accessed on 12 August 2022).
55. Liu, S.; Qi, L.; Qin, H.; Shi, J.; Jia, J. Path Aggregation Network for Instance Segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 8759–8768. Available online: статья  (accessed on 13 August 2022).
56. Upesh, N.; Hossein, E. Comparing YOLOv3, YOLOv4 and YOLOv5 for Autonomous Landing Spot Detection in Faulty UAVs. Sensors 2022, 22, 464.
57. Tan, M.; Pang, R.; Le, Q.V. Efficientdet: Scalable and efficient object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020.
58. Everingham, M.; Van Gool, L.; Williams, C.K.I.; Winn, J.; Zisserman, A. The Pascal Visual Object Classes (VOC) Challenge. Int. J. Comput. Vis. 2009, 88, 303–338.
59. Tan, W.; Zhang, Q.; Yang, L.; Tian, L.; Jia, J.; Lu, M.; Liu, X.; Duan, X. Actual time determination of egg freshness: A centroid rate based approach. Food Packag. Shelf Life 2020, 26, 100574.
60. Reijrink, I.A.M.; van Duijvendijk, L.A.G.; Meijerhof, R.; Kemp, B.; Brand, H.V.D. Influence of air composition during egg storage on egg characteristics, embryonic development, hatchability, and chick quality. Poult. Sci. 2010, 89, 1992–2000.

Авторы: Victor Massaki Nakaguchi, Tofael Ahamed