Применение компьютерного зрения и искусственного интеллекта: основные направления

Классификация объектов

В научном процессе классификация объектов является одним из важнейших этапов, поскольку она дает нам ключевое понимание наших наборов данных и помогает принимать оптимальные решения и минимизировать ошибки. Полнота и эффективность — две важные величины для классификации астрофизических объектов. Классификация звезд, галактик и других астрофизических объектов, таких как сверхновые, квазары, звезды и галактики, на основе фотометрических данных является важной проблемой, поскольку ручная классификация объектов по различным категориям — неудобная задача.

Это сложная задача, поскольку звезды не разрешены в фотометрических данных из-за их большого расстояния от Земли, а галактики, находящиеся дальше, выглядят как протяженные источники. Кроме того, другие астрофизические объекты также выглядят как точечные источники, такие как сверхновые и квазары; следовательно, их классификация становится сложной. Классификация на основе машинного обучения и компьютерного зрения может ускорить рабочий процесс и помочь астрофизикам сосредоточиться на других важных проблемах [19].

Одеван и др. обсудили методы применения дискриминации звезд/галактик. В своей работе они внедрили искусственную нейронную сеть и успешно классифицировали звездные и незвездные категории на основе набора из 14 параметров изображения. Были проведены простые численные эксперименты для выявления значимых параметров изображения для разделения галактик и звезд и для иллюстрации надежности модели [18]. Классификация галактик на основе морфологии с использованием автоматизированного машинного обучения может быть выполнена с помощью различных алгоритмов машинного обучения, таких как ANN, ET, DT, RF, kNN [20].

Метод опорных векторов (SVM) — алгоритм машинного обучения, который можно использовать для демонстрации идентификации квазаров в наборах данных обзоров неба, таких как SDSS, UKIDSS и GALEX. В этом подходе предлагается использовать иерархию классификаторов SVM. Согласно исследованию, результаты, полученные в ходе экспериментов, показывают, что использование нескольких классификаторов SVM более полезно, чем использование одного классификатора SVM для различения астрономических объектов. Перекрестная проверка для повышения достоверности может быть выполнена путем выбора кандидатов с использованием ранее упомянутого подхода [21].

Фотометрическое красное смещение различных астрофизических объектов

Фотометрическое красное смещение — это оценка скорости удаления астрономического объекта, сделанная без измерения его спектра, например, галактики или квазара [22]. Фотометрия используется для оценки красного смещения наблюдаемого объекта, а следовательно, и его расстояния, благодаря закону Хаббла [23].

В работе [23] исследуется новый метод прогнозирования фотометрических красных смещений на основе искусственных нейронных сетей (ИНС). ИНС требуют большого спектроскопически идентифицируемого обучающего набора, в отличие от традиционной методологии фотометрического красного смещения с использованием шаблонов.

Другие области применения в астрономии

Классификация переменных звезд находится в центре внимания многих астрофизиков. Классификация переменных звезд важна для выявления таких скрытых свойств, как масса, светимость, температура, внутренняя и внешняя структура, состав, эволюция и другие звездные свойства. Ричардс и др. [24] представили подходы к классификации переменных звезд на основе деревьев. Алгоритмы случайных лесов, деревьев классификации и регрессии, а также бустированных деревьев сравниваются с ранее использованными SVM, моделями смесей Гаусса, байесовским усреднением искусственных нейронных сетей и байесовскими сетями (рис.  4).

Наилучшим классификатором с точки зрения общего уровня ошибок классификации является случайный лес (RF) с B = 1000 деревьями, который достигает среднего уровня ошибок классификации в 22,8%. Классификатор HSC–RF с B = 1000 деревьями имеет самый низкий уровень катастрофических ошибок — 7,8%.

2.2.  Медицинские науки

С появлением машинного обучения и компьютерного зрения область медицинских исследований претерпела значительные изменения и эволюционировала ускоренными темпами во многих секторах медицинской науки, таких как выявление неврологических заболеваний, распознавание лиц, проблемы сетчатки и многое другое. Последние достижения в области классификации изображений и идентификации объектов могут существенно помочь в медицинской визуализации.

Выявление заболеваний сетчатки

Изображения оптической когерентной томографии (ОКТ) используются для диагностики заболеваний сетчатки с помощью методов машинного обучения [25]. Такие тяжелые заболевания, как катаракта и глаукома, стали одними из причин слепоты. Модели на основе машинного обучения используются для упрощения трудоемкой задачи обнаружения заболеваний глаз путем автоматизации процесса.

Используются генетический алгоритм и трансдуктивная техника обертки SVM. Для проверки предложенного автором подхода использовался набор данных RIM-ONE, который служит эталоном. В результате RIM-ONE используется для улучшения алгоритмов. Для этой задачи используется база данных RIM-ONE R3. Учитывая возможность прямой классификации изображений, для извлечения признаков выбрана матрица совместной встречаемости уровней серого (GLCM) и вектор дескрипторов. Вектор дескрипторов состоит из тринадцати подходящих признаков, извлеченных из матрицы [26].

Чакраборти и Мали [27] обсудили методы обнаружения COVID-19 с использованием радиологического анализа изображений КТ-сканирования. Автор предложил новую методику сегментации изображений КТ-сканирования на основе суперпикселей, которая хорошо справляется с этой задачей и ускоряет процесс покоя новой коронавирусной инфекции.

Анализ патофизиологических изменений в эритроцитах имеет решающее значение для раннего выявления анемии. Анемия — наиболее распространенное заболевание крови, при котором наблюдается дефицит эритроцитов или гемоглобина. Автор использовал инструменты обработки изображений. В данном исследовании для описания инфицированных эритроцитов используется тонкий мазок крови. Случайным образом выбраны 100 пациентов в возрасте от 25 до 50 лет, у каждого из которых взяты образцы крови. Затем каждый образец крови обрабатывается для получения тонких мазков крови [28] (рис.  5).

Рак кожи можно обнаружить с помощью компьютерных технологий, как показали различные исследования. Как следует из научной литературы, рак кожи, если его не диагностировать на ранней стадии, может быть опасен для жизни, а раннее выявление рака кожи, такого как меланома, указывает на высокие шансы на выживание. Настоящая работа основывалась только на асимметрии, границе, цвете и диаметре [29].

2.3.  Зерновые культуры

В условиях непрерывного роста населения пищевая промышленность должна постоянно наращивать объемы производства, одновременно повышая качество продукции. Для повышения производительности необходимы улучшения в производственной цепочке. Одним из таких достижений является автоматизация классификации зерновых культур, которая в последние годы привлекает к себе много внимания, поскольку были предложены новые методы автоматической классификации.

Рис

Семена риса бывают разных размеров, цветов, форм, текстур и состава, которые часто трудно различить невооруженным глазом. Традиционные методы различения сортов риса в основном основаны на химических и полевых подходах, которые являются вредными, трудоемкими и сложными, и не подходят для сортировки и онлайн-измерений. В результате поиск неразрушающего, простого и быстрого подхода к классификации типов риса был бы чрезвычайно полезен.

В исследовании предлагается использовать PLSDA, PCA-BPNN и LS-SVM. Наконец, использование мультиспектральной визуализации в сочетании с хемометрическими методами для определения типов семян риса является особенно привлекательным методом, поскольку он неразрушающий, простой и быстрый, и не требует никакой подготовки [30] (рис.  6).

Определение качества риса может зависеть от различных факторов, таких как цвет, плотность, форма, размер, количество битых зерен и меловая текстура. Человеческий осмотр качества риса не является ни объективным, ни эффективным. Многие исследования использовали обработку изображений для оценки качества зерна.

Компьютерное зрение (CV) — это технология для осмотра и оценки, которая является быстрой, недорогой, последовательной и объективной. Используя многоклассовый SVM, автор предлагает машинный метод для сортировки рисовых зерен. Метод опорных векторов помог точно сортировать и классифицировать рисовые зерна (лучше, чем 86%) с низкими затратами. На основе полученных результатов можно определить, что метод был адекватен для категоризации и сортировки различных типов риса на основе их внутренних и внешних качеств [31] (рис.  7).

Пшеница

Пшеница является ключевым источником пищи во всем мире и широко выращивается в большинстве стран. Она может адаптироваться к различным условиям обитания, включая как орошаемые, так и засушливые почвы. Для производства пшеницы требуется сертифицированное чистое зерно, и зерна не должны смешиваться с различными генотипами на протяжении всего производственного процесса.

В коммерческом плане для классификации пшеницы выделяют две группы: твердость зерна и внешний вид. В исследовании предлагается автоматизированный метод, который может точно классифицировать зерна пшеницы. Для этой цели проверяется точность DSIFT с помощью классификатора SVM. Сначала к признакам DSIFT применяется алгоритм k-средних для кластеризации, затем, путем генерации «мешка слов» из визуальных слов, фотографии представляются с помощью гистограмм характеристик. Предложенная методика достигает показателя 88,33% при проведении экспериментального исследования на конкретном наборе данных [32].

Для извлечения визуальных признаков зерен или предметов системы компьютерного зрения используют технологии обработки изображений. Компьютерное зрение и искусственный интеллект (ИИ) могут быть использованы для автономной оценки качества. В результате может быть создана быстрая беспилотная система с превосходной точностью для классификации зерен. Приведено базовое приложение на основе компьютерного зрения, которое использует искусственную нейронную сеть (ИНС) на основе многослойного перцептрона (MLP) для правильной классификации зерен пшеницы на хлебные или твердые [33] (рис.  8).

Кукуруза

Для определения качества семян и их классификации в качестве важного критерия может использоваться чистота семян. Для классификации типов семян были получены гиперспектральные изображения в диапазоне от 400 до 1000 нм для 1632 семян кукурузы (17 сортов).

Точность классификации улучшилась при использовании метода объединения признаков на основе метода выбора длины волны MLDA. При этом модель классификации, основанная на подходе преобразования/уменьшения признаков MLDA, превзошла алгоритм последовательных проекций (SPA) с линейным дискриминантным анализом (LDA) (90,31%) и исключение неинформативных переменных с LDA (94,17%) по точности классификации, увеличившись на 2,74% по сравнению со средним спектром [34].

Кофе

Кофе является одной из важных товарных культур и широко потребляемым напитком в человеческой культуре благодаря высокому содержанию кофеина. Хуанг и Ли использовали сверточную нейронную сеть (CNN), известный метод глубокого обучения, для предварительной обработки фотографий сырых кофейных зерен, собранных с помощью технологии обработки изображений. CNN превосходно справляется с извлечением цвета и структуры из фотографий.

В результате мы можем быстро различать отличные и плохие изображения зерен, отличающиеся неполной чернотой, повреждениями и т. д. Авторы использовали собственную технологию для быстрого определения того, какие зеленые зерна являются отличными, а какие — плохими. Используя эту стратегию, время, затрачиваемое на ручной отбор кофейных зерен, может быть сокращено вдвое, а создание высококачественных кофейных зерен может быть ускорено. Модель на основе CNN для различения отличных и плохих кофейных зерен показала общую точность 93,343% при частоте ложноположительных результатов 0,1007 [35, 36] (рис.  9).

2.4.  Производство

Применение искусственного интеллекта на основе машинного обучения обычно рассматривается как перспективная промышленная технология. Сверточные нейронные сети (CNN) и другие методы глубокого обучения (DL) эффективно применяются в различных приложениях компьютерного зрения в производстве. Технология глубокого обучения в последнее время достигла такого уровня, что может проводить категоризацию на уровне человека, а также предоставлять мощные аналитические инструменты для обработки больших объемов данных из производства [37, 38, 39].

Исследование предполагает использование сверточной нейронной сети (CNN) для классификации ориентации объектов с использованием синтетических данных. Полная оценка позиционирования производственных компонентов на основе синтетических данных может быть оправдана как жизнеспособная идея с потенциальными применениями в производстве. Несколько изображений с разрешением 3000 × 4000 пикселей были получены с помощью камеры, установленной на верстаке [40].

Функция автоматической категоризации дефектов сортирует дефектные фотографии по заранее определенным морфологическим категориям дефектов. Для сравнения полученной точности подхода автоматической категоризации дефектов с предложенным подходом были использованы изображения дефектов поверхности пластин, полученные с помощью СЭМ с реального производственного предприятия. Все аномалии были преобразованы в единое изображение размером 128 × 128 пикселей для эксперимента. Было создано четыре набора данных изображений дефектов [38]. Точность классификации предложенного автором подхода и коммерчески доступной традиционной системы АЦП составила 77,23% и 87,26% соответственно (рис.  10).

Аддитивное производство, иногда называемое 3D-печатью, в последние годы пережило огромный рост, особенно в отношении оборудования и технологий, позволяющих производить различные металлические объекты. Сциме и Бьют [41] внедрили методы компьютерного зрения для производства, осуществляемого с использованием машин лазерного спекания порошкового слоя (LPBF).

Авторы выбрали стратегию машинного обучения вместо человеческого проектирования детекторов аномалий из-за присущей ей гибкости. В 100% случаев алгоритм способен с высокой точностью определить наличие нулевых аномалий. Наконец, в 89% случаев алгоритм способен точно обнаружить наличие аномалии. Этот метод является уникальным применением современных методов компьютерного зрения в аддитивном производстве.

2.5  Автономные транспортные средства

В результате последних достижений в этих областях различные методы искусственного интеллекта, машинного обучения и глубокого обучения приобрели популярность и получили дальнейшее развитие. Беспилотные автомобили — одно из таких применений, которое, как ожидается, окажет значительное и революционное влияние на общество и способы передвижения людей.

Однако для того, чтобы эти автомобили стали реальностью, они должны быть наделены способностью к восприятию и познанию, необходимыми для решения стрессовых ситуаций в реальной жизни, принятия правильных решений и совершения соответствующих и безопасных действий в любое время.

Автономные автомобили основаны на переходе от человекоцентрированной автономии к полностью компьютероцентрированной автономии, в которой система искусственного интеллекта транспортного средства регулирует и контролирует все функции управления, а участие человека требуется только тогда, когда это абсолютно необходимо [42,  43] (рис.  11).

Обнаружение объектов

Данные с камеры поступают в модуль обнаружения объектов камеры. Если встроенные вычислительные мощности достаточны, данные каждой камеры анализируются собственным детектором объектов; однако, если ресурсы ограничены, к изображениям, полученным путем объединения кадров с нескольких камер, применяется модель глубокой нейронной сети, которая в настоящее время представляет собой архитектуру YOLOv3 (модель обнаружения объектов в реальном времени).

Идентификация объектов с помощью «RADAR» потенциально может быть выполнена с использованием модели глубокой нейронной сети, которая может распознавать движущиеся точки и кластеры. В SS-DNN полученные изображения обрабатываются как детектором объектов, так и камерой, однако каждому пикселю в кадре присваивается метка. Вышеуказанные шаги необходимы для определения подвижности автомобиля, а также частей дорожной разметки и дорожных знаков, которые необходимо удалить для классификаторов на основе CNN. Искусственные нейронные сети восприятия используются для построения трех отдельных карт окружения транспортных средств на основе собираемых ими данных [44] (рис.  12).

Обнаружение пешеходов

Способность беспилотного автомобиля автоматически и надежно распознавать пешеходов имеет решающее значение. Информация собирается во время движения по городским улицам. В общей сложности было получено 58 последовательностей данных за почти 3 часа движения по городским улицам в течение нескольких дней и в различных условиях освещения. Всего получено 4330 кадров. Автор разработал и изготовил уникальный испытательный стенд для сбора данных по обнаружению пешеходов на дороге. Благодаря этой конструкции система сбора данных на борту испытательного автомобиля теперь может быть мобильной.

В данном исследовании сравниваются только алгоритмы HOG и CCF для обнаружения пешеходов. Для обнаружения на нескольких уровнях масштаба признаки HOG интегрированы с SVM и методом скользящего окна. CCF использует низкоуровневую информацию из предварительно обученной модели CNN, каскадно соединенной с моделью бустинга леса, такой как Real AdaBoost, в качестве классификатора.

Набор данных содержит 58 размеченных видеопоследовательностей. Автор использовал 39 для обучения, а остальные 19 — для тестирования. Экспериментальные результаты показывают, что CCF значительно превосходит признаки HOG. В подходе CCF использование тепловых и цветных изображений в сочетании привело к пиковой производительности, обеспечивающей 9% логарифмически-средний процент ошибок [45].

Обнаружение полосы движения

Восприятие, планирование и управление — три основных элемента технологии беспилотных автомобилей. Цель данного исследования — создать и протестировать алгоритм восприятия, использующий данные с камер и компьютерное зрение для помощи автономным автомобилям в восприятии окружающей среды. Камеры — наиболее близкие к тому, как люди видят окружающую среду, а компьютерное зрение лежит в основе алгоритмов восприятия. Хотя лидарные и радарные системы используются в разработке технологий восприятия, камеры предоставляют нам мощный и менее дорогой способ получения информации об окружающей среде.

В данной работе рассматривается эффективный метод распознавания полосы движения, который позволяет оценить безопасную зону движения перед автомобилем [46]. Затем, используя перспективные преобразования и анализ гистограмм, автор представляет улучшенный подход к обнаружению полосы движения, который преодолевает ограничения минималистского подхода к обнаружению полосы движения [47]. С помощью этого подхода также можно обнаружить как прямые, так и изогнутые участки дороги.