Компьютерное зрение для анализа характеристических изображений материалов

2.1 Предварительная обработка изображений

В основе компьютерного зрения лежит предварительная обработка изображений, в основном включающая шумоподавление и улучшение качества изображения, а также увеличение объема данных. GAN шумоподавление, и увеличение объема данных могут быть рассмотрены перед обучением моделей для получения желаемых результатов.

Из-за электромагнитных помех, дрожания объектива и высокоскоростного движения объектов в кадре изображения часто содержат «соль и перец», гауссовский шум, низкий контраст и проблемы размытия. Поэтому необходимо шумоподавление и улучшение изображения [14–16] для  повышения качества изображения и уменьшения сложности последующего анализа и понимания изображения (рис.  1а ). В последнее время, с появлением смартфонов для ночной съемки, шумоподавление изображений при слабом освещении [17–19] стало  актуальной задачей, особенно для темных изображений.

Кроме того, расширение данных рассматривается как способ решения проблем, вызванных недостатком данных. Одна из мощных сетей для расширения данных называется общей состязательной сетью (GAN). Большинство исследователей модифицируют структуру GAN с помощью различных сетевых архитектур, функций потерь и эволюционных методов. [20–22] Модели хорошо разработаны для удовлетворения потребностей пользователей в изменении макияжа и стиля в один клик в таких приложениях, как TikTok и Photoshop.

2.2 Анализ изображений

Цель анализа изображений (рис.  1b ), необходимого для понимания изображений, заключается в том, чтобы машина или компьютер автоматически анализировали скрытые особенности и верхнюю структуру. Одной из ключевых технологий анализа изображений является сегментация изображений, которая подразумевает извлечение значимых признаков из изображения, включая края и области объекта на изображении. Алгоритм компьютерного зрения (CV) классифицирует семантику каждой области, всегда достигая более точных и эффективных результатов сегментации. [23–27] Новаторским достижением  стал механизм внимания [28–32],  позволяющий машине избирательно обрабатывать признаки. Другие фокусируются на реальных характеристиках изображения, включая экспозицию, контраст, освещение, форму объекта и текстуру поверхности [33, 34], чтобы решить проблему ошибок сегментации ,  вызванных различиями между синтетическими данными и изображениями реального мира.

2.3 Понимание изображений

Понимание изображений на основе анализа изображений предполагает дальнейшие исследования не только объектов, но и взаимосвязей между ними, что позволяет передавать практическое значение с помощью естественного языка (рис.  1c). Опираясь на нейронные сети, понимание изображений проводит высокоуровневые исследования по объединению изображений, визуальной информации, естественного языка и других типов сигналов, связывая разрозненные области пикселей с лингвистическим смыслом, чтобы компьютерная система могла автоматически понимать семантическую информацию в изображении. В настоящее время исследования в области понимания изображений в основном сосредоточены на обнаружении объектов и 3D-реконструкции.

Обнаружение объектов выявляет все интересующие объекты на изображении, как правило, включая местоположение и классификацию целей. Основные технологии обнаружения объектов обычно делятся на две категории: двухэтапное обнаружение, при котором сначала определяются области-кандидаты, содержащие общую информацию о местоположении цели, а затем классифицируются и уточняются области-кандидаты. [27, 35, 36] Другой вариант — одноэтапное обнаружение, при котором  непосредственно генерируются вероятность и координаты категорий объектов. [37-39]

Кроме того, 3D-реконструкция помогает компьютеру понять глобальную информацию об окружающей среде и достичь реального восприятия окружающей среды. Технология 3D-реконструкции использует взаимосвязь между системой координат изображения и мировой системой координат для реконструкции 3D-информации с использованием информации из множества 2D-изображений, чтобы получить 3D-информацию об объектах в окружающей среде. В зависимости от различных форм обработки данных, ее можно разделить на методы, основанные на вокселях [40] , на облаке  точек [41-43] и  на сетке [44-46]  .

2.4 Модели компьютерного зрения для микроскопии

Свертка — это основная операция в моделях машинного зрения. По сути, каждое изображение может быть представлено в виде матрицы значений пикселей, где канал представляет собой некоторую композицию изображения, например, красный, зеленый и синий каналы изображения. Операция свертки использует сверточные ядра (матрицы) разных размеров для скольжения по изображению и вычисления произведения соответствующих элементов, тем самым извлекая признаки изображения и сохраняя взаимосвязь между пикселями. Веса каждого сверточного ядра непрерывно обновляются в процессе обучения для поиска наиболее согласованного отображения вход-выход.

CNN [47]  — один из наиболее представительных алгоритмов компьютерного зрения благодаря своей превосходной способности извлекать информацию. CNN построен на основе ряда сверточных, нелинейных, сходящихся (понижающих) и полносвязных слоев. Изображение проходит через сверточные и нелинейные слои для получения карт признаков, а понижение разрешения позволяет изменять размер изображения в соответствии с различными требованиями, такими как классификация и сегментация. Пониженные карты признаков в конечном итоге подаются на полносвязные слои для получения вероятности класса или класса, который наилучшим образом описывает изображение.

FCN [48]  и U-net [23], обе являющиеся производными от CNN, корректируют свои структуры для балансировки характеристик нескольких масштабов. FCN заменяет последние полносвязанные слои базовой сети на полносверточные слои. Таким образом, входы и выходы сети могут представлять собой изображения любого размера. В то же время используется структура скачкообразных соединений для объединения грубой градуированной информации с мелкозернистой информацией для получения точной и качественной сегментации. Но результат сегментации недостаточно точен. Другая замечательная сеть, U-net, связывает полностью симметричные слои кодировщика и декодера с помощью скачкообразных соединений. По сравнению с FCN, в ней добавлено большое количество каналов и скачкообразных соединений, что позволяет сети распространять контекстную информацию с более высоким разрешением и предотвращает потерю важной информации при уменьшении разрешения изображения. Они достигают больших успехов в анализе и сегментации материальных изображений.

В отличие от предыдущих случаев, генеративные модели в основном состоят из двух сетей, отвечающих за создание изображений, отличающихся от исходных данных, таких как GAN [49]  и VAE [50]. GAN состоит из генератора и дискриминатора. Генератор используется для генерации изображений, похожих на реальные изображения, чтобы обмануть дискриминатор. В то время как дискриминатор, как классификатор, обучается различать сгенерированное изображение от реального. Во время обучения используется градиентный спуск для попеременной оптимизации D и G.

Благодаря столкновению между ними, когда модель генерации может восстановить распределение обучающего набора данных, а дискриминатор не может отличить исходное изображение от реального, сеть может сгенерировать большое количество изображений, достаточное для того, чтобы спутать реальное изображение с ложным.

Другая модель, VAE, использует две нейронные сети для создания двух моделей распределения вероятностей: сеть вывода выводит потенциальные признаки исходного входного изображения и генерирует вариационное распределение вероятностей скрытых переменных, которое называется потенциальным пространством. На основе сгенерированного вариационного распределения вероятностей скрытых переменных, созданная сеть отбирает изображения из потенциального пространства и восстанавливает приблизительное распределение вероятностей исходных данных.

Модели, обладающие способностью к обобщению, могут страдать от проблем недообучения или переобучения. Недообучение плохо отражает характеристики данных, ограниченное простой структурой модели. Эти проблемы можно решить путем введения признаков и экспертных знаний, например, путем повышения определенных весов.

Переобучение, еще одна неприятная проблема, не может успешно представлять другие данные, кроме обучающей выборки, из-за ограниченного количества наборов данных и сложных моделей. Проблемы с данными обычно проявляются в небольших наборах данных, где у модели недостаточно данных для обучения, чтобы уловить распределение и закономерности реальных данных.

В таких обстоятельствах аугментация данных становится ценным решением, как обсуждалось в разделе  2.1. Аналогично, для решения проблемы с моделью нам нужны некоторые советы по ее настройке, чтобы модель могла находить соответствие не только для обучающей выборки. Регуляризация весов и случайное удаление некоторых нейронов могут сделать не все веса необходимыми, что увеличивает сложность обучения модели.

Кроме того, стандартизация пакетов делает входные данные следующего слоя близкими к гауссовому распределению, чтобы избежать смещений, вызванных текущими входными данными. Указанные методы позволяют в определенной степени скорректировать обобщающую способность модели.

Кроме того, существует множество различий между микроскопическими изображениями и традиционными визуальными изображениями, таких как тип шума, количество каналов и извлекаемая информация. Для более эффективного применения этих моделей в области материаловедения необходимо понимать принцип формирования изображений и особенности изображений в этой области.

С одной стороны, использование характеристик предметной области в качестве входных данных для априорных знаний может значительно повысить точность модели, с другой стороны, это способствует направленному анализу характеристик для руководства проектированием и проверкой характеристик новых материалов. Более того, это может помочь раскрыть секрет «черного ящика» модели.

3.1 Визуализационные приборы

Оптическая система ОМ использует видимый свет и коэффициент линзы для увеличения и получения изображений мельчайших объектов. [1–3]  Объект проходит через объектив, образуя увеличенное действительное изображение, а затем проходит через окуляр, образуя увеличенное мнимое изображение. ОМ позволяет наблюдать выбранные поперечные сечения прозрачных материалов без разрезания образцов.

Например, в биологии биологическую активность можно наблюдать, отслеживая флуоресценцию специфических атомных или молекулярных маркеров. Это позволяет проводить наблюдения в реальном времени и в динамическом режиме, и занимает доминирующее положение в биологии. [2, 3]  Однако дифракционный предел ОМ ограничен увеличением в 1000 раз и разрешением в 200 нм.

АСМ, состоящий из зонда, чувствительного к слабым силам, сканирует образец за счет взаимодействия атомов на поверхности образца и атомов на кончике зонда. [10, 11, 51]  Таким образом, можно измерить изменения положения каждой точки сканирования микрокантилевера и получить информацию о морфологии поверхности образца с нанометровым разрешением. АСМ имеет три очевидных преимущества.

Во-первых, АСМ может обеспечить реальный трехмерный профиль поверхности. [10]  АСМ может визуализировать практически любую поверхность объекта, предоставляя качественную и количественную информацию о физических свойствах и статистическую информацию. [11]  Во-вторых, АСМ не требует предварительной обработки образца, например, нанесения проводящей пленки, для предотвращения необратимых повреждений. В-третьих, он может работать при нормальном давлении или даже в жидкой среде, [51]  что открывает возможности для изучения биологических макромолекул или живых биологических тканей. Однако АСМ чувствителен к зонду, что приводит к низкой скорости визуализации и малому диапазону.

В просвечивающем электронном микроскопе (ПЭМ) в качестве источника освещения используется электронный пучок с очень короткой длиной волны, а для фокусировки изображения применяется электромагнитное перспективное зеркало, которое используется для анализа образцов микро- и наноразмера. [6–9] ПЭМ передает ускоренный и сфокусированный электронный пучок на очень тонкий образец, где  он сталкивается с атомами в образце, вызывая рассеяние.

Яркость полученного изображения зависит от атомного номера, кристаллической структуры, электронной плотности и толщины образца. ПЭМ обладает сильной способностью к рассеянию, поэтому он позволяет обрабатывать микро- и нанообласти и изучать структурный состав. [6, 7]  Он обладает высоким разрешением и позволяет непосредственно наблюдать изображение атомов тяжелых металлов. [8]  

Кроме того, изображения в светлом и темном поле полезны для анализа структурных дефектов, и с их помощью можно получить информацию о фазе. [9]  Основными недостатками ПЭМ являются высокая точность и высокая стоимость прибора, сложный процесс изготовления образца и необходимость получения изображений в вакууме.

СЭМ использует физические сигналы, такие как изображения вторичных электронов и обратнорассеянных электронов, для наблюдения морфологии поверхности и состава образца, а также структуры поверхности скола. [4,  5]  Образец для СЭМ легко изготавливается без нарезки [4]  и может вращаться в трехмерном пространстве, что способствует многоугловому наблюдению. [5]  Однако из-за эффекта заряда и неравномерного отклонения электронного пучка, вызванного электростатическим полем, возникают неравномерная яркость и затемнение изображения, деформация изображения и дрейф изображения. Кроме того, неравномерный разряд заряженных образцов может вызывать яркие пятна и линии на изображении.

Сканирующий просвечивающий электронный микроскоп (STEM) имеет приспособление для пропускания на сканирующем зеркале, что позволяет одновременно использовать функции сканирования и пропускания, и получать внутреннюю структуру материала. По сравнению с TEM, STEM имеет более низкое ускоряющее напряжение, что значительно снижает повреждение образца электронным пучком и улучшает контрастность изображения. Он подходит для микроструктурной характеристики органических полимеров, биологических и других мягких материалов. [12]  Во-вторых, STEM может одновременно генерировать сканирующее изображение вторичных электронов и изображение пропускания, что позволяет получать информацию о морфологии поверхности и внутренней структуре в одном и том же месте. [52]  Технология STEM очень требовательна и требует чрезвычайно жесткой вакуумной среды.

Хотя эти инструменты отражают различные свойства материалов, такие как масштаб, морфология, структура и состав, из-за различных принципов визуализации у них есть некоторые общие проблемы. Во-первых, сложно быстро получить информацию о конкретном материале из изображений. Скорость и полнота информации имеют решающее значение при накоплении больших объемов данных. Вторая проблема — точность извлечения информации, ограниченная шумом, технологией подготовки образцов и неизбежным повреждением приборов. Третья проблема — невозможность решения многомерных задач, таких как перекрытие частиц, только с помощью человеческих ресурсов.

Четвертая, но не последняя, ​​— как реконструировать новые материалы и прогнозировать их характеристики. Однако алгоритмы компьютерного зрения проливают свет на эти проблемы. Мы надеемся найти универсальный процесс, основанный на идеалах в области компьютерного зрения, который позволит извлекать информацию из любого микроснимка, даже если материалы находятся в разных физических системах.

3.2 Структура, основанная на визуальном восприятии

Используя преимущества алгоритмов машинного зрения, мы разработали структуру глубокого обучения для обработки изображений, характеризующих материалы, которая может быть использована для реализации исследований микроизображений в материаловении на основе машинного зрения. Она состоит из пяти частей: анализ задачи, подготовка данных, проектирование модели и анализ результатов (рис.  2).

Анализ задачи предполагает разделение задачи на категории классификации или регрессии, а данные, собранные от людей или в ходе моделирования, должны быть подготовлены перед подачей в модель, например, путем шумоподавления, разметки и разделения на обучающие/тестовые/валидационные наборы данных. Третий шаг — разработка модели в соответствии с типом задачи и характеристиками данных. Разработка модели имеет важное значение на протяжении всей задачи, учитывая функции и прогнозируемые результаты.

Например, сети FCN, U-net и Visual Geometry Group (VGG) подходят для извлечения признаков, тогда как GAN и VAE используются для генерации. Следующий шаг, анализ результатов, помогает разработчикам найти связь между скрытой структурой и свойствами и оценить качество сети. Последний шаг — валидация результатов, которая позволяет выявить возможные новые структуры и свойства.

4.1 Создание набора данных для моделирования

В традиционной задаче компьютерного проектирования материалов стоимость сбора реальных данных очень высока. Мы можем иметь лишь ограниченное количество образцов микроструктуры и свойств материала, например, из-за использования стержня, ТЭМ и других методов электронной микроскопии, высокой стоимости и сложного процесса подготовки образцов. Кроме того, расчеты моделирования, такие как расчеты DFT, включают в себя множество приближений и функций, связанных с обменом [53], и их результаты необходимо проверять другими тестами.

Для крупномасштабных систем с несколькими временными масштабами и неупорядоченными структурами вычисления будут слишком ресурсоемкими, а стоимость вычислений обычно слишком высока. Однако в последние годы любое количество образцов материалов может быть сгенерировано путем объединения машинного зрения с созданием наборов данных моделирования материалов с незначительными вычислительными затратами. Как ветвь сетей машинного зрения, генерация GAN и VAE имеет большой потенциал. Алгоритм легко генерирует большое количество данных моделирования, сохраняя при этом разумную точность для изучения распределения формы реальных образцов.

Например, Ма и др. сгенерировали большое количество оптических изображений поликристаллического железа на основе модели GAN для сегментации зерен. [54]  Генератор состоит из сети U-net с кодированием и декодированием, которая используется для захвата небольшого шума реальных данных в ходе фактического тестирования. Затем модель передачи изображения смешивает реалистичные особенности с моделируемым изображением и, наконец, получает составное изображение.

Лю и др. использовали сеть DCGAN для генерации диаграммы постоянной температуры для неразрушающего контроля [55]  ( рис.  3а ) . Размер сети DCGAN может быть скорректирован в соответствии с исходной картой постоянной температуры, а CNN используется для замены многослойного зондирования в исходной GAN. Сеть DCGAN обучается на большом объеме информации из тепловых изображений, а сгенерированные высокоразмерные изображения компенсируют недостаток тепловых изображений в импульсной тепловизионной съемке и в определенной степени устраняют шум.

Фактически, VAE также выполняет аналогичную функцию, выступая в качестве генератора. Цан и др. использовали метод без учителя, основанный на VAE, для извлечения скрытых признаков из гетерогенных сплавов и генерации морфологических ограничений изображений [56]  (рис. 3b). По сравнению с моделью марковского случайного поля, свойства материала моделируемых образцов лучше соответствуют реальным образцам. Мамун и др. использовали модель генерации VAE для создания синтетических образцов сплавов, что помогло моделям сделать надежное прогнозирование ресурса ползучести и способствовало обратному проектированию сплавов.

4.2 Сегментация зерна и текстуры

Применение алгоритма сегментации изображений к микроскопическим снимкам демонстрирует большой потенциал, значительно улучшая сегментацию границ зерен, обнаружение и подсчет частиц, а также способствуя распознаванию микроструктуры материалов и морфологическим исследованиям.

Хотя традиционная пороговая сегментация позволяет различать передний и задний план большого количества изображений, высокое разрешение микроснимков приводит к сложной структуре данных, загрязнениям, образующимся в процессе подготовки образцов, и изменчивости микроструктуры образцов материалов, что создает серьезные проблемы для задачи сегментации изображений на микроснимках. Благодаря задачам компьютерного зрения, проблема сегментации трансформируется в задачу классификации, что позволяет смягчить вышеупомянутые проблемы, которые не могут быть решены традиционными методами.

В гораздо более частых случаях один из срезов микроскопического изображения может иметь разрешение 3200 × 3200 [57] ,  что может быть слишком большим для ограниченного обучения на GPU. В большинстве статей для сжатия размера изображения используется пулинг.

Пулинг — это нелинейное уменьшение разрешения, и это также наиболее распространенная структура в нейронных сетях. Пулинг использует максимальное или среднее значение для каждой подобласти входных данных, чтобы уменьшить разрешение и сохранить наиболее важную информацию изображения. Кроме того, некоторые исследователи обрезают фотографии [13, 58]  и расширяют набор данных сегментации, решая при этом проблему слишком больших изображений. Максов и др. использовали только первый кадр пленки для завершения обучения сети и сегментировали дефекты на изображении Mo, смешанного с WS2 (рис. 4а) [13] .