Микроструктурный анализ – основа микроструктурной науки, связывающей структуру материалов с составом, историей процесса и свойствами. Микроструктурная квантификация традиционно предполагает, что человек решает, что именно измерять, а затем разрабатывает метод для этого. Однако последние достижения в области компьютерного зрения (КЗ) и машинного обучения (МО) предлагают новые подходы к извлечению информации из микроструктурных изображений. В данном обзоре рассматриваются методы КЗ для численного кодирования визуальной информации, содержащейся в микроструктурном изображении, с использованием представлений на основе признаков или свёрточных нейронных сетей (СНС), которые затем предоставляют входные данные для контролируемых или неконтролируемых алгоритмов МО, которые находят ассоциации и тенденции в многомерном представлении изображения. Системы КЗ/МО для микроструктурной характеризации и анализа охватывают таксономию задач анализа изображений, включая классификацию изображений, семантическую сегментацию, обнаружение объектов и сегментацию экземпляров. Эти инструменты открывают новые подходы к микроструктурному анализу, включая разработку новых, расширенный набор визуальных метрик и выявление взаимосвязей между обработкой, микроструктурой и свойствами.
В 1863 году геолог Генри Клифтон Сорби исследовал сталь, протравленную кислотой и отполированную, под микроскопом и обнаружил сложный набор субструктур, которые мы теперь называем микроструктурой. [1] В течение следующих двух десятилетий Сорби связывал эти визуальные объекты с химией, историей и поведением различных стальных сплавов, устанавливая первые связи между структурой материалов, составом, обработкой и свойствами. [2] Наблюдения Сорби были по необходимости качественными; например, он писал: «Также часто наблюдается большой разброс в размерах кристаллов [зерен] железа… и нельзя не подозревать, что такие большие неровности могут быть причиной разрушения…» [2] Однако к началу 1900-х годов были разработаны методы измерения микроструктурных характеристик, и в 1916 году первый металлографический стандарт ASTM E 2 to 17T включал планиметрическое измерение размера зерна. [3]
На протяжении всего 20-го века металлурги и материаловеды продолжали создавать и совершенствовать постоянно растущий каталог микроструктурных метрик. [6] Область количественной стереологии связала двумерные (2D) структуры поперечного сечения с их истинными трехмерными (3D) аналогами, [7] такие методы, как микроскопия дифракции обратного рассеяния электронов (EBSD) были особенно поддаются цифровому анализу, и 3D микроструктурные представления стали осуществимыми, если не рутинными, с появлением 3D рентгеновской дифракционной микроскопии (3DXRD). [8 , 9] Однако, несмотря на устойчивый прогресс в микроструктурной науке, всеобъемлющая микроструктурная метрика оставалась неуловимой. Вместо этого каждая отдельная метрика разрабатывалась и применялась в каждом конкретном случае. Причина этого проста: визуальное фазовое пространство микроструктурных изображений огромно, как показано на рисунке 1. Это приводит к двум фундаментальным проблемам количественной микроструктурной науки:
Рис. 1. Микроструктурное разнообразие. ( а ) Равноосные зерна в алюминиевом сплаве, видимые в поляризованном свете. ( б ) Удлиненные зерна в экструдированном алюминии, микрофотография в поляризованном свете. ( в ) Дендритные колонии в литой бронзе, микрофотография в истинном цвете. [Рисунки (а) по (с) перепечатаны из [ 4 ] в соответствии с условиями лицензии Creative Commons CC BY-NC-SA 2.0 UK.] ( г ) Структура карбида в сверхвысокоуглеродистой стали, изображение, полученное с помощью СЭМ.[ 5 ]
Что измерять: Для любой заданной микроструктуры не всегда очевидно, какая метрика наиболее сильно связана с интересующим процессом или свойством. Рассмотрим соотношение Холла-Петча σy = kd 1/2, которое напрямую связывает средний диаметр зерна d с пределом текучести σy через коэффициент пропорциональности k. [10 , 11] В равноосном однофазном поликристалле, таком как рисунок 1 (a), измерить d просто . Но если зерна вытянуты, как на рисунке 1 (b), является ли d по-прежнему релевантной метрикой, или более важным становится соотношение сторон зерна?
По мере усложнения микроструктур усложняется и выбор метрики. Какая шкала на рисунке 1 (c) оказывает наибольшее влияние: расстояние между осями дендритов, размер дендритной колонии или распределение пористости? Конечно, существует вполне реальная вероятность того, что несколько метрик могут возникнуть из истории данного процесса или способствовать формированию заданного свойства. В конечном счёте, решение о том, какие микроструктурные характеристики следует измерять, требует человеческого суждения, основанного на знаниях и опыте.
Способ измерения: Некоторые микроструктурные показатели измерить относительно просто, в то время как другие — нет. Рассмотрим микроструктуру стали на рисунке 1 (d). Характерной особенностью, влияющей на механические свойства этого сплава, является размер зоны, оголённой углеродом (тёмная область, граничащая с сеткой карбидов). Хотя в принципе измерить её средний размер просто, для этого требуется определить границы зоны, оголённой углеродом, с помощью сегментации. (Сегментация определяется как определение принадлежности каждого пикселя изображения к определённому признаку). Поскольку граница зоны, оголённой углеродом, размыта, сегментация проблематична и обычно оставляется на усмотрение эксперта-человека. Результат может быть неопределённым или даже невоспроизводимым.
Проблемы сегментации могут влиять даже на, казалось бы, несложные измерения. Например, в поликристаллических микроструктурах, подобных рис.1(а), некоторые границы зёрен могут быть протравлены недостаточно глубоко, чтобы создать тёмную линию на оптическом изображении. Хотя человеческий глаз способен обнаружить эти «недостающие границы» по визуальным признакам, автоматизация этого процесса остаётся крайне сложной задачей. [12, 13] Таким образом, даже простая метрика размера зёрен может таить в себе сложные измерительные задачи.
Даже сейчас, спустя 150 лет после того, как Сорби отметил переливающийся блеск «жемчужного компонента» (перлита), микроструктурный анализ часто опирается на качественные, а не количественные описания. Такие термины, как «равноосный», «выровненный», «шероховатый», «дисперсный», «упорядоченный», «столбчатый» и т. д., часто используются без количественного подсчёта.
Компьютерное зрение (CV) — это область компьютерных наук, которая фокусируется на количественной оценке визуальной информации, содержащейся в цифровых изображениях.[ 14 ] Цифровое изображение — это числовое представление, в котором каждый пиксель имеет целое значение серого или короткое векторное значение цвета ( например , RGB), связанное с ним; отдельные пиксели предоставляют мало информации о содержании изображения. Целью CV является агрегация пикселей для представления изображения в виде многомерного тензора визуальной информации. Хотя CV может быть знакомо по распознаванию лиц и беспилотным автомобилям, оно также используется в приложениях, которые поразительно похожи на некоторые задачи микроструктурной количественной оценки, такие как определение того, сколько людей изображено на изображении толпы [15] или какая часть спутникового снимка состоит из сельскохозяйственных угодий. [16]
Чтобы извлечь абстрактную информацию из представления изображения, созданного с помощью схемы CV, мы можем использовать методы поиска корреляций в многомерном пространстве данных, многие из которых подпадают под общую классификацию машинного обучения (ML). [17] Подходы ML могут быть контролируемыми и неконтролируемыми. Контролируемое ML включает в себя обучение системы на основе определенных человеком истинных данных. Например, имея набор фотографий с метаданными, отмечающими наличие или отсутствие кошки, контролируемая система ML может научиться распознавать изображения кошек. Алгоритмы обучения без учителя находят взаимосвязи между представлениями изображений без данных наземных данных или вмешательства человека, как правило, путем генерации кластеров связанных изображений. Эти подходы являются взаимодополняющими, и каждый из них применим к различным задачам.
В ряде недавних исследований подходы CV и ML применялись для разработки более общего подхода к количественному микроструктурному анализу. [18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32] Это многообещающее направление для создания инструментов , которые собирают богатую и полную микроструктурную информацию (что измерять) количественным, объективным и общим образом (как это измерять). В этой статье мы представляем приложения CV и ML для различных задач анализа микроструктурных изображений. [33, 34, 35, 36, 37, 38] Мы показываем, что подход CV/ML может помочь, улучшить или даже заменить традиционные методы специальной микроструктурной характеризации.
Два основных метода
Точные микроструктурные измерения имеют основополагающее значение для установления связей между структурой, обработкой и свойствами. Однако существует множество задач микроструктурного анализа, требующих человеческого суждения и, следовательно, содержащих элемент субъективности, что затрудняет их автоматизацию и делает их подверженными предвзятости. Поскольку методы искусственного интеллекта, включая компьютерное распознавание и машинное обучение, способны воспроизводить визуальные суждения человека, эти инструменты являются хорошими кандидатами для объективного, автономного и эффективного выполнения этих задач.
Области CV и ML стремительно развиваются. Нет оснований полагать, что представленные здесь методы оптимальны или хотя бы сохранят конкурентоспособность по мере разработки новых. Тем не менее, мы ожидаем, что концепции и подходы CV и ML останутся ценными инструментами для микроструктурной науки. Поэтому в данном разделе будут представлены основные принципы CV и ML, общие для всех методов. Подробная информация о конкретных вычислительных кодах, использованных в примерах, представлена в дополнительных материалах, приведенных в таблице SI.
Компьютерное зрение: создание числового представления
Компьютерное зрение охватывает ряд методов создания числового представления визуального изображения, называемого вектором признаков; большинство этих методов оптимизированы для конкретных задач (распознавание лиц, идентификация объектов, анализ текстур и т. д .). [14, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57] Однако в различных прикладных областях существует два основных подхода к компьютерному зрению: представления на основе признаков и представления на основе сверточных нейронных сетей (CNN). Методы на основе признаков создают представление изображения, которое по сути является статистическим представлением визуальных признаков на изображении. [34, 35, 37, 38, 57, 58] Фильтры, которые активируются при обнаружении признака [46, 49] (обычно края, угла или пятна), применяются к исходному изображению. Затем каждый признак численно кодируется с помощью дескриптора, [43, 49] и представление изображения представляет собой некоторую агрегацию дескрипторов признаков. [59, 60, 61, 62] CNN также используют активации фильтров в качестве визуальных признаков. [63, 64] Основное различие между представлениями изображений на основе признаков и CNN заключается в том, что в то время как фильтры для методов на основе признаков выбираются экспертами-людьми, фильтры CNN обучаются во время обучения и оптимизации CNN. Более того, в типичных задачах CNN активации фильтров не абстрагируются в представление изображения; Вместо этого они используются непосредственно в качестве карты признаков для изображения. [65] В результате, с момента появления AlexNet CNN в 2012 году [66], CNN превзошли методы, основанные на признаках (а часто и экспертов-людей [67]), практически для всех задач компьютерной верификации. [68] Таким образом, мы ограничим наше обсуждение векторами признаков на основе CNN.
Основная цель компьютерной визуализации (CV) — представить визуальное содержание изображения в числовой форме, и существует множество методов достижения этой цели с помощью сверточных нейронных сетей (CNN). Мы сосредоточимся на двух методах, которые особенно подходят для микроструктурных изображений: слоях CNN и гиперколоночных пикселях.
Свёрточные нейронные сети принимают изображение (или данные, подобные изображению) в качестве входных данных, применяют к нему различные операции обработки сигналов для кодирования в вектор, а затем используют искусственную нейронную сеть [68, 69, 70] или другой метод машинного обучения для вывода заключения о визуальном содержании изображения. Первая часть конвейера сверточной нейронной сети — кодирование изображения в вектор признаков — называется этапом обучения признакам, а вторая часть — вывод заключения — этапом классификации.
На этапе обучения признакам, показанном на рисунке 2 , сверточная нейронная сеть растрирует (свёртывает) наборы фрагментов фильтра попиксельно и записывает значения активации фильтра. Это происходит иерархически: сначала для изображения (генерируется первый свёрточный слой), а затем для последующих свёрточных слоёв (генерируются свёрточные слои со второго по n -й). После нескольких свёрток активации выпрямляются (обычно с помощью фильтра ReLU, который преобразует отрицательные значения в ноль). Затем пулинг (понижение разрешения) объединяет несколько пикселей одного слоя в один пиксель следующего слоя, и выполняется ещё один набор свёрток. После ряда итераций свёртки и объединения последний (полносвязный) слой сглаживается (записывается в виде вектора), формируя представление, используемое для принятия решений на этапе классификации. [65, 70, 71] Важно отметить, что процесс свёртки приводит к появлению признаков CNN, инвариантных к трансляции, но не инвариантных к вращению или масштабированию. Это означает, например, что для учёта различных геометрических ориентаций признака в микроструктуре может потребоваться несколько представлений.
Рис. 2. Этап обучения признакам в сверточной нейронной сети (CNN). Входное изображение i (слева) обрабатывается слоями c1,1–cM , N . Объединение снижает разрешение изображения между группами (или блоками) слоёв. Вектор признаков для всего изображения C ( i ) может быть построен путём сглаживания любого из слоёв (в данном случае свёрточный слой c2,5 показан синим цветом). В качестве альтернативы, вектор признаков для каждого пикселя p может быть составлен из активаций фильтров во всех слоях, что даёт вектор пикселей гиперстолбца H ( p ) (цветное изображение онлайн).
Проектирование и обучение CNN требует глубоких знаний и большого набора данных (обычно миллионы изображений), что делает его непрактичным для большинства наборов микроструктурных данных. Однако CNN, оптимизированные и обученные на большом наборе естественных изображений, успешно использовались с другими типами изображений, включая микроструктуры. Такая переносимость результатов, вероятно, связана с тем, что изображения очень разных вещей имеют общие визуальные характеристики, включая края, пятна и визуальные текстуры. Таким образом, трансфер обучения [59] позволяет нам использовать предварительно обученные CNN (такие как сеть VGG16 [65], обученная на наборе данных ImageNet [72]) для микроструктурного представления. Однако, поскольку нас не интересует классификация микроструктурных изображений по категориям ImageNet (брокколи, ведро, фагот и т.д.), мы усекаем сеть перед этапом классификации. Вместо этого мы используем сами слои CNN в качестве представлений изображений для задач машинного обучения, как показано на рисунке 2, часто применяя кодирование, уменьшающее размерность, такое как главный компонентный анализ (PCA) [73] или вектор локально агрегированных дескрипторов (VLAD) [62], чтобы уменьшить длину вектора признаков для эффективных вычислений. [34]
Какой слой представления CNN является лучшим выбором для вектора признаков, зависит от характеристик микрографий. [74] Поскольку операции объединения приводят к тому, что пиксели в глубоких слоях представляют большие области исходного изображения, глубокие слои захватывают признаки на больших масштабах длины. Напротив, активации фильтров в поверхностных слоях представляют локальные среды. Таким образом, визуально простые микрографии, такие как равноосный поликристалл на рисунке 1 (a), могут быть лучше представлены поверхностными слоями, а сложные микроструктуры, такие как структура карбида на рисунке 1 (d), могут быть лучше представлены глубокими слоями, которые более полно захватывают многомасштабные структуры. Однако пока не существует механизма для определения оптимального слоя для представления данного типа микроструктуры априори; вместо этого решение принимается методом проб и ошибок. [34, 74]
Для более полного представления изображения мы можем захотеть объединить информацию из всех сверточных слоев; это является основой для вектора признаков пикселя гиперстолбца [40], как показано на рисунке 2. Мы начинаем с изображения и его сверточных слоев в предварительно обученной сверточной нейронной сети. Для каждого из выбранных пикселов исходного изображения гиперстолбец строится путем наложения активаций сверточных слоев в позиции пикселя в реальном пространстве; результатом является представление изображения, в котором каждый гиперстолбец хранит информацию о принадлежности признака пикселя в нескольких масштабах длины. Представление изображения гиперстолбцами каждого пикселя требует большого объема памяти, поэтому обычно мы выбираем разреженное подмножество пикселей. Признаки гиперстолбцов в основном используются для задач сегментации изображений, которые мы обсудим ниже. [75]
Наконец, стоит отметить, что сверточные нейронные сети могут работать в обратном направлении (т.е. с транспонированными свёртками), генерируя изображения из векторов признаков. Это лежит в основе вариационных автоэнкодеров (VAE) [76] и генеративно-состязательных сетей (GAN) [77]. Эти методы могут использоваться для создания реалистичных синтетических изображений [78, 79, 80] и повышения разрешения изображений [81], среди прочих приложений.
Машинное обучение: извлечение количественной визуальной информации
Целью МО является извлечение количественной визуальной информации из многомерного вектора признаков. Эта информация может включать классификацию (например, ферритная, аустенитная, мартенситная и т.д.), связь со значением метаданных ( например , предел текучести), измерение (например , размер зерна), наличие определённого признака (например , дефект поверхности) или любое другое значение, которое может содержаться в векторе признаков. Методы МО бывают контролируемыми (обучаются на основе известных правильных ответов, называемых «наземными истинами») и неконтролируемыми (выявляют закономерности без знания «наземных истин»), и каждый подход играет важную роль.
Существует широкий спектр контролируемых методов МО, [68, 69, 82] и выбор метода зависит от приложения. Контролируемые системы МО, которые широко используются для данных векторов признаков визуальных изображений, включают в себя машины опорных векторов (SVM), [83, 84] классификаторы случайного леса (RF) [85] и методы глубокого обучения, такие как искусственные нейронные сети (ИНС). [65, 68, 69, 70, 71] SVM работают, обучаясь набору гиперплоскостей, который наилучшим образом разделяет векторы признаков на группы в соответствии с их типом или классом истинности. Как только разделяющие плоскости известны, дополнительные векторы могут быть связаны с соответствующей группой, т. е . классифицированы. Преимуществами SVM являются гибкость, общность и производительность. Однако успех модели SVM зависит от того, поддается ли многомерная структура данных плоскостному разделению.
Классификаторы RF начинают с построения набора деревьев решений для прогнозирования класса изображения; в каждом дереве решения основаны на значениях элементов вектора признаков. Для классификации изображения каждое дерево предлагает прогноз и правила большинства. На этапе обучения классификатора RF элементы вектора признаков, заполняющие деревья, и их значения решений оптимизируются для обеспечения наилучшего соответствия известным истинным данным. После оптимизации деревьев их можно применять для классификации дополнительных векторов. Преимуществом RF является интерпретируемость, поскольку основа для решения легко проверяется. [86] Однако RF не всегда легко применять к сложным представлениям изображений.
Искусственные нейронные сети (ИИС) обрабатывают вектор признаков через скрытые слои нейронной сети [82], чтобы сделать прогноз относительно изображения. Структура и связность ИНС могут принимать различные формы, и ее архитектура выбирается для максимальной производительности, часто методом проб и ошибок. В процессе обучения веса связей между нейронами во входном, скрытом и выходном слоях оптимизируются для обеспечения наилучшего соответствия известным истинным данным. После определения весов ИНС может делать прогнозы относительно ранее неизвестных векторов. ИНС как класс чрезвычайно гибки и масштабируются для обработки как больших объемов данных, так и данных очень высокой размерности. Однако они являются моделями «черного ящика», где основа для принятия решения может быть трудно поддается анализу.
Алгоритмы машинного обучения без учителя находят взаимосвязи между представлениями изображений без наземных данных или вмешательства человека, как правило, путем генерации кластеров связанных изображений. k-средних является одним из примеров метода неконтролируемой кластеризации. [87] Для набора N -мерных векторов признаков k -средних группирует их в указанное пользователем количество N -мерных кластеров, которые минимизируют функцию стоимости, которая является некоторой мерой «качества кластера», такой как компактность кластера. Нахождение глобально оптимальной кластеризации является np-сложной вычислительной задачей ( т. е . требует экспоненциального времени вычислений), поэтому k -средних использует различные вычислительные стратегии для поиска хороших решений. Следствием этого является то, что для заданного набора векторов результаты k -средних могут различаться в зависимости от вычислительных параметров. Преимущество кластеризации k -средних заключается в том, что, поскольку она идентифицирует набор центроидов кластера, дополнительные векторы могут быть напрямую связаны с кластерами. Таким образом, ее можно использовать в качестве основы для классификации. Недостатком является то, что при использовании полного N -мерного представления может быть сложно визуализировать результаты в 2D или 3D.
Существует ряд инструментов для визуализации многомерных представлений изображений в двух или трех измерениях для поиска кластеров на основе сходства изображений. [88] В следующих примерах мы используем t-распределенное стохастическое соседнее вложение (t-SNE) [89, 90], которое взвешивает сходство изображений по нелинейной шкале, которая быстро уменьшается по мере уменьшения сходства изображений; таким образом, t-SNE в значительной степени способствует группировке похожих изображений, но не фиксирует взаимосвязи между разнородными изображениями. Преимущество t-SNE заключается в том, что он часто способен обнаруживать и визуализировать низкоразмерные кластеры. Недостаток заключается в том, что, поскольку t-SNE строится на основе попарных сравнений векторов признаков, невозможно добавить дополнительные данные на карту t-SNE без ее полного пересчета, поэтому t-SNE нельзя использовать для классификации.
Выбор модальности и модели машинного обучения зависит от характера входных данных и желаемого результата. Зачастую предпринимаются попытки использовать несколько подходов и оценивать их производительность и/или другие преимущества и недостатки. В этом процессе полезно привлечь эксперта в области алгоритмов машинного обучения, поскольку лучшие в своем классе решения постоянно совершенствуются.
Данные: основа науки о данных
Возможно, самой большой проблемой при создании подхода CV/ML для микроструктурной науки является необходимость в данных микроструктурных изображений, подходящих для обучения и использования таких систем. Обычно предполагается, что размер данных является ограничивающим фактором, и в некоторых случаях это действительно так. Однако, как обсуждается ниже, мы достигли отличных результатов в некоторых сложных задачах анализа изображений с очень небольшим количеством исходных микрофотографий (иногда менее 10). Мы полагаем, что это связано с большим количеством данных на микроструктурных изображениях по сравнению с естественными изображениями, используемыми в типичных исследованиях CV. Например, там, где на естественном изображении может быть кошка, на микрофотографии может быть 100 выделений. Фактически, микроскописты стремятся получать микроструктурные изображения, статистически репрезентативные для изображаемого ими материала. Более того, пространственные соотношения и масштабы длины, заложенные в микроструктурном изображении, физически обоснованы и имеют смысл. Наконец, всё изображение, как правило, представляет собой микроструктуру; отсутствует «бессмысленный» фон, который можно вычесть или игнорировать. Таким образом, микроструктурные изображения, как правило, содержат много важной информации.
Аналогично, опасения по поводу качества изображений часто необоснованны. Методы МО учатся извлекать информацию из данных в том виде, в котором она им представлена; нет никаких оценок качества фокусировки, разрешения, поля зрения, увеличения и т. д . Фактически, предоставление системе МО всего пространства данных приводит к более надёжным результатам. Это не рекомендация игнорировать надлежащие практики микроскопии, а скорее предложение не предполагать, что изображения должны проверяться или отсеиваться на основе человеческих стандартов качества.
Методы сбора данных, которые действительно повышают производительность систем CV/ML, включают избыточность изображений, стандартизацию и аугментацию. Получение избыточных изображений образца с неперекрывающимися полями зрения увеличивает объем визуальных данных при относительно небольших дополнительных затратах по сравнению со получением одного «репрезентативного» изображения. Это позволяет системе ML изучить все пространство данных, избегая при этом переобучения и человеческого фактора. Стандартизация условий получения изображений (таких как инструмент, настройки, увеличение, ориентация и т.д.) и/или выполнение разумной предварительной обработки изображений помогает предотвратить обучение системы CV/ML неправильным вещам. Тем не менее, существуют наборы данных, в которых различия в изображениях неизбежны; В таких случаях проверка того, что система обучается релевантной информации, имеет первостепенное значение. [37] Дополнение данных включает в себя манипулирование существующими изображениями, обычно посредством подвыборки, перевода, поворота или аффинного преобразования, для создания дополнительных фрагментов изображений для обучения и тестирования. [91, 92] Например, для микрографий, которые не обладают стандартной ориентацией, дополнение исходных данных повернутыми версиями может более полно охватить визуальное пространство данных, представленное набором данных, что потенциально улучшает результаты МО. Важно понимать, что все физические данные содержатся в исходных изображениях; дополнительные изображения, созданные методами дополнения данных, могут облегчить обучение моделей, но они не создают новой информации.
Наиболее ценные наборы микроструктурных данных включают метаданные, которые обогащают их информационный контент. Метаданные могут включать данные, полученные с помощью нескольких методов визуализации (например, данные EBSD и обратного рассеяния для одного и того же поля зрения), а также информацию о системе материала, составе, данные визуализации, истории обработки, измерениях свойств и любые другие доступные данные, связанные с изображением. Использование мультимодальной информации и метаданных — это развивающаяся область компьютерного зрения. Сейчас, как никогда ранее, агрегирование и перекрестные ссылки на данные из различных источников являются ключом к научным открытиям.
Три важных результата: таксономия микроструктурного анализа
Специалист по микроструктурному анализу может извлекать из заданного изображения различную информацию, используя различные визуальные сигналы. Эта информация может быть организована в иерархию, или таксономию, задач микроструктурного анализа, которая включает:
- Классификация изображений — определение содержания изображения
- Семантическая сегментация — сопоставление каждого пикселя изображения с его компонентом.
- Обнаружение объектов — определение местоположения отдельных объектов на изображении
- Сегментация экземпляров — назначение пикселей отдельным объектам
На рисунке 3 показана эта микроструктурная таксономия, примененная к микрофотографии, полученной с помощью сканирующей электронной микроскопии (СЭМ), где подготовка образца дала изображение плотных перекрывающихся частиц металлического порошка. Классификация изображений идентифицирует изображение как принадлежащее к классу «порошок». Семантическая сегментация связывает пиксели либо с частицами порошка, либо с фоном и, таким образом, не позволяет различать отдельные частицы при их перекрытии. Функция обнаружения объектов находит каждую отдельную частицу порошка, а сегментация экземпляров назначает пиксели частицам. В следующих разделах мы продемонстрируем и обсудим применение методов компьютерной верификации и машинного обучения для решения задач в каждом компоненте таксономии микроструктурного анализа.
Рис. 3. Таксономия микроструктурного анализа, применяемая к снимку SEM частиц металлического порошка. ( a ) Классификация изображений определяет принадлежность изображения к классу «порошок». ( b ) Семантическая сегментация связывает пиксели с одним из двух компонентов: частицами порошка (жёлтый) или фоном (фиолетовый). ( c ) Обнаружение объектов позволяет обнаружить каждую отдельную частицу порошка (квадраты). ( d ) Сегментация экземпляров присваивает пиксели определённым частицам (цвета). [Исходное изображение предоставлено И. Андерсоном, Ames Lab.] (Цветное изображение онлайн)
Классификация изображений и вектор признаков
Классификация изображений может показаться не столь важной, поскольку мы обычно знаем, какова их микроструктура. Однако классификация изображений лежит в основе множества критически важных задач архивирования и анализа. Подход CV к классификации изображений начинается с определения вектора признаков, как обсуждалось выше.
Поскольку вектор признаков численно кодирует визуальную информацию, содержащуюся в изображении, визуальное сходство между двумя изображениями должно быть связано с численным сходством между их векторами признаков. Таким образом, количественная мера общего сходства изображений может быть определена как расстояние между векторами признаков; существует несколько метрик расстояния, но легко вычисляемой и интерпретируемой является евклидово расстояние (норма L2) . Метрика визуального сходства затем формирует основу для визуального поиска, визуальной кластеризации и классификации. (Однако следует отметить, что поскольку представления CNN не являются инвариантными к вращению или масштабу, метрика расстояния между двумя конкретными признаками может быть не уникальной.) Например, векторы признаков были вычислены с использованием представления слоя CNN для базы данных из 961 микроструктур сверхвысокоуглеродистых сталей. [5] На рисунке 4 (a) показаны три изображения с векторами признаков, наиболее близкими к вектору данного целевого изображения; очевидно, что сходство векторов признаков отражается в визуальном сходстве. Примечательно, что хотя первые два совпадения содержат микрокомпоненты, схожие по размеру, доле, контрастности и структуре с целевым изображением, третье представляет собой целевое изображение с меньшим увеличением, что демонстрирует, что визуальный поиск охватывает множество аспектов визуального сходства. На рисунке 4 (b) представлена карта кластеризации изображений t-SNE, где каждая точка представляет изображение, а расстояние между точками масштабируется пропорционально расстоянию между векторами признаков; цвет точки соответствует основному микроструктурному компоненту на каждой микрофотографии. Очевидно, что похожие изображения кластеризуются, что иллюстрирует визуальную структуру набора данных. Таким образом, вектор признаков позволяет выполнять основные функции поиска и сортировки базы данных на основе визуальной, а не языковой информации.
Рис. 4. Применение вектора признаков для определения сходства изображений. ( a ) Визуальный поиск изображений, похожих на целевое изображение, в базе данных, содержащей около 900 микроструктур сверхвысокоуглеродистой стали. [5] Наиболее близкие по характеристикам изображения имеют ряд визуальных признаков, общих с целевым изображением. ( b ) На этом графике t-SNE микрофотографии (точки) группируются в соответствии с их визуальным сходством, которое также соответствует их основному микрокомпоненту: сфероидиту (синий), сетчатому карбиду (красный) или перлиту (зеленый) (цветное изображение онлайн)
Тот факт, что визуальные кластеры на рисунке 4 (b) соответствуют микроструктурным составляющим, подразумевает, что вектор признаков может быть использован для обнаружения наличия определенных микроструктурных особенностей. Фактически, линейная машина опорных векторов (SVM) была обучена классифицировать первичную микросоставляющую на каждом изображении в базе данных UHCS (контролируемое машинное обучение), достигнув точности 99 ± 1 % (определяемой как доля правильных классификаций). [5] В других исследованиях использовалось неконтролируемое и контролируемое МО для обнаружения и классификации дефектов, [93, 94, 95] микроструктурных составляющих, [96] атомных структур, [97] и повреждений. [98] Таким образом, классификация изображений вносит вклад в широкий спектр задач обработки изображений, включая анализ изображений, идентификацию ключевых слов и контроль качества.
Хотя вектор признаков часто используется для качественных задач, следует помнить, что он содержит информацию о принадлежности пикселей к различным микроструктурным элементам и, таким образом, потенциально может быть использован для количественной оценки структурных метрик напрямую, без сегментации изображения. Для этого нам необходим набор данных, достаточно большой для обучения системы машинного обучения, и с однозначными истинными значениями измеряемой микроструктурной метрики. Например, чтобы решить проблему недостающих границ при измерении размера зерна, [ 12 , 13 ] мы сгенерировали 15,213 синтетических оптических микроструктур чистых изотропных поликристаллов с известными размерами зерна, используя кинетический код моделирования роста зерна Монте-Карло SPPARKS [99] (хотя синтетические изображения не охватывают все богатство реальных микрографий, они позволяют разрабатывать большие наборы данных. Это также хорошая возможность для автоматизированных систем сбора изображений.) Они были использованы для обучения системы CNN [65, 100] с полностью связанным слоем регрессии [101] для изучения размера зерна, как для идеальных структур, так и для поликристаллов, где некоторые границы были произвольно стерты. Как показано на рисунке 5 (a), для идеальных поликристаллов система предсказывает размер зерна со стандартной ошибкой 2,3 %; Мы также обнаружили, что стандартная ошибка линейно возрастает с увеличением доли отсутствующих границ и достигает 3,9% при доле отсутствующих границ 0,4. Эти ошибки вполне соответствуют ожидаемой точности измерения размера зерна. Например, стандарт ASTM заявляет точность ± 0,5 единиц размера зерна для линейных методов пересечения, которой данная модель соответствует для всех отсутствующих границ (предполагая, что зерна круглые и преобразуя их в линейную метрику размера зерна). [102] Возможность измерения без сегментации создаёт возможности для отказоустойчивой, высокопроизводительной микроструктурной оценки.
Рис. 5. Расширенные возможности применения вектора микроструктурных признаков. ( a ) Определение размера зерна по смоделированным поликристаллическим микрофотографиям без сегментации или прямого измерения с использованием глубокой регрессии. Синие точки обозначают ранее не виденные тестовые изображения, а красная линия соответствует идеальной точности (прогноз = фактическое значение). На врезке показан пример поликристалла. ( b ) Определение состава стальных включений по фрагментам изображений СЭМ с помощью классификатора сверточной нейронной сети (CNN). Матрица ошибок показывает долю включений каждого типа, классифицированных с помощью каждой предсказанной метки; идеальная точность привела бы к появлению единиц по диагонали. Примеры фрагментов изображений для каждого типа включений показаны справа (цветное изображение онлайн).
Наконец, отметим, что вектор признаков кодирует полный спектр визуальной информации, часть которой нелегко воспринять человеческим зрением. Например, химический состав обычно измеряется не визуально, а с помощью специализированных инструментов, таких как энергодисперсионная спектроскопия (ЭДС). Однако химическая информация содержится в значениях градаций серого на изображениях СЭМ с обратным рассеянием, хотя и неявно. В процессе производства стали ЭДС используется для определения химического состава непреднамеренных включений (шлака и т. д .), и СЭМ-изображения этих включений собираются в то же время. [103] Чтобы определить, содержат ли одни только данные СЭМ достаточно информации для определения состава включений, мы использовали предварительно обученную сверточную нейронную сеть [65, 72] и переобучили классификатор, используя набор данных из 2543 изображений включений СЭМ, сбалансированных по пяти типам включений. При тестировании на 509 ранее не наблюдавшихся изображениях включений система достигла общей точности классификации 76%, что значительно лучше случайной точности в 20%, как показано на рисунке 5 (b). Более того, матрица ошибок подтверждает, что преобладающие ошибки классификации относятся к типам сульфидных включений, которые характеризуются значительным перекрытием состава. Мы отмечаем, что эти включения практически невозможно классифицировать визуально (за исключением пор, которые, как правило, менее округлые, чем другие типы). Для выполнения этой задачи сверточная нейронная сеть, по-видимому, определяет форму, размер, контрастность и распределение цвета включений с точностью, превосходящей человеческое восприятие, что подчёркивает способность CV и ML расширять и дополнять наши возможности извлечения полезной информации из данных изображений.
Семантическая сегментация
Структурные метрики, такие как размер элемента, объёмная доля, соотношение сторон и т.д., являются традиционными величинами, извлекаемыми из микроструктурных изображений с помощью инструментов прямого измерения. Как правило, для этих измерений требуется сегментированное изображение, где каждый пиксель изображения соответствует определённому микроструктурному компоненту. Традиционные алгоритмы автоматической сегментации изображений, такие как встроенные в ImageJ [104], обычно работают путем поиска пятен с постоянным контрастом или границ, где контраст меняется. Хотя эти подходы могут хорошо работать с подходящими микроструктурами, сложные или неидеальные изображения часто требуют значительного вмешательства человека или даже ручной сегментации, что приводит к медленному, специфичному для конкретного материала и субъективному рабочему процессу.
Сегментация изображений является основополагающей задачей компьютерной визуализации, которая имеет важные приложения в робототехнике и медицинской визуализации среди других. [105] Таким образом, ведется значительная исследовательская деятельность в области разработки методов сегментации. Поскольку микрофотографии имеют общие черты (например , края, пятна и визуальные текстуры) с естественными изображениями, мы можем адаптировать эти методы к микроструктурным изображениям с помощью трансферного обучения. Например, мы можем использовать PixelNet CNN [40], обученную на базе данных ImageNet естественных изображений [72], чтобы вычислить вектор признаков гиперстолбцов [40] для каждого пикселя в каждой микрофотографии. Затем мы обучаем слои классификации пикселей PixelNet для классификации пикселей в соответствии с их микроструктурной составляющей. Два примера показаны на рисунке 6. На рисунке 6 (a) система была обучена с использованием 20 вручную аннотированных изображений из базы данных микрофотографий UHCS [106], и показаны результаты для одного из четырех ранее невиданных тестовых изображений. На рисунке 6 (б) система была обучена на 30 вручную аннотированных изображениях из набора томографических срезов дендрита затвердевания Al-Zn [107], снова приведены результаты для одного из 10 ранее невиданных изображений.
Рис. 6. Семантическая сегментация микроструктурных изображений с использованием предварительно обученной сверточной нейронной сети (CNN). ( a ) Семантическая сегментация микроструктурных компонентов на микрофотографии сверхвысокоуглеродистой стали, полученной с помощью СЭМ. Компоненты включают сетчатый карбид (светло-голубой), ферритную зону обнажения (тёмно-синий), видманштеттовый карбид (зелёный) и сфероидитовую матрицу (золотую). Обратите внимание, что сегментация CNN фиксирует «дырки» в сетчатом карбиде, которые были непреднамеренно пропущены аннотатором. ( b ) Сегментация томографического среза сплава Al-Zn. Дендрит затвердевания показан белым цветом на чёрном фоне. Обратите внимание, что сегментация CNN игнорирует заметные, но несущественные визуальные артефакты, включая край образца, дефекты полировки и пятно луча (цветное изображение онлайн).
В обоих случаях точность сегментации превосходна: 93 % для стальных микроструктур и 99,6 % для Al-Zn. (Показатели точности и полноты, которые по-разному взвешивают ложноположительные и ложноотрицательные результаты, не указывают на значительные систематические ошибки, такие как пере- или недопрогнозирование.) Эти карты сегментации, возможно, по качеству равны аннотациям человека и, безусловно, достаточны для количественного анализа изображений UHCS (как продемонстрировали ДеКост и др. [106]) или томографической реконструкции дендрита Al-Zn. [107] Значительным преимуществом этого подхода является то, что после обучения системы последующие сегментации изображений вычисляются очень быстро (практически в реальном времени) и являются автономными, объективными и повторяемыми, что обеспечивает высокую пропускную способность, необходимую для таких приложений, как 3D-реконструкция или контроль качества.
Дополнительным преимуществом сегментации изображений на основе сверточных нейронных сетей является способность формировать суждения, подобные человеческим, об особенностях изображения. Например, на рисунке 6 (а) сфероидитовая матрица, состоящая из частиц сфероидита в ферритовой матрице, сегментирована как единый компонент (оранжевый). Традиционным системам сегментации было бы сложно игнорировать эти частицы, которые проявляются как отдельные яркие пятна. Аналогично, на рисунке 6 (б) система обучается игнорировать артефакты подготовки образца, такие как края образца, поры и круглое пятно луча в центре изображения. Опять же, эти особенности трудно удалить из результатов традиционной сегментации. Именно эта способность понимать, что искать, а что игнорировать, отличает подход CV/ML к семантической сегментации.
Хотя система CV/ML имитирует некоторые аспекты зрительного суждения человека, она не воспроизводит человеческое мышление. Поэтому важно понимать сильные и слабые стороны сегментации изображений на основе CNN, чтобы разрабатывать наиболее эффективные инструменты. Небольшая база данных из 17 изображений SEM (15 для обучения и 2 для тестирования) микроструктур суперсплава на основе никеля, деформированных при ползучести [108], представляет собой иллюстративное исследование. Эти микрофотографии содержат два важных компонента: ориентированные γ’-кубоидальные выделения и линии дислокаций [рисунок 7 (a)]. Оба компонента разграничены узкими линейными особенностями. Обычный анализ изображений [рисунок 7 (b)] способен обнаружить эти линейные особенности, хотя и имеет тенденцию к их перепредсказанию, создавая множество коротких, отдельных артефактов в виде линейных сегментов, которые не очевидны на исходном изображении. Система сегментации изображений на основе сверточных нейронных сетей (в данном случае UNet [109]) может быть обучена воспроизводить традиционный анализ, и её преимущество заключается в большей устойчивости к артефактам линейных сегментов, как показано на рисунке 7 (c). Однако её цель — идентифицировать только сегменты дислокаций, игнорируя границы фаз γ-γ’.
Рис. 7. Многокомпонентная сегментация дислокационных структур на микрофотографиях никелевых суперсплавов, полученных с помощью СЭМ и полученных с помощью контрастного изображения с электронным каналированием. ( a ) Исходное изображение, показывающее выделения γ – γ ′ и следы дислокаций. ( b ) Анализ ImageJ аннотирует линейные особенности. ( c ) Сегментация изображения на основе сверточной нейронной сети находит линейные особенности. ( d ) Эксперт-человек аннотирует деформированные и недеформированные области микрофотографии. ( e ) Вторая сегментация изображения на основе сверточной нейронной сети находит маску дислокации. ( f ) Объединение сегментации признаков (красные стрелки) и сегментации маски (синие стрелки) дает сегментацию дислокационной структуры (цветное изображение онлайн)
Первоначально мы попытались модифицировать обучающие изображения аннотаций признаков двумя способами: в одном наборе мы вручную удалили границы фаз γ – γ ′, оставив только аннотации дислокаций. Однако переобученная система продолжала захватывать многие границы γ – γ ′. По-видимому, она не смогла узнать, какие из линейных особенностей игнорировать, по крайней мере для этого небольшого набора данных. Во втором наборе мы вручную аннотировали границы фаз γ – γ ′ как отдельную составляющую от дислокаций. В этом случае система классифицировала все почти горизонтальные и почти вертикальные линейные особенности как границы γ – γ ′, что привело к недооценке дислокаций. В обоих случаях перед системой стояла задача дифференцировать две микроструктурные составляющие, которые представлены в аннотациях признаков как линии шириной в один пиксель.
Высококонтрастные градиенты (линии или края) являются одним из видов признаков, которые способны обнаруживать фильтрующие элементы, обычно включаемые в архитектуры CNN. Другие фильтрующие элементы оптимизированы для областей с равномерным контрастом (пятна), а третьи — для более крупномасштабных визуальных текстур ( например , пластинчатой структуры перлита). Изучая микрофотографии суперсплавов, становится очевидно, что один из способов, которым люди отличают линии дислокаций от границ γ – γ ′, заключается в том, что дислокации появляются в областях с различной визуальной текстурой. Фактически, человеку легко различать деформированные и недеформированные области этих микрофотографий. Используя это понимание, мы вручную аннотировали каждое изображение для сегментации этих областей, как показано на рисунке 7 (d), и обучили отдельную систему сегментации на основе CNN предсказывать эти маски областей дислокаций (рисунок 7 (e)). Накладывая сегментацию линейных признаков на основе ребер (красные стрелки на рисунке 7 ) на сегментацию маски дислокации на основе текстуры (синие стрелки на рисунке 7 ), мы восстанавливаем сегментацию изображения, которая захватывает линии дислокаций и опускает границы γ – γ ′. Хотя отсутствие однозначной истинной точки затрудняет оценку точности этих результатов, качество этих сегментаций было признано достаточным для достижения цели сравнения состояний деформации. В качестве дополнительного преимущества эти сегментации являются объективными, повторяемыми и самосогласованными между изображениями, так что относительные различия между изображениями имеют количественное значение. В целом, достижение полезной сегментации на этом сложном наборе данных требует экспертных знаний в предметной области как в микроструктурных изображениях (материаловедение), так и в системах сегментации на основе сверточных нейронных сетей (вычислительная наука). Платой является возможность расширить область действия традиционной количественной микроструктурной характеристики на более сложные микроструктурные особенности, которые до сих пор было трудно обрабатывать автоматизированным способом.
Обнаружение объектов
Обнаружение объектов подразумевает определение местоположения каждого уникального объекта своего типа на изображении, т.е. поиск каждого отдельного осадка на микрофотографии. Когда объекты пространственно разделены, обнаружение объектов может быть выполнено на основе семантической сегментации с использованием традиционного подхода к анализу изображений, такого как алгоритм водораздела [38, 110] или маркировка связанных компонентов [111, 112]. Однако, когда объекты перекрываются или перекрывают друг друга, как в случае частиц металлического порошка на рисунке 8 (a), автоматическое обнаружение объектов значительно усложняется. К счастью, обнаружение объектов представляет большой интерес в важных приложениях компьютерной мобильности, таких как беспилотные автомобили, которые должны обнаруживать и учитывать каждое отдельное транспортное средство/пешехода/дерево в поле зрения [113].
Рис. 8. Идентификация объектов и сегментация образцов на микрофотографиях металлических порошков, полученных методом сканирующего электронного микроскопа (СЭМ). ( a ) Исходное изображение содержит плотные и перекрывающиеся частицы. ( b ) Ручная аннотация идентифицирует и очерчивает отдельные частицы на каждом изображении. ( c ) Система идентификации объектов на основе сверточной нейронной сети идентифицирует частицы и рисует ограничивающую рамку вокруг каждой из них. ( d ) Та же система сегментирует (раскрашивает) каждый экземпляр частицы отдельно. ( e ) Следуя аналогичному рабочему процессу, идентифицируются и сегментируются частицы-сателлиты. Накладывая сегментацию частиц, можно связать с исходными частицами (цветное изображение онлайн).
Специализированные сверточные нейронные сети, в частности, Faster R-CNN [114], были разработаны для обнаружения объектов и связанной с этим задачи сегментации экземпляров. Как и в случае семантической сегментации, обсуждавшейся выше, трансферное обучение позволяет обучать эти системы на естественных изображениях (таких как набор данных обнаружения COCO [115]) и успешно применять к микроструктурным изображениям. Например, чтобы оценить распространенность мелких частиц-спутников в распыленном газом металлическом порошке, первой задачей является идентификация дискретных частиц порошка в наборе изображений SEM [116] (рисунок 8 (a)). Утомительная ручная аннотация дала 5 изображений, каждое из которых содержало несколько сотен очерченных частиц порошка (рисунок 8 (b)); три изображения были использованы для обучения системы сегментации экземпляров CNN, а два были зарезервированы для тестирования результатов в схеме перекрестной проверки. Как показано на рисунке 8 (c), система успешно обнаружила и очертила ограничивающие рамки вокруг отдельных частиц, достигнув средней полноты обнаружения (правильные идентификации частиц, деленные на количество всех фактических частиц) 80 % и точности обнаружения (правильные идентификации частиц, деленные на общее количество идентифицированных частиц) около 94 % . Потеря полноты происходит, когда частицы пропускаются, и неудивительно, что система пропускает некоторые мелкие, неправильной формы и в основном перекрытые частицы. Хотя они составляют около 20 % частиц, они представляют собой очень малую долю общего объема частиц. Потеря точности происходит, когда частица идентифицируется там, где ее нет. Однако система не находит частицы там, где изображение содержит пустое пространство. Вместо этого она предсказывает наличие нескольких частиц, тогда как в ручной аннотации идентифицирована одна агломерированная частица. Во многих из этих случаев можно спорить, кто прав — компьютер или человек. Для этой задачи обнаружения объектов результаты системы на основе сверточных нейронных сетей являются качественными для последующего анализа, а возникающие ошибки являются разумными и в некоторой степени неизбежными.
Обнаружение объектов необходимо для расчета метрик, основанных на подсчете объектов, таких как плотность популяции или численность населения. Однако в анализе изображений оно чаще всего служит ступенькой к сегментации объектов, как обсуждается в следующем разделе.
Сегментация экземпляров
После того, как объект идентифицирован и ограничен, сегментация экземпляра сводится к простому сегментированию пикселей, принадлежащих объекту, как описано выше. Фактически, обнаружение объектов и сегментация экземпляра часто объединяются в реализациях CNN, таких как Mask R-CNN. [117] На рисунке 8 (d) показана сегментация экземпляра, где каждая частица сегментирована (окрашена) как отдельный объект типа частицы. Сегментация частиц достигает средней точности перекрестной проверки 97,5 % и полноты 95,4 %; эти высокие значения указывают на минимальное пере- или недопредсказание и фактически сопоставимы с человеческим фактором, поскольку существует некоторая субъективность в определении местоположения краев частиц. Хотя это применение сегментации экземпляра нашло каждый объект на изображении, тот же подход может различать и сегментировать объекты определенных типов. На рисунке 8 (e) показана сегментация экземпляра спутниковых частиц, определяемых как мелкие частицы, прилипшие к поверхности гораздо более крупных частиц. Идентификация спутников значительно более субъективна, что приводит к большему расхождению данных между человеком и компьютером, а следовательно, к снижению точности обнаружения (69,2%) и полноты (54,5%). Тем не менее, этого уровня производительности достаточно для оценки таких показателей, как содержание спутников в зависимости от размера частиц, а автономный характер системы на основе сверточных нейронных сетей обеспечивает гораздо большую производительность, чем при ручной сегментации.
Четыре следующих шага: метрики, приложения и интерпретация
Новые и усовершенствованные микроструктурные показатели
Помимо упрощения традиционных микроструктурных измерений, представления изображений CV предлагают совершенно новые способы характеризации микроструктур. Например, для набора микрофотографий SEM для металлического порошка Inconel-718, распыленного газом [38], мы используем маркировку связанных компонентов [111, 112] для выполнения сегментации экземпляров каждой отдельной частицы порошка, а затем кодируем каждый фрагмент частицы с помощью вектора признаков слоя CNN. После уменьшения размерности представления с помощью PCA [73] мы применяем неконтролируемое МО k -средних [87] для идентификации 8 визуальных кластеров частиц. На рисунке 9 (a) показаны примеры частиц, принадлежащих каждому из кластеров. Очевидно, что этот метод способен сортировать частицы порошка в визуально похожие группы. Когда отдельные изображения частиц наносятся на карту t-SNE (рисунок 9 (b)), частицы группируются в соответствии с визуальными характеристиками, такими как шероховатость поверхности, форма и размер. Статистика кластеризации k -средних (т.е. частиц в кластере) и структура графика t-SNE ( т. е . карты плотности частиц) действуют как отпечатки пальцев порошкового материала, содержащие информацию не только о размере частиц, но и о форме, шероховатости, агломерации и т.д. Эти представления могут быть применены для разработки новых количественных показателей для характеристики порошковых материалов, которые захватывают значительно больше информации, чем традиционные распределения размеров порошка. [118] Мы отмечаем, что для людей нецелесообразно сортировать тысячи фрагментов изображения, и мы не ожидаем объективного и повторяемого результата. Эти новые показатели доступны только при использовании подхода CV/ML, который использует способность компьютеров выполнять повторяющиеся задачи с человеческим визуальным суждением, придаваемым методами CV/ML.
Рис. 9. Карта визуальной плотности металлического порошка. ( a ) Отдельные частицы визуально сгруппированы; здесь представлен 8-кластерный анализ k-средних, показывающий четыре образца частиц в каждом кластере. ( b ) Карта визуального сходства t-SNE для примерно 1100 частиц Inconel-718. Вставки показывают, как визуально похожие частицы группируются (красный = шероховатая, агломерированная, фиолетовый = вытянутая). Цвет рамки соответствует номеру кластера k-средних. Статистика кластеров k-средних и карта плотности изображения являются количественными «отпечатками пальцев» порошкового материала (цветная иллюстрация онлайн).
Когда характеризация изображения выполняется как контролируемая задача, она требует обучения и проверки/тестирования данных, которые были аннотированы с использованием истинных данных (например, размер зерна, состав включений, микрокомпоненты и т.д.). Поскольку аннотация часто утомительна, а иногда и невозможна, неконтролируемый анализ изображений является целью микроструктурной науки и в более общем плане CV. Анализ кластеризации k -средних, описанный выше, предлагает один из путей к метрике изображения (статистике кластеров частиц) с использованием неконтролируемого МО. В этом случае, вместо того, чтобы разрабатывать неконтролируемый метод МО для измерения конкретной метрики, мы используем результат стандартного неконтролируемого метода МО в качестве метрики. Аналогичным образом, можно представить себе новые микроструктурные метрики, которые возникают непосредственно из аспектов системы CV/ML, таких как вектор признаков или активации фильтров CNN. [119]
Наконец, и микроструктурная наука, и компьютерная верификация имеют общую цель — определение трёхмерной структуры по двумерным изображениям. [120] Естественные изображения обычно представляют собой двумерные проекции трёхмерных сцен, поэтому определение третьего измерения, по крайней мере отчасти, является оптической проблемой. В отличие от этого, микрофотографии, как правило, представляют собой прямые представления двумерных поперечных сечений, поэтому определение третьего измерения относится к компетенции количественной стереологии. [121] В связи с этим, типы данных и наиболее перспективные подходы компьютерной верификации для определения трёхмерной структуры по двумерным изображениям остаются открытыми вопросами в методах компьютерной верификации/машинного обучения в микроструктурной науке.
CV/ML для связей «Обработка–Структура–Свойства»
Основная цель микроструктурного анализа — выявление взаимосвязей между обработкой, микроструктурой и свойствами (PSP) для систем, представляющих научный и технологический интерес. Хотя применение систем CV/ML к задачам PSP выходит за рамки данного обзора, следует отметить, что это активно развивающаяся область исследований. Например, чтобы установить связь между обработкой и структурой, в исследованиях CV/ML были изучены базы данных микрографий для корреляции микроструктуры с историей отжига. [34, 122] Аналогичным образом, системы CV/ML применялись для связывания микроструктуры с выходными свойствами, включая горячую точку напряжения [123, 124] и образование повреждений, [98] начало разрушения при усталости, [125] энергию разрушения, [93] ионную проводимость, [100] и усталостную прочность. [122] Используя способность сверточных нейронных сетей генерировать структуры, несколько недавних исследований также достигли успехов в направлении обратной задачи проектирования микроструктур с целевыми свойствами. [122, 126] Ограничивающими факторами при создании надежных соединений PSP является нехватка больших наборов данных, которые связывают определенные микроструктурные изображения с историей обработки и/или результатами свойств, а также необходимость фиксировать ограничивающие свойства особенности, которые часто являются трехмерными, на двухмерных микрофотографиях.
Интерпретируемость: открытие черного ящика
Ученые и инженеры могут не решаться полагаться на алгоритмы «черного ящика», где основа для решения или прогноза неизвестна. [127] Хотя это может не быть существенным соображением для инструментов характеризации, таких как семантическая сегментация, где производительность можно оценить напрямую (и где человеческая версия также не особенно интерпретируема), это критически важно для аналитических задач, где необходимо понимание основы для достижения вывода, например, для установления связей PSP. То, как системы CV «черного ящика» принимают решения, является важным открытым вопросом в компьютерной науке со множеством частичных решений, но ни одно из них не является общеприменимым для всех наборов данных и методов. Подходы включают в себя связывание характеристик вектора признаков с длиной микроструктуры, [74] изучение активаций фильтров и характерных текстур, [74] и определение области изображения, наиболее важной для принятия решений. [128] Чтобы извлечь абстрактную научную информацию из конкретной визуальной информации, критическим шагом является выявление визуальных сигнатур основных физических процессов. Обнаружение этой сигнатуры в векторе признаков и того, как она обрабатывается в конвейере CV/ML, является важнейшей задачей в микроструктурной характеризации и анализе с использованием ИИ.
Пять важных выводов
Количественное представление микроструктуры является основополагающим инструментом микроструктурной науки, связывающим структуру материалов с их составом, историей процесса и свойствами. Традиционно, для количественной оценки микроструктуры человек априори решает , что именно измерять, а затем разрабатывает специализированный метод для этого. Однако последние достижения в области науки о данных, включая компьютерное зрение (КЗ) и машинное обучение (МО), предлагают новые подходы к извлечению информации из микроструктурных изображений.
Ключевая функция компьютерной верификации (CV) — численное кодирование визуальной информации, содержащейся в микроструктурном изображении, в вектор признаков. Этот вектор признаков затем используется в качестве входных данных для алгоритмов машинного обучения (ML), которые находят ассоциации и тенденции в многомерном представлении изображения. Системы CV/ML для микроструктурной характеризации и анализа охватывают таксономию задач анализа изображений, включая классификацию изображений, семантическую сегментацию, обнаружение объектов и сегментацию экземпляров. Области применения:
- Визуальный поиск, сортировка и классификация микрографий по сходству векторов признаков.
- Извлечение информации, не видимой человеку, например, химического состава на микрофотографиях, полученных с помощью СЭМ, путем использования скрытой информации в векторе признаков.
- Выполнение семантической сегментации микроструктурных компонентов с высокой точностью и суждением, близким к человеческому, о том, что следует искать, а что игнорировать.
- Объединение сегментаций на основе различных типов признаков для сегментации сложных структур.
- Поиск и ограничение всех экземпляров отдельных объектов, даже если они накладываются друг на друга и перекрываются.
- Сегментация отдельных объектов для расширения возможностей микроструктурного анализа изображений.
Общей чертой всех этих приложений является то, что они используют способность вычислительных систем выдавать точные, автономные, объективные и воспроизводимые результаты, обеспечивая их постоянную доступность и неутомимость. Эти инструменты открывают новые подходы к микроструктурному анализу, включая разработку новых, содержательных визуальных метрик и выявление взаимосвязей между обработкой, микроструктурой и свойствами.
Литература
- C. S. Smith: A History of Metallography: The Development of Ideas on the Structure of Metals before 1890. (MIT Press, Cambridge, MA, 1988), pp. 1-314.
- H. C. Sorby, J. Iron and Steel Institute 1887, vol. 37, pp. 255-288.
- G. F. Vander-Voort, Standardization News 1991, vol. 19, pp. 42-47.
- University of Cambridge DoITPoMS: Micrograph Library (2004–2013), Accessed 9 Aug 2020.
- B.L. DeCost, M. D. Hecht, T. Francis, Y. N. Picard, B. A. Webler and E. A. Holm, Integr. Mater. Manuf. Innov. 2017, vol. 6, pp. 197-205.
- G. F. Vander-Voort: Metallography: Principles and Practice (ASM International, Metals Park, OH, 1999), pp. 1-752.
- E. E. Underwood: Quantitative Stereology. (Addison-Wesley, New York, 1970), pp. 1-274.
- D. Dingley, J. Microscopy 2004, vol. 213, pp. 214-224.
- H. F. Poulsen, S. F. Nielsen, E. M. Lauridsen, S. Schmidt, R. M. Suter, U. Lienert, L. Margulies, T. Lorentzen and D. Juul-Jensen, Journal of Applied Crystallography 2001, vol. 34, pp. 751-756.
- E. O. Hall, Phys. Soc. Lond. 1951, vol. 64, pp. 747-753.
- N. J. Petch, J. Iron Steel Inst. 1953, vol. 174, pp. 25-28.
- Min-nan Feng, Yu-cong Wang, Hao Wang, Guo-quan Liu and Wei-hua Xue, International Journal of Minerals, Metallurgy, and Materials 2017, vol. 24, pp. 257-263.
- J. J. Friel, E. B. Prestridge, and F. Glazer, in MiCon 90: Advances in Video Technology for Microstructural Control, G. Vander Voort, ed., ASTM International: Philadelphia, PA, 1991, pp. 170–184.
- Richard Szeliski: Computer vision: algorithms and applications. (Springer, New York, 2010), pp. 1-812.
- Satoshi Yoshinaga, Atsushi Shimada and Rin-ichiro Taniguchi, Procedia – Social and Behavioral Sciences 2010, vol. 2, pp. 143-152.
- A. P. Carleer, Olivier Debeir and Eléonore Wolff, Photogrammetric Engineering & Remote Sensing 2005, vol. 71, pp. 1285-1294.
- P. Flach: Machine Learning: The Art and Science of Algorithms that Make Sense of Data. (Cambridge University Press, Cambridge, UK, 2012), pp. 1-409.
- O. B. Abouelatta, J.Amer. Sci. 2013, vol. 9, pp. 213-223.
- A. Cecen, T. Fast, E. C. Kumbur and S. R. Kalidindi, Journal of Power Sources 2014, vol. 245, pp. 144-153.
- Aritra Chowdhury, Elizabeth Kautz, B¸lent Yener and Daniel Lewis, Comput. Mater. Sci. 2016, vol. 123, pp. 176-187.
- V.H.C. De-Albuquerque, P.C. Cortez, A.R. De-Alexandria, J.M.R.S. Tavares, Nondestruct. Test. Eval. 2008, vol. 23, pp. 273-283.
- S. R. Kalidindi and D. T. Fullwood, Jom 2007, vol. 59, pp. 26-31.
- S. R. Kalidindi, S. R. Niezgoda and A. A. Salem, Jom 2011, vol. 63, pp. 34-41.
- A. C. Lewis, C. Suh, M. Stukowski, A. B. Geltmacher, G. Spanos and K. Rajan, JOM 2006, vol. 58, pp. 52-56.
- S. R. Niezgoda, D. T. Fullwood and S. R. Kalidindi, Acta Materialia 2008, vol. 56, pp. 5285-5292.
- S. R. Niezgoda and S. R. Kalidindi, CMC-Comput. Mat. Contin. 2009, vol. 14, pp. 79-97.
- S.R. Niezgoda, S.R. Kalidindi, X. Hu, G.A. Cingara, D.S. Wilkinson, M. Jain, P. Wu, R.K. Mishra, M. Arafin, J. Szpunar, Comput. Mater. Continua, 2010, vol. 14, pp. 79-98.
- S.R. Niezgoda, A.K. Kanjarla, S.R. Kalidindi, Integr. Mater. Manuf. Innov. 2013, vol. 2, pp. 1-27.
- S. R. Niezgoda, Y. C. Yabansu and S. R. Kalidindi, Acta Materialia 2011, vol. 59, pp. 6387-6400.
- G. Saheli, H. Garmestani and B. L. Adams, J. Comput-Aided Mater. Des. 2004, vol. 11, pp. 103-115.
- J. P. Simmons, P. Chuang, M. Comer, J. E. Spowart, M. D. Uchic and M. De-Graef, Modell. Simul. Mater. Sci. Eng. 2009, vol. 17, pp. 0250021-02500222.
- A. Velichko, C. Holzapfel, A. Siefers, K. Schladitz and F. Mucklich, Acta Materialia 2008, vol. 56, pp. 1981-1990.
- B.L. Decost, Materials Science and Engineering (Carnegie Mellon University, Pittsburgh, PA, 2016), pp. 1-169.
- B.L. DeCost, T. Francis and E.A. Holm, Acta Mater. 2017, vol. 133, pp. 30-40.
- B.L. DeCost and E. Holm, Comput. Mater. Sci. 2017, vol. 126, pp. 438-445.
- B.L. DeCost and E. Holm, in Statistical Methods for Materials Science: Data Analytics in Microstructure Characterization, J. Simmons, C. Bouman, L. Drummy, and M. de Graef, ed., CRC Press, Boca Raton, FL, 2017, pp. 73–93.
- Brian L. DeCost and Elizabeth A. Holm, Comput. Mater. Sci. 2015, vol. 110, pp. 126-133.
- B.L. DeCost, H. Jain, E. Holm, A. Rollett, JOM 2017, vol. 69, pp. 456-465.
- Dana H Ballard, Pattern recognition 1981, vol. 13, pp. 111-122.
- A. Bansal, X. Chen, B. Russell, A. Gupta, and D. Ramanan, arXiv preprint arXiv:1702.06506 [cs.CV], 2016, pp. 1-17.
- X. Chen, A. Shrivastava, and A. Gupta, 2013 IEEE International Conference on Computer Vision (ICCV), 2013, pp. 1409–16.
- Mary Comer, Charles A. Bouman, Marc De Graef and Jeff P. Simmons, Jom 2011, vol. 63, pp. 55-57.
- N. Dalal and B. Triggs, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 (CVPR), (2005), pp. 886–93.
- P.F. Felzenszwalb, R.B. Girshick, D. McAllester, and D. Ramanan, IEEE Trans. Pattern Anal. Mach. Intell., 2010, vol. 32, pp. 1627-1645.
- R. Girdhar, D. Ramanan, A. Gupta, J. Sivic, and B. Russell, arXiv arXiv:1704.02895, 2017.
- C. Harris and M. Stephens, Proceedings of the Fourth Alvey Vision Conference (Machester, UK), 1988, pp. 147–151.
- Yu-Gang Jiang, Jun Yang, Chong-Wah Ngo and Alexander G. Hauptmann, Ieee Transactions on Multimedia 2010, vol. 12, pp. 42-53.
- T.-Y. Lin, A. RoyChowdhury, and S. Maji, Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 1449–57.
- D.G. Lowe, Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, pp. 1150–57.
- D.G. Lowe, International Journal of Computer Vision, 2004, vol. 60, pp. 91-110.
- Aude Oliva and Antonio Torralba, Progress in brain research 2006, vol. 155, pp. 23-36.
- H. Peng, F. Long and C. Ding, Ieee Transactions on Pattern Analysis and Machine Intelligence 2005, vol. 27, pp. 1226-1238.
- Florent Perronnin, Ieee Transactions on Pattern Analysis and Machine Intelligence 2008, vol. 30, pp. 1243-1256.
- Pedro Quelhas, Florent Monay, Jean-Marc Odobez, Daniel Gatica-Perez and Tinne Tuytelaars, Ieee Transactions on Pattern Analysis and Machine Intelligence 2007, vol. 29, pp. 1575-1589.
- F.S. Khan, R.M. Anwer, J. van de Weijer, A.D. Bagdanov, M. Vanrell, and A.M. Lopez, 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012, pp. 3306–13.
- J.C. van Gemert, C.J. Veenman, A.W.M. Smeulders, and J.-M. Geusebroek, IEEE Trans. Pattern Anal. Mach. Intell. 2010, vol. 32, pp. 1271-1283.
- Jianguo Zhang, Marcin Marszalek, Svetlana Lazebnik and Cordelia Schmid, International journal of computer vision 2007, vol. 73, pp. 213-238.
- Jing Li and Nigel M. Allinson, Neurocomputing 2008, vol. 71, pp. 1771-1787.
- G. Csurka, C. R. Dance, L. Fan, J. Willamowski, and C. Bray, Workshop on Statistical Learning in Computer Vision, ECCV, 2004, vol. 1, pp. 1–16.
- J. Sivic and A. Zisserman, Proceedings Ninth IEEE International Conference on Computer Vision, 2003, pp. 1470–77.
- Thiago S. Guzella and Walmir M. Caminhas, Expert Systems with Applications 2009, vol. 36, pp. 10206-10222.
- H. Jégou, M. Douze, C. Schmid, and P. Pérez, 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010, pp. 3304–11.
- R.M. Cichy, A. Khosla, D. Pantazis, A. Torralba, and A. Oliva, Sci. Rep. 2016, vol. 6, pp. 277551–2775513.
- M.D. Zeiler, G.W. Taylor, and R. Fergus, 2011 International Conference on Computer Vision, 2011, pp. 2018–25.
- K. Simonyan and A. Zisserman, International Conference on Learning Representations 2015, 2015, arXiv:1409.1556, pp. 1–14.
- A. Krizhevsky, I. Sutskever, and G. E. Hinton, Proceedings of the 25th International Conference on Neural Information Processing Systems – Volume 1, Curran Associates Inc., Lake Tahoe, Nevada, 2012, pp. 1097–1105.
- A. Jalalian, S.B.T. Mashohor, H.R. Mahmud, M. Iqbal, B. Saripan, A. Rahman, B. Ramli, and B. Karasfi, Clin. Imaging 2013, vol. 37, pp. 420-426.
- I. Goodfellow, Y. Bengio and A. Courville: Deep Learning (MIT Press, Cambridge, MA, 2016), pp. 1-800.
- Yann LeCun, Yoshua Bengio and Geoffrey Hinton, Nature 2015, vol. 521, pp. 436-444.
- J. Schmidhuber, Neural Networks 2015, vol. 61, pp. 85-117.
- Yanming Guo, Yu Liu, Ard Oerlemans, Songyang Lao, Song Wu and Michael S. Lew, Neurocomputing 2015, vol. 187, pp. 27-48.
- O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. Berg, and L. Fei-Fei, Int. J. Comput. Vis., 2015, vol. 115, pp. 211-252.
- Hervé Abdi and Lynne J. Williams, Wiley Interdisciplinary Reviews: Computational Statistics 2010, vol. 2, pp. 433-459.
- J. Ling, M. Hutchinson, E. Antono, Brian L. DeCost, E. Holm and B. Meredig, Mater. Discov., 2017, arXiv:1711.00404.
- Bharath Hariharan, Jitendra Malik and Deva Ramanan, In Computer Vision–ECCV 2012, (Springer: New York, 2012), pp. 459-472.
- D.P. Kingma and M. Welling, arXiv:1312.6114 [stat.ML], 2013.
- I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farly, S. Ozair, A. Courville, and Y. Bengio, Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014), 2014, pp. 2672–80.
- Z. Yang, X. Li, L.C. Brinson, A.N. Choudhary, W. Chen and A. Agrawal, J. Mech. Des. 2018, vol. 140, 110301.
- S. Chun, S. Roy, Y. T. Nguyen, J.B. Choi, H. S. Udaykumar and S.S. Baek, Sci. Rep. 2020, vol. 10, pp. 13307-13307.
- A. Gayon-Lombardo, L. Mosser, N.P. Brandon, and S.J. Cooper, NPJ Comput. Mater., 2020, vol. 6, p. 82.
- Honggang Chen, Xiaohai He, Qizhi Teng, Raymond E. Sheriff, Junxi Feng and Shuhua Xiong, Physical Review E 2020, vol. 101, p. 023305.
- T. M. Mitchell: Machine Learning. (McGraw-Hill, New York, 1997), pp. 1-414.
- C. Cortes and V. Vapnik, Machine Learning 1995, vol. 20, pp. 273-297.
- Bernhard Scholkopf and Alexander J. Smola: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. (MIT Press, Cambridge, MA, 2001), pp. 1-632.
- Andy Liaw and Matthew Wiener, R News 2002, vol. 2/3, pp. 18-22.
- A. Mangal and E. A. Holm, Integrated Materials and Manufacturing Innovation 2018, vol. 7, pp. 87-95.
- S. Lloyd, IEEE Transactions on Information Theory 1982, vol. 28, pp. 129-137.
- L. van der Maaten, E. Postma, and H. Herik, J. Mach. Learn. Res. JMLR 2007, vol. 10, 301-348.
- G. Hinton and S. Roweis, Proceedings of Advances in Neural Information Processing Systems, 2002, vol. 15, pp. 833–841.
- L. van der Maaten and G. Hinton, J. Mach. Learn. Res, 2008, vol. 9, pp. 2579-2605.
- L. Perez and J. Wang, arXiv, arXiv:1712.04621 [cs.CV], 2017.
- Connor Shorten and Taghi M. Khoshgoftaar, Journal of Big Data 2019, vol. 6, p. 60.
- A. R. Kitahara and E. A. Holm, Integrated Materials and Manufacturing Innovation 2018, vol. 7, pp. 148-156.
- J. Masci, U. Meier, D. Ciresan, J. Schmidhuber, and G. Fricout, The 2012 International Joint Conference on Neural Networks (IJCNN), 2012, pp. 1–6.
- W. Li, K.G. Field, and D. Morgan, NPJ Comput. Mater., 2018, vol. 4, p. 36.
- S.M. Azimi, D. Britz, M. Engstler, M. Fritz, and F. Mücklich, Sci. Rep., 2018, vol. 8, p. 2128.
- J. Madsen, P. Liu, J. Kling, J.B. Wagner, T.W. Hansen, O. Winther, and J. Schiøtz, Adv. Theory Simul., 2018, vol. 1, p. 1800037.
- Carl Kusche, Tom Reclik, Martina Freund, Talal Al-Samman, Ulrich Kerzel and Sandra Korte-Kerzel, PLOS ONE 2019, vol. 14, p. e0216493.
- S.J. Plimpton, A. Thompson, and A. Slepoy, SPPARKS Kinetic Monte Carlo Simulator, Sandia National Laboratories, 2009, Accessed 9 Aug 2020.
- Ruho Kondo, Shunsuke Yamakawa, Yumi Masuoka, Shin Tajima and Ryoji Asahi, Acta Materialia 2017, vol. 141, pp. 29-38.
- S. Lathuiliére, P. Mesejo, X. Alameda-Pineda and R. Horaud, IEEE Trans. Pattern Anal. Mach. Intell., 2019, 36, pp. 1.
- ASTM: E112-13 Standard Test Methods for Determining Average Grain Size, ASTM International, West Conshohocken, PA, 2013, pp. 1–28.
- H. V. Atkinson and G. Shi, Progress in Materials Science 2003, vol. 48, pp. 457-520.
- C.A. Schneider, W.S. Rasband and K.W. Eliceiri, Nature Methods 2012, vol. 9, pp. 671-675.
- Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Pablo Martinez-Gonzalez and Jose Garcia-Rodriguez, Applied Soft Computing 2018, vol. 70, pp. 41-65.
- B.L. DeCost, T. Francis, and E.A. Holm, Microsc. Microanal., 2019, vol. 25, pp. 21-29.
- Tiberiu Stan, Zachary Thompson and Peter Voorhees, Materials Characterization 2020, vol. 160, p. 110119.
- S. Sulzer, Z. Li, S. Zaefferer, M. H. Haghighat, A. Wilkinson, D. Raabe, and R. Reed, Acta Mater., 2020, vol. 185, pp. 13-27.
- O. Ronneberger, P. Fischer, and T. Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation. Springer, Cham, 2015, pp. 234-241.
- J. Cousty, G. Bertrand, L. Najman and M. Couprie, IEEE Transactions on Pattern Analysis and Machine Intelligence 2009, vol. 31, pp. 1362-1374.
- Christophe Fiorio and Jens Gustedt, Theoretical Computer Science 1996, vol. 154, pp. 165-181.
- Kesheng Wu, Ekow Otoo and Kenji Suzuki, Pattern Analysis and Applications 2009, vol. 12, pp. 117-135.
- Li Liu, Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu and Matti Pietikäinen, International Journal of Computer Vision 2020, vol. 128, pp. 261-318.
- S. Ren, K. He, R. Girshick and J. Sun, IEEE Transactions on Pattern Analysis and Machine Intelligence 2017, vol. 39, pp. 1137-1149.
- T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. Lawrence Zitnick, European Conference on Computer vision ECCV 2014, 2014, pp. 740–55.
- I. Anderson, Personal communication, 2019.
- K. He, G. Gkioxari, P. Dollár, and R. Girshick, 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980–88.
- A. Strondl, O. Lyckfeldt, H. Brodin and U. Ackelid, JOM 2015, vol. 67, pp. 549-554.
- Nicholas Lubbers, Turab Lookman and Kipton Barros, Physical Review E 2017, vol. 96, p. 052111.
- X. Han, H. Laga and M. Bennamoun, IEEE Trans. Pattern Anal. Mach. Intell., 2019, 40, 1224–44.
- E.E. Underwood, in Microstructural Analysis: Tools and Techniques, J.L. McCall and W.M. Mueller, ed., Springer, Boston, MA, 1973, pp. 35–66.
- R. Noraas, N. Somanath, M. Giering, and O.O. Olusegun, AIAA Scitech 2019 Forum.
- A. Mangal and E. A. Holm, International Journal of Plasticity 2018, vol. 111, pp. 122-134.
- Ankita Mangal and Elizabeth A. Holm, International Journal of Plasticity 2019, vol. 114, pp. 1-14.
- C. Kantzos, J. Lao and A. Rollett, Materials Characterization 2019, vol. 158, p. 109961.
- H. Xu, R. Liu, A. Choudhary, and W. Chen, J. Mech. Des., 2015, vol. 137, 050301.
- E. Holm, Science 2019, vol. 363, pp. 3-4.
- R.C. Fong and A. Vedaldi, 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 3449–57.
Авторы: Elizabeth A. Holm, Ryan Cohn, Nan Gao, Andrew R. Kitahara, Thomas P. Matson, Bo Lei & Srujana Rao Yarasi