Машинное зрение для обнаружения раковых клеток в гистопатологии

ЗАКАЗАТЬ СИСТЕМУ

В последние годы, с быстрым развитием искусственного интеллекта, технологии машинного зрения широко используются в различных областях. Традиционные методы обнаружения рака требуют много времени, трудоёмки и сильно зависят от опыта патологов; поэтому эти методы не могут удовлетворить потребности современного медицинского лечения. Машинное зрение преодолевает недостатки традиционных методов обнаружения рака и может помочь патологоанатам повысить точность обнаружения. В соответствии с требованиями медицинского обнаружения данный обзор суммирует применение машинного зрения в обнаружении раковых клеток на гистопатологических изображениях и анализирует преимущества и недостатки существующих методов в предварительной обработке, сегментации, выделении признаков и распознавании. Наконец, рассматриваются и рассматриваются исследования методов обнаружения гистопатологических раковых клеток, а будущие тенденции развития прогнозируются для дальнейших исследований.

ВВЕДЕНИЕ

В настоящее время быстрый рост заболеваемости раком стал одной из основных причин смертности во всём мире [1]. Согласно статистике рака, в 2018 году было зарегистрировано 18,1 миллиона новых подтверждённых случаев рака и 9,6 миллиона смертей от рака. Рак легких, женский рак молочной железы, предстательной железы и колоректальный рак — самые распространённые диагнозы рака. Самые высокие показатели смертности были при раке лёгких, колоректальном раке, раке желудка и печени [2]. В 2020 году рак молочной железы вытеснил рак лёгких как самый диагностируемый вид рака в мире; а рак молочной железы, лёгких, печени, желудка и толстой кишки стали пятью основными причинами смерти от рака [3]. Рак стал одной из причин смерти, которую нельзя игнорировать во всём мире, независимо от уровня человеческого развития. Рисунок 1 показывает прогноз числа новых случаев рака и смертей в период с 2020 по 2040 год. Если пациентов с раком можно найти на ранней стадии, уровень излечения может достичь 80%, что является авторитетным выводом Всемирной организации здравоохранения [4]. В целом, рак — это заболевание, вызванное мутациями клеток. Рак обнаруживается на основе клеток, поэтому обнаружение клеток особенно важно [5], [6].

Цель обнаружения клеток — определить, есть ли в входном изображении конкретные типы клеток, а также их выявить и локализовать [7]. В клеточном обнаружении изучение гистопатологических изображений считается золотым стандартом диагностики и градуировки рака [8]. Одним из главных преимуществ гистопатологических изображений является их великолепие, которое значительно влияет на анализ изображений тканей. Чем выше увеличение, тем лучше можно визуализировать детали. Рисунок 2 показывает непрерывное увеличение гистопатологических образцов простаты, а также более детальные детали клеток видно слева направо [9]. Окрашивание гематоксилином и эозином (H&E) является самым часто используемым методом окрашивания светового микроскопа в гистопатологических лабораториях [10].

РИСУНОК 1. Оценка новых и смертных случаев всех типов рака по всему миру в период с 2020 по 2040 год.

РИСУНОК 2. Увеличенное окрашенное изображение ткани простаты.

В традиционных гистопатологических исследованиях патологоанатом использует глаза, чтобы напрямую наблюдать, есть ли раковые клетки в образце ткани. Традиционный метод требует много времени и требует труда. Кроме того, традиционные методы обнаружения являются подъемными и не имеют количественных параметров признаков в качестве ориентира, что приводит к разной точности распознавания. Исследователи в области анализа изображений и патологии признали важность количественного анализа патологических изображений. Поэтому эффективный, стабильный и точный количественный анализ, обнаружение и идентификация клеточных изображений стали основой исследовательской работы [11], [12]. В последние годы методы обнаружения, основанные на машинном видении, в значительной степени преодолели недостатки традиционных патологических методов обнаружения.

Машинное зрение — это метод извлечения полезной информации из изображений реальных объектов с помощью оптических компонентов, визуальных сенсоров и цифровых технологий. Проще говоря, машинное зрение использует машины вместо человеческих глаз для измерение и суждение [13]. На рисунке 3 показана система обнаружения машинного зрения, которая в основном включает получение изображений, предварительную обработку, сегментацию изображений, извлечение признаков и классификацию и распознавание [11]. Получение изображений — это процесс получения цифровых изображений с помощью оптического системного картирования, а затем получения наблюдаемых данных человека посредством последующей обработки собранных изображений компьютером. Модуль предварительной обработки изображений в основном включает снятие шума, улучшение изображения, нормализацию цвета и другие этапы.

При предварительной обработке изображений, из-за влияния полевой среды, фотоэлектрического преобразования ПЗС-изображений, цепи передачи и электронных компонентов, изображения содержат шум, что снижает качество изображений и негативно влияет на обработку и анализ изображений [14]. Кроме того, такие факторы, как химические субстанции и условия окружающей среды, вызывают изменения информации о окрашивании патологических изображений, вызывая ненужные проблемы [15]. После предварительной обработки изображения становятся чётче, что усиливает эффект распознавания изображений и способствует дальнейшей сегментации цели.

Цель сегментации изображения — извлечь область интереса из изображения. Наиболее часто используемые методы включают метод порогов, метод активного контура, метод кластеризации, метод водосборного бассейна и метод нейронных сетей. Основное различие в структуре клеток между нормальными и аномальными клетками следующее. Нормальные клетки имеют точные формы и размеры, а аномальные клетки не имеют чётких границ, как обычные клетки [16]. Поэтому гистопатологическое разделение изображений в основном сегментирует контуры тела клетки, ядра и цитоплазмы.

Извлечение признаков изображения извлекает выражения, которые могут описывать характеристики цели из изображения и отображать высокомерное пространство признаков в низкомерное пространство признаков, что способствует распознаванию последующих изображений [17]. Распространённые методы извлечения гистопатологических признаков изображения включают текстурные особенности, формы, цветовые особенности и другие. Из-за различий в структуре тканей и форме клеток наиболее широко используемыми методами являются особенности текстуры и формы.

В процессе извлечения признаков одна признак не может обеспечить хороший эффект распознавания. Многие исследователи используют метод объединения нескольких признаков для извлечения признаков для достижения лучших результатов распознавания. Как последний этап распознавания изображений, классификация очень важна. Точность и стабильность классификации зависят не только от производительности самого классификатора, но и от выбора подходящих методов извлечения признаков [18].

Машинное зрение — это быстрорастущая область, которая предоставляет такие преимущества, как дистанционная диагностика и анализ изображений, что повышает эффективность процессов принятия решений. Применение методов обнаружения раковых клеток на основе машинного зрения для прогнозирования и оценки риска заболеваний растёт, и это место стало горячей точкой исследований [19], [20]. Существует множество исследований по машинному зрению в обнаружении раковых клеток [21]–[23], которые способствуют развитию последующего обнаружения раковых клеток. Митотическая активность раковых клеток является одним из самых решающих признаков развития рака [24].

РИСУНОК 3. Система обнаружения раковых клеток машинного зрения в гистопатологии.

Многие исследования выявили патологические образы митоза [25], [26]. Существует несколько ключевых задач при обнаружении и локализации раковых клеток: (1) Значительные изменения формы клеток. (2) Гистопатологические изображения могут содержать очень сложные клеточные структуры в беспорядке, что затрудняет обнаружение раковых клеток. (3) Изображения клеток обладают высокой вариативностью, такой как перекрывающиеся клетки, пыль, примеси и неравномерное освещение. Поэтому надёжная сегментация ядерных изображений по-прежнему остаётся сложной задачей [27].

Гистопатологическое обнаружение изображений на основе машинного зрения обладает преимуществами высокой эффективности работы и низкой интенсивностью работы. Поэтому в этом исследовании был проведен всесторонний обзор методов машинного зрения, используемых для обнаружения гистопатологических изображений. Обнаружение изображений делится на следующие процессы: предобработка изображений, разделение изображения, извлечение признаков изображения и распознавание изображений. Эти процессы анализа обычно применимы ко всем режимам визуализации.

Первый раздел этой статьи посвящен применению и прогрессу машинного зрения в обнаружении клеток. В двух разделах обобщаются, анализируются и обсуждаются этапы гистопатологической обработки изображений, нормализации цвета и улучшения изображения. В трём разделах мы обсудили последние достижения в гистопатологической сегментации изображений и проанализировали преимущества и недостатки различных методов сегментации. Четвёртый раздел конкретно рассматривает основные методы извлечения гистопатологических признаков изображений.

В пятом разделе мы обобщаем преимущества и недостатки классификаторов и их применения в обнаружении раковых клеток. В разделе 6 обсуждаются проблемы алгоритма обнаружения раковых клеток в гистопатологических изображениях. Наконец, некоторые потенциальные проблемы и направления развития в будущем

ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ

Во время процесса получения изображения, из-за помех, возникающих самим изображением или введённых снаружи, полезная информация в изображении будет перегружена или потеряна при последующей обработке, что влияет на последующий процесс. Поэтому предварительная обработка изображения — необходимый процесс, который может улучшить качество изображения, выделить свет и усилить интересующую часть, а также подавить ненужную информацию. Гистопатологическая предобработка изображений в основном включает улучшение изображения и нормализацию цвета.

УЛУЧШЕНИЕ ИЗОБРАЖЕНИЯ

Улучшение изображения усиливает общие или локальные особенности изображения, а его цель — улучшить проблемы с качеством изображения, вызванные объективными факторами, такими как иллюминация света, передача сигнала и среда коллекции. Алгоритмы улучшения изображений включают трансформацию в оттенках серого, эквализацию гистограмм и алгоритмы фильтрации. Большинство алгоритмов фильтрации обрабатываются в пространственной и частотной областях. Интервенционные исследования с участием животных или людей, а также другие исследования, требующие этического одобрения, должны указывать орган, предоставивший одобрение, и соответствующий кодекс этического одобрения.

Mouelhi и др.[28] использовал эквализацию серой гистограммы для усиления контраста и устранения фона изображения ткани груди. Асвати и др.[16] Внедрил метод адаптивной гистограммы с ограниченным контрастом, который улучшил контрастность входного изображения за счёт изменения значения насыщенности оттенков изображения ткани груди.

ТАБЛИЦА 1. Гистопатологическое улучшение изображения.

Логомбал и др. [4] использовал медианный фильтр для удаления шума, возникающего в процессе окрашивания изображений грудных тканей, и сохранял край при удалении шума. Клечек и Коваль и др.[10], [29] применял гауссов фильтр для небольшого сглаживания входного RGB-изображения, что могло уменьшить влияние CCD-шума. Öztürk и др.[30] был направлен на проблемы низкого контраста, неравномерного цвета и шума в гистопатологических изображениях, преобразовал изображение из RGB-цветового пространства в HSV-цветовое пространство и использовал фильтр Винера для удаления шума из вертической компоненты с целью повышения чёткости ячеек. Сертель и др.[31] применял анизотропную диффузию к гладким относительно неровным областям, сохраняя при этом важную информацию о краях.

Кроме того, Камель и др.[32] предложили совпадающие фильтры для выравнивания фона региональных фолликулов (внутри фолликулярной области). По сравнению с традиционным гауссовым плоским фильтром и анизотропной диффузией, новизна совпадающего фильтра заключалась в его способности сглаживать шум и заранее сохранять контуры изображения. Вахадан и др.[33] использовал гауссовское сглаживание для удаления высокочастотного шума, а также применял морфологическую фильтрацию (открытую работу) для улучшения изображения.

Он улучшает сегментацию и плохое окрашивание различных ядер, а также дополнительно сглаживает высокоинтенсивный задний и низкоинтенсивный передний план, сохраняя при этом информацию о структуре и краях. Ван и Гуркан и др.[27], [34] использовали преобразование «шляпа» сверху вниз для усиления соотношения между ядром и другими областями, как показано на рис. 4. Мохаммед и др. [35] применял морфологические мет-оды для удаления шума, создаваемого порогом изображения лимфоцитов и шагом обнаружения краёв Canny.

Дандар и др.[36] внедрили динамическую порог сегментации для устранения сине-фиолетовых пикселей с низкой яркостью в гистопатологических изображениях. В итоге, вышеуказанные методы фильтрации кратко изложены в Таблице 1. Алгоритм пространственной фильтрации относительно прост, время работы короче, а эффект резкости очевиден. Алгоритм фильтрации в частотной области сложен, расчёт медленный, существует эффект звонка, а эффект изображения отображается относительно плавно. Пространственная фильтрация также делится на линейную и нелинейную фильтрацию. Линейная фильтрация (Гауссовская фильтрация, Винеровская фильтрация, и согласованная фильтрация) не только устраняет информацию о мутациях в изображении, но и уменьшает определение краёв изображения. Нелинейная фильтрация (медианная фильтрация и анизотропная диффузия) может выделить больше деталей, но это займёт больше времени.

РИСУНОК 4. Морфологическое усиление гистопатологических изображений.

НОРМАЛИЗАЦИЯ ЦВЕТА

Во время подготовки тканевых срезов внешний вид гистологического окрашивания обычно отличается большой вариабельностью, на которую влияет соотношение окрашивающего агента, формы планки и платформы визуализации. Существует значительная разница в цвете, что сильно влияет на точность обработки изображений и возможности количественного анализа. Нормализация цвета — это важный шаг для устранения нежелательных изменений цвета в гистопатологических изображениях [37], что может снизить вариабельность окрашивания и повысить стабильность обработки изображений.

Райнхард и др. [38] предложил метод нормализации гистограммы для устранения нежелательных цветовых смещений изображения, например, преобразования дневного изображения в ночную сцену. Кроме того, Сертель и др.[31] Внедрил метод нормализации гистограммы для нормализации цвета патологических изображений нейробластомы и балансирования цветового распределения слайдов при различных условиях окрашивания. Рабинович и др.[39] предложил метод неотрицательной матричной факторизации (NMF), который может разлагать образцы тканей, окрашенные множеством тканевых красителей. Макенко и др. [40] применил метод разложения сингулярных значений (SVD), который улучшает способность количественного анализа изображений тканей. Однако результаты иногда были непоследовательными, если было три и более красителя.

РИСУНОК 5. Блок-схема нормализации цвета с сохранением структуры.

Хан и др.[41] предложил специфический метод цветовой деволюции (SCD), который снизил количество артефактов изображений и улучшил стабильность алгоритмов анализа тканевых изображений. Вахадан и др.[37] принял новый метод стандартизации цвета с сохранением структуры (SPCN), как показано на рис. 5. Этот метод не только точно отделял исходное изображение от целевого, но и улучшил низкокачественную ткань. Изучите контраст изображения. Чжэн и др.[42] применил новый метод адаптивной цветовой деконволюции (ACD). Этот метод качественно оценивал 500 WSI с уровнем нормализации 0,4%, что эффективно избегало структурных и цветовых артефактов. Он хорошо впечатлялся при внешнем виде различных цветов. Сальви и др.[43] предложил метод адаптивной нормализации цвета (SCAN) для окрашивания цвета, который мог бы улучшить контраст между тканью и фоном без изменения цвета полости и фона, сохраняя при этом локальную область.

В итоге, вышеуказанные несколько мет-одов нормализации цвета количественно сравниваются путём оценки относительной квадратической ошибки (rSE) нормированного изображения (глобального), ядра и матрицы (глобального rSE, ядерного rSE и матричного rSE). Как показано на рис. 6, rSE метода адаптивной нормализации цвета к окрашиванию ниже, чем у других методов, и этот метод обеспечивает отличные результаты в процессе нормализации цвета; однако показатели нормализации гистограммы относительно низкие.

РЕЗЮМЕ

Гистопатологические изображения более сложны, чем другие, поэтому изображения также будут усилены с контрастом и убирают шум. Гистопатологические изображения редко используют процесс удаления шума или усиления контраста. Кроме того, есть исследователи, которые используют порог сегментации для устранения шума и получения хороших результатов. В последние годы из-за

РИСУНОК 6. Количественное сравнение семи продвинутых методов. (rSE global представляет относительную квадратическую ошибку всего изображения, тогда какrSE ядра истрома rSE представляют ошибки ядра и матрицы соответственно).

Гибкость морфологической фильтрационной операции Meth-OD широко применяется для патологического улучшения изображения.

Таблица 2 суммирует вышеупомянутые методы нормализации цвета. Нормализация цвета является ключевой частью патологической предварительной обработки изображений, а оценка карт плотности красителя и цветового появления является основой многих методов стандартизации цвета. Хотя нормализация цвета может уменьшить изменения цветовой разницы из-за окрашивания и других причин, в процессе нормализации цвета структура ткани исходного изображения может претерпевать изменения, что влияет на последующее распознавание изображения. Также стоит изучить влияние нормализации цвета на последующие задачи (сегментация, выделение признаков и классификация) патологического обнаружения изображений.

ТАБЛИЦА 2. Метод нормализации цвета гистопатологических изображений.

РИСУНОК 7. Диаграмма эффективности метода сегментации порога гистопатологического изображения [44].

СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЯ

Сегментация изображения делит изображение на несколько не мешающих областей с разными характеристиками, выделяет интересующую цель и затем точно анализирует эту информацию. Области интереса, сегментированные патологическими изображениями, включают клеточные тела, ядра клетки и цитоплазматические контуры. В настоящее время широко используемые сегментационные методы гистопатологических изображений включают пороговую сегменацию, ACM-сегментацию, кластерную сегментацию, сегментацию водосборных бассейнов и нейронную сеть.

ПОРОГОВАЯ СЕГМЕНТАЦИЯ

Пороговая сегментация — это метод, который устанавливает порог для отделения целевого объекта от фоновой области в зависимости от разницы в значениях серого в каждой позиции изображения, как показано на рис. 7. Поскольку пороговая сегментация простая и эффективная, она широко используется в сегментации изображений. В настоящее время наиболее часто используемые методы гистопатологической сегментации раковых клеток включают метод глобального порога, адаптивного порога, метода локального порога и других.

Лу и Мандал [26] предложили эффективный местный метод для получения полной ядерной площади, при этом основные компоненты в местной круглой зоне были сохранены. Mouelhi и др.[28] извлекли все окрашенные области ядер и перекрывающиеся ядра сегментов на основе адаптивных локальных методов и усовершенствованных морфологических методов. Гуркан и др. [34] использовали комбинацию морфологии и порога гистерезиса для сегментации ядер клеток, со средней точностью сегментации около 90,24%, но некоторые слабо видимые ядра клеток не удалось обнаружить. Филиппчук и др.[45] предложил сегментацию с соответствующим порогом для отделения цели от фона, и результатом этого разделения стал относительно хороший изолированный объект. Однако этот метод трудно отличить ячейки с похожей яркостью. Кроме того, самым популярным методом глобального порога является порог Оцу. Вахадан и др.[33] применял метод порога Оцу для предотвращения артефактов и улучшения его сегментации для гистологических изображений. Коваль и др.[29] Сравнив порог Оцуцу и адаптивный порог, как показано на рис. 8, метод порога Оцу не может быть использован для обнаружения тонких ярких границ между ядрами кластера, и этот метод часто приводил к очень крупным псевдоядерам, состоящим из нескольких реальных ядер.

РИСУНОК 8. Сравнение методов пороговой сегментации [29]. (a)Метод сегментации по порогу Оцу. (b) Метод адаптивной пороговой сегментации.

В итоге, пороговая сегментация подходит для случаев, когда существует сильный контраст между уровнем серого объекта и фоном. Когда окрашивание гистопатологических изображений неравномерно, методы склонны к

пересегментация и недосегментация. Поэтому многие исследователи сочетают пороговую сегментацию с другими методами сегментации для патологической сегментации изображений, чтобы избежать проблем пересегментации и недосегментации.

СЕГМЕНТАЦИЯ АКТИВНОЙ КОНТУРНОЙ МОДЕЛИ (ACM)

ACM — это фреймворк определения объектов, используемый для определения границ объектов. ACM находит область интереса, определяя гладкую кривую вокруг изображения. Модель включает GVF, модель змеи, геодезическую контурную модель и другие.

Малек и др.[46] использовал метод градиентного векторного потока (GVF) для сегментирования цитологических изображений рака молочной железы, и точность описания формы, полученная этим методом в оттенках серого, была выше, чем традиционный метод Снейка. Ян и др.[47] принял цвет ACM для разделения внеклеточной границы, которая обладала высокой вычислительной эффективностью. Геодезический активный контур — очень популярный инструмент сегментации изображений, но он часто очень чувствителен к инициализации модели. При преобразовании цветного изображения в оттенках серого склонны к появлению сломанных краёв и слабых границ. Чтобы решить эту проблему, Сюй и др.[48] предложил ACM на основе цветового градиента для быстрого и точного сегментирования нескольких целей на сверхбольшом изображении, которое имело более явную границу, чем традиционная функция серого градиента.

В итоге, ACM обладает преимуществами простой калькуляции и способностью справляться с топологическими изменениями кривой в процессе деформации. Однако ему не хватает прочности при работе с острыми углами, топологическими изменениями и задачами инициализации. Особое преимущество модели GVF в том, что она не чувствительна к инициализации и может перемещаться в пограничные ямы. Традиционный ACM основан на градиенте серых краёв, что легко приводит к трещинам краёв и слабым границам. Цветовой градиент ACM может находить правильные края ячеек в более широком диапазоне и преодолевать проблемы трещин и слабых краёв.

СЕГМЕНТАЦИЯ КЛАСТЕРИЗАЦИИ

Сегментация кластеризации сегментирует пиксели в пространстве изображения на разные классы или кластеры в соответствии с определенным стандартом и затем получает результаты сегментации для оригинального изображения. Широко используемые алгоритмы кластеризации — это алгоритм кластеризации K-средних, алгоритм кластеризации с сдвигом среднего и алгоритм кластеризации с нечеткими c-средними (FCM). Алгоритмы кластеризации широко используются в гистопатологической сегментации.

Димитропулос и др. [49] использовал метод K-means для отделения ядра от цитоплазмы, но алгоритм основывался на предварительных знаниях о количестве клустеров. Сертель и др.[50] предложил алгоритм сдвига среднего, который не требует предварительного знания количества кластеров и не определяет форму кластеров. Филиппчук и др.[51] предложил усовершенствованный метод семенции на основе FCM, который мог бы решить проблему плохого представления ядер. Даже если есть только

Если на картинке есть мало ядер, можно добиться правильной сегментации. Асвати и др.[16] сравнил три алгоритма сегментации: алгоритм FCM, алгоритм кластеризации K-средних и модель активного контура, а также проанализировал их производительность для определения эффективных метрик для применения в области обнаружения рака молочной железы. Как показано на рис. 9, алгоритм кластеризации K-средних показал лучшие результаты по сегментации ядер клеток, чем другие методы.

РИСУНОК 9. Сравнение производительности различных алгоритмов сегментации кластеризации.

В итоге, кластеризация K-средних — самый популярный алгоритм клюстерирования. Алгоритм быстрый и прост, но необходимо определить количество кластеров, и выбор K обычно нелегко определить. По сравнению с кластеризацией K-средних, метод сдвига среднего не требует выбора количества кластеров, что является огромным преимуществом. Тем не менее, недостаток метода сдвига среднего в том, что выбор размера окна очень важен. По сравнению с жесткой кластеризацией K-means, FCM обеспечивает более гибкие результаты кластеризации.

СЕГМЕНТАЦИЯ ВОДОСБОРОВ

Алгоритм сегментации водораздела — это метод соединения точек с похожими уровнями серого вокруг пикселей в пространстве изображения в конечный контур. Разделение водосборов — это простой и вычислительно эффективный метод сегменации, который является хорошим выбором для многоцелевого сегментирования (например, для ядер на гистологических изображениях).

Дандар и др.[36] Принял гидрологические изображения отдельных клеточных областей рака молочной железы для идентификации отдельных клеток для идентификации отдельных клеток. Аймен и др. [28] разделили кластерные или перекрывающиеся ядра с помощью продвинутого, основанного на алгоритме водосбора. Потому что алгоритм водораздела склонен к чрезмерной сегментации при сегментации гистопатологических изображений. Мохаммед и др. [35] предложил метод, сочетающий алгоритм водосбора и оптимальный порог Оцу. Этот метод уменьшил проблемы пересегменации и несегментации, ингибируя локальный минимум 1%, а максимальная точность — 99,92% — за счёт сегментации ядер лимфоцитов. Однако необходимо использовать контролируемый маркер водосбора, чтобы предотвратить потерю лимфоцитов. Кроме того, Шмитт и др.[52] обнаружил, что итеративный метод голосования на основе оттенков серого был более эффективен, чем метод водораздела в разделении клеток.

РИСУНОК 10. Метод сегментации водосборов [54]. (a) Оригинальное изображение. (b) Классический метод сегментации водосборов.

(в) Метод маркировки формы. (d) Метод сегментации на основе преобразования H-минимумов. (e) Корректировка контуров с использованием параметризованного метода.

Чэн и др.[53] предложил метод разделения агрегированных ядер от изображений клеток флуоресцентного микроскопа, который использовал маркеры формы и функции маркировки в алгоритме водосборного бассейна, и улучшил точность сегментации на 6%-7% по сравнению с предыдущими методами. Юнг и др.[54] предложил метод сегментации водосбора, основанный на преобразовании H-минимумов. Этот метод достигает лучших результатов за счёт сегментирования изображений шейки матки и клеток молочной железы. Рисунок 10 демонстрировал результаты сегментации различных методов водосбора. Метод преобразования H-Minima явно превосходил классический метод водораздела и метод маркировки формы. Метод преобразования H-минимумов мог эффективно решить проблему пилозубца после корректировки контуров методом параметризации.

В итоге, алгоритм водораздела — это очень эффективный алгоритм сегментации изображений. Алгоритм водораздела хорошо влияет на сегментацию нечетких рёбер и может получить полные и непрерывные контуры рёбер. Однако он очень чувствителен к некоторым интерференциям (шуму и тонким серым различиям) на изображениях и легко вызывает пересегментацию под этими интерференциями. Исследователи предложили два метода устранения явления пересегментации.

(1) Ненужная информация о краях удаляется с помощью обсервационной обработки. (2) Улучшенная функция градиента позволяет алгоритму водораздела сегментировать только желаемые цели.

СЕТЬ NEURAL

С развитием технологий глубокого обучения методы нейронных сетей были применены для патологической сегментации изображений. Ван и др.[55] применили сверточные нейронные сети (CNN) для обнаружения митоза на гистопатологических изображениях молочной железы. Эта технология требует очень мало вычислительных ресурсов для быстрого получения точных результатов и может использовать

многослойную модель CNN для дальнейшего повышения точности. Öztürk и др.[56] использовал DCNN для семантического сегментирования различных типов клеток в гистопатологических изображениях. Эксперименты показали, что ошибка обучения этого метода составляет 9,2%. Цуй и др.[57] принял FCNN для сегментации ядер клеток и их границ. Этот метод можно применить к другим биомедицинским задачам сегментации изображений с определённой универсальностью. Чен и др.[58] предложил новую рамочную основу сетевого обучения с глубоким контуром. Этот метод обеспечивал более точное обнаружение и сегментацию. Алом и др.[59] использовал R2U-Net для сегментирования ядер клеток в публичных наборах данных. Эксперименты показали, что метод обладает точной сегментацией и хорошей прочностью, а точность сегментации достигала 92,15%. Позже исследователи объединили работу по сети Unet с другими методами и предложили новые методы. Сальви и др.[60] ввел метод сегментации желез для гистопатологических изображений простаты, смешанный с глубокими сетями (CNN, ResNet34, Unet) и традиционными методами. Этот метод получил 90,16% балла по кубикам. Канг и др.[61] предложил метод ядерной сегментации, основанный на сети Unets и агрегации глубоких слоёв. Экспериментальные результаты показали, что этот метод обладает хорошей обобщаемостью. Кучарски и др.[62] исследовал метод сегментации меланоцитов на основе сверточного автоэнкодера, который показал возможность сегментирования небольшой базы данных правдивых данных с чувствительностью к сегментации 0,76 и специфичностью 0,94.

РЕЗЮМЕ

Таблица 3 показывает сравнение комплексной эффективности алгоритмов сегментации гистопатологических раковых клеток. В последние годы появилось большое количество методов разделения изображений, но точность сегментации этих методов неудовлетворительна и нуждается в улучшении. Пороговая сегментация — самый широко используемый алгоритм сегментации изображений, и ключевой элемент этого метода — выбор порога. Если к выбору порога применяются оптимальные алгоритмы решения, можно значительно повысить точность сегментации. Когда

ТАБЛИЦА 3. Методы гистопатологической сегментации изображений.

Алгоритм сегментации применяется к практическому производству, но всё ещё существуют серьёзные трудности с точностью, реализацией времени и операционностью. В будущем в центре внимания будут исследования алгоритмов с высоким уровнем реального времени сегменации. На сегодняшний день не существует общего метода сегментации изображений, который по-прежнему является направлением будущих исследований.

С быстрым развитием глубокого обучения многие исследователи использовали алгоритмы нейронных сетей для сегментирования гистопатологических изображений. По сравнению с традиционными методами сегментации изображений (пороговая сегментация, активная контурная модель, сегментация водосборных бассейнов и др.), метод сегментации нейронных сетей быстрее и точнее, а также подходит для сложных гистопатологических изображений. Из-за большого объёма вычислений и высокой затраты времени алгоритмов глубокого обучения их влияние необходимо дополнительно проверить.

ИЗВЛЕЧЕНИЕ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ

Извлечение признаков — это метод уменьшения размерности информации о изображении. Также можно понять извлечение признаков

как преобразование полезных символов данных или информации на изображениях в неизображенные представления или описания, такие как ценности, векторы и чтобы компьютер мог понимать изображения. Поскольку изображение обычно большое, необходимо вычислить подмножество признаков мало, и извлечение признаков снижает вычислительную сложность алгоритма классификации [12]. В настоящее время патологическая дополнение признаков изображения в основном включает формы, цветовые особенности, текстуры и другие.

ОСОБЕННОСТИ ФОРМЫ

Особенности формы — самый прямой способ выразить информацию о внешнем виде изображения. Особенности формы не связаны с пикселями изображений, поэтому они не чувствительны к изменениям оттенков серого и яркости изображений. Особенности формы включают контурные и региональные особенности. Распространённые формы гистопатологических изображений — это региональные особенности, которые в основном включают геометрические, моментные и топологические особенности.

Петуши и др.[63] рассматривал среднее расстояние между ближайшими ядерными центроидами в области высокой плотности как возможный признак классификации. Эльсаламони и др.[64] принял геометрические особенности, такие как площадь, выпуклая площадь, периметр, эксцентриситет, целостность и отношение в качестве входных переменных для классификации. Лу и др.[65] предложил метод сочетания региональной эллиптичности и локальных особенностей паттернов для выделения меланоцитов и кандидатных ядерных областей, что обеспечило надёжные параметры для идентификации меланоцитов. Экспериментальные результаты на гистопатологических изображениях кожи показали, что чувствительность этого метода превышает 80%. Кроме того, существует множество методов комбинирования признаков. Ташк и др.[66] предложил алгоритм автоматического обнаружения митотических элементов, основанный на сочетании признаков текстуры и матрицы жесткости, что способствовало получению более надёжной классификации.

В гистопатологических изображениях, поскольку расположение и форма раковых клеток и нормальных клеток сильно меняются, топологические особенности не подвержены геометрическим искажениям изображения и представляют собой глобальный объект, не зависящий от изменений расстояния [67]. Поэтому исследователи используют графические технологии для описания топологических особенностей с помощью изменений в структуре клетки. Как показано на рис. 11(a), мозаика вороного основывалась на расстоянии до точек в определённом подмножестве плоскости, а изображение делилось на разные плоскости и области. Как показано на рис. 11(b), триангуляция делоне была получена путём соединения пар точек на плоскости, так что треугольник, образованный соединением трёх неколлинеарных точек с ребром, то есть был окружён внешней окружностью, в которой не было других точек. На рис. 11(c) минимальное остовное дерево представляло собой связное дерево неориентированных графов, которое соединяет все вершины с ребром наименьшего веса.

РИСУНОК 11. Пространственные особенности расположения образцов, извлечённых из гистопатологических изображений [12]. (а) Вороной мозаика. (b) Триангуляция Делоне. (c) Минимальное охватающее дерево.

В итоге, точность извлечения элементов формы зависит от эффекта сегментации. Для изображений с плохими результатами сегментации параметры формы даже не могут быть извлечены. При извлечении форм неправильных объектов результаты извлечения будут неточными. Раковые клетки имеют неправильные формы, поэтому существует относительно мало исследований по выделению формы, соответствующей раковым клеткам.

ЦВЕТОВЫЕ ОСОБЕННОСТИ

Цветовые признаки — это базовая визуальная и глобальная функция, позволяющая человеку воспринимать и различать разные объекты. Цветовые характеристики очень чувствительны к информации о сером и изменениях яркости изображений. Поскольку патологические изображения требуют окрашивания в процессе получения, для выделения цветовых признаков необходима цветоносная нормализация. Цветовые модели в основном включают HSV, RGB, HSI и другие.

Для получения информации о цвете Рашми и др.[68] окрашивали ядра клеток в тёмно-фиолетовый через H&E, в то время как другие ткани окрашивались в светло-розовый цвет, а затем извлекали цветовые особенности каждого пикселя в цветовых пространствах RGB и LAB. Сюй и др. [48] преобразовал RGB-цветное изображение в цветовое пространство HSV, исключил оттенок и канал насыщения, а также получил серое изображение со скалярной яркостью. Цветовое градиентное представление (рис.12(b)) имеет более очевидную границу, чем корреспондирующий серый градиент (рис.12(a)). Бейнорди и др. [69] Стэн- Дардизировал цветовое распределение каждого компонента ткани, выравнив двумерную гистограмму цветового распределения в модели оттенка-насыщенность-плотность. Конг и др.[70] использовал локальное преобразование Фурье для извлечения цветовой текстуры в каждом пикселе из наиболее дискриминирующего цветового пространства. Этот метод позволил локальным структурным особенностям преобразования Фурье, извлечённым из большинства дискриминантных цветовых пространств, достигать максимального эффекта дискриминации в характеристиках классификации. Сертель и др.[71] ввел новый метод сочетания цвета и текстуры, который сочетал промежуточное представление на основе моделей с низкоуровневыми текстурными элементами для захвата элементов ткани на уровне пикселей. Совокупное пространство объектов повысило точность классификации.

РИСУНОК 12. Сравнение градиента серого и цветового градиента гистопатологического изображения [48].

В заключение, разнообразие цветовых моделей даёт множество вариантов для извлечения цветовых признаков. Гистопатологические изображения обычно окрашивают так, чтобы вызывать явные изменения цвета в раковых клетках, поэтому цветовые характеристики раковых клеток являются весьма важной характеристикой. Цветные изображения имеют

Более полная информация об изображении, чем в оттенках серого, но обработка цветных изображений сложна и занимает много времени, а изображения в оттенках серого обычно обрабатываются.

ОСОБЕННОСТИ ТЕКСТУРЫ

Текстура, независимая от цвета и яркости, является важной особенностью для выражения изображений. Текстурные особенности предоставляют важную информацию о однородности изображения, организации и расположении структуры поверхности, а также об их связи с окружающей средой. Текстурные особенности нечувствительны к изменениям вращения изображения и шуму и являются наиболее широко используемым методом извлечения признаков.

В извлечении текстурных признаков широко используется метод матрици совместного появления серого уровня (GLCM). Метод GLCM основан на статистике двух пикселей с определённым уровнем серого на изображении. Метод GLCM получается статистическим расчётом состояния уровня серого для двух пикселей, расположенных на определённом расстоянии к изображению. Как показано на рис. 13, GLCM (0,0) имеет

одна группа в исходной диаграмме, то есть p (0,0) = 1, тогда как GLCM (1,2) имеет три группы в исходной диаграмме, то есть p (1,2) = 3. GLCM отражает пространственную информацию серого уровня изображения, поэтому используется для обработки текстуры.

Албайрак и др.[24] применял хараликские дескрипторы признаков для извлечения признаков пространственной зависимости и текстурных отношений. Сертель и др.[72] предложил новый метод анализа цветовых текстур, который использовал нелинейное квантование цвета самоорганизующихся карт признаков для модификации метода GLCM. Экспериментальные результаты изображения фолликулярной лимфомы показали, что новый анализ цветовой текстуры был лучше, чем анализ серой текстуры.

Бруно и др. [73] предложил метод выбора признаков, основанный на преобразовании кривой, локальном бинарном паттерне (LBP) и статистическом анализе для получения большей площади при значениях точности кривой ROC и метрик: полученные показатели составляли 91% и 100%. Кроме того, Иршад и др.[74]

Принял масштабно-инвариантное преобразование признаков для создания метода сильного обнаружения митоза. Симсек и др.[75] ввел набор продвинутых текстурных признаков для представления предварительных знаний о пространственной организации, и этот метод не был чувствителен к шуму. Öztürk и др.[30] использовал различные методы извлечения признаков для обнаружения клеток на гистологических изображениях. The

РИСУНОК 13. Матрица совместного возникновения серого уровня.

Алгоритм максимально устойчивой экстремальной области (MSER) показывает лучшие результаты, чем другие алгоритмы, и может обнаруживать множество ячеек и отмечать окружающую обстановку. Производительность алгоритмов извлечения общих признаков показана на рис. 14.

РИСУНОК 14. Сравнение шести широко используемых алгоритмов извлечения признаков.

В итоге, текстурные особенности, извлекаемые GLCM, обладают хорошей способностью различать, но вычисление GLCM занимает много времени. К счастью, исследователи продолжают его совершенствовать. Алгоритм LBP прост в вычислении и может использоваться для обнаружения в реальном времени. Некоторые исследователи комбинируют локальную информацию, выраженную LBP, с другой информацией или алгоритмами, чтобы сформировать совместную величину признаков для получения лучшего эффекта извлечения.

РЕЗЮМЕ

Извлечение признаков — важный этап обработки изображений. Особенности формы, являющиеся разновидностью стабильной информации, не меняются в зависимости от окружающей среды. Однако многие признаки формы описывают только локальные свойства тар-гет, тогда как полное описание цели требует больших вычислительных затрат и ёмкости хранения. В целом, обработка и анализ цветных изображений сложны и занимают много времени для цветовых элементов, поэтому цветные изображения обычно сначала преобразуются в оттенки серого, а затем выполняются с помощью методов обработки в оттенках серого. Текстурные признаки — распространённый метод извлечения признаков гистопатологических изображений. Этот метод обладает высокой устойчивостью к шуму, но чувствителен к освещению и отражению. Среди методов извлечения текстурных признаков GLCM обладает высокой адаптивностью и надёжностью, но не обладает глобальной информацией о изображениях. Кроме того, мы обсуждаем методы извлечения признаков в Таблице 4. Извлечение признаков очень важно для точности распознавания раковых клеток. Особенности гистопатологических изображений, полученных разными методами извлечения признаков, приводят к разной успешности, поэтому выбор подходящих признаков является ключевым фактором для повышения точности распознавания.

ТАБЛИЦА 4. Метод извлечения признаков гистопатологического изображения.

КЛАССИФИКАЦИЯ

Классификация, реализуемая классификаторами, — это процесс построения функции или проектирования модели для сопоставления данных, извлечённых признаками, в конкретные категории. Функция или модель отображает характеристические данные в данную категорию для идентификации ячеек. Классификаторы можно разделить на контролируемые классификаторы и неконтролируемые классификаторы. Контролируемые классификаторы включают деревья решений (DT), поддерживающие векторные машины (SVM), K-ближайших соседей (KNN), разрежённую репрезентацию (SR) и алгоритмы нейронных сетей. Неконтролируемая классификация означает, что процесс классификации не требует предварительных знаний, и сходство напрямую определяется по изображению. Поэтому неконтролируемая классификация также называется кластеризацией. Широко используемые методы неконтролируемой классификации в патологии включают генеративные состязательные сети (GAN), адаптацию доменов и анализ основных компонентов (PCA).

КОНТРОЛИРУЕМЫЙ КЛАССИФИКАТОР

DTS

DTS, являющиеся базовым методом классификации и регрессии, представляют собой тип алгоритмов классификации древесных структур. Этот подход легко понять и реализовать, но когда категорий слишком много, ошибки могут быстро множиться. Коркмаз и др.[76] применили DTS для классификации гистопатологических желудочных изображений, и самый высокий результат точности составил 86,66%. Рахман и др.[77] использовал классификатор DT для класификации плоских клеток с точностью 99,78%. Тир и др.[78] извлекали формы, текстуру и цветовые особенности из гистопатологических изображений и достигли точности 99,4% с помощью классификатора DD. Случайный лес — это ансамблевой классификатор, состоящий из множества DT. У него быстрая подготовка регулируется, и не требует регулировки многих параметров, как у SVM. Иршад и др.[74] предложил случайный лес для выбора текстурных особенностей и достиг классификации с более высоким положительным предиктивным значением и F-мерой.

SVM

SVM — это бинарная модель классификации, предложенная Вапником в 1995 году на основе статистической теории обучения. Он отображает входное пространство, где расположены точки выборки, в пространство признаков высокой размерности для достижения максимальной линейной сепарации. SVM обладает хорошей универсальной способностью и подходит для небольших выборок, нелинейности и других задач. Алгоритм SVM обычно показывает хорошие результаты для очень разреженных признаков [79].

Асвати и др.[16] принял SVM для классификации доброкачественных и злокачественных гистологических изображений рака молочной железы, с точным уровнем 91,1%. Масуд и др.[80] предложил эффективный самопродуманный SVM для выявления рака кожи со средней точностью диагностики 89,1%. Аль-Кади и др.[81] использовал SVM, Bayes и KNN для тестирования характеристик фрактальных структур, и точность классификации составляла соответственно 94,12%, 92,50% и 79,70%. SVM обладает высокой точностью. Кузе и др. [82] составил обучающий набор данных, включающий 80 паттернов лимфоцитов и 98 нелимфоидных клеточных паттернов, и классифицировал набор данных с помощью SVM с точностью классификации 78%. Ян и др.[83] внедрил мультимеченый SVM для достижения мультиклассификации, и многометочный метод обладал высокой классификационной способностью распознавать многометочные изображения патологии толстой кишки. Кришнан и др.[84] определили набор из компактных 18 признаков на изображении полости рта, используя классификатор SVM, уровень точности достиг 99,66%.

KNN

KNN — один из самых простых алгоритмов классификации. Этот метод имеет простую идею и не требует оценки параметров. Он больше подходит для автоматической классификации классовых доменов с большими размерами выборки. Нивас и др. [85] извлекли особенности изображений тканей молочной железы с помощью сложных вейвлетов и использовали KNN для классификации. Точность классификации достигла 93,9%. Недостаток этого метода в том, что требуется большое количество вычислений, поскольку для получения k ближайших точек необходимо вычислять расстояние известных точек выборки каждого классифицированного текста. В настоящее время исследователи часто используют решение, предварительное вырезание известных точек выборки для удаления образцов, которые не пригодны для классификации.

SR

Модель оптимизации SR, обладающая хорошей эффективностью в распознавании шаблонов, основана с точки зрения реконструкции сигналов. Лучшие современные системы классификации часто выбирают SR в качестве ключевого модуля. Две основные задачи SR изображений — генерация словарей и разрежная декомпозиция сигнала. Хан и др.[86] предложил автоматический метод гистологической классификации на основе изучения словарей и редкого кодирования. Точность классификации достигла 90,05%. Сринивас и др.[87] приняла новую модель разрежённости для многоканального гистопатологического представления и классификации изображений. Ширале и др. [88] применял метод обучения на уровне класса для снижения нагрузки патологоанатомов, что обеспечило хорошие результаты на различных гистопатологических наборах изображений. Максимальная точность алгоритма достигла 96,56%. Ли и др.[89] предложил многоканальную модель разрежённого сустава на основе взаимной информации, которая улучшила способность различать коэффициенты совместного СО.

НЕЙРОННАЯ СЕТЬ

Нейронная сеть — это математическая модель обработки информации, аналогичная структуре синаптической связи мозга. Система нейронных сетей сложнее и выполняет роль классификации информации, изменяя взаимосвязи между внутренними узлами. CNN часто используются для классификации гистопатологических изображений.

Чжэн и др.[90] предложил создать CNN для улучшения классификации рака молочной железы. Этот метод эффективно снижает шум и избыточность, вызванные стромой, и обеспечивает наивысшую классификационную характеристику. Средняя точность классификации алгоритма составляла 96,4%. Вахаб и др.[91] использовал двухступенчатую глубокую сверточную нейронную сеть с простой структурой для фокусировки на немитотических делениях, которые трудно классифицировать. Сайто и др.[92] создал CNN для автоматического обнаружения заметных поражений на изображениях тонкого кишечника WCE. Доказано, что обученный CNN способен обнаруживать заметные поражения на независимых тестовых изображениях с чувствительностью 90,7% и частотой обнаружения 98,6% при заметных поражениях.

Кроме того, в классификации часто используются двумерные (часто используемые в гистопатологических изображениях) или трёхмерные (широко используемые в МРТ и КТ) сверточные нейронные сети, а одномерный CNN редко применяется в классификации. Мойтра и др.[93] Принял одномерную свёрточную нейронную сеть для классификации немелкоклеточного рака лёгких, что требовало меньше времени и ресурсов. Паниграхи и др.[94] предложили использовать капсульную сеть для классификации рака полости рта. По сравнению с моделью CNN, капсульная сеть лучше фиксирует информацию о осанке и пространственных связях, а также лучше различает раковые и нераковые изображения с точностью 97,35%. Кутлу и др.[95] предложил автоматический метод обнаружения лейкоцитов, основанный на глубоком обучении и трансферном обучении, который оказался очень успешным в обнаружении перекрывающихся или частично видимых клеток на изображениях. Максимальная точность алгоритма достигла 99,52%.

В заключение, существует множество типов контролируемых методов классификации, и каждый из них имеет свои собственные классификационные характеристики, как показано на рис. 15. DT обладает отличной способностью обрабатывать большие выборочные данные, а скорость вычислений высокая; однако стабильность точности классификации невысокая. SVM обладает более высокой точностью классификации и лучшей универсальностью по сравнению с другими алгоритмами на малых выборках и линейных данных. Однако скорость предсказания SVM немного ниже, чем у других классификаторов, и она очень чувствительна к отсутствию данных. Когда значение k в KNN очень мало, оно очень чувствительно к шуму; А когда количество выборок несбалансировано, эффект будет слабым. Модель SR проста, подходит для линейных элементов и легко понимается и управляется. Однако модель становится неточной, когда происходит изменение позы и отсутствие выравнивания изображения. Нейронная сеть — это классификатор с самой высокой точностью в контролируемой классификации, но для неё требуется большое количество выборочных данных и дорогостоящее вычислительное оборудование. По сравнению с другими классификаторами, вычислительные затраты нейронных сетей выше. Контролируемая классификация может контролировать выбор учебных зон и образцов, но выбор системы классификации и обучающих областей зависит от субъективных факторов. Таким образом, супервизированная классификация может классифицировать только категории, определённые обучающими образцами, и не может выявлять категории, которые не определены аналитиком, и легко исключить категории.

НЕКОНТРОЛИРУЕМЫЙ КЛАССИФИКАТОР

GAN

GAN использует непрерывное игровое обучение между генеративной и дискриминантной моделями для получения хорошего результата. GAN слаб в обработке дискретных данных. Ман и др.[96] предложил метод скрининга с неконтролируемым обнаружением аномалий на основе GAN. Этот метод классифицировал гистопатологические изображения молочной железы, и самая высокая точность классификации составила 99,13%. Сюэ и др.[97] предложил новую модель cGAN — HistoGAN — для высокоточного гистопатологического изображения.

РИСУНОК 15. Точность классификации контролируемого классификатора.

РИСУНОК 16. Схема переноса прототипа GAN-фреймворка.

Этот метод может значительно и непрерывно повысить классификационные показатели гистопатологических изображений рака шейки матки и наборов данных метастатического рака (на 6,7% и 2,8% соответственно). Ван и др.[98] предложил метод неконтролируемого обучения для прототипов трансферных GAN. Как показано на рис. 16, точность классификации доброкачественных и злокачественных тканей достигла почти 90%.

АДАПТАЦИЯ ПО ДОМЕНУ

Адаптация домена — это метод трансферного обучения, который эффективно решает задачу несогласованного распределения вероятностей между обучающими и тестовыми выборками. Поскольку изображения доброкачественных опухолей очень схожи с изображениями злокачественных опухолей, Пендар и др.[99] Внедрил новый неконтролируемый метод адаптации домена, основанный на повторяющем воспроизведении, чтобы преодолеть эти проблемы. Вышеуказанный метод достиг среднего уровня классификации 88,5%, что на 5,1% по сравнению с базовым методом и на 1,25% по сравнению с последним методом. Ю и др.[100]

предложил метод внедрения неконтролируемой адаптации домена обучения в типичную модель глубокого CNN. Как показано на рис. 17, этот метод снижал дублирование маркировки.

PCA

PCA использует идеи линейного преобразования и уменьшения дименсиональности для преобразования данных в новую систему координат, уменьшения размерности набора данных и интуитивного представления данных в двумерной кооперативной системе. Метод PCA обладает характеристиками простого вычисления, лёгких для понимания результатов и отсутствия ограничений по параметрам. Однако он не может вмешиваться в процесс обработки методами параметризации, и ожидаемые результаты могут быть не получены. Сертель и др.[72] использовал комбинацию PCA и линейного дискриминантного анального исиса, а затем применял байесовский классификатор для классификации лимфомических клеток. Общий уровень правильной классификации этого метода составил 88,9%. Ши и др.[101] принял алгоритм усреднения Грассмана по сетям, который показал лучшие результаты в классификации цветных гистопатологических изображений. Ши и др.[102] предложил алгоритм PCANet на основе случайного бинарного хеширования цветовых узоров, который был выше оригинального алгоритма PCANet и других традиционных неконтролируемых алгоритмов. Рисунок 18 — схематическая схема алгоритма PCANet на основе случайного бинарного хеширования цветового узора.

В заключение, процедура классификации неконтролируемых классификаторов не навязывает никаких предварительных знаний и может напрямую классифицировать набор данных. Неконтролируемый классификатор эффективно устраняет субъективные факторы, влияющие на размер и форму раковых клеток в калибровке набора данных. Кроме того, затраты на обнаружение снижаются, а точность классификации повышается. Исследования неконтролируемой классификации изображений всё ещё находятся на стадии разработки, и результаты их исследований уступают другим направлениям.

РИСУНОК 17. Улучшенная модель CNN [100]. (a) адаптация к признакам (b) минимизация энтропии.

РИСУНОК 18. Схема блок-диаграммы PCANet на основе случайного бинарного хеширования цветовых узоров и гистопатологических изображений на основе классификатора матрицы.

РЕЗЮМЕ

Обработка изображений оказывает решающее влияние на скорость классификации, стабильность и точность модели. Предварительная обработка изображений может удалить ненужную информацию или улучшить полезную информацию. Сегментация изображений направлена на выделение интересующих областей, что дополнительно снижает помехи бесполезной информации. Извлечение материалов может уменьшить размерность данных. Данные проходят серию обработки изображений, что значительно улучшит классификационные характеристики модели.

В настоящее время точность классификации патологических изображений в основном превышает 85%. Как показано в таблице 5, этот результат кажется очень хорошим, но нестабильным. Во многих исследованиях результаты классификации могут быть применимы только к исследовательским образцам, и точность классификации может значительно варьироваться для разных наборов выборок, как показано на рис. 19. Выбор признаков также сильно влияет на точность классификации. Коркмаз и др.[76] использовал преобразование Фурье — масс-спектрометрия — преобразование Фурье для извлечения признаков. При выборе пяти функций максимальная точность составляла 86,66%; а при увеличении количества выбранных признаков до 45 максимальная точность составляла 68,88%. Следовательно, универсальность алгоритмов классификации и способы выбора подходящих.

РИСУНОК 19. Точность классификации метода классификации гистопатологических изображений на основе SR для различных наборов данных.

Особенности стоит изучить. Контролируемые классификаторы являются основными методами классификации изображений. Контролируемые классификаторы могут получать желаемые результаты классификации в соответствии с потребностями людей, но в определённой степени на них влияют субъективные факторы. Неконтролируемая классификация не требует предварительных знаний в процессе классификации. Аналитикам достаточно задать количество классификаций, чтобы классифицировать все изображения и обнаружить скрытые законы. Хотя контролируемая классификация занимает доминирующее место в классификации, неконтролируемая классификация может сократить трудовые и затраты, а также имеет неоценимые перспективы развития в будущем.

ОБСУЖДЕНИЕ

Анализ изображений на основе машинного зрения становится всё более важной областью из-за быстрого генерации изображений и растущей зависимости медицинского сообщества от них. Рак стал основной причиной смерти людей. Если рак будет обнаружен вовремя, надежда на излечение будет больше. Обнаружение раковых клеток на основе машинного зрения преодолевает недостатки традиционных методов ручного обнаружения и стало основным методом обнаружения раковых клеток.

ТАБЛИЦА 5. Методы классификации гистопатологических изображений.

Существует множество видов рака, включая рак молочной железы, лёгких, печени, желудка, толстой кишки и другие. В настоящее время рак молочной железы является самым исследованным видом рака на основе обнаружения раковых клеток машинного зрения. Как показано в таблицах 1 и 3, изучается относительно мало других видов рака. В настоящее время обнаружение различных раковых клеток всё ещё находится на стадии исследования; и необходимо увеличить обнаружение других видов рака, что способствует созданию полноценной системы обнаружения раковых клеток на основе машинного зрения. Однако у многих исследователей мет-оды могут обнаруживать только фиксированные типы раковых клеток. Даже если эти методы могут обнаруживать другие типы раковых клеток, точность обнаружения относительно низкая и нестабильна. Эти проблемы необходимо решить с помощью дальнейших исследований.

Процесс обнаружения рака машинного зрения включает предварительную обработку изображений, сегментацию целевых областей, извлечение и отбор элементов, а также распознавание и классификацию клеток. В каждом процессе обработки присутствует большое количество алгоритмов, и у них есть свои преимущества, недостатки и масштаб адаптации. Как повысить точность, эффективность выполнения, производительность в реальном времени и надёжность алгоритмов всегда было в центре внимания исследователей. Кроме того, с быстрым развитием глубокого обучения нейронные сети появились в различных процессах визуального обнаружения. Нейронные сети обладают преимуществами высокой скорости и высокой точности и глубоко любимы исследователями; однако нейронные сети сталкиваются с определёнными проблемами, такими как большое количество вычислений и высокая затрата времени. Влияние нейронных сетей требует дополнительной проверки. Модель глубокого обучения по сути является чёрным ящиком и не обеспечивает интерпретируемость процесса принятия решений, что, в свою очередь, затрудняет отладку при необходимости. Плохая интерпретируемость может привести к недоверию к клиницистам, обученным делать интерпретируемые клинические выводы. Будущая тенденция может заключаться в создании общей интерпретируемой структуры для медицинских изображений.

ПЕРСПЕКТИВЫ

В настоящее время машинное зрение используется в различных отраслях, таких как производство, сельское хозяйство, медицина, военное, аэрокосмическое и научное исследование. Технологии машинного зрения обладают характеристиками высокой скорости, высокой точности и множества функций, что значительно способствует развитию общества. Машинное зрение также быстро развивается в медицине. Модели компьютерной диагностики и прогнозирования результатов на основе машинного обучения полезны для принятия клинических решений. Во многих случаях методы машинного обучения обеспечивают отличную точность в обнаружении раковых клеток, но всё равно существуют некоторые проблемы с практическим применением. Поэтому методы обнаружения раковых клеток на основе машинного зрения всё ещё нуждаются в постоянном совершенствовании, и будущие исследования должны сосредоточиться на следующих аспектах.

Что касается предварительной обработки изображений, на которую влияют внешние факторы, такие как свет, передача сигнала и среда приобретения, трудно отличить слабые сигналы от шума, что влияет на точность последующего обнаружения. Как построить стабильную и надёжную систему обнаружения для преодоления помех внешней среды — одна из задач, которую нужно решить. Хотя нормализация цвета может уменьшить влияние цветовых различий на последующих изображениях, некоторые изменения в организационной структуре могут также повлиять на последующее обнаружение изображений, что также необходимо изучить. В настоящее время алгоритм нормализации цвета может быть интегрирован в фреймворк глубокого обучения для повышения эффективности сегментации и классификации [103]–[106]. Но все они используют антагонистическую нейронную сеть для нормализации цвета. В будущем глубокое обучение станет проблемой, которую стоит изучать в области нормализации цвета.

Для гистопатологической сегментации изображений традиционные методы сегментации имеют различные проблемы, такие как недосегментация и пересегментация.

Большинство методов сегментации тканей основаны на модификации и корректировке существующих методов обработки изображений для адаптации к новым приложениям, которые могут быть не лучшим выбором для обработки тканевых изображений. С развитием искусственного интеллекта и глубокого обучения нейронные сети обладают характеристиками высокой скорости и точности сегментации изображений. В будущем нейронные сети станут центром исследований сегментации изображений.

Извлечение признаков является ключевым этапом в обнаружении клеток на основе машинного зрения, что существенно влияет на точность последующего распознавания, вычислительную сложность и стабильность. В настоящее время технология многофункционального синтеза является основным методом извлечения признаков. Метод глубокого обучения позволяет изучать дополнительные библиотеки признаков, которые нельзя представить ни одной ручной системой, тем самым повышая точность классификации. В будущем глубокому обучению потребуется дальнейшие исследования в области выделения признаков.

С точки зрения классификации, традиционные классификаторы имеют проблемы длительного времени вычислений, низкой точности и нестабильности. Классификатор, основанный на нейронной сети, очевидно, лучше традиционного классификатора. С развитием гистопатологических баз данных нейронные сети станут основными методами классификации. В последние годы появилось множество алгоритмов нейронных сетей, включая SPPNet, Faster RCNN, Mask RCNN, серию YOLO и другие методы обнаружения целей, которые позволяют обнаруживать раковые клетки. Поскольку для неконтролируемой классификации не требуется предварительные знания, вычислительные затраты снижаются. В будущем неконтролируемые классификаторы станут основным направлением исследований классификации.

Хотя серия отличных алгоритмов продолжает появляться, существует относительно мало открытых исходных кодов (реализация алгоритмов) для гистопатологической обработки изображений, а проверка алгоритмов не имеет стандартов и обоснованной правды в качестве ориентира. Будущие работы должны быть посвящены вопросу открытости в этой области. Для этого требуется тесное сотрудничество экспертов из различных областей, таких как компьютерные специалисты, клиницисты и патологи.

ЛИТЕРАТУРА

1. P. Vineis and C. P. Wild, ‘‘Global cancer patterns: Causes and prevention,’’ Lancet, vol. 383, no. 9916, pp. 549–557, Feb. 2014.

2. F. Bray, J. Ferlay, I. Soerjomataram, R. L. Siegel, L. A. Torre, and A. Jemal, ‘‘Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries,’’ CA, Cancer J. Clin., vol. 68, no. 6, pp. 394–424, 2018.

3. W. Cao, H. Chen, Y. Yu, N. Li, and W. Chen, ‘‘Changing profiles of cancer burden worldwide and in China: A secondary analysis of the global cancer statistics 2020,’’ Chin. Med. J., vol. 134, no. 7, pp. 783–791, 2021.

4. G. Logambal and V. Saravanan, ‘‘Cancer diagnosis using automatic mitotic cell detection and segmentation in histopathological images,’’ in Proc. Global Conf. Commun. Technol. (GCCT), Apr. 2015, pp. 128–132.

5. K. M. Fong, Y. Sekido, and J. D. Minna, ‘‘Molecular pathogenesis of lung cancer,’’ J. Thoracic Cardiovascular Surg., vol. 118, no. 6, pp. 1136–1152, 1999.

6. M. Iranifam, ‘‘Analytical applications of chemiluminescence methods for cancer detection and therapy,’’ TrAC Trends Anal. Chem., vol. 59, pp. 156–183, Jul. 2014.

7. Y. Xue and N. Ray, ‘‘Cell detection in microscopy images with deep convolutional neural network and compressed sensing,’’ 2017, arXiv:1708.03307.

8. L. He, L. R. Long, S. Antani, and G. R. Thoma, ‘‘Histology image anal- ysis for carcinoma detection and grading,’’ Comput. Methods Programs Biomed., vol. 107, no. 3, pp. 538–556, 2012.

9. T. A. A. Tosta, L. A. Neves, and M. Z. D. Nascimento, ‘‘Segmentation methods of H&E-stained histological images of lymphoma: A review,’’ Inform. Med. Unlocked, vol. 9, pp. 35–43, Jan. 2017.

10. P. Kleczek, J. Jaworek-Korjakowska, and M. Gorgon, ‘‘A novel method for tissue segmentation in high-resolution H&E-stained histopathological whole-slide images,’’ Computerized Med. Imag. Graph., vol. 79, Jan. 2020, Art. no. 101686.

11. R. Bidart and A. Wong, ‘‘TriResNet: A deep triple-stream residual network for histopathology grading,’’ in Proc. Int. Conf. Image Anal. Recognit., 2019, pp. 369–382.

12. M. N. Gurcan, L. E. Boucheron, A. Can, A. Madabhushi, N. M. Rajpoot, and B. Yener, ‘‘Histopathological image analysis: A review,’’ IEEE Rev. Biomed. Eng., vol. 2, pp. 147–171, 2009.

13. W. Ming, F. Shen, X. Li, Z. Zhang, J. Du, Z. Chen, and Y. Cao, ‘‘A compre- hensive review of defect detection in 3C glass components,’’ Measurement, vol. 158, Jul. 2020, Art. no. 107722.

14. J. Jose, A. Chacko, and D. A. S. Dhas, ‘‘Comparative study of different image denoising filters for mammogram preprocessing,’’ in Proc. Int. Conf. Inventive Syst. Control (ICISC), Jan. 2017, pp. 1–6.

15. S. Tewary, I. Arun, R. Ahmed, S. Chatterjee, and C. Chakraborty, ‘‘AutoIHC-scoring: A machine learning framework for automated Allred scoring of molecular expression in ER- and PR-stained breast cancer tissue,’’ J. Microsc., vol. 268, no. 2, pp. 172–185, Nov. 2017.

16. M. A. Aswathy and M. Jagannath, ‘‘Performance analysis of segmentation algorithms for the detection of breast cancer,’’ Proc. Comput. Sci., vol. 167, pp. 666–676, Jan. 2020.

17. B. Tang, J. Kong, and S. Wu, ‘‘Summary of machine vision surface defect detection,’’ J. Imag. Graph., vol. 22, no. 12, pp. 1640–1663, 2017.

18. P. Wang, X. Hu, Y. Li, Q. Liu, and X. Zhu, ‘‘Automatic cell nuclei segmentation and classification of breast cancer histopathology images,’’ Signal Process., vol. 122, pp. 1–13, May 2016.

19. M. de Bruijne, ‘‘Machine learning approaches in medical image analysis: From detection to diagnosis,’’ Med. Image Anal., vol. 33, pp. 94–97, Oct. 2016.

20. D. R. Snead, Y. W. Tsang, A. Meskiri, P. K. Kimani, R. Crossman, N. M. Rajpoot, E. Blessing, K. Chen, K. Gopalakrishnan, and P. Matthews, ‘‘Validation of digital pathology for primary histopathological diagnosis of routine, inflammatory dermatopathology cases,’’ Amer. J. Dermatopathol., vol. 68, no. 7, pp. 1063–1072, 2016.

21. F.-T. Johra and M. M. H. Shuvo, ‘‘Detection of breast cancer from histopathology image and classifying benign and malignant state using fuzzy logic,’’ in Proc. 3rd Int. Conf. Electr. Eng. Inf. Commun. Technol. (ICEEICT), Sep. 2016, pp. 1–5.

22. Y. Mao, Z. Yin, and J. Schober, ‘‘A deep convolutional neural network trained on representative samples for circulating tumor cell detection,’’ in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Mar. 2016, pp. 1–6.

23. H. Sharma, N. Zerbe, I. Klempert, O. Hellwich, and P. Hufnagl, ‘‘Deep convolutional neural networks for automatic classification of gastric carci- noma using whole slide images in digital histopathology,’’ Comput. Med. Imag. Graph., vol. 61, pp. 2–13, Nov. 2017.

24. A. Albayrak and G. Bilgin, ‘‘Breast cancer mitosis detection in histopatho- logical images with spatial feature extraction,’’ Proc. SPIE, vol. 9067, pp. 103–108, Dec. 2013.

25. H. Irshad, ‘‘Automated mitosis detection in histopathology using morpho- logical and multi-channel statistics features,’’ J. Pathol. Informat., vol. 4, no. 1, p. 10, 2013.

26. C. Lu and M. Mandal, ‘‘Toward automatic mitotic cell detection and segmentation in multispectral histopathological images,’’ IEEE J. Biomed. Health Informat., vol. 18, no. 2, pp. 594–605, Mar. 2014.

27. P. Wang, L. Wang, Y. Li, Q. Song, S. Lv, and X. Hu, ‘‘Automatic cell nuclei segmentation and classification of cervical Pap smear images,’’ Biomed. Signal Process. Control, vol. 48, pp. 93–103, Feb. 2019.

28. A. Mouelhi, H. Rmili, J. B. Ali, M. Sayadi, R. Doghri, and K. Mrad, ‘‘Fast unsupervised nuclear segmentation and classification scheme for auto- matic allred cancer scoring in immunohistochemical breast tissue images,’’ Comput. Methods Programs Biomed., vol. 165, pp. 37–51, Oct. 2018.

29. M. Kowal, P. Filipczuk, A. Obuchowicz, J. Korbicz, and R. Monczak, ‘‘Computer-aided diagnosis of breast cancer based on fine needle biopsy microscopic images,’’ Comput. Biol. Med., vol. 43, no. 10, pp. 1563–1572, 2013.

30. Ş. Öztürk and A. Bayram, ‘‘Comparison of HOG, MSER, SIFT, FAST, LBP and Canny features for cell detection in histopathological images,’’ Helix, vol. 8, no. 3, pp. 3321–3325, Apr. 2018.

31. O. Sertel, U. V. Catalyurek, H. Shimada, and M. N. Guican, ‘‘Computer- aided prognosis of neuroblastoma: Detection of mitosis and karyorrhexis cells in digitized histological images,’’ in Proc. Annu. Int. Conf. IEEE Eng. Med. Biol. Soc., Sep. 2009, pp. 1433–1436.

32. K. Belkacem-Boussaid, J. Prescott, G. Lozanski, and M. N. Gurcan, ‘‘Seg- mentation of follicular regions on H&E slides using a matching filter and active contour model,’’ Proc. SPIE, vol. 7624, pp. 902–912, Mar. 2010.

33. A. Vahadane and A. Sethi, ‘‘Towards generalized nuclear segmentation in histological images,’’ in Proc. 13th IEEE Int. Conf. Bioinf. BioEng., Nov. 2013, pp. 1–4.

34. M. N. Gurcan, T. Pan, H. Shimada, and J. Saltz, ‘‘Image analysis for neuroblastoma classification: Segmentation of cell nuclei,’’ in Proc. Int. Conf. IEEE Eng. Med. Biol. Soc., Aug. 2006, pp. 4844–4847.

35. E. A. Mohammed, M. M. A. Mohamed, C. Naugler, and B. H. Far, ‘‘Chronic lymphocytic leukemia cell segmentation from microscopic blood images using watershed algorithm and optimal thresholding,’’ in Proc. 26th IEEE Can. Conf. Electr. Comput. Eng. (CCECE), May 2013, pp. 1–5.

36. M. M. Dundar, S. Badve, G. Bilgin, V. Raykar, R. Jain, O. Sertel, and M. N. Gurcan, ‘‘Computerized classification of intraductal breast lesions using histopathological images,’’ IEEE Trans. Biomed. Eng., vol. 58, no. 7, pp. 1977–1984, Jul. 2011.

37. A. Vahadane, T. Peng, A. Sethi, S. Albarqouni, L. Wang, M. Baust, K. Steiger, A. M. Schlitter, I. Esposito, and N. Navab, ‘‘Structure- preserving color normalization and sparse stain separation for histolog- ical images,’’ IEEE Trans. Med. Imag., vol. 35, no. 8, pp. 1962–1971, Aug. 2016.

38. E. Reinhard, M. Adhikhmin, B. Gooch, and P. Shirley, ‘‘Color transfer between images,’’ IEEE Comput. Graph. Appl., vol. 21, no. 5, pp. 34–41, Sep./Oct. 2001.

39. A. Rabinovich, S. Agarwal, C. Laris, J. Price, and S. Belongie, ‘‘Unsu- pervised color decomposition of histologically stained tissue samples,’’ in Proc. Adv. Neural Inf. Process. Syst., vol. 16, 2003, pp. 667–674.

40. M. Macenko, M. Niethammer, J. S. Marron, D. Borland, J. T. Woosley, X. Guan, C. Schmitt, and N. E. Thomas, ‘‘A method for normalizing his- tology slides for quantitative analysis,’’ in Proc. IEEE Int. Symp. Biomed. Imag., Nano Macro, Jun. 2009, pp. 1107–1110.

41. A. M. Khan, N. Rajpoot, D. Treanor, and D. Magee, ‘‘A nonlinear mapping approach to stain normalization in digital histopathology images using image-specific color deconvolution,’’ IEEE Trans. Biomed. Eng., vol. 61, no. 6, pp. 1729–1738, Jun. 2014.

42. Y. Zheng, Z. Jiang, H. Zhang, F. Xie, J. Shi, and C. Xue, ‘‘Adaptive color deconvolution for histological WSI normalization,’’ Comput. Methods Pro- grams Biomed., vol. 170, pp. 107–120, Mar. 2019.

43. M. Salvi, N. Michielli, and F. Molinari, ‘‘Stain color adaptive normal- ization (SCAN) algorithm: Separation and standardization of histological stains in digital pathology,’’ Comput. Methods Programs Biomed., vol. 193, Sep. 2020, Art. no. 105506.

44. M. Salvi and F. Molinari, ‘‘Multi-tissue and multi-scale approach for nuclei segmentation in H&E stained images,’’ Biomed. Eng. OnLine, vol. 17, no. 1, pp. 1–13, Dec. 2018.

45. P. Filipczuk, M. Kowal, and A. Obuchowicz, ‘‘Breast fibroadenoma automatic detection using k-means based hybrid segmentation method,’’ in Proc. 9th IEEE Int. Symp. Biomed. Imag. (ISBI), May 2012, pp. 1623–1626.

46. J. Malek, A. Sebri, S. Mabrouk, K. Torki, and R. Tourki, ‘‘Automated breast cancer diagnosis based on GVF-snake segmentation, wavelet fea- tures extraction and fuzzy classification,’’ J. Signal Process. Syst., vol. 55, nos. 1–3, pp. 49–66, Apr. 2009.

47. L. Yang, O. Tuzel, P. Meer, and D. J. Foran, ‘‘Automatic image analysis of histopathology specimens using concave vertex graph,’’ in Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent., 2008, pp. 833–841.

48. J. Xu, A. Janowczyk, S. Chandran, and A. Madabhushi, ‘‘A high- throughput active contour scheme for segmentation of histopathological imagery,’’ Med. Image Anal., vol. 15, no. 6, pp. 851–862, Dec. 2011.

49. K. Dimitropoulos, P. Barmpoutis, T. Koletsa, I. Kostopoulos, and N. Grammalidis, ‘‘Automated detection and classification of nuclei in PAX5 and H&E-stained tissue sections of follicular lymphoma,’’ Signal, Image Video Process., vol. 11, no. 1, pp. 145–153, Jan. 2017.

50. O. Sertel, U. V. Catalyurek, G. Lozanski, A. Shanaah, and M. N. Gurcan, ‘‘An image analysis approach for detecting malignant cells in digitized H&E-stained histology images of follicular lymphoma,’’ in Proc. 20th Int. Conf. Pattern Recognit., Aug. 2010, pp. 273–276.

51. P. Filipczuk, M. Kowal, and A. Obuchowicz, ‘‘Fuzzy clustering and adap- tive thresholding based segmentation method for breast cancer diagnosis,’’ in Computer Recognition Systems, vol. 4, 2011.

52. O. Schmitt and M. Hasse, ‘‘Radial symmetries based decomposition of cell clusters in binary and gray level images,’’ Pattern Recognit., vol. 41, no. 6, pp. 1905–1923, Jun. 2008.

53. J. Cheng and J. C. Rajapakse, ‘‘Segmentation of clustered nuclei with shape markers and marking function,’’ IEEE Trans. Biomed. Eng., vol. 56, no. 3, pp. 741–748, Mar. 2009.

54. C. Jung and C. Kim, ‘‘Segmenting clustered nuclei using H -minima transform-based marker extraction and contour parameterization,’’ IEEE Trans. Biomed. Eng., vol. 57, no. 10, pp. 2600–2604, Oct. 2010.

55. H. Wang, A. C. Roa, A. N. Basavanhally, H. L. Gilmore, N. Shih, M. Feldman, J. Tomaszewski, F. Gonzalez, and A. Madabhushi, ‘‘Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features,’’ J. Med. Imag., vol. 1, no. 3, Oct. 2014, Art. no. 034003.

56. Ş. Öztürk and B. Akdemir, ‘‘Cell-type based semantic segmentation of histopathological images using deep convolutional neural networks,’’ Int. J. Imag. Syst. Technol., vol. 29, no. 3, pp. 234–246, Sep. 2019.

57. Y. Cui, G. Zhang, Z. Liu, Z. Xiong, and J. Hu, ‘‘A deep learning algorithm for one-step contour aware nuclei segmentation of histopathology images,’’ Med. Biol. Eng. Comput., vol. 57, no. 9, pp. 2027–2043, Sep. 2019.

58. H. Chen, X. Qi, L. Yu, Q. Dou, J. Qin, and P.-A. Heng, ‘‘DCAN: Deep contour-aware networks for object instance segmentation from histology images,’’ Med. Image Anal., vol. 36, pp. 135–146, Feb. 2017.

59. M. Z. Alom, C. Yakopcic, T. M. Taha, and V. K. Asari, ‘‘Nuclei seg- mentation with recurrent residual convolutional neural networks based U- Net (R2U-Net),’’ in Proc. IEEE Nat. Aerosp. Electron. Conf. (NAECON), Jul. 2018, pp. 228–233.

60. M. Salvi, M. Bosco, L. Molinaro, A. Gambella, M. Papotti, U. R. Acharya, and F. Molinari, ‘‘A hybrid deep learning approach for gland segmenta- tion in prostate histopathological images,’’ Artif. Intell. Med., vol. 115, May 2021, Art. no. 102076.

61. Q. Kang, Q. Lao, and T. Fevens, ‘‘Nuclei segmentation in histopathological images using two-stage learning,’’ in Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent., 2019, pp. 703–711.

62. D. Kucharski, P. Kleczek, J. Jaworek-Korjakowska, G. Dyduch, and M. Gorgon, ‘‘Semi-supervised nests of melanocytes segmentation method using convolutional autoencoders,’’ Sensors, vol. 20, no. 6, p. 1546, Mar. 2020.

63. S. Petushi, F. U. Garcia, M. M. Haber, C. Katsinis, and A. Tozeren, ‘‘Large- scale computations on histology images reveal grade-differentiating parameters for breast cancer,’’ BMC Med. Imag., vol. 6, no. 1, pp. 1–11, Apr. 2006.

64. H. A. Elsalamony, ‘‘Healthy and unhealthy red blood cell detection in human blood smears using neural networks,’’ Micron, vol. 83, pp. 32–41, Apr. 2016.

65. C. Lu, M. Mahmood, N. Jha, and M. Mandal, ‘‘Automated segmentation of the melanocytes in skin histopathological images,’’ IEEE J. Biomed. Health Informat., vol. 17, no. 2, pp. 284–296, Mar. 2013.

66. A. Tashk, M. S. Helfroush, H. Danyali, and M. Akbarzadeh-jahromi, ‘‘Automatic detection of breast cancer mitotic cells based on the combi- nation of textural, statistical and innovative mathematical features,’’ Appl. Math. Model., vol. 39, no. 20, pp. 6165–6182, Oct. 2015.

67. K. Fukuma, V. B. S. Prasath, H. Kawanaka, B. J. Aronow, and H. Takase, ‘‘A study on nuclei segmentation, feature extraction and disease stage classification for human brain histopathological images,’’ Proc. Comput. Sci., vol. 96, pp. 1202–1210, Jan. 2016.

68. R. Rashmi, K. Prasad, C. B. K. Udupa, and V. Shwetha, ‘‘A compar- ative evaluation of texture features for semantic segmentation of breast histopathological images,’’ IEEE Access, vol. 8, pp. 64331–64346, 2020.

69. B. E. Bejnordi, N. Timofeeva, I. Otte-Höller, N. Karssemeijer, and J. A. van der Laak, ‘‘Quantitative analysis of stain variability in histol- ogy slides and an algorithm for standardization,’’ Proc. SPIE, vol. 9041, Mar. 2014, Art. no. 904108.

70. H. Kong, M. Gurcan, and K. Belkacem-Boussaid, ‘‘Partitioning histopathological images: An integrated framework for supervised color-texture segmentation and cell splitting,’’ IEEE Trans. Med. Imag., vol. 30, no. 9, pp. 1661–1677, Sep. 2011.

71. O. Sertel, J. Kong, U. V. Catalyurek, G. Lozanski, J. H. Saltz, and M. N. Gurcan, ‘‘Histopathological image analysis using model-based intermediate representations and color texture: Follicular lymphoma grad- ing,’’ J. Signal Process. Syst., vol. 55, nos. 1–3, pp. 169–183, Apr. 2009.

72. O. Sertel, J. Kong, G. Lozanski, A. Shana’ah, U. Catalyurek, J. Saltz, and M. Gurcan, ‘‘Texture classification using nonlinear color quantization: Application to histopathological image analysis,’’ in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., Mar. 2008, pp. 597–600.

73. D. O. T. Bruno, M. Z. D. Nascimento, R. P. Ramos, V. R. Batista, L. A. Neves, and A. S. Martins, ‘‘LBP operators on curvelet coefficients as an algorithm to describe texture in breast cancer tissues,’’ Expert Syst. Appl., vol. 55, pp. 329–340, Aug. 2016.

74. H. Irshad, S. Jalali, L. Roux, D. Racoceanu, G. Naour, L. Hwee, and F. Capron, ‘‘Automated mitosis detection using texture, SIFT features and HMAX biologically inspired approach,’’ J. Pathol. Informat., vol. 4, no. 2, p. 12, 2013.

75. A. C. Simsek, A. B. Tosun, C. Aykanat, C. Sokmensuer, and C. Gunduz- Demir, ‘‘Multilevel segmentation of histopathological images using cooc- currence of tissue objects,’’ IEEE Trans. Biomed. Eng., vol. 59, no. 6, pp. 1681–1690, Jun. 2012.

76. S. A. Korkmaz, ‘‘Recognition of the gastric molecular image based on decision tree and discriminant analysis classifiers by using discrete Fourier transform and features,’’ Appl. Artif. Intell., vol. 32, nos. 7–8, pp. 629–643, Sep. 2018.

77. T. Y. Rahman, L. B. Mahanta, H. Choudhury, A. K. Das, and J. D. Sarma, ‘‘Study of morphological and textural features for classification of oral squamous cell carcinoma by traditional machine learning techniques,’’ Cancer Rep., vol. 3, no. 6, p. e1293, Dec. 2020.

78. T. Y. Rahman, L. B. Mahanta, A. K. Das, and J. D. Sarma, ‘‘Automated oral squamous cell carcinoma identification using shape, texture and color features of whole image strips,’’ Tissue Cell, vol. 63, Apr. 2020, Art. no. 101322.

79. T. J. Alhindi, S. Kalra, K. H. Ng, A. Afrin, and H. R. Tizhoosh, ‘‘Com- paring LBP, HOG and deep features for classification of histopathology images,’’ in Proc. Int. Joint Conf. Neural Netw. (IJCNN), Jul. 2018, pp. 1–7.

80. A. Masood and A. Al-Jumaily, ‘‘Differential evolution based advised SVM for histopathalogical image analysis for skin cancer detection,’’ in Proc. 37th Annu. Int. Conf. IEEE Eng. Med. Biol. Soc. (EMBC), Aug. 2015, pp. 781–784.

81. O. S. Al-Kadi, ‘‘A multiresolution clinical decision support system based on fractal model design for classification of histological brain tumours,’’ Computerized Med. Imag. Graph., vol. 41, pp. 67–79, Apr. 2015.

82. M. Kuse, T. Sharma, and S. Gupta, ‘‘A classification scheme for lympho- cyte segmentation in H&E stained histology images,’’ in Proc. Int. Conf. Pattern Recognit., 2010, pp. 235–243.

83. Y. Xu, L. Jiao, S. Wang, J. Wei, Y. Fan, M. Lai, and E. I.-C. Chang, ‘‘Multi- label classification for colon cancer using histopathological images,’’ Microsc. Res. Technique, vol. 76, no. 12, pp. 1266–1277, Dec. 2013.

84. M. M. R. Krishnan, C. Chakraborty, R. R. Paul, and A. K. Ray, ‘‘Hybrid segmentation, characterization and classification of basal cell nuclei from histopathological images of normal oral mucosa and oral submucous fibro- sis,’’ Expert Syst. Appl., vol. 39, no. 1, pp. 1062–1077, Jan. 2012.

85. S. I. Niwas, P. Palanisamy, K. Sujathan, and E. Bengtsson, ‘‘Analysis of nuclei textures of fine needle aspirated cytology images for breast cancer diagnosis using complex Daubechies wavelets,’’ Signal Process., vol. 93, no. 10, pp. 2828–2837, Oct. 2013.

86. J. Han, H. Chang, L. Loss, K. Zhang, F. L. Baehner, J. W. Gray, P. Spellman, and B. Parvin, ‘‘Comparison of sparse coding and ker- nel methods for histopathological classification of Glioblastoma multi- forme,’’ in Proc. IEEE Int. Symp. Biomed. Imag., Nano Macro, Mar. 2011, pp. 711–714.

87. U. Srinivas, H. S. Mousavi, V. Monga, A. Hattel, and B. Jayarao, ‘‘Simul- taneous sparsity model for histopathological image representation and classification,’’ IEEE Trans. Med. Imag., vol. 33, no. 5, pp. 1163–1179, May 2014.

88. N. N. Shirale, ‘‘Sparse representation based class level dictionary learning approach for histopathology image classification,’’ in Proc. 4th Int. Conf. Converg. Technol. (I2CT), Oct. 2018, pp. 1–5.

89. X. Li, H. Tang, D. Zhang, T. Liu, L. Mao, and T. Chen, ‘‘Histopatho- logical image classification through discriminative feature learning and mutual information-based multi-channel joint sparse represen- tation,’’ J. Vis. Commun. Image Represent., vol. 70, Jul. 2020, Art. no. 102799.

90. Y. Zheng, Z. Jiang, F. Xie, H. Zhang, Y. Ma, H. Shi, and Y. Zhao, ‘‘Feature extraction from histopathological images based on nucleus-guided convo- lutional neural network for breast lesion classification,’’ Pattern Recognit., vol. 71, pp. 14–25, Nov. 2017.

91. N. Wahab, A. Khan, and Y. S. Lee, ‘‘Two-phase deep convolutional neural network for reducing class skewness in histopathological images based breast cancer detection,’’ Comput. Biol. Med., vol. 85, pp. 86–97, Jun. 2017.

92. H. Saito, T. Aoki, K. Aoyama, Y. Kato, A. Tsuboi, A. Yamada, M. Fujishiro, S. Oka, S. Ishihara, T. Matsuda, M. Nakahori, and S. Tanaka, ‘‘Automatic detection and classification of protruding lesions in wire- less capsule endoscopy images based on a deep convolutional neu- ral network,’’ Gastrointestinal Endoscopy, vol. 92, no. 1, pp. 144–151, 2020.

93. D. Moitra and R. K. Mandal, ‘‘Classification of non-small cell lung cancer using one-dimensional convolutional neural network,’’ Expert Syst. Appl., vol. 159, Nov. 2020, Art. no. 113564.

94. S. Panigrahi, J. Das, and T. Swarnkar, ‘‘Capsule network based analysis of histopathological images of oral squamous cell carcinoma,’’ J. King Saud Univ.-Comput. Inf. Sci., Nov. 2020.

95. H. Kutlu, E. Avci, and F. Özyurt, ‘‘White blood cells detection and classification based on regional convolutional neural networks,’’ Med. Hypotheses, vol. 135, Feb. 2020, Art. no. 109472.

96. R. Man, P. Yang, and B. Xu, ‘‘Classification of breast cancer histopathological images using discriminative patches screened by gen- erative adversarial networks,’’ IEEE Access, vol. 8, pp. 155362–155377, 2020.

97. Y. Xue, J. Ye, Q. Zhou, L. R. Long, S. Antani, Z. Xue, C. Cornwell, R. Zaino, K. C. Cheng, and X. Huang, ‘‘Selective synthetic augmentation with HistoGAN for improved histopathology image classification,’’ Med. Image Anal., vol. 67, Jan. 2021, Art. no. 101816.

98. D. Wang, Z. Chen, and H. Zhao, ‘‘Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification,’’ Biomed. Signal Process. Control, vol. 68, Jul. 2021, Art. no. 102713.

99. P. Alirezazadeh, B. Hejrati, A. Monsef-Esfahani, and A. Fathi, ‘‘Represen- tation learning-based unsupervised domain adaptation for classification of breast cancer histopathology images,’’ Biocybern. Biomed. Eng., vol. 38, no. 3, pp. 671–683, 2018.

100. X. Yu, H. Zheng, C. Liu, Y. Huang, and X. Ding, ‘‘Classify epithelium- stroma in histopathological images based on deep transferable network,’’ J. Microsc., vol. 271, no. 2, pp. 164–173, Aug. 2018.

101. J. Shi, X. Zheng, J. Wu, B. Gong, Q. Zhang, and S. Ying, ‘‘Quaternion Grassmann average network for learning representation of histopathological image,’’ Pattern Recognit., vol. 89, pp. 67–76, May 2019.

102. J. Shi, J. Wu, Y. Li, Q. Zhang, and S. Ying, ‘‘Histopathological image classification with color pattern random binary hashing-based PCANet and matrix-form classifier,’’ IEEE J. Biomed. Health Inform., vol. 21, no. 5, pp. 1327–1337, Sep. 2017.

103. F. G. Zanjani, S. Zinger, B. E. Bejnordi, J. A. W. M. van der Laak, and P. H. N. de With, ‘‘Stain normalization of histopathology images using generative adversarial networks,’’ in Proc. IEEE 15th Int. Symp. Biomed. Imag. (ISBI), Apr. 2018, pp. 573–577.

104. M. T. Shaban, C. Baur, N. Navab, and S. Albarqouni, ‘‘StainGAN: Stain style transfer for digital histological images,’’ in Proc. IEEE 16th Int. Symp. Biomed. Imag. (ISBI), Apr. 2019, pp. 953–956.

105. P. Salehi and A. Chalechale, ‘‘Pix2Pix-based stain-to-stain translation: A solution for robust stain normalization in histopathology images anal- ysis,’’ in Proc. Int. Conf. Mach. Vis. Image Process. (MVIP), Feb. 2020, pp. 1–7.

106. D. Mahapatra, B. Bozorgtabar, J. P. Thiran, and L. Shao, ‘‘Structure pre- serving stain normalization of histopathology images using self supervised semantic guidance,’’ in Proc. Int. Conf. Med. Image Comput. Comput.- Assist. Intervent., 2020, pp. 309–319.

Авторы: WENBIN HE, YONGJIE HAN, WUYI MING, JINGUANG DU, YINXIA LIU, YUAN YANG, LEIJIE WANG, YONGQIANG WANG, ZHIWEN JIANG, CHEN CAO, JIE YUAN

ЗАКАЗАТЬ СИСТЕМУ