В настоящее время спутниковые изображения активно используются в дистанционном зондировании Земли. Спутники, такие как Sentinel, IKONOS, MODIS, Landsat, QuickBird, GeoEye и WorldView-1-2, предоставляют высокоразрешимые снимки. Глобальные платформы, включая Google Earth, Google Maps и Microsoft Bing Maps, обеспечивают свободный доступ к этим снимкам.
Применение спутниковых изображений весьма многогранно: картография, географические информационные системы (ГИС), классификация земель, навигация, сельское хозяйство, управление чрезвычайными ситуациями и др. Кроме того, специалисты в области инженерии используют методы компьютерного зрения для анализа спутниковых снимков с целью обнаружения и классификации объектов.
Методы искусственного интеллекта для спутниковых снимков
Объединение технологий компьютерного зрения и спутниковых данных открывает широкие возможности для различных областей, включая мониторинг территории, городское планирование, реагирование на стихийные бедствия и геопространственную разведку в режиме реального времени.
В данной работе мы подробно рассмотрим применение методов компьютерного зрения, таких как сверточные нейронные сети (CNN), для распознавания образов и выделения признаков из визуальной информации, получаемой со спутников.
Предварительная обработка данных
Несмотря на то, что спутниковые данные уже подготовлены к анализу, перед их использованием в моделях глубокого обучения необходима дополнительная обработка.
Часто встречающейся проблемой при работе со спутниковыми данными является наличие пропусков информации. Неблагоприятные погодные условия, такие как облачность, осадки, тени и т.д., могут привести к отсутствию данных или искажению их качества.
Помимо этого, сбор данных с различных орбитальных траекторий может охватить обширные географические области. Работа с мультимодальными данными вносит дополнительные сложности. Для синхронизации временных интервалов требуется интерполяция изображений между последовательными снимками.
Этапы предварительной обработки спутниковых снимков – Источник
Для аугментации мультимодальных данных специалисты в области компьютерного зрения часто используют пространственную интерполяцию. Методы стабильной диффузии также демонстрируют высокую эффективность в большинстве случаев.
При этом, для пространственной интерполяции методы ближайшего соседа или билинейная интерполяция являются приемлемыми. В случае временной интерполяции более подходящими являются линейная или кубическая сплайновая интерполяция.
Маркировка данных
Широкий спектр объектов и ландшафтов, наблюдаемых со спутников, требует значительных объемов помеченных данных для эффективной обработки с помощью методов компьютерного зрения.
Однако, ручная маркировка такого количества изображений не представляется возможной, что затрудняет обучение алгоритмов для анализа визуальной информации. В связи с этим, для создания обучающих наборов данных необходимы автоматизированные технологии маркировки.
Современные технологии позволяют специалистам в соответствующей области быстро классифицировать пространственные объекты на спутниковых снимках при помощи удобных интерфейсов. Это включает в себя обозначение границ земельных участков, выделение контуров объектов, таких как здания, а также семантическую сегментацию для присвоения меток различным частям изображения.
Некоторые компании предлагают специализированные облачные платформы, интегрирующие инструменты аннотации изображений и видео в единую среду, что упрощает процесс маркировки данных.
Инструмент для аннотирования изображений
В рамках процесса обучения контролируемых моделей компьютерного зрения, использующих наборы данных спутниковой съемки, применяются методы маркировки данных. Полученные в ходе обучения показатели эффективности используются для оптимизации процедуры маркировки с целью достижения максимальной производительности модели.
Обучение модели
В работе Миллера и соавторов (2023) для анализа использовались временные ряды спутниковых изображений (SITS), включающие приблизительно 50 наборов данных, собранных в период с 2017 по 2023 год. Авторы провели аннотацию одного набора данных для задачи регрессии и 31 набора данных для задач классификации.
Наиболее часто использовался источник данных Sentinel-2, предоставивший 13 наборов спутниковых изображений и все данные для 14 из них. Среди других распространенных источников были Landsat-8 (13 наборов данных) и Sentinel-1 (6 наборов данных). Наборы данных имели временное разрешение от суточного до ежемесячного и пространственное разрешение от 3 до 60 метров.
Примеры изображений с метками из набора данных AID – Источник
Исследователи успешно внедрили модели компьютерного зрения (CV) в различные области применения, такие как классификация землепользования и растительного покрова, семантическая сегментация и обнаружение объектов на спутниковых снимках. Разработанные ими модели поддерживают как многоклассовую, так и многометковую классификацию. Многоклассовые модели присваивают одночение метку всему изображению, в то время как многометковые модели позволяют назначить несколько меток, что более точно отражает реальность.
В работе Caron et al., 2019, для извлечения устойчивых признаков использовался метод неконтролируемого глубокого обучения с использованием большого объема немаркированных изображений. Авторы комбинировали кластеризацию с глубокими нейронными сетями для генерации псевдометки, которые затем применялись в сверточной нейронной сети.
Глубокое обучение и CNN для распознавания спутниковых изображений
Свёрточные нейронные сети (CNN) хорошо подходят для последовательной и многомерной обработки данных. Процесс обучения таких сетей позволяет извлекать признаки из входных данных, учитывая контекстуальную информацию. После сверточного слоя применяются активационная функция и, по необходимости, слой пулинга. В ходе обучения вычисляются веса фильтров.
Структура CNN для обучения модели на основе спутниковых изображений – Источник
В работе Димитровски и соавторов (2002) предложен подход к извлечению общих признаков из обширного набора немаркированных спутниковых изображений с использованием неконтролируемого глубокого обучения. Для адаптации модели к конкретной задаче использовалась тонкая настройка на ограниченном наборе размеченных изображений.
Авторами была разработана и инициализирована модель с определенной конфигурацией, основанная на архитектуре ResNet50, взятой из открытого набора инструментов. В конфигурации модели были заданы следующие параметры: количество эпох обучения, число классов, скорость обучения, путь к каталогу для сохранения весов модели, пути к файлам с результатами, порог для получения прогнозов и набор метрик для оценки качества модели.
Проблемы ИИ при работе со спутниковыми снимками
Работа со спутниковыми снимками сопряжена с рядом вызовов:
- Объем данных: Наборы спутниковых изображений обладают внушительным объемом и требуют значительных ресурсов для обработки и хранения.
- Вопросы безопасности: Высокоразрешающие снимки могут быть ограничены в доступе или запрещены в зависимости от региональных норм конфиденциальности и национальной безопасности.
- Нестабильность качества изображения: Факторы, такие как атмосферные возмущения, шум датчиков и расстояние спутника до Земли, могут привести к вариациям качества изображений. Изменения разрешения также представляют собой вызов.
- Отсутствие аннотированных данных: Для эффективного обучения моделей машинного обучения каждое изображение или его фрагмент нуждается в точной маркировке. Этот процесс ручного аннотирования требует специализированных навыков, особенно при работе с аэрофотоснимками.
- Временная динамика: Изменения освещения, погодных условий, сезонной растительности и anthropogenic деятельности могут существенно влиять на внешний вид одного и того же объекта на снимках, сделанных в разное время. Это создает трудности для обеспечения временной согласованности.
Результаты для предварительно обученных моделей на наборе данных SAT6 – Источник
- Изменения масштаба: В зависимости от высоты орбиты спутника и угла съёмки объекты могут отображаться в разных масштабах. Это затрудняет идентификацию мелких объектов.
- Геометрические и радиометрические искажения: Возникают из-за съёмки под различными углами с большой высоты. Радиометрические искажения связаны с изменением угла обзора сенсора, угла падения солнечных лучей и атмосферных условий.
- Многоспектральность: Спутниковые снимки часто включают в себя больше спектральных диапазонов, чем обычные фотографии. Хотя это может повысить эффективность моделей, это также усложняет разработку новых алгоритмов.
Приложения и варианты использования в различных отраслях
В настоящем документе рассматриваются ключевые области применения технологий компьютерного зрения для обработки высокоразрешающих спутниковых изображений.
Сельское хозяйство
Мониторинг состояния сельскохозяйственных угодий – трудоемкая задача. Спутниковые снимки позволяют удаленно отслеживать прогресс роста и состояние посевов на обширных территориях в установленные сроки. Данные спуска могут быть импортированы для последующего анализа.
Агропроизводители используют полученные изображения для оценки потребности в орошении, выявления дефицита питательных веществ и планирования агротехнических мероприятий, направленных на повышение урожайности. Компании могут получать комплексные отчеты о состоянии полей для целей страхования и оптимизации управления фермерским хозяйством с использованием точных данных об урожае.
Транспорт и дорожное движение
Анализ спутниковых снимков позволяет предприятиям автоматически выявлять дорожные заторы, аварии и повреждения дорожного полотна. Это способствует оперативному реагированию дорожных служб и оптимизации маршрутов транспортных средств.
Сегментация экземпляров в контексте управления трафиком.
Кроме того, компьютерное зрение позволяет автоматически обнаруживать и классифицировать различные объекты на дороге, такие как пешеходы и транспортные средства (легковые автомобили, грузовики, велосипеды). Офлайн-анализ может предоставлять отчеты и визуальные материалы, необходимые государственным органам.
Инфраструктура и кадастр
Технологии компьютерного зрения расширяют возможности спутниковых снимков в картографических целях, позволяя определять местоположение улиц, зданий, мостов, промышленных объектов и т.д.
Это помогает местным властям принимать решения о размещении государственных учреждений, таких как школы, больницы, детские сады.
Геодезисты используют фотограмметрические методы для создания точных измерений и 3D-моделей любого ландшафта на основе спутниковых данных. Земельное управление может использовать спутниковые снимки для нанесения границ собственности на карту.
Реагирование на стихийные бедствия
Государственные органы используют спутниковые снимки с применением технологий компьютерного зрения для быстрого анализа пострадавших от стихийных бедствий территорий, что способствует оперативному реагированию и оценке масштаба ущерба. Сравнение снимков до и после бедствия позволяет выявить изменения и аномалии, такие как изменение формы объектов, их размера и площади.
Управление лесным хозяйством
Анализ состояния леса – сложная задача. Компьютерное зрение в сочетании со спутниковыми снимками позволяет классифицировать и количественно оценивать различные виды растений, проводить подсчет деревьев и оценивать их состояние здоровья.
Спутниковый снимок леса – Источник
Снимки с дронов и спутников в сочетании с алгоритмами машинного обучения позволяют оценить популяцию животных и растений на больших территориях. Кроме того, они дают точную оценку состава леса с точки зрения видов деревьев, биомассы, размеров деревьев и т.д.
Будущие тенденции
Извлечение геопространственной информации из аэрофотосъёмки стимулирует развитие применения компьютерного зрения в сфере спутниковых снимков. Благодаря сложным алгоритмам, обученным на обширных размеченных наборах данных, искусственный интеллект демонстрирует высокую эффективность в анализе спутниковой информации.
Несмотря на некоторые ограничения, компьютерное зрение является действенным инструментом для картографирования объектов, оценки ущерба и получения данных в различных областях применения. Для успешной реализации компьютерного зрения при анализе спутниковых снимков требуется тесное сотрудничество между специалистами в области компьютерного зрения, геопространственных данных и предметной области.
Часто задаваемые вопросы
Вопрос: Какой набор данных спутниковых снимков считается наиболее полезным?
Ответ: Наиболее ценным набором изображений является временной ряд спутниковых снимков (SITS), включающий около 50 комплектов данных, собранных в период с 2017 по 2023 год.
Вопрос: Какая сверточная нейронная сеть наиболее полезна для исследователей при создании моделей компьютерного зрения на основе спутниковых снимков?
Ответ: Для построения моделей компьютерного зрения, основанных на спутниковых снимках, наилучшим образом подходит сверточная нейронная сеть ResNet50.
Вопрос: Какие основные трудности возникают при применении методов машинного обучения к спутниковым снимкам?
Ответ: К основным проблемам относятся: объем обрабатываемых данных, дефицит размеченных данных, вариативность рельефа из-за погодных условий, вопросы конфиденциальности картографируемой территории и др.
Вопрос: Какие области применения компьютерного зрения на основе спутниковых снимков считаются наиболее перспективными?
Ответ: К наиболее перспективным направлениям относятся сельское хозяйство, транспортная инфраструктура и дорожное движение, земельный кадастр, лесное хозяйство, а также системы реагирования на чрезвычайные ситуации.
