Военные ведомства по всему миру разрабатывают автономные беспилотные наземные транспортные средства (AUGV) для различных применений. Однако развертывание по-настоящему автономных наземных транспортных средств в реальных условиях требует значительных исследований для повышения как аппаратных (сенсорные технологии), так и программных (модели искусственного интеллекта) возможностей.
Рассмотрим проблемы, с которыми сталкиваются беспилотные автомобили при внедрении безопасной автономной навигации на современных дорогах. Затем рассмотрим преодоление этих проблем, когда транспортное средство движется по сильно изменчивой местности в неконтролируемых условиях, выявляет опасности и реагирует на действия вражеских комбатантов.
Автономные навигационные аппараты (AUGV) требуют технологий автономной навигации и наземной разведки, способных в режиме реального времени понимать окружающую среду и незамедлительно определять оптимальный курс действий в конкретной ситуации.
Активным направлением исследований, направленных на реализацию этих возможностей, является тестирование различных методов зондирования для идентификации и анализа местности. Хотя в настоящее время исследуются несколько методов, включая машинное зрение, 3D-картографирование и глубокое обучение, потенциальным решением, обеспечивающим получение расширенных наборов данных изображений в режиме реального времени, является гиперспектральная съемка (HSI).
В гиперспектральной визуализации (HSI) современные модели обучаются анализировать окружающую среду на основе подробной спектральной информации. Это может значительно повысить точность и надежность их результатов, а при использовании гиперспектральных изображений в реальном времени скорость не страдает.
Прежде чем более подробно рассмотреть HSI и первые полевые испытания технологии, давайте сначала обсудим разработку автономных наземных транспортных средств (AUGV) и проблемы, которые они создают.
Разработка автономных беспилотных наземных транспортных средств (AUGV)
AUGV — это беспилотные аппараты, контактирующие с землей и работающие автономно. Разработка и внедрение AUGV ведется для широкого спектра гражданских и военных задач, где полагаться на операторов-людей нецелесообразно, опасно или слишком дорого.
В военной сфере это включает в себя различные применения, заменяющие транспортные средства с экипажем и позволяющие эвакуировать солдат из опасных ситуаций. Примеры включают:
- Работа со взрывчатыми веществами и обезвреживание бомб.
- Наблюдение, разведка и идентификация целей.
- Отвлекаю огонь противника
Одна из самых больших проблем при внедрении автономных транспортных средств — это способность идентифицировать и характеризовать местность в режиме реального времени при движении по неконтролируемым условиям. Любое решение должно обеспечивать быструю и надежную передачу данных, а затем проводить точный анализ для принятия решений в режиме реального времени.
Проблемы автономной навигации наземных транспортных средств
Переход от беспилотного транспортного средства к автономному беспилотному транспортному средству требует замены дистанционного управления человеком на автономную систему управления. Эта система использует датчики для сбора и ввода данных об окружающей среде в модель искусственного интеллекта. Затем модель интерпретирует окружающий ландшафт, чтобы определить оптимальные действия для передвижения в неконтролируемой среде.
Большинство существующих беспилотных автомобилей работают в контролируемых условиях, передвигаясь по фиксированной местности. Например, современные беспилотные автомобили, такие как Waymo, перемещаются в пределах фиксированных геозон, содержащих известные схемы улиц и средства регулирования дорожного движения. Хотя им приходится реагировать на различные переменные и опасности, они делают это в пределах определенных дорожных полос.
В отличие от них, автономные наземные транспортные средства (AUGV) должны перемещаться в неконтролируемых условиях с сильно изменчивым рельефом. Это требует гораздо более широкого анализа окружающей среды, основанного на наборе датчиков реального времени и передовых моделях искусственного интеллекта. При этом необходимо учитывать практические требования, предъявляемые к установке на AUGV.
Одним из наиболее активных направлений исследований в области автономных наземных транспортных средств является тестирование различных сенсорных технологий для решения задач, связанных с…
- Классификация местности
- Выявление опасностей, например, обнаружение наземных мин.
Любое решение должно обеспечивать точный и надежный анализ окружающей среды в режиме реального времени для принятия оптимальных решений на местах.
В число технологий, исследуемых для решения этих задач, входят машинное зрение, 3D-картографирование и глубокое обучение для классификации местности, а также традиционное машинное зрение, георадар (GPR) и металлодетекторы для обнаружения мин.
Перспективным методом визуализации, находящимся в настоящее время на стадии исследования и демонстрирующим весьма значительный потенциал, является гиперспектральная визуализация в реальном времени (HSI). С помощью гиперспектрального анализа автономные системы управления могут получить более глубокое понимание окружающей среды, тем самым улучшая возможности навигации в сложных условиях.
Преодоление трудностей развертывания автономных беспилотных наземных транспортных средств с помощью гиперспектральной съемки
Гиперспектральная съемка регистрирует свет, используя десятки спектральных диапазонов вместо всего лишь трех (красного, зеленого и синего). Таким образом, гиперспектральные камеры могут идентифицировать спектральные сигнатуры и особенности по всему изображению, раскрывая множество информации о составе материалов и факторах окружающей среды, которая ранее была невидима. Использование этой информации в моделях искусственного интеллекта позволяет получить более четкое и высокоточное (спектральное и пространственное) представление об окружающей среде транспортного средства.
Традиционные гиперспектральные камеры, основанные на методах сканирования (метод «щетки», метод «венчика» и т. д.), имеют ограничения из-за своей стоимости, хрупкости и низкой частоты кадров. Однако новые устройства для моментальной съемки представляют собой потенциальное решение для развертывания автономных беспилотных аппаратов, предлагая анализ в реальном времени на более компактном, надежном и портативном оборудовании.
В то время как традиционные гиперспектральные камеры с сканирующим сканированием находят применение в оборонной сфере для картографирования с использованием спутников и аэроразведки, моментальные камеры переносят гиперспектральную съемку на землю для целого ряда применений в сфере национальной безопасности , включая наземную технику и тактические подразделения.
Гиперспектральные камеры, работающие в режиме моментального снимка, захватывают как пространственную, так и спектральную информацию в одном кадре, что позволяет считывать данные со скоростью видеосигнала. Это крайне важно для принятия решений в режиме реального времени и в автономном режиме.
Разработка автономного беспилотного наземного аппарата, использующего гиперспектральные данные, требует быстрой, точной и надежной технологии моментальной съемки, размещенной в прочном устройстве. Камера основанная на гиперспектральной технологии моментальной съемки следующего поколения, обеспечивает именно это, и устройство уже проходит полевые испытания для классификации местности. Ниже мы представляем предварительные полевые испытания с использованием гиперспектральной камеры, демонстрирующие ее возможности по классификации различных типов местности практически в реальном времени.
Тесты классификации местности с помощью гиперспектральной камеры
Наша команда использовала обучение с учителем на небольшом количестве примеров для разработки модели классификации, способной различать три типа местности (дорога, грязь и растительность) на основе спектральной яркости. Видео были сняты с помощью управляемой вручную мобильной платформы в солнечный зимний день на открытом поле в Соединенном Королевстве.
Экспериментальная установка была разработана для воссоздания движения наземного транспортного средства, при этом камера снимала видео со скоростью 30 кадров в секунду. Данные были разделены на 70% для обучения и 30% для тестирования. Для обучения классификаторов использовались различные модели, при этом наилучшие результаты (показатель F1 89,5%) были достигнуты с использованием многослойного перцептрона.
Результаты, полученные с помощью камеры, демонстрируют, что она способна надежно различать эти три класса местности в динамических условиях, включая изменения освещения и уровня влажности, которые могут влиять на производительность. Планируются дальнейшие испытания для проверки производительности в изменяющихся погодных условиях и при различных изменениях рельефа.
Были проведены дополнительные испытания по обнаружению наземных мин на большом расстоянии с использованием камеры Living Optics. Однако для создания алгоритма обнаружения наземных мин, пригодного для использования в полевых условиях, требуются дополнительные наборы данных, полученные в различных условиях эксплуатации.
Часто задаваемые вопросы
Что такое гиперспектральная съемка и чем она отличается от стандартных камер?
Гиперспектральная съемка позволяет захватывать большое количество узких диапазонов длин волн, что дает возможность выявлять спектральную информацию об объектах и материалах по всему изображению. Это позволяет идентифицировать спектральные сигнатуры, невидимые невооруженному глазу или стандартным камерам, которые используют три широких диапазона длин волн: красный, зеленый и синий.
Почему гиперспектральная съемка ценна для автономных беспилотных наземных транспортных средств (AUGV)?
Гиперспектральная съемка предоставляет подробные спектральные данные для обучения более совершенных моделей искусственного интеллекта, которые могут улучшить работу автономных беспилотных наземных аппаратов (AUGV). Гиперспектральные данные позволяют точно идентифицировать материалы, классифицировать рельеф местности и обнаруживать скрытые объекты или опасности, чего невозможно достичь с помощью эквивалентных традиционных систем компьютерного зрения. Результаты спектрального обнаружения не зависят от формы или текстуры объектов, а только от характеристик материала поверхности.
Какие основные проблемы возникают при внедрении гиперспектральной съемки на автономных наземных транспортных средствах?
Гиперспектральные камеры должны уметь работать в различных условиях и стабильно обеспечивать точный анализ. Кроме того, гиперспектральные камеры должны обрабатывать большие объемы генерируемых данных, анализируя изображения в режиме реального времени для немедленного принятия автономных решений.
Объем данных и вычислительный кризис
- Гигантский поток информации: Объем данных возрастает в десятки раз по сравнению с классическим видео. Бортовые компьютеры беспилотников тратят критически много ресурсов и времени на передачу и анализ такого массива.
- Дефицит алгоритмов: Большинство систем искусственного интеллекта для беспилотников обучены работать с простыми RGB-кадрами. Перенос этих нейросетей на многомерные спектральные кубы требует создания принципиально новых архитектур.
Аппаратные ограничения и суровые условия
- Несовпадение стандартов: Большинство коммерческих гиперспектральных камер не соответствуют жестким автомобильным требованиям по температурному диапазону и надежности (например, стандартам AEC-Q100).
- Параметры веса и энергии: Приборы потребляют много энергии и обладают избыточной массой для компактных бортовых систем.
- Механическая инерция: Традиционные сканирующие камеры («push-broom») не успевают за движением автомобиля и быстро меняющейся дорожной сценой. Переход на матричные камеры мгновенного снимка («snapshot») пока уступает в качестве спектрального разрешения.
Динамика среды и изменчивый свет
- Неконтролируемый свет: Тени от зданий, яркое солнце, туман, дождь и снег искажают отраженный от объектов спектральный сигнал.
- Проблема калибровки: В отличие от космических или авиационных аппаратов, наземный транспорт движется хаотично, из-за чего точная привязка спектральных признаков к конкретным материалам (например, мокрому асфальту, льду или масляному пятну) сильно затруднена.
Методы объединения гиперспектральных данных с LiDAR
Уровни объединения данных
1. Низкий уровень (Слияние на уровне данных / Pixel-level fusion)
-
- Как это работает: Каждая 3D-точка из облака LiDAR проецируется на 2D-матрицу гиперспектрального изображения с помощью калибровочной матрицы.
- Результат: Точка LiDAR получает дополнительные координаты спектра (\(X, Y, Z + \lambda_1, \lambda_2 … \lambda_n\)).
- Проблема: Требует идеальной пространственно-временной синхронизации. Если автомобиль тряхнуло на кочке, геометрия и спектр «разойдутся» в пространстве.
2. Средний уровень (Слияние на уровне признаков / Feature-level fusion)
-
- Как это работает: Из данных LiDAR извлекаются геометрические признаки (высота, наклон поверхности, шероховатость). Из гиперспектрального куба — спектральные индексы (например, коэффициенты отражения асфальта, растительности, пластика). Затем эти векторы признаков объединяются и подаются на вход классификатору (например, нейросети).
- Результат: Модель понимает, что перед ней не просто «вертикальный объект высотой 1 метр», а «вертикальный объект из ткани» (пешеход в куртке) или «из металла» (дорожный знак).
3. Высокий уровень (Слияние на уровне решений / Decision-level fusion)
- Как это работает: LiDAR-система говорит: «С вероятностью 90% это препятствие». Гиперспектральная система говорит: «С вероятностью 95% это густой дым/туман, а не твердый объект». Бортовой компьютер использует алгоритмы теории вероятностей (например, фильтр Калмана или Демпстера-Шафера), чтобы принять итоговое решение — тормозить или продолжать движение.
- Результат: Максимальная отказоустойчивость системы. Если один датчик ослеплен или загрязнен, второй подстрахует.
Архитектурные подходы и алгоритмы
- Глубокое обучение и CNN-трансформеры: Современные нейросети используют двухпоточные архитектуры. Один поток (3D CNN) обрабатывает разреженное облако точек LiDAR, второй (2D/3D CNN) — гиперспектральный куб. Специальные слои внимания (Attention layers) помогают сети понять, какие спектральные каналы важнее для конкретных геометрических форм.
- Оптимизация на основе графов (Graph Neural Networks): Данные LiDAR представляются в виде графа, где узлы — это точки, а связи — расстояния между ними. Гиперспектральные данные проецируются на эти узлы. Это позволяет эффективно сегментировать дорожную сцену даже при неравномерной плотности точек LiDAR.
- Методы снижения размерности (PCA / ICA) перед слиянием: Чтобы LiDAR не «ждал» тяжелую гиперспектральную графику, спектральный куб предварительно сжимают с помощью метода главных компонентов (PCA), оставляя только самые информативные каналы, и уже их объединяют с 3D-координатами.
Сравнительный анализ подходов
| Критерий | Слияние данных (Низкий уровень) | Слияние признаков (Средний уровень) | Слияние решений (Высокий уровень) |
|---|---|---|---|
| Точность распознавания | Максимальная | Высокая | Средняя |
| Вычислительная нагрузка | Экстремальная | Сбалансированная | Низкая |
| Чувствительность к шуму | Очень высокая | Средняя | Минимальная |
| Требования к синхронизации | Жесткие (микросекунды) | Умеренные | Низкие |
