Системы технического зрения в авиации: обзор задач, методов и технологий

Статья посвящена исследованию ключевых проблем создания систем компьютерного зрения для современных и будущих авиационных комплексов. В ней рассматриваются типы датчиков, используемых в таких системах, и требования к алгоритмам компьютерного зрения.

Авторы описывают задачи и методы обнаружения объектов на изображении; анализ изображений для планирования полетов; получение, обработку и комбинирование многоспектральных видеоданных. Отдельное внимание уделяется системам улучшенного видения для гражданской авиации. В статье также перечислены теоретические и практические результаты, достигнутые ГосНИИАС в области разработки перспективных методов компьютерного зрения.

Введение

Современные системы управления летательными аппаратами (ЛА) предназначены для контроля сложных многофункциональных объектов, действующих в разнообразных условиях окружающей среды.

Зрительное восприятие играет ключевую роль как в автоматических, так и в автоматизированных (человеко-машинных) системах управления, являясь важным источником информации. В связи с этим, создание систем технического зрения (СТЗ) для различных типов ЛА двойного назначения приобретает всё большее значение.

Исследования Всемирного фонда безопасности показывают, что почти 75% авиационных происшествий при заходе на посадку и посадке случается в аэропортах с ограниченным доступом или отсутствием точных систем посадки в условиях плохой видимости. Поэтому одним из приоритетных направлений совершенствования бортовой авионики является разработка аппаратно-программных комплексов «улучшенного видения» (EVS).

В EVS могут использоваться различные источники информации: телевизионные видеодатчики, инфракрасные (ИК) датчики, миллиметровые радары, лазерные локаторы, базы данных рельефа местности, аэропортов и взлетно-посадочных полос, а также навигационные параметры.

Обработанная EVS информация представляется пилоту в реальном времени на индикаторе лобового стекла или многофункциональном индикаторе (МФИ).
Функционально EVS делятся на три типа: улучшенной визуализации, синтезированного видения и автоматизированного видения.

В составе EVS выделяют две основные подсистемы: система технического зрения (СТЗ), отвечающая за ввод и обработку видеоинформации, и система компьютерной визуализации (СКВ), формирующая графические образы для пилота.

В настоящее время развитие авиационной техники направлено не только на улучшение характеристик отдельных ЛА, но и на создание эффективных систем управления, связи, обработки и сбора информации (С4I). Это комплексная система, включающая множество ЛА, подсистемы, службы и сети, работающие с изображениями и географическими данными.

В С4I входят космические и авиационные платформы получения данных, службы географической поддержки, наземные системы сбора информации, системы планирования операций, моделирования, навигации, управления движением и целеуказания.

Важной частью С4I является сбор и комплексирование информации от датчиков различной физической природы: космоснимки, авиаснимки, видео- и ИК-данные, данные радаров, лазерных систем и т.д.

Соответственно, самолет XXI века должен обладать высокой скоростью и помехоустойчивостью передачи данных, точными навигационными системами, большой дальностью действия, всепогодностью, высокой точностью и гибкостью при выполнении задач.

Для реализации различных технологий анализа изображений необходимы системы сбора информации на базе космических, авиационных и БЛА носителей, системы подготовки полётных заданий, системы высокоточной геопространственной привязки, а также системы автономного управления высокоточными беспилотными ЛА и летающих робототехнических комплексов.

В данной статье мы стремимся дать обзор основных задач, методов и технологий технического зрения в авиационных приложениях. В качестве примеров будут приведены некоторые теоретические и практические результаты, полученные в ГосНИИАС.

ОБНАРУЖЕНИЕ ОБЪЕКТОВ И ИДЕНТИФИКАЦИЯ ЦЕЛЕЙ

Автоматическое и автоматизированное обнаружение целей

Основная задача автономных систем навигации и целеуказания заключается в максимально эффективном обнаружении, классификации (идентификации) определенных объектов на местности и выдаче соответствующих директив исполнительной системе управления. Эти же задачи решаются человеком-оператором в автоматизированных системах на основе информации, предоставляемой системой обработки и комплексирования информации. При этом функции систем машинного зрения и необходимые алгоритмы анализа изображений оказываются схожими в обоих случаях.

Разработка технологии Automatic Target Recognition (ATR) – автоматического обнаружения целей – прошла долгий путь, от чередования успехов и неудач до признания её перспективности в рамках программы LANTIRN Министерством обороны США. В ходе реализации этой программы были преодолены трудности, связанные с распознаванием воздушных и крупных стационарных целей в условиях отсутствия или наличия незначительных местных помех.

В настоящее время исследования ATR ведутся преимущественно в контексте её применения в оптико-электронных системах, РЛС и системах с комбинацией датчиков. Основное внимание уделяется усовершенствованию алгоритмов, датчиков и процессоров.

Анализ разработок зарубежных фирм показывает, что практическое применение находят четыре основные группы алгоритмов распознавания цели:

1. Алгоритмы согласованной фильтрации с проверкой совпадения, использующие шаблоны для целей, которые необходимо обнаружить.
2. Алгоритмы статистического распознавания образов, предусматривающие выборку изображений целей с учётом их конкретных характерных признаков.
3. Алгоритмы технического зрения на основе моделей, с помощью которых сравниваются характерные признаки наблюдаемой цели с хранящимися в памяти ЭВМ моделями данного изображения.
4. Нейросетевые алгоритмы, предполагающие обучение на примерах искусственной нейронной сети, имитирующей структуру мозга человека.

Выбор способа распознавания целей и разработка ATR в целом требуют чётко определённой основы:

• Каковы требования к выполнению задачи данным летательным аппаратом?
• Насколько сложна классификация целей для разрабатываемой системы?
• Потребуется ли для выполнения поставленной задачи дедуктивный или индуктивный метод рассуждений?
• Если в процессе принятия решений предусматривается участие человека, какова должна быть степень подробности “подсказок” со стороны машины?
• Какие характеристики датчиков являются в данном случае ключевыми?
• Как совмещать разнородную информацию от датчиков, установленных на различных платформах, имеющих разную внутреннюю геометрию и представленных в различных форматах?

Ведущиеся в США исследования направлены на повышение эффективности крылатых ракет (КР) за счет внедрения систем автоматического распознавания целей (ATR).

Две компании, Martin Marietta и Texas Instruments, ведут разработку подсистем обнаружения и алгоритмов ATR для КР, предназначенных для автономного поиска и уничтожения важных объектов.

Martin Marietta использует радиолокационную систему миллиметрового диапазона и систему FLIR (Forward Looking Infrared), в то время как Texas Instruments opt for лазерный локатор LADAR и систему FLIR. Оба алгоритма ATR основаны на сопоставлении трехмерного изображения цели с моделью, хранящейся в памяти системы обработки данных, или с сигнатурами, полученными под различными углами обзора.

Весь процесс распознавания занимает доли секунды. В случае недостатка информации КР может отклониться от курса, приблизиться к объекту и выполнить его облет.

Представители Texas Instruments утверждают, что их алгоритм ATR способен различать пусковые установки зенитных ракетных комплексов (ЗРК), ракеты класса «поверхность – поверхность» и транспортные автомашины, а также подвижные пункты связи. Martin Marietta заявляет, что ее алгоритм с вероятностью 85% обеспечивает распознавание трех типов армейских транспортных средств с примерно одинаковыми размерами и конструкцией.

В управлении DARPA (Defense Advanced Research Projects Agency) ведется разработка алгоритмов ATR на основе абстрактного представления целей вместо использования детальных изображений. Этот подход особенно важен для совершенствования систем ATR при включении изображений новых целей, поскольку значительно сокращает время на сбор информации и отработку алгоритма.

В 1999 году Boeing AGM-84H SLAM-ER стала первой американской системой оружия с режимом ATR. В отличие от режима автоматического захвата цели (АТА), который использовался в ряде ранее созданных авиационных средств поражения, режим ATR сравнивает изображение потенциальной цели, полученное бортовыми датчиками, с ее цифровым образом, хранящимся в памяти бортовой вычислительной машины.

Это позволяет осуществлять автономный поиск объекта, его идентификацию и нацеливание ракеты при наличии лишь приблизительных данных о местонахождении цели.

КР JASSM также оснащается комбинированной системой наведения – инерциально-спутниковой на маршевом участке полета и тепловизионной с режимом ATR на конечном. Такая система, в частности, позволяет реализовать режим перенацеливания в полете.

Несмотря на значительный прогресс в разработке систем автоматического целевого распознавания (ATR), международное сообщество по-прежнему проявляет интерес к созданию автоматизированных систем управления летательными аппаратами (ЛА) с элементами машинного зрения. Авиационные специалисты осторожны в переходе на полностью автоматические системы целеуказания, и эта осторожность вполне оправдана.

Существуют два ключевых фактора, обуславливающих такую позицию:

• Высокая степень ответственности при принятии решения о нанесении удара. Требуется гораздо более высокая уверенность в обнаружении и распознавании цели, чем та, которую обеспечивают современные ATR-системы.
• Постоянное обновление номенклатуры вооружения. Для поддержания боеспособности ATR-систем требуется создание и постоянное обновление баз данных моделей объектов для точного распознавания, что является сложной задачей с технической, экономической и организационной точки зрения.

Поэтому на данном этапе целесообразнее интегрировать элементы ATR в системы информационной поддержки автоматизированных систем управления ЛА.

Требования к надежности распознавания могут быть снижены, поскольку окончательное решение принимает человек-оператор, который может игнорировать или уточнять информацию, если она вызывает сомнения. Оператору необходимо предоставить доступ к “сырой” информации с датчиков для самостоятельной интерпретации.

Преимущества такого подхода:

• Снижение требований к разрешению алгоритмов распознавания.
• Системы информационной поддержки должны лишь привлечь внимание оператора к определенному участку сцены, а точное распознавание типа объектов и принятие решений осуществляет сам оператор.
• Необходимость поддержания сверхподробной базы данных моделей целей устраняется.

В результате увеличивается скорость обработки информации и высвобождаются вычислительные ресурсы для решения других задач управления ЛА.

В заключение, автоматическое или автоматизированное обнаружение целей является важной, но частной технологической задачей в контексте комплекса задач машинного зрения для перспективных ЛА.

К этим задачам относятся:

• Обнаружение объектов и изменений в сцене наблюдения.
• Высокоточные измерения элементов сцены.
• Слежение за объектами.
• Самоориентация и самопозиционирование ЛА.
• Реконструкция наблюдаемых поверхностей и обнаружение трехмерных структур.
• Описание сцены и идентификация объектов.

Требования к алгоритмам обнаружения и идентификации в СТЗ ЛА

В последние годы стремительный прогресс в области цифровых видеодатчиков с высоким разрешением существенно приблизил информативность искусственных зрительных устройств к возможностям человеческого глаза.

Высокопроизводительные аппаратные решения, достигнутые благодаря последним достижениям в электронике и вычислительной технике, позволяют бортовым ЭВМ современных летательных аппаратов (ЛА) обладать вычислительными мощностями, сопоставимыми с теми, которые используются мозгом человека для обработки изображений.

Таким образом, на пути к созданию полностью автоматизированных ЛА, способных выполнять сложные боевые или хозяйственные задачи, остаётся лишь одна существенная техническая проблема – разработка методов и алгоритмов “понимания” изображений, получаемых по различным каналам информационного обеспечения. Однако именно эта задача часто оказывается наиболее сложной.

Специфика разработки систем искусственного зрения для ЛА определяется рядом ключевых особенностей:

1. Задача проблемно-ориентированной интерпретации. В отличие от общей задачи автоматического понимания изображения произвольной сцены, системы технического зрения ЛА решают более узкую задачу обнаружения и идентификации на изображении заранее известных объектов, которые могут повлиять на управление ЛА.
2. Специфические требования к алгоритмам. Алгоритмы обработки изображений в подсистемах информационного обеспечения ЛА должны соответствовать назначению и характеристикам системы управления. Требования могут включать робастность, локализация и вычислительную реализуемость в рамках заданной аппаратной архитектуры.
3. Устойчивость к вариациям. Центральной проблемой обработки изображений является разработка методов обнаружения объектов, устойчивых к различным видам изменчивости, характерным для изображений: искажениям оптических сенсоров, бликам, затенениям, загораживанию, искажениям формы, ракурсным искажениям и шумовым компонентам.
4. Использование датчиков различной физической природы. Совместное использование датчиков различной физической природы (ДРФП) может существенно расширить возможности подсистем технического зрения ЛА. Эффективность решения задачи управления будет зависеть как от используемого набора и параметров датчиков, так и от характера алгоритмов обработки и комплексирования информации.

Рассмотрим требования к методам и алгоритмам технического зрения в системах управления ЛА на примере алгоритмов обнаружения и идентификации объектов на изображениях.

Робастность. Алгоритмы часто разрабатываются на математических моделях характерных целей, созданных с помощью ЭВМ. Этот метод быстр и позволяет тестировать алгоритмы на объектах, реальные изображения которых отсутствуют. Однако созданные алгоритмы должны работать не только на модельных, но и на реальных изображениях. Факторы, влияющие на качество реальных изображений от датчиков, могут быть чрезвычайно изменчивыми и трудно формализуемыми, что усложняет задачу обнаружения и идентификации объектов.

Следует более подробно рассмотреть факторы, затрудняющие процесс обнаружения объектов:

• Шум: Возникает из-за множества причин, включая несовершенство сенсоров приёмно-передающей аппаратуры, оборудования для оцифровки изображений, сложные условия съёмки и недостаточное освещение.
• Сложный фон: Обнаружение объектов на фоне с разнообразной текстурой, например, штрихового кода на газетной странице, представляет собой значительную сложность.
• Загораживание: Когда одни объекты частично или полностью скрывают другие (например, облако на космическом снимке), это создаёт дополнительные трудности для обнаружения.
• Оптические искажения: Размытость, дисторсия, ракурсные искажения и другие эффекты искажают изображение и усложняют распознавание объектов.
• Резкие изменения освещения: Блики, тени, особенно в динамически меняющихся сценах, могут маскировать объекты и затруднять их обнаружение.
• Изменчивость объектов: Переменная структура (как у штриховых кодов), дефекты, временные изменения формы, вегетационные циклы для растительности и другие факторы усложняют процесс идентификации.
• Влияние среды: Задымление, осадки, пыль, искусственные помехи и другие факторы окружающей среды могут искажать изображение и затруднять обнаружение объектов.
• Несинхронность обработки данных: В динамических задачах обнаружения несинхронная запись и обработка данных из-за ограничений компьютерных ресурсов хранения и анализа изображений может привести к задержкам в реакции системы. К этой категории также относятся сбои в программном обеспечении обработки.

Даже краткий анализ факторов, влияющих на обработку изображений, демонстрирует невозможность их полного формального математического описания с помощью вероятностных, радиометрических или геометрических методов. Отсутствие формализованного описания ключевых факторов неопределенности приводит к выводу, что в ближайшие годы не будет создан единый оптимальный алгоритм для решения задач обработки изображений в подобных случаях.

Предположим, что существует несколько алгоритмов, достигающих сопоставимых результатов на “идеальных” (неискажённых) изображениях. Тогда возникает вопрос о сравнении их эффективности. В настоящее время стандартной практикой при разработке реальных алгоритмов является проверка их эффективности на огромных выборках реальных данных, содержащих максимально разнообразные искажения. Такие алгоритмы, устойчивые к значительным искажениям и изменяющимся факторам, называются робастными. Робастность следует считать одним из основных практических требований при разработке алгоритмов обнаружения объектов и других алгоритмов машинного зрения.

Локализация:

Важное отличие проблемы обнаружения объектов от задач распознавания или интерпретации сегментированных образов заключается в необходимости поиска объекта. Реализация процедуры поиска связана с угрозой экспоненциального роста объема вычислений. Например, при сравнении текущего изображения с шаблоном объекта размером M×M на изображении N×N требуется не менее M²N² операций.

Более того, реальные задачи обработки визуальной информации часто включают дополнительные степени свободы: объект может иметь произвольное положение, угловую ориентацию и масштаб, а также подвергаться сложным преобразованиям. Все это значительно увеличивает время вычислений и требует иных подходов к организации процесса обнаружения.

В связи с этим второе важное свойство алгоритмов обнаружения – точностъ локализации. Для объектов больших размеров возможна субпиксельная локализация, что особенно важно для стереообнаружения. Аномальные ошибки, связанные с перепутыванием объектов или появлением ложных объектов, являются серьезной проблемой, так как могут привести к неэффективному управлению.

Вычислительная реализуемость:

Несмотря на прогресс вычислительной техники, характеристики вычислителей для бортовых приложений реального времени все еще далеки от желаемых. Даже простые алгоритмы оконной фильтрации требуют десятки операций на точку изображения. Для более сложной обработки объем вычислений может достигать тысяч операций на пиксел.

Для приложений реального времени эти вычисления должны выполняться в темпе кадровой развертки (не менее 25 кадров в секунду). Таким образом, вычислительная реализуемость алгоритмов остается одним из ключевых факторов при их разработке.

Современный подход к обнаружению объектов в сцене наблюдения

До 1980-х годов доминирующим классом алгоритмов для обнаружения и идентификации объектов в бортовых системах технического зрения летательных аппаратов были корреляционно-экстремальные алгоритмы [Красовский и др., 1979]. Однако с ростом требований к точности и надежности при обнаружении всё более сложных объектов в сложных реальных условиях, недостатки этой группы методов становились всё более очевидными. К ним относятся высокая вероятность аномальных ошибок, необходимость большого количества эталонов для описания разноракурсных изображений трехмерных объектов, а также неустойчивость к яркостно-геометрическим изменениям изображений в реальных условиях регистрации.

Это привело к переходу от корреляционных детекторов заданных образов к методам и алгоритмам структурного анализа изображений.

В настоящее время последовательность процедур обработки изображений рассматривается в соответствии с так называемой парадигмой Марра [Марр, 1987]. Эта парадигма, предложенная Д. Марром на основе изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений опирается на несколько последовательных уровней восходящей информационной линии: «иконическое представление объектов (растровое изображение, неструктурированная информация) — символическое представление (векторные и атрибутивные данные в структурированной форме, реляционные структуры)». Обработка должна осуществляться по модульному принципу посредством следующих этапов:

• предобработка изображения;
• первичная сегментация изображения;
• выделение геометрической структуры видимого поля;
• определение относительной структуры и семантики видимой сцены.

Эти уровни обработки обычно называются соответственно обработкой нижнего, среднего и высокого уровня.

В то время как алгоритмы обработки нижнего уровня (фильтрация шумов, гистограммная обработка) можно считать хорошо разработанными, алгоритмы среднего уровня (сегментация) остаются предметом активных исследований. В последние годы достигнут значительный прогресс в областях сопоставления точек и фрагментов изображений, выделения признаков внутри малых фрагментов, высокоточной 3D-позиционирования точек.

Это подразумевает соответствующее моделирование и калибровку датчиков и их комбинаций, а также выделение простых яркостно-геометрических структур типа «точка», «край», «пятно», «прямая линия», «угол».

Эти «первичные» особенности изображения, также называемые характерными чертами (ХЧ), играют базовую роль при создании яркостно-геометрических моделей объектов и разработке робастных алгоритмов их выделения.

Ввиду высокой значимости ХЧ для разработки алгоритмического обеспечения задач управления летательными аппаратами в ГосНИИАС были проведены исследования свойств различных типов ХЧ на типичных сюжетах — авиационных снимках местности.

Рис. 1. Основные типы характерных черт

В данной статье представлена классификация характерных черт, которые могут присутствовать на изображениях и описываются различными атрибутами:

• Положение: координаты концов отрезка, центр отрезка, центр тяжести области, вершины многоугольников.
• Геометрические атрибуты: ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, количество и положение особых точек, показатель компактности.
• Радиометрические атрибуты: контраст, статистика распределения яркости, знак и величина края, автокорреляция.
• Текстурные атрибуты: матрица смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты.
• Топологические атрибуты: связность, соседство, общие точки, пересечение, параллельность, перекрытие, включение.
• Цветовые/многозональные атрибуты: вектор атрибутов для каждого канала.
• Динамические атрибуты: атрибуты статических и движущихся объектов.
• Временные атрибуты: функции изменения атрибутов со временем.

Выбор ХЧ и их атрибутов для алгоритмов обнаружения должен основываться на следующих критериях:

• Присутствие/плотность: наличие данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района.
• Редкость/уникальность: редкость конкретной ХЧ на изображении, уникальность ХЧ в окрестности.
• Инвариантность/устойчивость: устойчивость к геометрическим и радиометрическим искажениям, нечувствительность к шуму.
• Локализация: возможность точной локализации ХЧ.
• Интерпретация: возможность быстрого распознавания и интерпретации ХЧ.
• Скорость: время выделения данного класса ХЧ из исходного изображения.

Важно отметить, что эти критерии могут быть противоречивыми при работе с реальными изображениями.

Поэтому конкретный выбор ХЧ и их атрибутов зависит от доступной вычислительной мощности и от минимальной требуемой робастности описания модели объекта в терминах ХЧ.

Методы “понимания изображений” находятся на начальной стадии развития и продолжают представлять собой вызов для исследователей в области компьютерного зрения и искусственного интеллекта. Дальнейшая разработка алгоритмов в этой области станет основой для создания будущих поколений интеллектуальных систем управления.

В области обработки изображений, одно из главных отличий от хорошо изученной теории обработки сигналов заключается в разработке методов обнаружения объектов, устойчивых к различным видам вариаций, характерных именно для изображений. К таким специфическим вариациям относятся перспективные и радиометрические искажения, а также разнообразные типы искажений, не поддающиеся моделированию вероятностными методами (шумы формы).

Для борьбы с этими проблемами были предложены как многочисленные эвристические алгоритмы обнаружения конкретных типов объектов, так и ряд более общих подходов: методы корреляционного обнаружения, преобразование Хафа, морфологические подходы Пытьева и Серра. Значительный вклад в разработку методов обработки изображений и машинного зрения внесли работы ряда ученых, таких как Л.П. Ярославский, В.К. Злобин, В.Л. Лёвшин, Р. Харалик, Е. Дэвис, Р. Неватиа, Е. Дикманнс, В. Фёрстнер и многие другие.

Несмотря на достигнутые результаты, общее состояние проблемы выделения и идентификации сложноструктурированных объектов на моноскопических изображениях можно охарактеризовать как неудовлетворительное. Задача обнаружения трехмерных структур на стереоскопических изображениях еще сложнее и находится на начальной стадии разработки более общих подходов.

В качестве примера рассмотрим часто встречающуюся задачу обнаружения зданий. На рисунке 2 (см. с. 22) представлены этапы работы модульного алгоритма автоматического обнаружения зданий, реализованного в ГосНИИАС. Данный алгоритм включает следующие основные этапы: выделение контурного препарата, выделение первичных линеаментов, выделение крупных и/или параллельных линеаментов, отбор линеаментов по размеру, поиск П-образных структур, формирование окончательной 2D-модели сцены, установление межкадрового соответствия между 2D-моделями, формирование окончательной 3D-модели наблюдаемой городской сцены (рис. 3), определение целевых зданий в составе наблюдаемой 3D-модели городской сцены.

Рис. 2. Пример модульного алгоритма автоматического обнаружения зданий с борта ле- тательного аппарата: а — исходное авиационное изображение; б — контурный препарат; в — первичные линеаменты; г — крупные и / или параллельные линеаменты; д — оконча- тельный список линеаментов; е — П-образные структуры; ж — 2D-модель сцены; з — сте- реоотождествление 2D-моделей

Рис. 3. Сформированная 3D-модель наблюдаемой городской сцены

Методы и подходы, развиваемые в госНИИАС 

В течение последних десятилетий в Государственном научно-исследовательском институте авиационных систем (ГосНИИАС) ведутся интенсивные исследования и разработки, направленные на создание перспективных систем технического зрения для летательных аппаратов. В ходе этих работ был не только создан ряд прикладных систем, но и разработаны новые теоретические подходы к построению алгоритмов анализа изображений.

Ключевым направлением исследований является разработка методов анализа свидетельств на изображениях.

Для описания и разработки алгоритмов обнаружения сложных структурированных объектов был предложен обобщенный метод совместного анализа свидетельств [Visilter, 1996a, b]. Этот метод основан на теоретико-вероятностном подходе, где обнаружение сводится к проверке гипотезы о присутствии изображения объекта на реальном изображении. Любой яркостно-геометрической модели объекта сопоставляется экспертная вероятностная модель, описывающая статистические зависимости между различными особенностями изображения и гипотезой о принадлежности наблюдаемого объекта данной яркостно-геометрической модели. Эта вероятностная модель используется на этапе обнаружения объекта в ходе низкоуровневого анализа конкретного предъявляемого изображения.

Каждая обнаруженная особенность данного изображения (характерная черта) рассматривается как событие, свидетельствующее в пользу гипотезы (ряда гипотез) о наличии и характеристиках искомого объекта. Инвариантность к условиям регистрации и робастность обнаружения обеспечиваются соответствующим выбором типа используемых свидетельств (ХЧ), таких, что их связь с оцениваемыми параметрами регистрации не зависит или слабо зависит от значений параметров, которые на этапе обнаружения не оцениваются.

Обобщенный метод анализа свидетельств определяет следующие основные возможности повышения вычислительной эффективности алгоритмов детектирования: независимое аккумулирование свидетельств, декомпозиция вектора параметров, редукция вектора параметров, загрубление модели объекта.

Соответствующая модульная схема обобщенного алгоритма обнаружения объектов содержит по крайней мере три основные процедуры, применяемые последовательно: обработка изображения по схеме голосования с целью выделения объектов или их составляющих; анализ аккумулятора с целью определения положения и/или ориентации объектов; повторный анализ изображения с целью проверки природы обнаруженных объектов и уточнения их параметров.

Для реализации процедур анализа свидетельств в виде модульных алгоритмов обработки изображений предложена формальная последовательность шагов разработки алгоритмов обнаружения, позволяющая разрабатывать эффективные процедуры инвариантного детектирования конкретных классов объектов на изображениях.

Важно отметить, что в отличие от общих вероятностных, информационных, алгебраических, нейросетевых и т. п. подходов, предложенная в ГосНИИАС технология анализа свидетельств имеет четко очерченную область применения в задачах обнаружения и локализации сложных структурных объектов на цифровых изображениях.

Данный метод предполагает наличие яркостно-геометрической модели двумерного образа искомого объекта. Исходя из этой модели, он позволяет стандартным образом порождать необходимые яркостно-геометрические модели подлежащих обнаружению характерных черт («событий») и устанавливать их геометрическую связь с параметрами модели объекта для последующей локализации и идентификации объекта на изображении. При этом о содержательной яркостно-геометрической модели объекта можно говорить только в том случае, если существует определенная неоднородность внутри самого изображения объекта, которая позволяет выделить некоторые характерные черты и затем выявить их пространственные отношения, которые послужат основой для локализации объекта.

Разработка методики автоматизированного конструирования процедур анализа изображений.

Как было отмечено, применение метода анализа свидетельств на изображениях возможно лишь при наличии известной яркостно-геометрической модели объекта. В научной литературе описан широкий спектр таких моделей, от простых признаковых описаний до сложных структурных моделей. Однако единый метод создания эффективных моделей для новых классов объектов пока не разработан.

В связи с этим, разработка и использование яркостно-геометрических моделей для решения задачи обнаружения объектов остается во многом областью эмпирического знания и требует глубокого понимания предметной области, выработанного в ходе многолетних исследований.

С целью преодоления этой трудности в Государственном научно-исследовательском институте автоматизированных систем (ГосНИИАС) была поставлена задача разработки методики полной автоматизации конструирования модульных алгоритмов анализа изображений на основе моделей, включая автоматическую генерацию самих исходных моделей по базе эталонных изображений объекта.

В результате был разработан метод автоматизированного конструирования процедур обнаружения и идентификации объектов на основе их структурно-вероятностного описания. В рамках данной методики модели искомых объектов описываются пользователем с помощью декларативного языка логического программирования (типа ПРОЛОГ), ориентированного на работу с изображениями. После описания модели происходит автоматическое преобразование к одной из известных форм, соответствующих различным классам типовых алгоритмов вероятностно-логического вывода на изображениях (голосование, прослеживание, привязка и т.д.), включая класс алгоритмов, основанных на анализе свидетельств.

Кроме того, была разработана методика автоматизированного конструирования близких к оптимальным модульных процедур обнаружения и идентификации объектов на изображении с использованием генетических алгоритмов. Этот метод основан на «генетическом отборе» информативных элементов эталонных изображений в процессе обучения. Критерием отбора является функция качества, вычисляемая по значениям точности, надежности и времени работы процедуры на изображениях обучающей выборки.

Разрабатываемые методики позволят в будущем существенно упростить и ускорить процесс создания алгоритмического обеспечения для различных систем компьютерного и машинного зрения.

Разработка методов оценки движения видимых объектов в движущемся видимом поле.

В традиционных системах технического зрения, основанных на анализе движения, принято выделять движущиеся объекты на фоне, который считается статичным относительно датчика. Однако для мобильных технических средств (беспилотные летательные аппараты, автомобили, поезда, мобильные роботы и т.д.) фон изображения также изменяется во времени из-за относительного движения приемника изображения.

Разработанный в ГосНИИАС подход к выделению движущихся объектов [Визильтер и др., 2006] учитывает динамику сцены. Основные особенности данного подхода заключаются в:

• Быстрой корреляционной привязке фона: используется пирамида изображений или набор динамически выделяемых особых точек.
• Пытьевском морфологическом проецировании яркости.
• Сравнении текущей межкадровой разности с накопленной разностной матрицей.
• Опоре на несколько динамически формируемых базовых кадров.

Разработанные алгоритмы обеспечивают автоматическую оценку и компенсацию движения камеры относительно сцены наблюдения. Для адаптивной настройки на объекты различных размеров (крупные, средние, мелкие) в зависимости от задачи наблюдения, поля зрения и текущих настроек камеры предлагается модифицированный метод оптических потоков.

В рамках данного метода на этапе предобработки используются временные разностно-накопительные схемы, оптический поток вычисляется по разности накопленных изображений, а движущиеся элементы изображения определяются на основе оценки накопленного оптического потока.

Для оценки параметров видимого движения и размеров объектов на изображениях разработана процедура повторной сглаживающей авторегрессионной фильтрации. Для вычислительно эффективной реализации процедуры анализа оптических потоков предложен способ исследования пиксельного временного сигнала на базе вычисления так называемых кратнорегрессионных псевдоспектров [Визильтер, Вишняков, 2008].

Разработка методов стереообнаружения объектов в сценах наблюдения.

Для решения задач обнаружения трехмерных объектов на поверхности предлагается метод дифференциального ортофото, описанный в работе [Желтов и др., 2002].

Суть метода заключается в следующем: по известной аналитической модели поверхности строятся ортоскопические проекции этой поверхности на удобную плоскость. Для этого используются два синхронно записанных изображения откалиброванной стереоскопической системы. Вычисление дифференциальной разности полученных ортоскопических изображений приводит к появлению характерных яркостно-геометрических структур в окрестности трехмерных объектов, не лежащих на исследуемой поверхности.

Ортоскопические проекции устраняют искажения, вызванные криволинейностью поверхности, поэтому существенная дисперсия яркости на разностном изображении проявляется только в окрестности трехмерных объектов. В случае простых объектов с прямолинейными краями на разностном изображении образуются четкие структуры в виде углов. Величина и форма угла являются известными функциями от положения объекта и не зависят от его формы.

В случае более сложных объектов (с большим количеством краев) на разностном изображении возникает комбинация угловых структур, зависящих только от положения объекта.

Следовательно, алгоритм обнаружения, основанный на согласованной фильтрации угловых структур, близок к оптимальному в данной задаче. Таким образом, метод дифференциального ортотрансформирования сводит задачу обнаружения трехмерных объектов к задаче обнаружения на синтетическом изображении двумерных структур с предсказанными свойствами.

Разработка современных морфологических методов анализа цифровых изобра­ жений.

В отличие от иных схем анализа данных, морфологический подход предполагает обязательное построение модели гипотетического прообраза наблюдаемых данных. Это означает, что любой тип задачи в этой схеме начинается с модельной сегментации данных, позволяющей их частично или полностью реконструировать.

Важно отметить, что морфологический подход не является единственным и не охватывает все остальные методы анализа данных. Однако он представляет собой универсальный, функционально полный подход, обеспечивающий единообразное решение всех типов задач обработки и анализа данных, встречающихся в реальных приложениях: фильтрации, сжатия/декомпрессии, классификации, обнаружения объектов и обучения алгоритмов.

В последние годы в области математической морфологии и морфологического анализа изображений наблюдается существенный прогресс, во многом благодаря исследованиям, проводимым в ГосНИИАС.

Среди ключевых достижений:

• Формализация «монотонной математической морфологии» (МММ), позволяющая строить новые операторы на базе произвольных неморфологических операторов с помощью оператора «монотонизации».
• Разработка Хаф-морфологии, основанной на преобразовании Хафа и его модификациях.
• Метод анализа морфологических свидетельств, объединяющий анализ свидетельств и морфологический анализ изображений в единый математический формализм.
• Теория проективных морфологических разложений, представляющая изображения как объединение независимых линейных проекций на образующие из определенного набора.
• Разработка критериальной проективной морфологии, позволяющей использовать как однородные, так и неоднородные модели данных.

Полученные результаты нашли практическое применение в автоматическом и полуавтоматическом обнаружении искусственных объектов при дешифрировании аэро- и космофотоснимков, информационном обеспечении автономных летательных аппаратов и других областях.

АНАЛИЗ ИЗОБРАЖЕНИй ЗЕМНОЙ  ПОВЕРХНОСТИ НА ЭТАПЕ ПЛАНИРОВАНИЯ АВИАЦИОННЫХ ОПЕРЦИЙ

В последние годы трехмерное изображение местности с точной привязкой координат характерных объектов и целей стало неотъемлемой основой для планирования авиационных операций (см. рис. 4).

Использование таких виртуальных 3D-представлений предоставляет принципиальные преимущества благодаря высокой наглядности геопространственных данных и новым интерактивным информационным возможностям, недоступным при использовании традиционных бумажных карт и схем. Это стало возможным благодаря развитию компьютерных технологий машинной графики.

Кроме того, технологии реконструкции поверхностей и обнаружения трехмерных структур, рассмотренные в данном разделе, используются для создания высокоточных метрических геопространственных данных, необходимых для навигации и наведения летательных аппаратов, точной координатной привязки целей, а также для реализации стереоскопических демаскирующих факторов с целью повышения вероятности обнаружения объектов. Данные технологии также применяются при создании реалистичных авиационных тренажеров нового поколения.

Рис. 4. Изображение местности с точной координатной привязкой объектов

Государственный научно-исследовательский институт авиационных систем (ГосНИИАС) разработал комплекс методов, алгоритмов и программных средств для построения трехмерного описания сцены и обнаружения объектов. Данный комплекс позволил создать автоматизированные средства обработки данных отечественной аэрокосмической съемки с целью построения «виртуальных» моделей реальных территорий.

В рамках проекта был спроектирован и реализован программно-алгоритмический пакет Z-Space, включающий:

• Быструю генерацию цифровых моделей рельефа (ЦМР) в виде регулярной матрицы высот по стереопарам космических снимков или аэроснимков.
• Создание цифровых ортофотопланов.
• Съемку векторных контуров по стереопарам и ортофото.
• Визуализацию элементов рельефа с использованием возможностей компьютерной графики.

Пакет Z-Space реализует как стандартные фотограмметрические процедуры (ориентирования, геометрической и радиометрической коррекции снимков), так и новые оригинальные процедуры автоматического выделения объектного состава.

Особое внимание уделено решению задач реконструкции поверхностей и обнаружения трехмерных структур. Для этого был предложен вычислительно эффективный метод поиска соответствующих (сопряженных) точек стереопары изображений трехмерной сцены с учетом априорной информации об их приблизительном положении.

Метод стереоотождествления характеризуется высокой точностью определения положения соответствующих точек (с субпиксельной точностью) и наличием коэффициента надежности стереоотождествления. Алгоритм метода включает следующие этапы:

• Выбор наиболее информативных участков изображений.
• Стереоотождествление с пиксельной точностью.
• Стереоотождествление с субпиксельной точностью (субпиксельное уточнение).

Для ограничения больших областей поиска используются: пирамида изображений, эпиполярная геометрия и априорная оценка диапазона высоты рельефа видимой сцены. Выбор уникальных эталонов осуществляется на основе анализа информативности фрагментов изображений, что позволяет избежать проблемы сходства близлежащих эталонов.

Для преодоления трудностей в выборе начального приближения положения соответствующих образов применяется иерархическая стратегия построения карты диспаратностей. Геометрические искажения образов устраняются геометрическими преобразованиями изображений. Яркостные искажения образов устраняются явным введением параметров искажений и их оценкой. Ложное отождествление (аномальные ошибки) выявляется с помощью анализа формы корреляционной функции.

Для решения задачи выбора информативных участков изображений был разработан новый статистический метод определения информативности на основе анализа статистических свойств шума по оптическому клину, представляющему собой изображение с плавным нелинейным изменением яркости.

Рис. 5. Интерфейс пользователя программного пакета Z-Space

Рисунок 5 демонстрирует интерфейс программного обеспечения Z-Space, используемого для обработки космических снимков. Рисунок 6 иллюстрирует типичную последовательность обработки данных авиационной съемки для получения трехмерной модели местности с объектным составом посредством пакета Z-Space. На рисунке 7 представлен пример синтеза модели «Каир» (Египет) на основе данных отечественной космической съемки камерами ТК350 (стереоданные) и КВР1000 (панорамная съемка). Рисунок 8  показывает комбинацию моделей, построенных по данным космических (общий план) и авиационных снимков (детали аэропорта).

Разработанные технологии были апробированы на комплексах полунатурного моделирования авиационных приложений в ГосНИИАС. Анализ показал, что использование этих технологий позволяет существенно сократить сроки подготовки летных заданий, например, для демонстратора системы подготовки летных заданий перспективных самолетов.

Компьютерное моделирование изображений земной поверхности играет важную роль в разработке авиационных систем технического зрения. В настоящее время с помощью компьютерного моделирования можно получить достаточно реалистичные изображения любой конкретной местности, включая все необходимые объекты инфраструктуры, имитирующие результаты регистрации в видимом диапазоне длин волн. К сожалению, программное обеспечение, позволяющее осуществлять высококачественное и натуралистическое моделирование изображений других диапазонов, на рынке практически отсутствует или крайне труднодоступно.

Несмотря на это, даже возможность моделирования изображений видимого диапазона (или, точнее, трехмерной яркостно-геометрической информации на базе таких моделей) является весьма существенным подспорьем при разработке систем технического зрения, которые должны функционировать в чрезвычайно широком диапазоне условий. Эти условия определяются множеством факторов: все сочетания этих факторов крайне трудно и экономически нецелесообразно пытаться зарегистрировать в реальном летном эксперименте.

Важно отметить такие факторы изменчивости обстановки, как различные траектории подлета, различный характер окружающего рельефа, различные погодные и другие условия видимости, наконец, различные ситуации в связи с наличием и положением различного рода подвижных объектов. Все эти факторы целесообразно моделировать, и программа моделирования должна быть достаточно обширной, чтобы гарантировать надежность работы систем технического зрения в реальных условиях. Естественно, качество моделирования должно постоянно проверяться на соответствие реальным регистрациям, получаемым от датчиков в натурных условиях.

Создание практической системы технического зрения путем отработки на одних лишь модельных данных пока остается принципиально невозможным.

Рис. 6. Последовательность обработки данных в пакете Z-Space

Рис. 7. Результат моделирования. Каир, Гиза, район пирамид

Рис. 8. Результат моделирования. Аэропорт в горах

ПОЛУЧЕНИЕ, ОБРАБОТКА И КОМПЛЕКСИРОВАНИЕ МНОГОСПЕКТРАЛЬНЫХ ВИДЕОДАННЫХ

В процессе функционирования как автономных систем машинного зрения, так и автоматизированных систем управления с участием человека-оператора, возникают многочисленные трудности, связанные с низкой различимостью объектов на оптических изображениях. К ним относятся метеорологические факторы (дождь, туман) и возможные виды противодействия (маскировка, пиротехника, прожекторы).

Кроме того, шумовые компоненты сигналов, обусловленные особенностями датчиков и неидеальностью каналов передачи данных, существенно снижают характеристики обнаружения.

В настоящее время многие разработчики перспективных систем управления летательными аппаратами (ЛА) видят основное решение указанных проблем в совместном использовании датчиков различной физической природы.

Изображения, получаемые от различных датчиков, обладают характерными яркостно-геометрическими особенностями, обусловленными как физикой формирования изображения, так и характеристиками оптико-электронных трактов. Эти особенности играют решающую роль в выборе алгоритмов предварительной обработки и распознавания.

Например, обработка оптических изображений сопряжена с трудностями при работе с затемненными участками, где теряют эффективность локальные и градиентные алгоритмы. В то же время ИК-диапазон не содержит теней, что позволяет выделить тени на оптическом изображении при совместной обработке данных от ТВ- и ИК-датчиков.

Изображения в миллиметровом диапазоне характеризуются высоким качеством в условиях дождя, тумана и облачности, однако геометрические размеры объектов на таких изображениях существенно отличаются от реальных.

Таким образом, комплексная обработка изображений в различных спектральных диапазонах открывает дополнительные возможности для автоматизации обработки и распознавания.

В таблице 1 представлены основные характеристики и наиболее известные признаки восьми двумерных датчиков с высокой разрешающей способностью по отношению к типовым объектам интереса ЛА. Все перечисленные датчики пригодны для решения задач управления и выпускаются серийно на основе существующих технологий.

Таблица 1 

Тип датчика	формат представления данных	Полезные признаки
Тепловизионный датчик	2D-тепловое изобра- жение	Форма, max / min эмиссия, количество и рас- положение горячих пятен, окружение (среда)
Радар миллиметрово- го диапазона	• 1D-отражённый профиль • 1D или 2D-поляри- зационные изобра- жения • 2D-поле скоростей	• Распределение и степень протяженности рас- сеивателей • Чётный и нечётный номер и расположение упругих рассеивателей • Частоты пульсации и ширина пучка рассеи- вания
Лазерный локатор	• 3D-изображение • доплеровская моду- ляция (вибрация) • 2D-поле скоростей	• Размер, 3D-форма, расположение объектов • Пульсация, структурная и поверхностная частоты • Пространственное распределение движущих- ся участков сцены
Локатор с синтезиро- ванным раскрывом	2D-изображение	Размер и расположение объектов
Телевизионный датчик	2D-полутоновоевидео- изображение	Форма, размеры, текстура, внутренняя структу- ра объектов, окружение
Микроволновый радар	• Доплеровская моду- ляция • 2D-изображение	• Скорость, частота пульсации и ширина пучка • Размер, формат, количество и расположение объектов
Акустический датчик	Отражённый звуковой сигнал	Частоты пульсации, гармоники отношения частот, источники специфического шума
Интерферометр	Спектральная и вре- менная зависимость микроволнового из- лучения	Частота, частотная модуляция, амплитудная модуляция, продолжительность пульсации, интервалы пульсации

 

В Государственном научно-исследовательском институте авиационных систем (ГосНИИАС) в ходе экспериментальных съёмок для создания системы дистанционного распознавания и сопровождения полетов (ДРФП) были разработаны специальные аппаратные и программные комплексы.

Ниже представлены примеры многоспектральных регистраций, полученных с помощью различных датчиков: телевизионных, лазерно-локаторных и инфракрасных. На рисунке 9 показаны ТВ-, ЛЛ- и ИК-изображения движущегося объекта на малой дистанции (150 м). Из примера видно, что лазерно-локационный датчик надежно выделяет объект, а инфракрасный датчик фиксирует яркое пятно от выхлопных газов двигателя. На рисунке 10 представлены ТВ-, ЛЛ- и ИК-изображения объекта на средней дистанции (400 м). Лазерно-локационный датчик в этом случае выделяет только подвижный объект. Рисунок 11 демонстрирует ТВ-, ЛЛ- и ИК-регистрации объекта на большой дистанции (2000 м). Объект виден на изображениях всех трех датчиков, но его форма неразличима. На рисунке 12  представлены изображения городской сцены в телевизионном диапазоне и двух инфракрасных диапазонах (3…5 и 8…14 мкм).

Как видно из приведенных примеров, изображения, получаемые от датчиков различных диапазонов, имеют существенную корреляцию. Это связано с естественной взаимосвязью физических величин, которые измеряют эти датчики. Следовательно, с точки зрения статистики, данные, формируемые различными каналами многоканальных систем дистанционного наблюдения, не могут рассматриваться как независимые источники информации об объектах сцены.

Однако каждый диапазон несёт и специфическую информацию об объекте наблюдения. Поэтому системы машинного зрения, использующие несколько различных датчиков, демонстрируют лучшие результаты по сравнению с системами, основанными на одном спектральном диапазоне.

Рис. 9. ТВ-, ЛЛ- и ИК-изображения движущегося объекта на малой дальности (150 м)

Рис. 10. ТВ-, ЛЛ- и ИК-изображения объекта на средней дальности (400 м)

Рис. 11. ТВ-, ЛЛ- и ИК-изображения объекта на большой дальности (2000 м)

Рис. 12. Изображения городской сцены

В области обработки информации, поступающей от датчиков разной физической природы, широко применяется комплексирование данных. Это может осуществляться на основе логического или вероятностного объединения результатов анализа, полученных для каждого канала в отдельности. Существуют также схемы, основанные на классификации объединенных признаков, формируемых по совокупности признаков, выделяемых в ходе анализа изображений разных каналов.

Современные многоканальные системы машинного зрения всё чаще отходят от традиционного “комплексирования” многозональной информации. Вместо этого они используют сложный многоэтапный процесс совместного анализа данных с различными датчиками. На каждом этапе происходит перекрестный опрос изображений, запрос подтверждений и уточнений.

Платформа обработки многоспектральной информации (ПОМИ), разработанная в ГосНИИАС, предлагает единый подход к описанию, анализу и разработке схем обработки и комплексирования многозональной информации.

Для описания структуры ПОМИ необходимо определить набор типов данных и, опираясь на него, набор типов процедур обработки.

В последнее время в области комплексирования данных используется концепция семантических уровней представления: уровень измерений, признаковый уровень, уровень оценок достоверности и символьный уровень. Оценки достоверности представляют собой векторы вероятностного или нечёткого описания принадлежности объекта к определённому классу.

Любой тип данных в вычислительных системах представляет собой совокупность элементов, организованных в некоторую структуру. Соответствующая схема уровней организации данных включает: растровые данные, 2D-структурированные данные, 3D-структурированные данные и данные, структурированные во времени.

Таким образом, любой практический тип данных может быть описан с помощью двух “координат”: семантического уровня и организационного уровня. Комплексирование может выполняться на любом уровне первой схемы и одновременно на любом уровне второй схемы.

В системе ПОМИ можно определить следующие виды процедур обработки и комплексирования:

• Семантические межуровневые процедуры: сохраняют структуру, изменяя тип элементов.
• Структурные межуровневые процедуры: сохраняют типы элементов при изменении структурной организации данных.
• Процедуры попарного комплексирования: объединяют две входные структуры в одну выходную структуру того же типа.

Также необходимо выделить два типа комплексирования: комплексирование элементов и комплексирование структур. Эти процедуры применяются для каждой из структур данных, поддерживаемых системой, с использованием следующих процедур комплексирования структур: объединение, пересечение и ранговое комплексирование структур.

• Процедуры фильтрации: внутриуровневые процедуры с одним входом и одним выходом, сохраняющие размерность элементов данных.Примеры процедур фильтрации:
  • Преобразование элементов: преобразование каждого элемента единым способом (например, гистограммные преобразования полутоновых изображений).
  • Линейные и нелинейные преобразования: обработка растровых данных в пространственной или частотной областях.
  • Геометрические преобразования: преобразование любых пространственных данных с использованием геометрической модели (например, для обеспечения условной привязки и синхронизации данных при регистрации).

Исследования, проведенные в ГосНИИАС с использованием численных экспериментов по комплексированию многоспектральных данных на уровне векторов достоверности, позволили сделать следующие выводы.

Комплексирование информации из различных каналов всегда повышает точность распознавания по сравнению с использованием каждого канала по отдельности. В случае отказа одного из каналов, решение принимается на основе данных оставшегося канала. Применение метода Демпстера–Шафера придаёт больший вес показаниям канала с меньшим коэффициентом неуверенности.

Важно отметить, что комплексирование на уровне векторов достоверности позволяет принимать решения даже в условиях сильных помех, когда по отдельным каналам решение невозможно получить.

Последний вывод можно проиллюстрировать следующим числовым примером (табл. 2).

Таблица 2 

диапазон	k1	k2	Sf(1)	Sf(2)	Sf(θ)
ТВ	0,303	0,345	0,161	0,184	0,655
ИК	0,469	0,549	0,253	0,296	0,451
ТВ+ИК	0,568	0,674	0,308	0,366	0,326

 

Здесь k₁ и k₂ — исходные значения оценок принадлежности наблюдаемого объекта одному из двух близких классов, формируемых независимо по каждому спектральному каналу алгоритмами обнаружения и идентификации объектов. По- сле этого на их основе рассчитывается нормированный вектор оценок достовер- ности S_f. Как видно, в данном примере коэффициент неуверенности распознава- ния типа цели S_f(θ) по каждому из каналов в отдельности много больше оценки достоверности принадлежности цели обоим классам (S_f (1) и S_f (2) соответствен- но). В то же время по результатам комплексирования мы вправе принять решение об обнаружении объекта класса 2, так как достоверность распознавания объекта этого класса оказывается больше, чем достоверность неопределённого решения: S_f (2) = 0,366 > 0,326 = S_f (θ).

УЛУЧШЕННОЕ ВИДЕНИЕ ДЛЯ САМОЛЁТОВ ГРАЖДАНСКОЙ АВИАЦИИ

На современном рынке представлен ряд известных систем улучшенного визуального восприятия (EVS, EFVS).

Компания Kollsman, Inc. (США) предлагает две EVS-системы: Kollsman All Weather Window и Kollsman Night Window. Первая предназначена для работы в любых погодных условиях и включает охлаждаемый инфракрасный (ИК) датчик, специализированный вычислитель, подогреваемый дисплей, а также программное обеспечение обработки и визуализации изображений. Kollsman Night Window представляет собой более компактное и доступное решение, предназначенное для работы в темное время суток при благоприятных погодных условиях. Эта система включает неохлаждаемый микроболометр, работающий в диапазоне 8-14 мкм.

Gulfstream Aerospace Corporation разработала EVS-систему, включающую охлаждаемый ИК-датчик Kollsman FLIR с сапфировым экраном, систему индикации и навигации (ИЛС) Honeywell, а также оригинальное программное обеспечение обработки и визуализации изображений.

CMC Electronics (Канада) предлагает две системы: CMA-2600 I-Series™ и более компактную и доступную CMA-2610 M-Series™. I-Series использует охлаждаемый двухдиапазонный ИК-датчик (1-3 и 3-5 мкм), а M-Series – неохлаждаемый датчик, работающий в диапазоне 8-14 мкм. В разработке находится система на базе миллиметрового радара. Индикация изображений осуществляется на ИЛС и/или многофункциональном индикаторе. Также может быть установлена подсистема синтезированного зрения (SVS), предоставляющая данные о рельефе местности.

Max-Viz, Inc. (США) предлагает EVS 2500 на базе двух ИК-датчиков: длинноволнового для формирования изображений рельефа и потенциальных препятствий и коротковолнового для обнаружения ярких сигнальных огней взлетно-посадочной полосы. Информация с обоих датчиков поступает на специализированный вычислитель, где обрабатывается и отображается на многофункциональном индикаторе (МФИ) пилота. Благодаря использованию неохлаждаемых ИК-датчиков EVS 2500 обладает компактными размерами, малой массой и простотой установки. Отсутствие криогенной системы охлаждения значительно снижает ее стоимость. Компания также предлагает более доступное решение на базе одного неохлаждаемого ИК-датчика EVS 1000 для вертолетов и бизнес-самолетов.

Рис. 13. Примеры работы системы Kollsman All Weather Window: EVS View — синтезированное изображение; Window View — вид из кабины пилота

Рис. 14. Примеры работы системы Gulfstream EVS. Показаны изображения, формируемые EVS (with EVS), и вид из кабины пилота без EVS (without EVS)

Рис. 15. Пример работы системы Rockwell Collins EVS

Рис. 16. Пример обнаружения элементов ВПП на основе преобразования Хафа: а — изображение аккумулятора; б — выделенные прямые линии

Система Rockwell Collins EVS, изображенная на рисунке 15 (см. с. 37), формирует инфракрасные (ИК) изображения окружающей среды, видимой пилотом, и выводит их на дисплей навигационной системы HGS®-4000. Интерфейс EVS-системы обеспечивает взаимодействие ИК-датчика и навигационной системы HGS для предоставления пилоту оптимального по качеству ИК-изображения.

Следует отметить, что современные сертифицированные коммерческие системы EVS первого поколения представляют собой простые неинтеллектуальные системы «датчик-дисплей», обеспечивающие передачу изображения с датчиков на индикатор в кабине. Лишь некоторые из них предлагают возможность визуализации синтезированных географических данных с использованием GPS, а лишь одна система реализует комплексирование изображений от двух ИК-датчиков различных диапазонов.

В настоящее время ни одна из коммерческих систем EVS не рассматривает задачи автоматического выделения взлетно-посадочной полосы (ВПП), препятствий и распознавания объектов из базы геопространственных данных, а также стыковки EVS с системой автоматического управления посадкой.

Таким образом, актуальной задачей является создание EVS следующего поколения, представляющих собой авиационные системы многоспектрального технического зрения и улучшенной компьютерной визуализации закабинной обстановки, которые существенно превосходят ныне известные гражданские EVS по набору функций комплексирования, особенно в части интеллектуальной обработки видеоданных.

Важнейшую роль в EVS нового поколения должна играть система обработки данных (СТЗ), выполняющая следующие основные функции:

• получение и оцифровка многоспектральной видеоинформации;
• комплексирование многоспектральной видеоинформации;
• автоматическая привязка оперативной видеоинформации к априорной информации о закабинной обстановке с учётом имеющихся навигационных данных;
• автоматическое обнаружение ВПП и других типовых объектов интереса в отсутствие навигационных данных и априорной информации о закабинной обстановке;
• автоматическое обнаружение препятствий на ВПП.

В состав аппаратного обеспечения СТЗ могут входить: телевизионные видеодатчики (ТВ) различного разрешения; инфракрасные (ИК) видеодатчики различных диапазонов; миллиметровые радары (МР); лазерные локаторы (ЛЛ); специализированные бортовые вычислители.

В состав программно-алгоритмического обеспечения перспективной бортовой многоспектральной системы технического зрения (СТЗ) должны быть включены следующие основные модули:

• Модуль управления видеодатчиками: Обеспечивает управление работой видеодатчиков различных спектральных диапазонов.
• Модуль обмена информацией: Обеспечивает взаимодействие с другими бортовыми подсистемами.
• Модуль организации информационного обмена: Обеспечивает синхронизацию захвата и обработки многоспектральных видеоданных.
• Модуль раздельной поканальной обработки: Обрабатывает видеоданные по отдельным каналам.
• Модуль комплексирования многоспектральной информации: Объединяет обработанную информацию из различных каналов в единый поток данных.
• Модуль автоматической привязки: Автоматически привязывает оперативную двумерную видеоинформацию к априорной двумерной или трехмерной информации, учитывая текущие навигационные данные.
• Модуль автоматического обнаружения объектов: Обеспечивает автоматическое обнаружение взлетно-посадочной полосы (ВПП) и других типовых объектов интереса без использования навигационных данных и априорной информации.
• Модуль автоматического обнаружения препятствий: Обеспечивает автоматическое обнаружение препятствий на ВПП.

Сотрудниками ГосНИИАС в последние годы были разработаны, испытаны и протестированы необходимые методы, подходы и алгоритмы для решения перечисленных задач. Например, на рисунке 16 (см. стр. 37) представлен пример автоматического обнаружения ВПП с использованием модифицированного преобразования Хафа.

Накопленный практический опыт позволяет с уверенностью утверждать, что реализация описанных модулей для перспективной СТЗ для EVS осуществима и обеспечит необходимые характеристики функционирования системы.

ПРОГРАММНАЯ АРХИТЕКТУРА ДЛЯ ОБРАБОТКИ И АНАЛИЗА ИЗОБРАЖЕНИЙ

Исследования, проведенные в Государственном научно-исследовательском институте авиационных систем (ГосНИИАС) по разработке систем telemetry zonal processing (СТЗ), показали, что для эффективной работы программно-аппаратных комплексов с большим количеством датчиков и других источников информации, а также модулей обработки данных, работающих в синхронном или асинхронном режиме, необходимо использовать специализированную программную платформу.

Такая платформа позволяет рассматривать все модули системы как конструкторский элемент, что упрощает изменение конфигурации, подключение/отключение датчиков, изменение схем обработки данных «на лету» и формирование отчетов о проведенных исследованиях. При одновременной работе с несколькими изображениями система разработки должна обеспечивать наглядное и удобное представление как исходных изображений, так и этапов их обработки, предоставляя инструменты для просмотра и анализа.

В ГосНИИАС была разработана специальная технология модульного визуального программирования, названная фрейм-ориентированным программированием (ФОП). Эта технология успешно применяется более полутора десятилетий.

Основные характеристики ФОП:

• Программные фреймы: базовые элементы архитектуры, объединяющие данные, процедуры и линки (связи с другими фреймами). Любая схема обработки данных представляется в виде сети фреймов.
• Сообщение: фреймы принимают и порождают сообщения, распространяющиеся по линкам и определяющие порядок запуска процедур обработки.
• Динамический механизм защиты данных: доступ к внешним данным осуществляется только через «входные» и «выходные» информационные линки и только с разрешения «хозяина данных».
• Три типа фреймов: фреймы данных, фреймы обработки и фреймы управления.

Преимущества программных систем, созданных с использованием ФОП:

• Оригинальный фреймовый интерфейс пользователя.
• Возможность интерактивно формировать схемы обработки из готовых блоков без использования командного языка.
• Автоматическая обработка данных в заданной схеме по мере обновления.
• Адаптивная настройка меню, режима ввода/вывода графической информации, навигация и система помощи.

Примеры пользовательских интерфейсов фреймовых систем:

• Интерфейс фреймовой системы обработки информации ДРФП версии 1997 года (Рис. 17).
• Пользовательский интерфейс среды обработки видеоинформации версии 2009 года.

Рис. 17. Пример интерфейса фреймовой системы обработки информации ДРФП (1997)

Рис. 18. Пример интерфейса фреймовой системы обработки изображений (2009)

Среда визуального программирования была реализована на языке высокого уровня Borland Delphi для работы в среде Windows. Реализованные на сегодняш- ний день типы фреймов позволяют осуществлять комплексный анализ и обра- ботку изображений различной физической природы и в полной мере реализовать концепцию визуального программирования.

Заключение

В данной статье рассматриваются теоретические и методические аспекты применения технического зрения в современных авиационных системах. Однако следует отметить, что изложенные в работе методы и технологии обладают широким спектром применения и не ограничиваются исключительно авиационной сферой.

За последние годы Государственный научно-исследовательский институт авиационных систем (ГосНИИАС) разработал значительное количество систем компьютерного и машинного зрения. Эти системы нашли свое применение в разнообразных областях, включая:

• Бесконтактные измерения и технический контроль:
• Биометрические системы персональной идентификации:
• Автоматизированное управление наземными транспортными средствами:
• Автоматизация учета и документооборота с использованием машиночитаемой информации (цифробуквенной и штрихкодовой):
• Медицинские системы анализа цифровых изображений (радиологических, микроскопических):
• Интеллектуальные системы видеонаблюдения:

И другие.

Таким образом, методы и технологии машинного зрения, описанные в статье, обладают высокой универсальностью и находят практическое применение в самых различных сферах деятельности.

Литература

1. Буряк Д. Ю., Визильтер Ю. В. (2002а) Автоматизированное конструирование близких к оптимальным процедур идентификации и обнаружения объектов на изображении с использованием генетических алгоритмов // Материалы 12-й Международ. конф. по компьютерной графике и машинному зрению (Графикон’2002). Нижний Новгород, 16– 21 сент. 2002. С. 292–298.
2. Буряк Д. Ю., Визильтер Ю. В. (2002б) Возможности применения генетических алгоритмов для автоматизированного конструирования процедур анализа изображений // 6-я Меж- дународ. конф. «Распознавание образов и анализ изображений: новые информацион- ные технологии» (РОАИ-6-2002). Великий Новгород, РФ. 21–26 окт. 2002: Тр. конф. Великий Новгород: НовГУ им. Ярослава Мудрого, 2002. С. 87–92.
3. Василенко Г. И., Цибулькин Л. М. (1985) Голографические распознающие устройства. М.: Ра- дио и связь, 1985. 312 с.
4. Визильтер Ю. В. (2005) Метод компьютерного анализа изображений, основанный на объ- единении морфологических свидетельств // Тр. ГосНИИАС. Сер. «ИТ». 2005. № 2.
5. Визильтер Ю. В. (2007) Применение метода анализа морфологических свидетельств в за- дачах машинного зрения // Вест. компьютерных и информац. технологий. 2007. № 9. С. 11–18.
6. Визильтер Ю. В. (2008а) Обобщенная проективная морфология // Компьютерная оптика. Т. 32. № 4.
7. Визильтер Ю. В. (2008б) Проективные морфологии на базе интерполяции // Вестн. компью- терных и информац. технологий. 2008. № 4. С. 11–18.
8. Визильтер Ю. В. (2008в) Структурная фильтрация цифровых изображений с использовани- ем проективных морфологий // Вестн. компьютерных и информац. технологий. 2008. № 3. С. 18–22.
9. Визильтер Ю. В., Вишняков Б. В. (2008) Исследование поведения авторегрессионных филь- тров в задаче выделения и анализа движения на цифровых видеопоследовательностях // Вестн. компьютерных и информац. технологий. 2008. № 8. С. 2–8.
10. Визильтер Ю. В., Желтов С. Ю. (2008а) Проективные морфологии и их применение в струк- турном анализе цифровых изображений // Изв. РАН. ТиСУ. 2008. № 6. С. 113–128.
11. Визильтер Ю. В., Желтов С. Ю. (2008б) Сравнение и локализация фрагментов изображений с использованием проективных морфологий // Вестн. компьютерных и информац. тех- нологий. 2008. № 2. С. 14–22.
12. Визильтер Ю. В., Желтов С. Ю., Ларетина Н. А. (2009) Проективные морфологии на базе операторов фильтрации и сегментации изображений, вычислимых методом динамиче- ского программирования // Вестн. компьютерных и информац. технологий. 2009. № 6.
13. Визильтер Ю. В., Лагутенков А. В., Ососков М. В., Выголов О. В., Блохинов Ю. Б. (2006) Выде- ление и межкадровое прослеживание движущихся объектов при регистрации изображе- ний сложных пространственных сцен произвольно движущимися двумерными сенсора- ми // Вестн. компьютерных и информац. технологий. 2006. № 3. С. 34–39.
14. Желтов С. Ю., Визильтер Ю. В., Князь В. А., Выголов О. В. (2002) Обнаружение препятствий в системе управления транспортным средством // Докл. 3-й Международ. конф. «Циф- ровая обработка информации и управление в чрезвычайных ситуациях». Минск, 2002. Т. 2. С. 121–126.
15. Красовский А. А., Белоглазов И. Н., Чигин Г. П. (1979) Теория корреляционно-экстремальных навигационных систем. М.: Наука, 1979. 448 с.
16. Левшин В. Л. (1987) Биокибернетические оптико-электронные устройства автоматического распознавания изображений. М.: Машиностроение, 1987. 176 с.
17. Марр Д. (1987) Зрение. Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987. 400 с.
18. Пытьев Ю. П. (1983) Морфологический анализ изображений // Докл. АН СССР. 1983. Т. 269. № 5. С. 1061–1064.
19. Пытьев Ю. П. (1984) Задачи морфологического анализа изображений // Математич. методы исслед. природных ресурсов Земли из космоса. М.: Наука, 1984. С. 41–83.
20. Ярославский Л. П. (1987) Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.: Радио и связь, 1987. 296 с.
21. Burns J., Hanson A., Riseman E. (1986) Extracting Straight Lines // IEEE Trans. Pattern Analysis and Machine Intelligence. 1986. V. 8. N. 4.
22. Canny J. (1986) A Computational Approach to Edge Detection // IEEE Trans. Pattern Analysis and Machine Intelligence. 1986. N. 8. P. 679–698.
23. Davies E. R. (1987) Machine Vision: Theory, Algorithms, Practicalities. 2nd ed. San Diego: Academ-ic Press, 1997. 750 p.
24. Dempster A. P. (1967) Upper and Lower Probabilities Induced by a Multivalued Mapping // Annals of Mathematical Statistics. 1967. V. 38. P. 325–339.
25. Duda R. O., Hart P. E. (1972) Use of the Hough Transformation to Detect Lines and Curves in Pic- tures // Communications of the ACM. 1972. V. 15. P. 11–15.
26. Forstner W. (1995) Mid-level vision processes for automatic building extraction, Automatic Extrac- tion of Man-Made Objects from Aerial and Space Images. Basel: Birkhauser Verlag, 1995.
27. Grimson W. E. L. (1990) Object Recognition by Computer: The Role of Geometric Constraints. Cambridge, USA: MIT Press Bookstore, 1990.
28. Gruen A., Baltsavias E. (1985) Adaptive Least Squares Correlation with Geometrical Constraints // SPIE Proc. Intern. Archives of Photogrammetry and Remote Sensing. 1985. V. 595.
29. Gruen A., Baltsavias E. (1988) Geometrically Constrained Multiphoto Matching // Photogrammet- ric Engineering and Remote Sensing. 1988. V. 54. N. 5. P. 633–641.
30. Haralick R. M., Chu Y. H. (1984) Solving Camera Parameters from the Perspective Projection of a Parameterized Curve // Pattern Recognition Letters. 1984. N. 17(6). P. 637–695.
31. Hough P. V. C. (1962) Methods and Means for Recognizing Complex Patterns. U. S. Patent 3069654, 1962.
32. Huertas A., Nevatia R. (1988) Detecting Buildings in Aerial Images // Computer Vision, Graphics and Image Processing. 1988.
33. Illingworth J., Kittler J. (1987) The Adaptive Hough Transform // IEEE Trans. Pattern Analysis and Machine Intelligence. 1987. V. 9. P. 690–698.
34. Kitchen L., Rosenfeld A. (1982) Gray-Level Corner Detection // Pattern Recognition Letters. 1982. 1. P. 95–102.
35. Marr D., Hildreth E. (1980) Theory of Edge Detection // Proc. Royal Soc. B: Biological Sciences (London). 1980. V. 207. N. 1167. P. 187–217.
36. Mumford D. (1987) The Problem of Robust Shape Descriptors // Proc. 1st Intern. Conf. Computer Vision. 1987. P. 602–606.
37. Schenk A. F. (1996), Automatic Generation of DEM’s, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry // American Soc. for Photogrammetry and Remote Sensing, 1996.
38. Seeger U., Seeger R. (1994) Fast Corner Detection in Grey-Level Images // Pattern Recognition Letters. 1994. N. 15(7). P. 669–675.
39. Serra J. (1982) Image Analysis and Mathematical Morphology. L.: Academic Press. 1982.
40. Serra J. (1986) Introduction to mathematical morphology // Computer Vision, Graphics and Image Processing. 1986. V. 35. N. 3.
41. Shafer G. (1976) A Mathematical Theory of Evidence. Princeton University Press, 1976.
42. Stepanov A. A., Visilter Yu. V., Morzeev Yu. V., Zheltov S. Yu. (1995) The Object-Oriented Frame Approach to Image Processing and Data Management in the Multisensory Remote Sensing // SPIE Proc. Intern. Archives of Photogrammetry and Remote Sensing. 1995. V. 2587.
43. Stepanov A. A., Visilter Yu. V., Morzeev Yu. V., Zheltov S. Yu. (1996) Frames Based Analysis of Mul- tisensor Image Sequences // ISPRS Proc. Intern. Archives of Photogrammetry and Remote Sensing. 1996. V. 31. Pt. B2.
44. Visilter Yu. (2000) Image Analysis Using Select-Only Morphological Operators // SPIE Proc. In- tern. Archives of Photogrammetry and Remote Sensing. Boston. 2000. V. 4197. P. 107–118.
45. Visilter Yu. (2002) Design of Morphological Operators Based on Selective Morphology // SPIE Proc. Intern. Archives of Photogrammetry and Remote Sensing. Sun Jose. 2002. V. 4667. P. 215–226.
46. Visilter Yu., Zheltov S., Stepanov A. (1996a) Events-based Image Analysis for Machine Vision and Digital Photogrammetry // SPIE Proc. Intern. Archives of Photogrammetry and Remote Sens- ing. 1996. V. 31. Pt. 5.
47. Visilter Yu., Zheltov S., Stepanov A. (1996b) Object Detection and Recognition using Events-based Image Analysis // SPIE Proc. Intern. Archives of Photogrammetry and Remote Sensing. 1996. V. 2823. Р. 184–195.
48. Zheltov S. Yu., Blochinov Yu. B., Stepanov А. А., Sibiryakov А. V. (1997) Computer 3D Site Model Generation Based on Aerial Images // SPIE Proc. Intern. Archives of Photogrammetry and Re- mote Sensing. 1997. V. 3084.
49. Zheltov S. Y., Sibiryakov A. V. (1997) Adaptive Subpixel Cross-correlation in a Point Correspon- dence Problem // Optical 3-D Measurement Techniques IV. Heidelberg: Wichmann Verlag, 1997. P. 86–95.

Авторы оригинального текста: Ю. В. Визильтер, С. Ю. Желтов