Машинное зрение на базе периферийного искусственного интеллекта: текущее состояние, проблемы и перспективы

1.1. Данные компьютерного зрения, требующие интенсивного хранения.

1.2. Вычислительно-интенсивные модели ИИ

Алгоритмы глубокого обучения, такие как сверточные нейронные сети (CNN) и графические трансформеры (ViT), привели к огромному прогрессу в визуальном восприятии. Однако это улучшение производительности произошло за счет быстрого роста размера модели и вычислительной сложности. Например, ResNet-50 содержит более 25 миллионов параметров и требует более четырех миллиардов операций с плавающей запятой (FLOP) на один вывод [15], в то время как ViT-B превышает 86 миллионов параметров и 17 миллиардов FLOP [16]. Эти огромные вычислительные и запоминающие требования значительно превосходят возможности большинства периферийных устройств, что делает вывод в реальном времени непосредственно на устройстве чрезвычайно сложной задачей.

1.3. Сложное совместное проектирование аппаратного и программного обеспечения.

Современные платформы для граничных вычислений часто используют гетерогенные архитектуры (например, графический процессор (GPU), тензорный процессор (TPU), программируемая пользователем вентильная матрица (FPGA) и специализированная интегральная схема (ASIC)), каждая из которых имеет свои собственные вычислительные модели, иерархии памяти и характеристики энергопотребления. Эффективное выполнение одной модели обработки изображений на этих разнообразных платформах требует оптимизации на уровне оператора, планирования памяти и параллельного проектирования. Кроме того, ограниченная кроссплатформенная совместимость, фрагментированные наборы инструментов разработки и отсутствие единых стандартов совместного проектирования еще больше усложняют развертывание. Для приложений, критически важных с точки зрения задержки, таких как автономное вождение и управление роботами, вопрос о том, как в полной мере использовать потенциал оборудования и минимизировать задержку и энергопотребление, сохраняя при этом точность вывода, остается актуальной проблемой.

Существующие обзоры по этой теме в основном сосредоточены на одном аспекте проблемы, например, на общих фреймворках ИИ на периферии [10], практическом развертывании моделей ИИ [17] или специфическом для ViT сжатии и ускорении [18] . В отличие от них, данная статья направлена ​​на более комплексное исследование последних достижений в области конвергенции машинного зрения и ИИ.

В ней анализируются проблемы развертывания и решения для алгоритмов интеллектуального зрения на аппаратном обеспечении периферийных вычислений, при этом совместно рассматриваются эволюция моделей, совместное проектирование аппаратного и программного обеспечения, гетерогенные периферийные платформы и репрезентативные инженерные приложения в рамках единой ориентированной на EIMV структуры. На примере типичных примеров в статье дополнительно демонстрируется потенциал практического применения этой области. Наконец, рассматриваются будущие направления исследований в области совместной оптимизации аппаратного и программного обеспечения, инноваций в алгоритмах интеллектуального зрения и кроссплатформенной совместимости, подчеркивая важность маломощных, высокопроизводительных и адаптивных алгоритмов для развития систем EIMV.

2.1. Задачи машинного зрения на периферии сети

Низкоуровневые визуальные задачи сосредоточены на первоначальной обработке изображений или видео, направленной на улучшение качества данных, а не на выполнение семантического анализа. Типичные примеры включают шумоподавление изображений [19], [20], [21], улучшение изображений [22], коррекцию изображений [23], [24], базовое извлечение признаков [25] и повышение контрастности [26], [27].

Вычислительные требования этих задач относительно невелики, поскольку они в основном улучшают качество изображения с точки зрения текстурной и структурной информации. Часто их можно выполнить с помощью традиционных методов, таких как фильтрация или выравнивание гистограммы, которые предъявляют ограниченные требования к вычислительной мощности и хорошо подходят для маломощных центральных процессоров (ЦП) и ПЛИС. Кроме того, процессоры обработки изображений (ISP) на основе ASIC широко используются в интеллектуальных камерах и встроенных системах машинного зрения.

В целом, для решения простых визуальных задач используются зрелые и стабильные алгоритмы, что делает их идеальными для сред с ограниченными ресурсами, где энергоэффективность и производительность в реальном времени имеют первостепенное значение, обеспечивая долгосрочное и стабильное развертывание.

В отличие от задач низкого уровня, которые делают упор на качество изображения, задачи визуального анализа среднего/высокого уровня сосредоточены на семантическом понимании и рассуждениях о сцене. Примерами таких задач являются распознавание объектов [28], [29], [30], обнаружение объектов [31], [32], [33], отслеживание объектов [34] и семантическая сегментация [35], [36]. Эти задачи требуют извлечения сложных и иерархических признаков, опираясь на модели глубокого обучения, такие как CNN и ViT, для достижения точного представления признаков и вывода.

Исторически подобные задачи обычно выполнялись в облаке; однако с развитием аппаратного обеспечения для периферийных вычислений и появлением легковесных архитектур моделей все большее число задач компьютерного зрения среднего и высокого уровня переносится на периферию. Встроенные графические процессоры (EmbeddedGPU) стали наиболее распространенным выбором благодаря их мощным возможностям параллельной обработки, в то время как программируемые логические интегральные схемы (FPGA) часто используются в сценариях, чувствительных к энергопотреблению и стоимости, благодаря своей программируемости и превосходной энергоэффективности. В некоторых случаях сверхлегкие модели могут даже работать на центральных процессорах (CPU), хотя их адаптивность и обобщающая способность, как правило, ограничены.

В целом, задачи визуализации среднего и высокого уровня составляют основную движущую силу эволюции EI, однако их высокая вычислительная сложность предъявляет жесткие требования к оптимизации моделей и совместному проектированию аппаратного и программного обеспечения для эффективного внедрения.

2.2. Модели глубокого обучения на периферии сети

В сценариях граничных вычислений, из-за ограничений вычислительной мощности, хранения и энергетических ресурсов, системы, как правило, используют компактные модели глубокого обучения с меньшими размерами параметров. Хотя эти «легковесные модели» меньше по масштабу, чем большие языковые модели, они все же выполняют основные задачи, такие как понимание, обнаружение и распознавание изображений, выступая в качестве ключевой поддержки для достижения EI [7], [39]. Поэтому, помимо обзора структурной эволюции моделей глубокого обучения, необходимо также изучить, какие семейства моделей подходят для различных ограничений развертывания на граничных условиях.

Структурная эволюция моделей глубокого обучения прошла этапы от локального сверточного моделирования до глобального моделирования внимания. Ранние CNN использовали локальные рецептивные поля, совместное использование весов и операции пулинга для достижения прорывов в классификации изображений, обнаружении объектов и семантической сегментации [40].

Репрезентативные архитектуры, такие как сверточная нейронная сеть Янна ЛеКуна (LeNet), сверточная нейронная сеть Алекса (AlexNet) и сверточные нейронные сети Visual Geometry Group (VGGNet), заложили фундаментальную основу современного компьютерного зрения, обеспечив иерархическую абстракцию от низкоуровневых текстур до высокоуровневой семантики и, таким образом, обучение все более богатым представлениям признаков [41]. С увеличением глубины и ширины сети введение остаточных сетей и плотных сетей эффективно смягчило проблему исчезающего градиента и улучшило повторное использование признаков между слоями, достигнув беспрецедентных уровней точности на крупномасштабных наборах данных, таких как ImageNet [42].

Однако сверточные нейронные сети по своей природе полагаются на фиксированные сверточные ядра для локального восприятия, что делает их неэффективными для захвата зависимостей на больших расстояниях в удаленных пространственных областях. Для преодоления этого ограничения исследователи ввели механизм внимания, который явно моделирует корреляции признаков для повышения способности сети к захвату глобальной информации [43]. Типичные архитектуры, такие как сеть сжатия и возбуждения (SENet) [44] и модуль внимания сверточных блоков (CBAM) [45], интегрируют внимание к каналам и пространству в сверточные признаки, значительно улучшая различимость признаков.

Вдохновленная успехом механизмов самовнимания в обработке естественного языка, архитектура трансформера была адаптирована к визуальным задачам, что привело к разработке ViT [16]. ViT делит изображение на последовательности фрагментов фиксированного размера и использует многоголовочное самовнимание (MHSA) для моделирования зависимостей на больших расстояниях, обеспечивая сквозное визуальное понимание без сверточных операций. Последующие модели, такие как трансформер Swin [46] и пирамидальный визуальный трансформер (PVT) [47], усовершенствовали иерархические конструкции и стратегии разбиения окна, превзойдя традиционные сверточные модели в задачах обнаружения объектов и семантической сегментации.

Несмотря на их высокую репрезентативную способность, трансформеры страдают от квадратичной вычислительной сложности по отношению к разрешению входных данных, что создает серьезные проблемы для развертывания на периферийных устройствах с ограниченными вычислительными и памятьными ресурсами. Для решения этой проблемы в недавних исследованиях изучались гибридные архитектуры, сочетающие сверточные нейронные сети и трансформеры, направленные на баланс между эффективностью локального извлечения признаков и глобальным семантическим моделированием.

Типичными примерами являются Conformer [48] и ConvNeXt [49]. Первый использует параллельные сверточные ветви и механизм самовнимания для достижения взаимодополняющего обучения локально-глобальному представлению, в то время как второй включает в себя основанные на трансформерах схемы нормализации и активации в рамках чисто сверточной структуры, достигая оптимального компромисса между производительностью и эффективностью.

С точки зрения развертывания на периферии сети, различные семейства моделей демонстрируют различные преимущества при разных ограничениях ресурсов. Модели на основе сверточных нейронных сетей (CNN) обычно больше подходят для сценариев со сверхнизкими ограничениями ресурсов, таких как маломощные встроенные камеры, микророботы и потоковые системы на базе FPGA/ASIC, поскольку операции свертки отличаются высокой регулярностью, шаблоны доступа к памяти предсказуемы, а модели проще квантовать и ускорять на аппаратном уровне.

CNN с механизмом внимания, такие как SENet и CBAM, подходят для сценариев с несколько более свободным бюджетом ресурсов, где требуется ограниченное моделирование глобального контекста без введения полной вычислительной нагрузки трансформеров. Чистые трансформерные модели, хотя и сильны в обучении глобального представления, больше подходят для периферийных платформ с относительно более высокими вычислительными возможностями и пропускной способностью памяти, таких как встроенные графические процессоры (GPU) или нейронные процессоры (NPU), особенно когда разрешение входных данных умеренное и доступны квантование или специализированные матричные ускорители.

Гибридные архитектуры CNN-трансформатор часто оказываются выгодными в промежуточных сценариях на периферии сети, где важны как локальная эффективность, так и глобальное моделирование, поскольку они обеспечивают лучший баланс между точностью и стоимостью развертывания. Поэтому выбор архитектуры модели на периферии не должен зависеть исключительно от точности, а должен основываться на типе задачи, целевом показателе задержки, доступной памяти, энергетическом бюджете и возможностях аппаратного ускорения.

2.3. Оптимизация модели с учетом аппаратных возможностей.

Хотя производительность моделей глубокого обучения в задачах компьютерного зрения продолжает улучшаться, эти достижения сопровождаются резким увеличением количества параметров модели и вычислительных требований, что создает серьезные проблемы для вычислительной мощности и энергоэффективности периферийных устройств. Для снижения нагрузки на хранение и вычисления была предложена концепция сжатия модели, целью которой является уменьшение вычислительных и оперативных ресурсов при сохранении репрезентативной способности модели с помощью таких методов, как обрезка, квантование и проектирование облегченной архитектуры [50].

Среди этих методов обрезка снижает вычислительные и логистические требования к модели за счет удаления избыточных параметров или структур, что делает ее одним из самых ранних и широко изученных методов сжатия моделей [51]. Распространенные подходы включают неструктурированную обрезку, которая удаляет отдельные веса на основе величины, и структурированную обрезку, которая удаляет более крупные компоненты, такие как каналы, фильтры или слои [52], [53], [54].

Первый обеспечивает большую гибкость, но менее удобен для аппаратного обеспечения, в то время как второй обеспечивает более низкие коэффициенты сжатия, но позволяет эффективно ускорять работу на аппаратных платформах, таких как FPGA и GPU. В недавних исследованиях были предложены динамическая обрезка и мелкозернистая структурированная обрезка для повышения стабильности и аппаратной адаптивности обрезанных моделей [55]. В целом, обрезка эффективно снижает вычислительную нагрузку и энергопотребление периферийных устройств, сохраняя при этом точность модели.

Квантование снижает требования к хранению и вычислениям за счет уменьшения числовой точности (битовой ширины) параметров и активаций в глубоких нейронных сетях (DNN), тем самым повышая скорость вывода и энергоэффективность. Параметры модели традиционно представляются в виде 32-битных значений с плавающей запятой, но использование низкобитных представлений (например, 8-битных, 4-битных или даже 2-битных) может значительно снизить как затраты на память, так и на вычисления, при этом контролируя снижение точности [56].

С точки зрения аппаратного обеспечения, квантование эффективно не только потому, что уменьшает размер модели, но и потому, что позволяет более эффективно отображать арифметические операторы на специализированные схемы. Например, квантование INT8 позволяет заменить операции умножения-накопления (MAC) с плавающей запятой на операции MAC с фиксированной запятой и целочисленными значениями, которые лучше соответствуют путям передачи данных цифровых сигнальных процессоров (DSP) FPGA и элементов обработки ASIC, тем самым повышая пропускную способность и снижая энергопотребление. В более аппаратно-ориентированных проектах квантование с использованием степени двойки может дополнительно заменить умножения простыми операциями сдвига и сложения, что значительно снижает использование DSP на ПЛИС и повышает параллелизм.

На практике 8-битное квантование успешно применяется в коммерческих платформах для вывода результатов, таких как NVIDIA TensorRT [57] и Intel OpenVINO [58], с минимальной потерей точности. Для 4-битного квантования в большинстве исследований используется постобучение с последующим переобучением для уменьшения снижения точности [59], [60]. Между тем, бинарные нейронные сети (БНН) представляют собой крайнюю форму квантования, сводящую параметры к 1-битным значениям. Однако это часто приводит к значительному снижению точности из-за серьезной потери информации, которую можно лишь частично компенсировать с помощью специализированных стратегий обучения, что ограничивает практическую применимость БНН [61], [62].

В отличие от обрезки и квантования, которые сжимают существующие сети, облегченная конструкция направлена ​​на снижение вычислительной сложности и количества параметров на архитектурном уровне за счет инноваций. Типичным примером является семейство MobileNet, которое заменяет стандартные свертки на свертки с разделяемой глубиной, значительно уменьшая количество операций MAC [63]. Аналогично, ShuffleNet [64], [65] повышает эффективность за счет перемешивания каналов и групповых сверток, сохраняя выразительную мощность при одновременном снижении вычислительной мощности.

В последние годы структурная репараметризация стала перспективным направлением в исследованиях легковесных моделей. Этот метод вводит многоветвевые структуры во время обучения для улучшения изучения признаков; затем многоветвевые структуры объединяются в одну сверточную ветвь во время вывода, что приводит к повышению эффективности работы. Например, Динг и др. [66], [67] предложили преобразовывать многоветвевые сверточные блоки в эквивалентные одиночные свертки 3 × 3, что значительно упрощает графы вывода и улучшает параллелизм оборудования. Аналогично, для трансформерных архитектур подход тензорного разложения и репараметризации для линейных слоев (TDRL) выполняет разложение и репараметризацию низкого ранга на линейных проекционных слоях, существенно снижая вычислительные и запоминающие затраты при сохранении высокой точности в моделях ViT [68] .

3.1. Аппаратные микросхемы на периферии

В настоящее время вычислительные чипы, подходящие для EIMV, можно условно разделить на два типа: универсальные процессоры и реконфигурируемые или специализированные схемы. Эти два класса дополняют друг друга с точки зрения вычислительной мощности, энергоэффективности, гибкости и цикла разработки, обеспечивая разнообразную аппаратную поддержку для различных уровней задач визуализации.

Цифровые сигнальные процессоры (DSP) хорошо известны своей эффективностью в выполнении ресурсоемких численных задач, благодаря выделенным арифметическим блокам, оптимизированным для преобразований Фурье, свертки и фильтрации. Они широко использовались в ранних приложениях обработки изображений и предварительной обработки компьютерных данных. К числу таких продуктов относятся TDA4VM от Texas Instruments (серии C7x/C66x) и Hexagon 780 от Qualcomm. Однако по мере роста сложности алгоритмов и быстрого развития универсальных/параллельных процессоров DSP постепенно были заменены центральными процессорами (CPU) и графическими процессорами (GPU) как по вычислительной мощности, так и по универсальности.

Современные гетерогенные системы на кристалле (SoC) постепенно вытесняют автономные архитектуры DSP. Например, в серии I.MX9 от NXP больше не интегрирован DSP, а вместо этого используются гетерогенные многоядерные процессоры для обработки различных рабочих нагрузок. Эти тенденции привели к значительному снижению доли автономных микросхем DSP на рынке.

Будучи универсальным вычислительным ядром, ЦП предлагает превосходную гибкость и развитую экосистему разработки, что делает его подходящим для небольших задач обработки изображений или задач, не требующих обработки в реальном времени. Однако его последовательная структура обработки ограничивает эффективность в ресурсоемких задачах визуализации, таких как свертка и умножение матриц. В периферийных системах в качестве управляющих ядер обычно используются маломощные ЦП на базе архитектуры ARM (Archive), делегирующие основные вычисления графическим процессорам или специализированным ускорителям. В последние годы процессоры на базе архитектуры RISC-V (например, SiFive P550) улучшили параллельную производительность за счет векторных расширений, тем самым повысив эффективность обработки изображений на периферии.

Графические процессоры (GPU) разработаны с использованием большого количества параллельных тензорных ядер и превосходно справляются с матричными и тензорными вычислениями, что делает их незаменимыми для ускорения глубокого обучения. Однако настольные графические процессоры, как правило, непригодны для периферийных вычислений из-за высокого энергопотребления и громоздких размеров. Для решения этой проблемы появились встроенные графические процессоры для сценариев с низким энергопотреблением. Например, серия NVIDIA Tegra T23X, широко используемая в платформах Jetson Orin, поддерживает приложения для робототехники, дронов и интеллектуальных камер. По сравнению с настольными графическими процессорами (> 100 тераопераций в секунду (TOPS)), встроенные графические процессоры обычно обеспечивают менее 10 TOPS, достигая благоприятного баланса между производительностью, энергоэффективностью и плотностью интеграции.

Хотя эти универсальные процессоры могут напрямую применяться в периферийных системах машинного зрения, их универсальная конструкция часто приводит к избыточным затратам энергии, площади и стоимости, оставляя значительный простор для оптимизации. Следовательно, реконфигурируемые и специализированные схемы часто превосходят их в приложениях, ориентированных на конкретные задачи.

FPGA являются ярким примером реконфигурируемых схем. Они обладают реконфигурируемой логической архитектурой, которая может ускорять сверточные и матричные операции на аппаратном уровне в параллельном режиме, обеспечивая оптимальный баланс между производительностью и энергоэффективностью. Их таблицы поиска (LUT) и программируемые межсоединения позволяют выполнять конвейерные и параллельные операции, что делает их очень подходящими для вывода результатов глубокого обучения и других ресурсоемких задач компьютерного зрения. По мере роста сложности моделей производители FPGA постоянно модернизируют свои вычислительные модули. Например, AMD (Xilinx) представила архитектуру AI Engine в своей серии Versal, обеспечивающую ускорение глубокого обучения на кристалле для интеллектуальных приложений компьютерного зрения на периферии сети.

В категории специализированных микросхем одним из основных классов являются чипы-ускорители для обработки данных в рамках искусственного интеллекта (ИИ) или нейронные процессоры (NPU). Google Edge TPU — это типичный продукт, разработанный специально для обработки данных в задачах машинного зрения на периферии сети. Он обеспечивает производительность 4 TOPS при энергопотреблении всего 0,5 Вт на TOPS. Ускоритель состоит из двумерного (2D) массива процессорных элементов (PE), где каждый PE содержит одно или несколько ядер, и каждое ядро ​​поддерживает несколько параллельных вычислительных каналов. Аналогичным образом, ARM, Synopsys и Ceva представили масштабируемые IP-блоки NPU, предлагающие производительность от 4 TOPS до нескольких сотен TOPS, которые могут быть сконфигурированы в соответствии с ограничениями по энергопотреблению и стоимости периферийных устройств.

Другой формой специализированной схемотехники является специализированная ASIC, разработанная для комплексной оптимизации конкретных задач визуального восприятия и принятия решений. В таких областях, как автономное вождение и интеллектуальная робототехника, эти чипы стали ключевыми элементами практического визуального восприятия. Как указано в таблице 2 [49], [50], [51], [52], [53], [54 ], [55], [56], [57], [ 58], [59], [60], [61], [62]  [63], [64], [65], [66] , серия Mobileye EyeQ широко используется в автомобильном зрении с 2004 года . Новейшая модель EyeQ6 Pro, изготовленная по 7-нм техпроцессу, обеспечивает вычислительную мощность 34 TOPS (INT8) и поддерживает синхронную обработку нескольких камер и ускорение глубокого обучения.

Собственный чип Tesla для полностью автономного вождения (FSD), созданный по 14-нм технологии, обеспечивает производительность обработки данных в 144 TOPS благодаря двойной резервированной архитектуре для повышения безопасности. NVIDIA Drive OrinX, комплексный процессор восприятия и планирования для продвинутого автономного вождения, объединяет модули GPU, CPU и ускорителя глубокого обучения (DLA), обеспечивая общую вычислительную мощность более 250 TOPS. Journey 6P от Horizon Robotics, изготовленный по 6-нм технологии, обеспечивает производительность 560 TOPS и широко используется в отечественных системах автономного вождения и сервисной робототехнике.

По сравнению с основными универсальными нейронными процессорами (NPU), специализированные ASIC-чипы архитектурно адаптированы к целевым приложениям, что позволяет глубоко настраивать планирование потоков данных, внутрикристальные межсоединения и механизмы безопасности. Это позволяет им достигать сверхвысокой энергоэффективности и производительности в реальном времени, адаптированной к конкретным задачам. Появление специализированных чипов, ориентированных на конкретные задачи, свидетельствует о сдвиге в области интеллектуальной обработки данных от универсального ускорения к интеграции на уровне приложений, предоставляя новую исследовательскую платформу для совместной оптимизации алгоритмов компьютерного зрения и аппаратного обеспечения в интеллектуальных системах следующего поколения.

Помимо аппаратных возможностей, выбор инструментария разработки критически влияет на практическую применимость моделей EIMV. Типичные фреймворки, такие как NVIDIA TensorRT, Intel OpenVINO, Apache TVM и специализированные потоки FPGA, различаются по поддержке операторов, возможностям квантования, оптимизации графов и кроссплатформенной переносимости.

TensorRT широко используется для вывода на основе графических процессоров, предлагая высокооптимизированное выполнение сверточных нейронных сетей и моделей трансформеров с низкой задержкой. OpenVINO предоставляет зрелый рабочий процесс для процессоров Intel, интегрированных графических процессоров и блоков обработки изображений (VPU) с мощной поддержкой оптимизации INT8 и импорта предварительно обученных моделей.

TVM обеспечивает кроссплатформенную оптимизацию и автоматическую настройку на основе компилятора для гетерогенного оборудования, что позволяет гибко развертывать модели на периферийных устройствах. Потоки, ориентированные на FPGA (например, Vitis AI), предлагают тонкий контроль над потоком данных и энергоэффективностью, но требуют более специфичной для оборудования настройки. Учитывая как аппаратные характеристики, так и особенности инструментария, разработчики могут лучше сбалансировать скорость, точность и энергоэффективность обработки данных в реальных условиях развертывания на периферии сети.

3.2. Аппаратное ускорение для моделей ИИ

Основная цель технологии аппаратного ускорения для моделей периферийных вычислений в области машинного зрения — решение проблемы развертывания и ускорения ресурсоемких и требующих большого объема памяти алгоритмов глубокого обучения на периферийных чипах с ограниченными ресурсами. В этом разделе будут представлены типичные методы ускорения для универсальных вычислительных платформ и специализированных/реконфигурируемых схем.

3.3. Совместное развертывание и планирование ресурсов в практических системах EIMV

Несмотря на существенный прогресс в ускорении отдельных моделей обработки изображений на ЦП, ГП, ПЛИС и ASIC, практические системы EIMV редко организуются вокруг одной изолированной задачи вывода. Вместо этого они обычно включают в себя несколько тесно связанных этапов, включая сбор данных, предварительную обработку, вывод, постобработку, передачу и локальное принятие решений, особенно в сценариях наблюдения, интеллектуального транспорта и робототехники [94].

В реальных условиях развертывания один граничный узел может одновременно поддерживать обнаружение объектов, отслеживание, анализ событий и управление потоками данных, что создает конкуренцию за вычислительные ресурсы, объем памяти, кэш-память и внекристальную пропускную способность. Более того, эти задачи часто имеют разные требования к времени выполнения: ветви обработки информации, связанные с безопасностью, обычно критически важны с точки зрения задержки, в то время как логирование, облачная синхронизация и долгосрочная аналитика могут допускать относительно большие задержки. Такая неоднородность делает наивное или статическое планирование неэффективным и в некоторых случаях может значительно ухудшить производительность в реальном времени.

Для решения этой проблемы в недавних исследованиях начали изучаться методы планирования во время выполнения, адаптированные для параллельных конвейеров вывода на периферийных устройствах. Перейра и др. [95] исследовали многопоточное планирование конвейеров вывода на маломощных периферийных графических процессорах и показали, что ручное совместное планирование нескольких конвейеров при ограничениях пропускной способности и памяти представляет собой сложную задачу. Они также предложили планировщик на основе глубокого обучения с подкреплением для определения времени начала операций на разных уровнях конвейера, улучшив задержку, планируемость и эффективность использования памяти по сравнению с базовыми методами. Этот результат предполагает, что в практических системах EIMV эффективность развертывания зависит не только от сжатия модели или аппаратного ускорения, но и от того, может ли система во время выполнения координировать перекрывающиеся конвейеры вывода с учетом ресурсов.

Помимо локального планирования, межустройственное взаимодействие дополнительно повышает эффективность системы. Чжан и др. [96] представили CrossVision, распределенную структуру для анализа видео в реальном времени с камер, которая использует перекрывающиеся области ROI между соседними камерами для уменьшения избыточной обработки и балансировки рабочей нагрузки. Сохраняя все необработанные визуальные данные на камерах и координируя вывод, CrossVision уменьшает задержку и поддерживает точность. Это демонстрирует, что организация задач на уровне графа между узлами может быть столь же важна, как и локальное аппаратное ускорение.

Взаимодействие облака и периферии — еще одна ключевая стратегия для сверхсложных сценариев, в которых чисто периферийного выполнения недостаточно. Нан и др. [97] предложили архитектуру непрерывного обучения с поддержкой облака, в которой периферия выполняет легковесный вывод, в то время как облако обрабатывает более сложную адаптацию модели и глобальный анализ. Адаптивные фреймворки для разделения DNN, такие как PARTNNer, динамически определяют, какие задачи или слои следует перенести в облако, чтобы минимизировать сквозную задержку при изменяющихся сетевых условиях и нагрузке облака [98] . В этой парадигме чувствительное к задержке восприятие остается на устройстве, в то время как ресурсоемкие или не относящиеся к реальному времени задачи — такие как глобальная агрегация, переобучение или уточнение сцены — могут быть перенесены. Таким образом, разделение и планирование задач определяются требованиями уровня приложения и ограничениями реального времени, а не только вычислительной мощностью.

В промышленных условиях Цзи и др. [99] продемонстрировали, что решения о переносе задач, оптимизированные с помощью улучшенных глубоких Q -сетей, могут дополнительно сбалансировать задержку, точность и использование ресурсов для совместного анализа видео на периферии и в облаке, подчеркивая цели планирования, ориентированные на приложения. В совокупности эти исследования показывают, что совместная оптимизация на системном уровне, сочетающая локальное планирование, межустройственное взаимодействие и адаптивное разделение периферии и облака, имеет решающее значение для масштабируемого развертывания EIMV в реальном времени [94].

В целом, системы EIMV переходят от изолированного ускорения моделей к совместной оптимизации моделей, конвейеров обработки данных, устройств и каналов связи, обеспечивая более реалистичный путь к стабильному, малозадержечному и масштабируемому интеллектуальному компьютерному зрению в реальном времени на периферии сети в сложных приложениях.

4.1. Подключенные и автономные транспортные средства

Благодаря стремительному развитию машинного зрения, глубокого обучения и сенсорных технологий, автомобили превратились из традиционных средств передвижения в интеллектуальные вычислительные платформы, способные к восприятию, принятию решений и обучению. Эти системы, объединяющие связь, восприятие и управление, в совокупности известны как подключенные и автономные транспортные средства (CAV).

Еще в 2016 году в отчете Intel [100] указывалось, что один автономный автомобиль может генерировать 4 ТБ данных в день. К 2022 году в отчете Samsung [101] прогнозировалось, что при более высоком уровне автоматизации, увеличении количества датчиков и более высоком разрешении автономный автомобиль сможет производить до 40 ТБ данных в час. Учитывая ограничения пропускной способности связи и безопасности данных, такие огромные объемы данных не могут быть полностью переданы в облако. Следовательно, бортовые вычислительные блоки должны обладать достаточными возможностями хранения и вычислений в режиме реального времени.

Автономная система вождения обычно включает три основных модуля: восприятие окружающей среды, планирование решений и выполнение управления. На этапе восприятия используются многочисленные визуальные датчики, такие как камеры и LiDAR, для получения исчерпывающей информации об окружающей среде вокруг транспортного средства [102]. Затем объединенные данные датчиков вводятся в модели зрения для обнаружения или сегментации объектов, пешеходов и разделительных полос, обеспечивая критически важную информацию для последующих модулей принятия решений и управления.

В настоящее время алгоритмы визуального восприятия для автономного вождения можно разделить на многомодульные конвейеры и большие многомодальные модели. Многомодульные конвейеры объединяют несколько специализированных моделей и обладают высокой интерпретируемостью, что облегчает отслеживание ошибок и отладку. Большие многомодальные модели обеспечивают мощные возможности принятия решений от начала до конца, интегрируя датчики и управление в единую структуру [103]. Независимо от парадигмы, по мере роста сложности алгоритмов адекватное вычислительное оборудование становится необходимым для достижения производительности вывода в реальном времени.

В промышленной сфере было разработано множество вычислительных платформ, специально предназначенных для приложений CAV. В 2015 году NVIDIA выпустила платформу SoC DRIVE PX для приложений усовершенствованных систем помощи водителю (ADAS), за которой последовали последующие поколения, включая DRIVE PX2 (2017), DRIVE PX Xavier (2017), DRIVE PX Pegasus (2017), DRIVE AGX Orin (2019) и DRIVE Thor (2021) [104]. Поддерживаемый уровень автономности этих платформ постепенно повышался со 2-го уровня до 4-го и 5-го, при этом основные обновления были сосредоточены на расширении количества ядер унифицированной вычислительной архитектуры устройств (CUDA) для поддержки все более сложных моделей машинного зрения.

Предстоящая платформа DRIVE Thor, построенная на основе новейших архитектур CPU и GPU от NVIDIA, может обеспечить производительность в 2 петало-операции с плавающей запятой в секунду (PFLOPS) — или 2000 TOPS — и является первой автомобильной платформой, которая изначально поддерживает алгоритмы ИИ на основе трансформеров. Этот пример демонстрирует эволюцию восприятия автономного вождения от традиционных архитектур на основе CNN к многомодальным базовым моделям. Несколько автопроизводителей, включая BYD, Xpeng, Zeekr и Li Auto, объявили о планах внедрения DRIVE Thor в свои системы автономного вождения следующего поколения [105].

Что касается FPGA, то серия Xilinx Zynq UltraScale+ ZCU104/106 представляет собой платформы для граничных вычислений автомобильного класса. Например, ZCU104, сочетающая гетерогенную архитектуру FPGA + ARM, обеспечивает гибкую масштабируемость и минимизирует энергопотребление, сохраняя при этом полную функциональность. При выполнении задач CNN она достигает производительности 14 изображений·(с·Вт)⁻¹, превосходя графический процессор Tesla K40 (4 изображения·(с·Вт) ⁻¹). Для задач отслеживания объектов она может обрабатывать видеопотоки 1080p в реальном времени со скоростью 60 кадров в секунду (fps) [106].

Помимо основных платформ граничных вычислений, появилось несколько специализированных поставщиков решений, которые интегрируют алгоритмы обработки изображений с граничным оборудованием. Например, компания Light Company разрабатывает недорогие многокамерные массивы различных размеров для построения трехмерных (3D) карт окружающей среды с использованием стереоскопического зрения в качестве альтернативы дорогостоящим и ограниченным по дальности системам LiDAR. Каждая камера включает в себя объективы с разным фокусным расстоянием, а ее алгоритм стереоскопического зрения, реализованный на FPGA, генерирует до 95 миллионов точек в секунду. По данным компании, в будущих версиях будет осуществлен переход от развертывания на основе FPGA к развертыванию на основе ASIC для повышения эффективности [107].

Компания Mobileye, еще один лидер отрасли, представила первую в мире интеллектуальную систему помощи при превышении скорости (ISA), основанную исключительно на визуальном восприятии, для производителей оригинального оборудования автомобилей (OEM). Это решение, основанное только на камере и запущенное в серийные автомобили в 2023 году, обеспечивает соответствие новому Общему регламенту безопасности Европейского союза (ЕС), который предписывает автоматическое определение ограничений скорости без использования карт третьих сторон или данных глобальной системы позиционирования (GPS) [108].

В целом, эти разработки демонстрируют четкую технологическую траекторию: автономные транспортные средства эволюционируют в интеллектуальные системы машинного зрения, где объединение данных с нескольких датчиков, вычисления в реальном времени непосредственно в транспортном средстве и совместное проектирование аппаратного и программного обеспечения являются краеугольными камнями архитектур беспилотных автомобилей следующего поколения.

4.2. Интеллектуальные системы мониторинга

Интеллектуальные системы видеонаблюдения, предназначенные для мониторинга и оптимизации транспортного потока и повышения общественной безопасности, становятся неотъемлемой частью современной городской инфраструктуры. Эти системы обеспечивают функции обнаружения в реальном времени, такие как распознавание номерных знаков, распознавание лиц и обнаружение аномалий, что позволяет им выявлять и реагировать на потенциальные угрозы безопасности или преступную деятельность [109] .

В области мониторинга и управления дорожным движением достижение анализа видео в реальном времени и с высокой точностью остается одной из главных задач. Традиционные системы видеонаблюдения часто используют архитектуру взаимодействия «облако-периферия», в которой множество камер непрерывно захватывают видеопотоки на периферии и загружают их на облачные серверы, где алгоритмы обнаружения выявляют нарушения правил дорожного движения, вторжения и другие аномальные события. Однако по мере быстрого увеличения количества камер, возникающий взрывной рост объема данных создает узкие места в передаче и обработке данных на стороне облака [110].

Для решения этой проблемы исследователи все чаще переносят задачи видеоаналитики на периферийные узлы, что позволяет выполнять локальную предварительную обработку изображений, удаление избыточных кадров или обнаружение объектов для снижения нагрузки на облако, экономии полосы пропускания и улучшения времени отклика системы. Например, Никодем и др. [111] разработали облегченную специализированную нейронную сеть размером всего 16 МБ для классификации транспортных средств (мотоциклов, легковых автомобилей, автобусов, полуприцепов, грузовиков и прицепов). Развернутая в системах видеонаблюдения, она работает с максимальным энергопотреблением 20 Вт в течение почти 24 часов, что делает ее подходящей для сценариев мониторинга дорог с низким энергопотреблением. Аналогично, Ван и др. [112] предложили модель обнаружения амплитуды движения на основе пространственно-временных точек интереса (STIP) с многомодальным линейным слиянием признаков для сегментации информативных последовательностей кадров из непрерывных видеозаписей дорожного движения. Затем они применили усеченную сеть YOLOv3 для покадрового обнаружения, достигнув эффективного распознавания транспортных средств на периферийных узлах.

Пандемия коронавирусной болезни 2019 (COVID-19) еще больше ускорила применение интеллектуальных систем камер на периферии сети в системах эпидемиологического надзора. Конг и др. [114] предложили основанную на периферийных вычислениях систему обнаружения масок, состоящую из этапов восстановления видео, обнаружения лиц и распознавания масок, реализованную на Intel Neural Compute Stick. Система обеспечивает обнаружение масок в реальном времени с помощью маломощных камер, установленных на шине, эффективно поддерживая профилактику и контроль пандемии. Рахман и др. [115] разработали многосенсорную систему Интернета медицинских вещей (IoMT), которая интегрирует визуальные, инфракрасные, слуховые и электрокардиографические (ЭКГ) датчики. Благодаря глубокому анализу визуальных данных на платформах Raspberry Pi или NVIDIA Jetson, она выполняет распознавание боли, анализ эмоций и мониторинг социальной дистанции, расширяя возможности применения в мобильных и носимых медицинских приложениях.

В области распознавания лиц и анализа эмоций Ян и др. [116] реализовали систему мониторинга допроса преступников с использованием NVIDIA Jetson TX2 и Raspberry Pi, напрямую обрабатывая необработанные потоки изображений с каждой камеры для распознавания эмоций по выражению лица подозреваемых. Лю и др. [117] развернули ускорители обнаружения лиц на основе MobileNet-V2 на ПЛИС Intel Arria 10 и Stratix 10, достигнув скорости обнаружения до 763 кадров в секунду и энергоэффективности 8 гигаопераций (GOP)·(s·W)⁻¹ за счет систолической матричной конструкции, матричного мозаичного размещения, квантования с фиксированной точкой и параллельных вычислений. Ву и др. [118] реализовали алгоритм распознавания выражений лица на открытом воздухе на основе внимания на SoC Qualcomm Snapdragon 730G в смартфоне Redmi K30, достигнув скорости вывода приблизительно 40 кадров в секунду, что демонстрирует возможность мобильного вывода в реальном времени на периферии для распознавания эмоций на основе зрения.

В целом, городские интеллектуальные системы мониторинга быстро развиваются в направлении распределенных, периферийно-ориентированных архитектур, которые сочетают в себе обработку визуальной информации с низкой задержкой, интеграцию нескольких датчиков и совместную оптимизацию аппаратного и программного обеспечения. Эти достижения не только улучшают управление дорожным движением и общественную безопасность, но и распространяются на здравоохранение и поведенческую аналитику, формируя технологическую основу следующего поколения умных городов.

4.3. Робототехника и воплощенный интеллект

Роботы представляют собой типичную систему «восприятие-принятие-выполнение». Интеллектуальные роботы используют мультимодальные датчики для получения информации об окружающей среде, проведения анализа в реальном времени и управления исполнительными механизмами для реагирования на сложные сценарии. С инженерной точки зрения, их электромеханические функции часто делятся на четыре иерархических компонента: «мозг» (восприятие и принятие решений), «мозжечок» (поза и управление), «тело» (система привода) и «конечности» (концевые эффекторы) [119], [120], [121]. Поскольку плотность датчиков и вычислительные потребности продолжают расти, каждая подсистема все больше зависит от микросхем периферийных вычислений для поддержки петель обратной связи с низкой задержкой и локального интеллектуального вывода.

Опираясь на этот фундамент, интеллектуальная робототехника развивается в направлении воплощенного интеллекта, который делает акцент на адаптивной связи между познанием и поведением посредством непрерывного взаимодействия и обучения в реальных условиях, а не на использовании исключительно предопределенных правил или централизованных моделей на основе облачных вычислений [124], [125]. В отличие от традиционной парадигмы «обучение в облаке – вывод на периферии», воплощенный интеллект требует встроенного онлайн-обучения и адаптации в реальном времени. Однако онлайн-обучение DNN обычно требует значительных вычислительных и запоминающих ресурсов, что делает эффективное обучение на устройстве в условиях периферийных вычислений ключевым направлением исследований [126].

Для решения этой задачи исследователи предложили множество встроенных решений для непрерывного онлайн-обучения (OCL), которые можно условно разделить на технологические решения на основе встроенных графических процессоров (GPU) и программируемых логических интегральных схем (FPGA).

В решениях на основе встроенных графических процессоров эти подходы используют маломощные встроенные платформы графических процессоров (например, Jetson Nano и Orin) с легковесными нейронными сетями или импульсными нейронными сетями (SNN) для непрерывного обучения, управляемого событиями. Например, Путра и др. [127] представили фреймворк SpikeDyn, который выполняет неконтролируемое онлайн-обучение на встроенных графических процессорах. По сравнению с традиционными методами он снижает энергопотребление при обучении на 51% и при выводе на 37%, демонстрируя большой потенциал для локальной адаптации в воплощенных средах.

Решения на основе FPGA ориентированы на оптимизацию вычислительных блоков на аппаратном уровне для ускорения обратного распространения ошибки, особенно на операции деления и градиента во время обучения модели. Мазуз и др. [128] реализовали модули буфера воспроизведения и потокового буфера на FPGA Xilinx Zynq-7100, что позволило осуществлять обновление весов в реальном времени на кристалле и онлайн-обучение. Аналогично, Тан и др. [129] устранили узкие места в пути передачи данных за счет поблочного непрерывного выделения памяти и структурированного повторного использования весов, достигнув пропускной способности обучения 46,99 GFLOPS и энергоэффективности 6,09 GFLOPS·W ⁻¹ на платформах FPGA.

Крупномасштабные модели становятся когнитивной и определяющей основу воплощенного интеллекта, что делает их использование на периферии ключевым направлением. Репрезентативным примером является парадигма «зрение-язык-действие» (VLA), которая объединяет мультимодальное восприятие, семантическое рассуждение и планирование управления в единую структуру, позволяя роботам генерировать исполняемые последовательности действий непосредственно из языковых или визуальных входных данных [130] . ​​Например, OpenVLA, выпущенный в 2024 году, построен на основе ViT и LLaMA и содержит 7 миллиардов параметров; он поддерживает эффективную тонкую настройку на потребительских графических процессорах посредством адаптации низкого ранга и может использоваться с квантованием без снижения вероятности успешного выполнения последующих задач [131].

Однако последующие анализы показывают, что чисто авторегрессивный OpenVLA работает всего лишь с частотой около 5–6 Гц, что все еще ниже частоты обновления 50–100 Гц, обычно желаемой для плавного и высокореактивного управления роботами. SmolVLA, выпущенный в 2025 году, решает эту проблему, используя гораздо меньшую по размеру архитектуру (представленную в вариантах 0,24 B/0,45 B/2,25 B) и асинхронный стек вывода, который отделяет выполнение действий от обработки наблюдений, тем самым повышая скорость отклика на доступном оборудовании [132].

В реальных экспериментах эта асинхронная конструкция сократила среднее время выполнения задачи с 13,75 до 9,7 с и увеличила количество успешных циклов захвата и перемещения в пределах фиксированного временного окна с 9 до 19, демонстрируя существенное улучшение практической скорости отклика управления. В более широком смысле, недавние исследования производительности показывают, что системы VLA должны стремиться к задержке вывода примерно в 10–100 мс. Кроме того, они предполагают, что высокочастотное управление роботами более реалистично достигается с помощью иерархических или асинхронных конструкций, где более медленный модуль VLA работает на частоте около 5–10 Гц для восприятия и высокоуровневого рассуждения, в то время как отдельный контроллер низкого уровня работает на гораздо более высокой частоте для обеспечения стабильности выполнения [133].

Эта тенденция также отражена в AnywhereVLA, которая полностью работает на борту потребительского оборудования, используя Jetson Orin NX для восприятия и вывода VLA и Intel NUC для одновременной локализации и картографирования (SLAM), исследования и управления, поддерживая работу в реальном времени и достигая общего показателя успешности выполнения задач в 46% в многокомнатных экспериментах [134].

Вкратце, эволюция от традиционного роботизированного интеллекта к воплощенному интеллекту знаменует собой сдвиг парадигмы от статического вывода к адаптивному сенсомоторному обучению непосредственно на периферии. Благодаря синергии встроенного непрерывного обучения, ускорения на FPGA и легковесных многомодальных больших моделей, разработка роботов движется к автономному, эффективному и физически обоснованному интеллекту, что является важным шагом на пути к реализации по-настоящему воплощенного ИИ.

4.4. Системы спектрального восприятия в реальном времени

Гиперспектральная визуализация (ГСИ) позволяет одновременно получать как пространственную структуру, так и спектральную информацию об изображении. По сравнению с традиционной RGB-визуализацией, она предлагает значительное преимущество многомерного пространственно-спектрального слияния данных, что делает ее ключевым направлением исследований в области машинного зрения. Исторически технология ГСИ в основном использовалась в спутниковых приложениях дистанционного зондирования, таких как моделирование окружающей среды, наблюдение за атмосферой и распознавание военных целей [135].

Благодаря быстрому развитию оптоэлектронных датчиков, вычислительной техники и ИИ, область применения гиперспектральной технологии расширилась от лабораторных и оборонных областей до высокоточных областей, таких как сельскохозяйственный контроль качества продуктов питания и биомедицинский анализ [136], [137]. Эти задачи все чаще выполняются в периферийных средах, таких как промышленные производственные линии или мобильные полевые операции, где системы должны обеспечивать не только высокоточное распознавание, но и миниатюризацию и возможность обработки в реальном времени. Таким образом, интеграция интеллектуальных алгоритмов и чипов для граничных вычислений в гиперспектральные камеры для получения и обработки данных на устройстве стала критически важным путем к эффективному спектральному зрению [138].

Например, Раджеш и др. [139] разработали гибкую систему широкополосного спектрального зондирования на основе глубокого обучения (DLWSS) с использованием реконфигурируемой матрицы субнайквистовской выборки (SNS). Метод использует гетерогенную архитектуру ARM + FPGA для совместной обработки данных и вывода CNN, обеспечивая эффективные аппаратно-программные вычисления. Аналогичным образом, Европейское космическое агентство (ESA) встроило свою собственную камеру HyperScout2 в спутник Φ-sat-1, интегрировав процессор Intel Movidius Myriad 2 VPU для выполнения сегментации облаков в реальном времени на основе гиперспектральных изображений атмосферы непосредственно на орбите с использованием моделей CNN.

Такая конструкция устранила необходимость передачи всех гиперспектральных данных на Землю, значительно сократив пропускную способность канала связи и улучшив время отклика. В течение 70 дней непрерывной работы на орбите система достигла уровня ложных срабатываний 0%, что демонстрирует точность и надежность бортового гиперспектрального анализа с использованием ИИ [140]. Такие интегрированные в спутник архитектуры демонстрируют большой потенциал в наблюдении за Землей, мониторинге окружающей среды и реагировании на чрезвычайные ситуации.

Ло и др. [141] утверждали, что по сравнению с FPGA специализированные ASIC для обнаружения гиперспектральных изображений могут обеспечить превосходную производительность как в плане энергоэффективности, так и в плане обработки в реальном времени. Соответственно, они разработали специализированный чип обнаружения гиперспектральных изображений для применения в дистанционном зондировании беспилотных летательных аппаратов (БПЛА). Чип оснащен специальными модулями аппаратного ускорения для уменьшения размерности спектра, извлечения конечных элементов и оценки их содержания, обеспечивая скорость обработки 62,4 кадра в секунду для гиперспектральных изображений размером 256 × 256 × 64 при потреблении всего 44,3 мВт — что значительно превосходит традиционные решения на кристалле на основе процессоров общего назначения.

Аппаратная подсистема включает модули для интерфейса датчиков на основе комплементарных металл-оксидных полупроводников (CMOS), память с удвоенной скоростью передачи данных (DDR) и высокоскоростной канал передачи данных SFP+ с малой пропускной способностью 10 Гбит/с. Оптическая подсистема использует архитектуру спектральной визуализации с сканирующей разверткой, охватывающую диапазон длин волн 400–700 нм. Встроенная модель интеллектуального анализа границ включает две скоординированные ветви: ветвь извлечения спектральных признаков и ветвь извлечения пространственных признаков, выходные данные которых объединяются с помощью модуля принятия решений на основе достоверности для многомодальной интеграции признаков. Эта архитектура позволяет в режиме реального времени распознавать и визуализировать образцы китайских лекарственных трав (например, Glycyrrhiza uralensis , Astragalus membranaceus и Lepidium meyenii ) непосредственно на стороне датчика.

В ходе практической оценки интегрированная система гиперспектрального зондирования и вычислений демонстрирует высокую эффективность и применимость в реальных условиях. Используя предложенную двухветвевую модель интеллектуального управления на границах на гиперспектральных изображениях китайских лекарственных трав, полученных методом сканирования, система достигает пропускной способности 502 GOPS и задержки 32,2 мкс на фрагмент 9 × 9, при энергопотреблении 14,42 Вт, достигая общей точности классификации 97,8% [142]. Это позволяет проводить высокоточную классификацию образцов в реальном времени с минимальным использованием ресурсов, поддерживая точность классификации, сопоставимую с точностью стандартных решений на базе ЦП и ГП. Результаты показывают, что совместно разработанное аппаратное обеспечение и программное обеспечение интеллектуального управления на границах могут удовлетворить потребности в оперативном гиперспектральном анализе, обеспечивая при этом энергоэффективную работу.

5.1. Проблемы для EIMV

5.2. Перспективы развития EIMV в будущем