Машинное зрение в режиме реального времени: обзор литературы

2.1. Архитектуры обнаружения объектов для обработки изображений в реальном времени

Современные архитектуры обнаружения объектов условно делятся на две категории: двухэтапные и одноэтапные. Двухэтапные детекторы начинаются с R-CNN и последующих, генерируя независимые от класса предложения регионов, а затем классифицируя и уточняя каждое из них. Fast R-CNN [9] и Faster R-CNN [ 7 ] сокращают затраты на этот конвейер за счет распределения сверточных вычислений между предложениями и замены внешней генерации предложений на обученную сеть предложений регионов, но при этом обрабатывают каждое предложение индивидуально, поддерживая пропускную способность значительно ниже частоты кадров видео на обычном оборудовании [3, 7].

Одноэтапные детекторы обходят все это стороной, рассматривая обнаружение как прямую регрессию по фиксированной сетке. You Only Look Once (YOLO) положил начало этому, используя оригинальную формулировку Редмона и др. [1], предсказывающую ограничивающие рамки и классы по полным изображениям за один прямой проход. Основные версии (YOLO9000/v2 [39], YOLOv3 [ 2 ], YOLOv4 [2]) добавили многомасштабные головки и, с CSPNet, межэтапные частичные связи [40]. От YOLOv5 [41] произошла ветвь: YOLOv5 и YOLOv8 [42] — это версии Ultralytics без статьи; YOLOv6 [2] был разработан независимо для промышленного применения; YOLOv9 [43] вернулся к исходной линии; а YOLOX [2] отделился, без якорей, с развязанной головкой. Основная линейка возобновляется с YOLOv7 [13], YOLOv10 [14] и YOLOv12 [15]. Single Shot MultiBox Detector (SSD) [8] подключает головки к нескольким разрешениям; EfficientDet [44] применяет составное масштабирование [17] с двунаправленной пирамидой признаков. В обзорах [2, 3] отмечается, что каждое поколение жертвует небольшим увеличением параметров ради непропорционального повышения точности при фиксированной частоте кадров.

Более новая ветвь возвращается к обнаружению на основе трансформеров, следуя DETR [45], который переосмысливает обнаружение как задачу прямого предсказания множества, решаемую с помощью двудольного сопоставления, исключая как генерацию якорей, так и подавление немаксимумов (NMS) за счет гораздо большей сложности обучения и, в своей первоначальной форме, задержки вывода, которая неприемлема для использования в реальном времени. RT-DETR [46] нацелен именно на этот недостаток, сочетая эффективный гибридный кодировщик с механизмом выбора запроса, учитывающим пересечение над объединением (IoU), для достижения скорости реального времени, сохраняя при этом формулировку предсказания множества без NMS. Он сообщает о точности, сопоставимой или превосходящей точность детекторов YOLO сопоставимого размера при эквивалентной задержке, что авторы приводят в качестве доказательства того, что детекторам на основе трансформеров больше не нужно отказываться от возможности работы в реальном времени ради архитектурных преимуществ предсказания на основе множеств.

Помимо ограничивающих рамок, задачи на уровне экземпляров и пикселей развиваются по тому же принципу. Mask R-CNN [10] добавляет параллельную ветвь предсказания маски к Faster R-CNN, ценой задержки двухэтапного конвейера, что подталкивает дальнейшую работу к одноэтапной сегментации экземпляров. В обзорах, ориентированных на автомобильную и промышленную отрасли [33, 47], отмечается, что выбор модели редко основывается только на точности эталонного набора данных: скорость вывода на целевой платформе, устойчивость к артефактам, таким как размытие движения, и соответствие производственному конвейеру — все это имеет реальное значение [23].

2.2. Семантическая сегментация в реальном времени

Семантическая сегментация маркирует каждый пиксель, что делает её более ресурсоёмкой с точки зрения вычислительных затрат, чем обнаружение при сопоставимом разрешении. Ранние сети реального времени, такие как ENet [48], отказались от репрезентативной способности, используя агрессивное раннее понижение разрешения и компактный кодировщик-декодер, чтобы достичь интерактивной частоты кадров на встроенных графических процессорах. Более поздние архитектуры с двойным разрешением, такие как DDRNet [49], вместо этого используют две параллельные ветви: глубокую ветвь низкого разрешения для контекста и неглубокую ветвь высокого разрешения для пространственных деталей, широко используемые для сегментации дорожной обстановки.

Сравнительные исследования сегментации в реальном времени [48, 50] показывают, что пространство проектирования в значительной степени определяется несколькими повторяющимися стратегиями: многоветвевая/многоразрешающая обработка, отделяющая контекст от пространственной точности, эффективная факторизация свертки [16] и дистилляция знаний из более крупных сетей учителей. Исследование, ориентированное на дистанционное зондирование [48], показало, что переход от городских изображений к аэрофотоснимкам/спутниковым снимкам заметно меняет их компромисс между точностью и задержкой, что напоминает о том, что производительность сегментации в реальном времени зависит совместно от предметной области, разрешения и оборудования.

2.3. Отслеживание нескольких объектов в системах реального времени

Отслеживание по обнаружению остается доминирующим методом для отслеживания нескольких объектов в реальном времени (MOT): покадровый детектор предлагает рамки, а модуль ассоциации связывает обнаружения в устойчивые треки. SORT [11] формализовал это с помощью фильтра Калмана и присвоения по венгерскому алгоритму на основе перекрытия рамок, достигнув высокой пропускной способности, но страдая от переключения идентичности при окклюзии. DeepSORT [12] добавил к стоимости обученное встраивание внешнего вида, пожертвовав некоторой скоростью ради лучшего сохранения идентичности, и стал распространенной основой для встроенного отслеживания в паре с детекторами семейства YOLO [51]. ByteTrack [52] вместо этого сохраняет и связывает обнаружения с низкой степенью достоверности, а не отбрасывает их, восстанавливая треки, которые в противном случае были бы потеряны из-за окклюзии или размытия движения без дополнительной модели внешнего вида.

Обзоры MOT на основе глубокого обучения [51] показывают, что в режиме реального времени детектор, а не трекер, обычно является основной статьей расходов, поэтому выбор конструкции трекера, как правило, делается с одной целью: минимизировать дополнительную задержку, накладываемую на уже ограниченный по задержке детектор. Та же закономерность наблюдается в слежении с помощью БПЛА [34, 35], где урезанные одноступенчатые детекторы сочетаются с легкими ассоциативными или сиамскими сетевыми трекерами, чтобы оставаться в пределах размеров, веса и энергопотребления небольших воздушных платформ.

2.4. Эффективные магистрали на основе трансформаторов

Исторически сложилось так, что проектирование базовой сети определяло большую часть компромисса между точностью и задержкой, доступного на последующих этапах. Остаточные соединения ResNet [4] позволили создать значительно более глубокие сети без более раннего ухудшения качества простых сетей, в то время как сети в стиле VGG [5] показали, что простые, однородные сверточные стеки 3 × 3 могут достигать конкурентоспособной точности при высоких затратах на параметры. Надежное обучение такой глубины само по себе стало важным шагом вперед: пакетная нормализация [53] снизила чувствительность к инициализации и скорости обучения и используется, в основном без комментариев, практически во всех базовых сетях и детекторах, обсуждаемых здесь и в разделе 2.1 . MobileNetV2 [16] ориентирован на мобильное развертывание непосредственно с помощью разделяемых по глубине сверток и инвертированных остаточных блоков, существенно сокращая операции умножения-накопления (MAC); MobileNetV3 [54] добавил поиск архитектуры с учетом аппаратного обеспечения с помощью алгоритма NetAdapt, показав на 3,2% более высокую точность ImageNet, чем MobileNetV2, при на 20% меньшей задержке; а EfficientNet [17] обобщил это посредством составного масштабирования глубины, ширины и разрешения при фиксированном бюджете.

Архитектура трансформера [55] и визуальный трансформер (ViT) [18] открыли параллельное направление исследований базовых архитектур, построенных на самовнимании, а не на свертке. Оригинальный ViT дорог по сравнению с сопоставимыми сверточными базовыми архитектурами, поэтому в более поздних работах стремились к эффективности в реальном времени: Swin Transformer [19] ограничивает самовнимание локальными, сдвинутыми окнами, переводя сложность с квадратичной на линейную в зависимости от размера изображения; MobileViT [20] смешивает сверточные и трансформерные блоки для лучшего компромисса между точностью и параметрами на мобильном оборудовании; а EfficientFormer [21] использует поиск архитектуры, управляемый задержкой, чтобы соответствовать скорости класса MobileNet, сохраняя при этом большую часть преимущества самовнимания в точности. Гибридные конструкции свертки и внимания по-прежнему превосходят чистые трансформеры по компромиссу в реальном времени, хотя разрыв сокращается с каждым поколением [20, 21].

2.5. Базовые модели и модели «зрение-язык» для визуального восприятия

Отдельное, быстро развивающееся направление работы расширяет архитектуры типа «базовая сеть — головная сеть» с помощью больших, предварительно обученных базовых моделей, связывающих визуальное восприятие с пониманием языка. CLIP [56] совместно обучает кодировщик изображений и текста на больших парах изображений и текста для создания общего пространства встраивания, что позволяет проводить классификацию без предварительного обучения и тонкой настройки, и стал стандартным кодировщиком во многих системах, рассматриваемых ниже. Модель Segment Anything Model (SAM) [57] расширяет это до сегментации на уровне пикселей с помощью задачи с подсказками, кодировщика изображений, кодировщика подсказок и легковесного декодера масок, создающего допустимую маску для ранее не встречавшихся категорий, обученного на наборе данных SA-1B с миллиардом масок. Grounding DINO [58] преследует связанную, ориентированную на обнаружение цель, объединяя детектор-трансформатор с кодировщиком текста для локализации с открытым набором данных, обусловленной языком, без переобучения.

Что касается языка, большие языковые модели (LLM) были объединены с визуальными кодировщиками для создания многомодальных моделей «зрение-язык» (VLM), способных отвечать на открытые визуальные вопросы, создавать подписи и следовать инструкциям. LLaVA [59] соединяет предварительно обученный кодировщик CLIP с LLM через облегченный проекционный слой, точно настроенный на основе машинно-генерируемых данных инструкций, для создания универсального визуального помощника. В обзоре, посвященном робототехническому зрению [60], задокументировано быстрое внедрение одновременной локализации и картографирования (SLAM), 3D-обнаружения, навигации и манипуляций, при этом развертывание в реальном времени, кросс-модальное выравнивание и адаптация предметной области названы центральными открытыми проблемами.

Проблема здесь очевидна: базовые и графические модели, в исходном виде, слишком велики для работы в реальном времени при ограниченных ресурсах. Один только кодировщик SAM обрабатывает более 600 миллионов параметров и несколько сотен миллиардов операций с плавающей запятой (FLOP) на изображение; сопоставимые графические модели обычно требуют серверных графических процессоров для обеспечения интерактивной задержки. Одно из направлений работы устраняет этот пробел, применяя сжатие, описанное в разделе 3.2 : EdgeSAM [61] заменяет кодировщик SAM мобильной магистралью, созданной на основе оригинала, достигая более 30 кадров в секунду (FPS) на смартфонах. Второе направление перепроектирует модель для развертывания на периферии с самого начала (MiniCPM-V [62] обеспечивает производительность уровня GPT-4V на мобильном телефоне). Эти аспекты более подробно обсуждаются в разделе 4.9.

3.1. Методология обзора и выбор источников

Данная статья написана в формате нарративно-синтетического обзора, а не формального протокола систематического обзора, что является преднамеренным выбором: область исследования охватывает несколько крупных, независимо развитых подобластей (обнаружение, сегментация, отслеживание, сжатие, аппаратное ускорение, базовые и компьютерно-языковые модели), каждая из которых уже охвачена специализированными систематическими обзорами. Для проведения единого поиска, соответствующего требованиям PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), по всем этим подобластям потребовалась бы поисковая строка либо настолько широкая, что возвращала бы неуправляемый, в значительной степени нерелевантный объем данных, либо достаточно узкая, чтобы незаметно исключить целые подобласти. Название отражает этот выбор, описывая работу как нарративный обзор, а не как всеобъемлющее исследование. Остальная часть этого подраздела максимально четко описывает область исследования, критерии отбора и процесс идентификации источников, насколько это позволяет нарративный формат.

Для включения в исследование «машинное зрение в реальном времени» определяется как любая система, метод или компонент, для которых источник сообщает или явно предназначен для поддержки ограниченной задержки на кадр или на принятие решения, совместимой с онлайн-работой, что подтверждается как минимум одним из следующих признаков: (i) заявленным показателем частоты кадров (FPS) или задержкой на кадр на указанном оборудовании; (ii) явной целью проектирования обработки в реальном времени или в режиме онлайн, независимо от того, сообщается ли показатель FPS; или (iii) статусом базовой архитектуры, набора данных или метода, от которого зависит значительная часть рассмотренной литературы, даже без указания частоты кадров. Эта третья категория, используемая экономно, позволяет включить оригинальные работы по ResNet или Vision Transformer, актуальность которых для реального времени устанавливается косвенно через архитектуры, построенные на их основе.

Критерии отбора: Включены: рецензируемые публикации (журнальные статьи, материалы конференций и главы книг), в том числе те, которые представляют архитектуру, набор данных или метод, ставшие стандартом в области машинного зрения в реальном времени, опубликованные в 2012–2026 годах, на английском языке, поддающиеся независимой проверке. Исключены: непроверяемые источники, источники не на английском языке и источники, выходящие за рамки операционного определения (например, статьи о точности пакетной обработки в автономном режиме без цели исследования в реальном времени). Кандидаты были выявлены с помощью структурированных запросов к IEEE Xplore, ACM DL, SpringerLink, ScienceDirect и MDPI, комбинирующих слова «в реальном времени», «машинное зрение», «обнаружение объектов», «встроенные», «граничные», «FPGA», «TinyML», «модель компьютерного зрения и языка» и «базовая модель» с названиями архитектур («YOLO», «SAM»). Точные подсчеты записей по каждой базе данных, подобные тем, которые отображаются в диаграмме PRISMA, не регистрировались, это ограничение было рассмотрено в разделе 5.1 . На рисунке 1 качественно представлена ​​сводная информация о процессе сужения круга кандидатов до 94 отобранных источников.

Рисунок 1. Качественная воронка отбора источников для данного нарративного обзора, от идентификации кандидатов и библиографической проверки до 94 источников, отобранных для цитирования. Поскольку это нарративный, а не систематический обзор, ширина этапов иллюстрирует форму воронки и не проверяется по количеству записей на каждом этапе (раздел 3.1 и раздел 5.1).

Пять областей (вождение, промышленная инспекция, БПЛА, сельское хозяйство, медицинское зрение) были выбраны на этапе определения масштаба исследования как реализующие пять качественно различных ограничений на «реальное время»: жесткое, критически важное для безопасности ограничение наихудшей задержки (вождение); ограничение на устойчивую пропускную способность (промышленность); ограничение по размеру, весу и мощности (БПЛА); ​​ограничение по энергии и связности (сельское хозяйство); и ограничение на подтвержденную точность в рамках бюджета кадра, а не на скорость (медицина), разработанное в разделе 4.8 . Другие области, по которым проводились значительные исследования (наблюдение, зрение в условиях низкой освещенности), также рассматривались, но обсуждались менее подробно (раздел 4.8), поскольку их ограничения в значительной степени совпадают с пятью выбранными. Соответственно, глубина охвата различных областей неравномерна: разделы 4.3 и 4.5 опираются на более обширную и разнородную базу данных, чем разделы 4.4 и 4.7, что отражает относительный объем литературы, а не предполагаемый баланс, как это прямо указано в разделе 5.1 .

Поскольку это обзор, а не эмпирическое исследование, описанные ниже «методы» представляют собой технические подходы, описанные в основной литературе, и разделены на сжатие (раздел 3.2), аппаратные платформы (раздел 3.3) и эталонные наборы данных/метрики (раздел 3.4). Новые эксперименты, наборы данных или обучение не проводились; все количественные результаты в разделе 4 получены из оригинальных публикаций или напрямую ссылаются на них.

3.2. Методы моделирования сжатия и ускорения

В литературе встречаются три метода сжатия: квантизация, обрезка и дистилляция знаний. Квантизация снижает числовую точность (обычно с FP32 до INT8 или ниже), уменьшая объем памяти и затраты на умножение-накопление на поддерживающем оборудовании [24]. Квантизация после обучения применяется после обучения с полной точностью; обучение с учетом квантизации имитирует снижение точности во время обучения и, как правило, теряет меньше точности при заданной битовой ширине [24, 25]. Квантизация только с целочисленной арифметикой, обученная таким образом, улучшила компромисс между задержкой и точностью MobileNet на процессорах ARM как для классификации ImageNet, так и для обнаружения COCO [63]. Сочетание квантизации со структурированной обрезкой (обрезка с учетом квантизации) создает более эффективные модели, чем каждая из них по отдельности, для вывода, критичного к задержке [25].

Обрезка удаляет избыточные параметры или структуры из обученной сети. Неструктурированная обрезка уменьшает отдельные веса по критерию значимости, сокращая количество параметров, но не обязательно задержку без специальной аппаратной поддержки разреженных матриц [28, 30]. Структурированная обрезка удаляет целые каналы, фильтры или слои, уменьшая количество выполняемых плотных тензоров и более надежно приводя к ускорению на оборудовании GPU/FPGA [29]. Применительно к детекторам, обрезка на уровне каналов и слоев моделей семейства YOLO (SlimYOLOv3 [35]; обрезанная YOLOv4 для БПЛА [34]) уменьшает размер модели и количество операций с плавающей запятой на порядок с небольшим снижением средней точности (mAP) при условии тонкой настройки после обрезки [34, 35]. Например, обрезка каналов и слоев YOLOv4 для обнаружения небольших дронов уменьшила размер модели с 245 МБ до 15,1 МБ при сохранении 90,5% mAP и повышении скорости на 60,4% до 69 FPS [64]. Обзоры эффективных CNN и их аппаратного ускорения [65] добавляют, что сети со структурной обрезкой по-прежнему работают на оборудовании общего назначения, в то время как разреженные ускорители могут быть разработаны для экономии энергии и памяти в разреженных сетях. Обзоры методологии обрезки [30] предупреждают, что сообщаемые ускорения сильно зависят от целевого оборудования и программного стека.

Дистилляция знаний обучает меньшую сеть «ученика» воспроизводить распределение выходных данных большей сети «учителя», используя смягченные вероятности учителя в качестве дополнительного сигнала обучения, следуя формулировке, первоначально предложенной Хинтоном и коллегами и теперь подробно рассмотренной в специальных обзорах [ 66 ]: относительная вероятность, которую учитель присваивает неправильным классам, несет информацию, которой нет у одних только жестких меток [27]. Дистилляция работает на уровне цели обучения, а не структуры сети, и часто сочетается с квантованием или обрезкой в ​​упорядоченном конвейере (например, обрезка с последующей тонкой настройкой с учетом квантования с помощью функции потерь дистилляции) [27]. Глубокое сжатие [28], ранний конвейер, сочетающий обрезку, обученное квантование и энтропийное кодирование, задал шаблон, которому до сих пор следуют более поздние конвейеры: взаимодополняющие этапы сжатия, применяемые последовательно, с тонкой настройкой между ними.

Связанный, но отличающийся подход к повышению эффективности — это поиск нейронной архитектуры (NAS), оптимизирующий саму топологию сети. Зоф и Ле [67] охарактеризовали это как обучение с подкреплением; аппаратно-ориентированные варианты включают измеренную задержку/энергию в целевую функцию. Масштабирование EfficientNet [17] и топология слияния EfficientDet [44] являются выгодными результатами. Дополнительные методы: вывод со смешанной точностью почти вдвое уменьшает объем памяти на оборудовании FP16 без риска для точности, характерного для INT8 [68]; оптимизация компилятора (TVM) позволяет использовать слияние операторов для устранения разрыва между FLOPs и задержкой [69], а наборы инструментов (TensorRT, ONNX) применяют аналогичные оптимизации на практике, при этом тест Jetson для 3D-детекторов показал, что TensorRT сохраняет точность обнаружения, значительно увеличивая FPS [70]; Низкоранговая факторизация разлагает тензоры весов с умеренными затратами на точность [71]; а оптимизация доступа к памяти минимизирует внечиповый трафик, решаемый такими ускорителями, как FINN [72].

Теоретическая сложность модели (FLOPs/MACs) коррелирует с измеренной задержкой слабее, чем иногда подразумевается в литературе по сжатию. FLOPs предполагают, что вычислительные ресурсы являются основным ресурсом, но измеренная задержка часто ограничена пропускной способностью памяти: операции с одинаковым количеством FLOPs могут отличаться в несколько раз по задержке в зависимости от схемы доступа к памяти и возможностей оборудования [24, 30]. Поглубоко разделяемые свертки уменьшают количество FLOPs [16], но обеспечивают меньший прирост задержки без специальной аппаратной поддержки, поскольку результирующие слои более зависимы от памяти на каждый FLOP. Обрезка показывает ту же закономерность: неструктурированная обрезка может уменьшить количество FLOPs с небольшим измеренным ускорением при отсутствии поддержки разреженных матриц [28, 30], в то время как структурированная обрезка более надежно приводит к ускорению за счет уменьшения фактически выполняемых плотных тензоров [29]. Уменьшение количества FLOPs само по себе не следует рассматривать как показатель задержки без аппаратного подтверждения.

3.3. Аппаратные платформы для развертывания в режиме реального времени

Доступное для машинного зрения в реальном времени оборудование делится на четыре основных уровня, схематически представленных в разделе 4.1 . Облачные системы и системы центров обработки данных используются в основном для обучения, а не для развертывания вывода. Системы периферийных серверов/туманных вычислений (встроенные модули GPU, карты FPGA) обрабатывают многокамерные или высокопроизводительные выводы вблизи данных. Конечные устройства (смартфоны, дроны, роботы) используют компактные магистрали на базе мобильных GPU или NPU, в то время как развертывания TinyML на микроконтроллерах запускают сильно квантованные модели в рамках энергопотребления от доли милливатт до примерно одного ватта [ 24 , 25 , 26 ].

Ускорение на основе FPGA привлекло внимание, поскольку позволяет реализовать поток данных сжатой сети непосредственно в реконфигурируемой логике, минуя накладные расходы процессоров общего назначения. Сообщается, что реализации облегченных CNN на FPGA (MobileNetV2, SqueezeNet, ResNet18) достигают задержки в одну-две миллисекунды, близкой к точности GPU с полной точностью, при значительно меньшем энергопотреблении [ 5 , 22 ]. Этот подход восходит к таким фреймворкам, как FINN [ 72 ], который отображает бинаризованные сети на гетерогенную потоковую архитектуру, достигая задержки менее микросекунды при потреблении менее 25 Вт для классификации небольшого масштаба. Инструментальные цепочки, такие как Xilinx Vitis AI, автоматизируют отображение квантованной модели на битовый поток, хотя достигнутая пропускная способность остается чувствительной к потоку данных и пропускной способности памяти [22, 23].

На другом конце спектра находятся развертывания TinyML, ориентированные на микроконтроллеры с встроенной памятью менее мегабайта и энергопотреблением менее ватта, работающие с агрессивно квантованными (часто 8-битными) моделями, которые часто дополнительно обрезаются или дистиллируются [24, 25, 26]. В настоящее время открытые фреймворки автоматизируют 8- и 16-битное квантование и развертывание на 32-битных микроконтроллерах, и один из таких фреймворков был сравнен с тремя механизмами вывода на двух микроконтроллерах [73], что делает механизм вывода еще одной переменной, о которой следует сообщить. Поскольку они не могут поддерживать непрерывный вывод с полным разрешением, они обычно используют каскадную конструкцию: микроконтроллер обрабатывает недорогую задачу запуска и передает управление на более высокий уровень только после запуска, что является распространенной схемой в обзорах TinyML для умных городов, промышленности и сельского хозяйства [26].

В разделе 4.9 представлены типичные варианты аппаратного обеспечения и набора инструментов на каждом уровне развертывания, основанные на кроссплатформенном бенчмаркинге. Независимые сравнения встроенных графических процессоров, периферийных тензорных процессоров (TPU) и процессоров глубокого обучения на базе FPGA не выявили единого преимущества какой-либо одной платформы по всем показателям: FPGA обычно обеспечивают наименьшую задержку на кадр после компиляции в битовый поток, периферийные TPU предлагают наилучшую точность на ватт для моделей INT8, а встроенные графические процессоры обеспечивают наиболее гибкий путь разработки при более высоком энергопотреблении [74, 75]. Это подтверждает тезис раздела 3.2 о том, что выбор метода сжатия и уровня развертывания взаимосвязаны, а не независимы, поскольку фактическая скорость сжатой модели зависит от того, насколько хорошо ее операции отображаются на целевом оборудовании.

Сравнение задержки на платформах GPU, FPGA, NPU, edge TPU и микроконтроллерных блоков (MCU) более рискованно, чем предполагает многоуровневая структура раздела 4.1. Приведенная цифра зависит от узла процесса/тактовой частоты; численной точности (каждый шаг примерно вдвое-вчетверо уменьшает трафик памяти и вычислительные ресурсы); размера пакета (задержка пакета 1 несопоставима с пропускной способностью пакета 32 [14]); разрешения входных данных; пропускной способности памяти; включена ли передача данных между хостом и устройством; и включены ли предварительная/постобработка. Два исследования, в которых сообщается о «задержке в 30 мс», могут быть несопоставимы при разных соглашениях. Тестирование детекторов на встроенных платформах показывает масштаб эффекта: самые быстрые модели работали примерно за 20 мс, но дополнительная обработка ЦП добавила примерно 25 мс, доведя весь конвейер почти до 50 мс, или около 20 кадров в секунду [76]. Там, где в литературе приводятся данные об этих переменных, мы их отмечаем (например, результаты работы детектора с обрезкой, описанные в разделе 4.5, касаются модели, платформы и задачи [34]); в противном случае утверждения соответственно уточняются.

3.4. Эталонные наборы данных и метрики оценки

Сравнительные утверждения в Разделе 4 основаны на небольшом количестве повторяющихся эталонных наборов данных. Для обнаружения и сегментации общего назначения Microsoft COCO [77] и PASCAL VOC [78] остаются доминирующими, сообщая mAP при фиксированных или усредненных пороговых значениях IoU. Для обнаружения и сегментации, ориентированных на вождение, Cityscapes [79] и KITTI [80] предоставляют изображения городских и дорожных сцен с пиксельными и 3D-аннотациями, а крупномасштабный Waymo Open Dataset [32] расширяет это за счет многосенсорных записей. Эталонные наборы данных, специфичные для конкретных областей применения, такие как CropDeep [22] для сельскохозяйственных и промышленных наборов данных о дефектах поверхности [23], меньше по размеру, но отражают специфические условия получения изображений для целевого приложения.

Заявленная производительность в реальном времени чаще всего указывается в FPS вместе с соответствующей задаче метрикой точности (mAP для обнаружения, среднее пересечение по объединению (mIoU) для сегментации, точность отслеживания нескольких объектов (MOTA) для отслеживания). Повторяющаяся проблема [30, 48, 50] заключается в том, что показатели FPS редко сопоставимы в разных статьях, поскольку они зависят от размера пакета, разрешения и аппаратного/программного стека. В нескольких обзорах рекомендуется рассматривать заявленную скорость как показатель порядка величины, а не как точное значение, и мы принимаем это предостережение в разделе 4 .

Средняя частота кадров (FPS) и задержка, которые здесь почти повсеместно указываются, являются плохими показателями адекватности работы в реальном времени в критически важных с точки зрения безопасности условиях. Система управления заботится о хвосте распределения задержки, а не о среднем значении: случайный длинный кадр может нарушить крайний срок, даже если средняя частота кадров выглядит нормально. Системы реального времени различают: (i) среднюю задержку/пропускную способность; (ii) хвостовую задержку (95-й/99-й/99,9-й процентиль); (iii) дрожание; (iv) коэффициент несоответствия крайнему сроку; и (v) время выполнения в худшем случае (WCET), аналитически ограниченный предел, который часто требуется для сертификации безопасности. В таблице 3 приведена сводная информация об этих показателях и частоте их указания. Только в литературе, посвященной вождению, и в меньшей степени в промышленной литературе, явно обсуждается изменчивость [31, 33]; в статьях о детекторах в подавляющем большинстве случаев сообщается только средняя частота кадров, что является одним из наиболее очевидных пробелов здесь ( раздел 5.1 и раздел 5.2 ).

В таблице 4 , обобщающей выявленные в этом разделе пробелы в отчетности , в виде единого справочного контрольного списка представлены переменные, которые следует указывать в будущих исследованиях машинного зрения в реальном времени, чтобы результаты можно было воспроизвести и справедливо сравнить с другими работами. В таблице 4 объединены мешающие переменные, обсуждавшиеся в разделе 3.3 (таблица 2), и метрики реального времени, рассмотренные непосредственно выше (таблица 3), в практический, цитируемый контрольный список, вместо того чтобы оставлять их разбросанными по всему тексту.

4.1. Эволюция архитектуры и компромисс между точностью и скоростью.

На рисунке 2 представлена ​​общая схема конвейера машинного зрения в реальном времени, которая будет использоваться в дальнейшем обсуждении. Получение и предварительная обработка изображений поступают в базовую архитектуру для извлечения признаков, выходные данные которой направляются в специализированный блок; слой оптимизации модели (квантование, обрезка, дистилляция, NAS) находится между обученной архитектурой и платформой развертывания, в то время как цикл ограничений в реальном времени (задержка, пропускная способность, энергопотребление) воздействует на каждый этап одновременно. Это соответствует архитектурной литературе, описанной в разделе 2 : последовательные поколения детекторов повышают точность главным образом за счет более эффективного использования фиксированного бюджета, а не за счет его увеличения. Большинство количественных результатов ниже сообщают только об этапе вывода, прямом проходе базовой архитектуры плюс блок, в виде частоты кадров или задержки; получение, предварительная/постобработка и логика управления являются этапами конвейера, показанными на рисунке 2 , но которые часто исключаются из этого числа или сообщаются отдельно от него ( разделы 3.3 и 3.4 ).

Рисунок 2. Типовой конвейер обработки данных в реальном времени с помощью машинного зрения, от получения изображения через слой оптимизации модели до развертывания и постобработки, ограниченный на всем протяжении контуром контроля задержки, пропускной способности и энергопотребления в реальном времени.

На рисунке 3 прослеживается эта эволюция для линии YOLO из раздела 2.1: основные релизы, ветви сообщества/промышленности и отдельная ветвь YOLOX до самых последних релизов, ориентированных на сквозное обучение/внимание. Обзоры [2, 3] указывают на сети пирамид признаков [81] и межэтапные частичные связи [40] как на идеи с наиболее последовательным положительным эффектом на компромисс между точностью и задержкой. Улучшения группируются в три механизма: репрезентативная эффективность (больше дискриминативных признаков на FLOP, как это делает CSPNet [40]); уточнения присвоения меток/функций потерь, которые улучшают обучение без затрагивания графа вывода, почему выигрыш от «набора бесплатных бонусов» сохраняется между архитектурами [13]; и структурное упрощение, наиболее заметное в головных узлах YOLOv10 без NMS [14]. Эти модели не одинаково портативны: структурные изменения требуют переобучения, в то время как улучшения, зависящие от времени обучения, могут быть добавлены к уже используемым архитектурам без дополнительных затрат. В таблице 5 качественно показано, как каждое основное семейство архитектур находится на этом компромиссе, опираясь на цитируемые обзоры [2, 3, 48, 50, 51]. На рисунке 4 добавлена ​​диаграмма рассеяния репрезентативных показателей точности и скорости для широко цитируемых детекторов [1, 7, 8, 13, 14, 15], показывающая, как линейка детекторов смещается в область работы в реальном времени, обычно иллюстрируемую примерно на уровне 30 кадров в секунду. Эта цифра в 30 кадров в секунду является лишь широко цитируемой иллюстративной конвенцией, а не универсальным критерием: достаточность для работы в реальном времени определяется крайним сроком выполнения конкретной задачи и может быть значительно ниже или выше 30 кадров в секунду в зависимости от приложения (раздел 3.4, таблица 3). Эти данные были получены при различных условиях аппаратного обеспечения и разрешения (раздел 3.4), поэтому их следует рассматривать скорее как ориентировочные, чем строго сопоставимые.

Рисунок 3. Хронология развития детектора YOLO (2016–2025 гг.), включая основные релизы (v1–v4, v7, v10, v12), ветви сообщества/промышленности (v5, v6, v8, v9) и вариант YOLOX без якорей. Двухэтапные и основанные на пирамидах признаков универсальные детекторы (Faster R-CNN, сети пирамид признаков, Mask R-CNN) находятся вне линии YOLO и вместо этого сравниваются по архитектуре в таблице 5. Источники: YOLOv1 [1]; YOLO9000/YOLOv2 [39]; YOLOv3, YOLOv4, YOLOv6 и YOLOX [2]; CSPNet [40]; YOLOv5 [41]; YOLOv7 [13]; YOLOv8 [42]; YOLOv9 [43]; YOLOv10 [14]; YOLOv12 [15].

Рисунок 4. Типичные рабочие точки точности-скорости, собранные из проанализированной литературы, с кодировкой маркеров в соответствии с исходным классом оборудования для оценки, указанным в каждом источнике. Четыре показанных класса оборудования (старые настольные графические процессоры, графические процессоры класса Titan X, графические процессоры класса V100/A100, графические процессоры класса T4/A100) не являются непосредственно сопоставимыми друг с другом; точки были представлены в условиях гетерогенного оборудования, размера пакета и разрешения входных данных (раздел 3.3) и должны рассматриваться в рамках своего класса оборудования, а не между классами. Форма и цвет маркера определяют класс оборудования (см. легенду); пунктирная вертикальная линия является лишь иллюстративной эталонной точкой 30 кадров в секунду, а не жесткой границей реального времени (раздел 3.4). Точки данных: YOLOv7 [ 13 ]; YOLOv10-S [ 14 ]; YOLOv12-S [ 15 ]; Faster R-CNN [7]; SSD300 [8]. Результат YOLOv1, исключенный из графика, приведен в [1].

Рисунок 5 завершает этот набор, возвращаясь к аспекту развертывания оборудования, представленному в разделе 3.3, и описывает четырехуровневую иерархию от облака до TinyML, на которой в конечном итоге развертываются указанные выше архитектуры, и с которой следует ознакомиться в разделе 4.9 , а также в разделах 4.3, 4.4, 4.5, 4.6, 4.7 и 4.8, посвященных выбору оборудования для конкретных областей применения .

Рисунок 5. Четырехуровневая структура развертывания оборудования для машинного зрения в реальном времени, от инфраструктуры обучения в облаке/центре обработки данных до конечных точек TinyML на базе микроконтроллеров, с примерами методов для каждого уровня. Вспомогательные ссылки: уровень облака/центра обработки данных [4, 17, 19, 55]; уровень периферийных серверов/туманных вычислений [5, 22, 74]; уровень устройств/конечных точек [16, 20, 21]; уровень TinyML/микроконтроллеров [24, 25, 26]. TDP: расчетная тепловая мощность.

4.2. Сегментация и отслеживание в реальном времени на практике

Обнаружение локализует дискретные объекты, но для ряда приложений также требуется плотное понимание сцены на уровне пикселей или сохранение идентичности объекта во времени. В таблице 6 представлены репрезентативные архитектуры сегментации в реальном времени и то, как каждая из них ограничивает задержку: ENet [48] использует агрессивное раннее понижение разрешения и компактный кодировщик-декодер; архитектуры с двойным разрешением, такие как DDRNet [49], разделяют агрегацию контекста и сохранение пространственных деталей по параллельным ветвям; а недавние обзоры [48, 50] описывают более широкое семейство многоветвевых, основанных на знаниях конструкций, демонстрирующих конкурентоспособные значения mIoU на тестах класса Cityscapes при интерактивных скоростях. Сравнительное исследование Брони-Бедиако и др. [48] показало, что переход этих архитектур с городских изображений на изображения дистанционного зондирования существенно изменил их относительный рейтинг, что напоминает о том, что производительность сегментации в «реальном времени» не является независимой от предметной области.

При более внимательном изучении литературы по сегментации граница точности и задержки для сегментации в реальном времени выглядит менее стабильной в разных областях, чем для обнаружения. Точность обнаружения оценивает локализацию и классификацию дискретных экземпляров; точность сегментации чувствительна к точности границ, дисбалансу классов «вещи»/«объекты» и пространственной смежности, которые взаимодействуют со стратегией понижения/повышения разрешения сети. Это помогает объяснить, почему двухветвевые конструкции, такие как DDRNet [49], настроенные для геометрии дорожного полотна, не автоматически переносят свои преимущества на изображения дистанционного зондирования или сельскохозяйственные изображения [48], и обосновывает необходимость представления результатов сегментации вместе с распределением классов в оценочном наборе, а не одним общим числом mIoU при сравнении в разделах 4.3 , 4.4 , 4.5 , 4.6 и 4.7 .

Для отслеживания парадигма отслеживания по обнаружению, лежащая в основе SORT [11], DeepSORT [12] и ByteTrack [52], демонстрирует аналогичное постепенное улучшение поверх уже ограниченного по задержке детектора: SORT достигает высокой пропускной способности за счет чисто основанной на движении ассоциации; DeepSORT жертвует некоторой пропускной способностью ради ветви встраивания внешнего вида, которая обрезает переключения идентификаторов при окклюзии; а ByteTrack вместо этого сохраняет обнаружения с низкой степенью достоверности на этапе ассоциации. Обзоры [51] и исследования, специфичные для БПЛА [34, 37], показывают, что эти стратегии добавляют лишь небольшую часть стоимости самого детектора после того, как установлен детектор реального времени, что делает выбор трекера сравнительно низкорискованным, по крайней мере, для стационарных или медленно движущихся камер. На БПЛА эго-движение камеры добавляет видимое движение, с которым ассоциация на основе фильтра Калмана испытывает трудности, отчасти поэтому трекеры, основанные на внешнем виде или сиамские трекеры, остаются популярными в аэрофотосъемке, несмотря на небольшое увеличение задержки [34, 37, 82, 83].

Связанная задача пространственного восприятия в реальном времени, SLAM, разделяет характер отслеживания с ограниченной задержкой, но также поддерживает постоянную геометрическую карту. ORB-SLAM [84], базовая монокулярная система SLAM на основе признаков, показала, что отслеживание, картирование, релокализация и замыкание цикла в реальном времени могут выполняться на основе одного общего представления признаков, разделяя быстрый поток отслеживания на кадр от более медленных потоков картирования/замыкания цикла, — шаблон, повторяющийся в более поздних работах по SLAM и перекликающийся с асинхронными многоскоростными конструкциями, которые рассматриваются в этом обзоре для интеграции базовой модели (раздел 4.9 и раздел 5.2).

4.3. Область применения: автономное вождение и интеллектуальный транспорт

Автономное и вспомогательное вождение — это область, где ограничения реального времени наиболее непосредственно связаны с безопасностью. В исследованиях восприятия водителя [31, 33] описывается стек, объединяющий камеру, LiDAR и радар с жестким ограничением задержки, поскольку любая задержка напрямую влияет на планирование и управление. Бенчмарки (Waymo [32], Cityscapes [79], KITTI [80]) позволяют получать сопоставимые отчеты о точности для разных архитектур. Методы, описанные в Разделах 2, 4.1 и 4.2, адаптированы здесь главным образом за счет многомасштабной обработки удаленных мелких объектов и калибровки неопределенности [31, 32, 33]. Такие платформы, как Pylot, были созданы специально для изучения того, как задержка и точность модулей влияют на поведение водителя от начала до конца, а их тематические исследования подтверждают необходимость контекстно-зависимых компонентов и распределения времени для каждого компонента [85]. Исследование, в котором измерялась задержка обнаружения препятствий в реальном времени в Apollo (PointPillars) и Autoware (CenterPoint) при воспроизведении данных с реальных датчиков, показало, что враждебное возмущение облака точек увеличивает среднюю задержку до 11,5 мс, что представлено в виде распределения, а не одного среднего значения, что согласуется с проблемами задержки в хвосте распределения, описанными в разделе 3.4 [86], одним из немногих источников, сообщающих о времени, подходящем для анализа в таблице 3.

Одна особенность отличает эту область: «в реальном времени» редко ограничивается одной целевой частотой кадров. Реальным ограничением обычно является общий бюджет задержки, охватывающий датчики, восприятие, прогнозирование и управление, причем восприятие — лишь одна часть. Опросы по практике вождения [ 33 ] отмечают, что такой подход к системе в целом способствует выбору архитектурных решений (сниженное фиксированное разрешение входного сигнала, задержка в худшем случае по сравнению со средней задержкой), которые не обязательно были бы оптимальными, если бы детектор оценивался отдельно по стандартному эталону, что легко упустить из виду при сравнении показателей FPS в разных областях.

4.4. Область применения: промышленное машинное зрение и производство.

Промышленное машинное зрение применяет обнаружение/сегментацию в реальном времени главным образом для контроля качества и манипуляций, управляемых роботами. Обзоры машинного зрения в производстве [23] сообщают о точности обнаружения дефектов поверхности, часто превышающей 95% при контролируемом освещении, при этом основной проблемой является пропускная способность контроля при почти нулевом уровне ложноотрицательных результатов, поскольку пропущенный дефект обходится дороже, чем ложная тревога [23]. Эта асимметрия объясняет широкое использование усеченных или квантованных детекторов семейства YOLO, предлагающих настраиваемую точку точности-полноты при известной стоимости [23, 35]. Специализированный обзор обнаружения дефектов поверхности в реальном времени [47] определяет баланс между скоростью и точностью, а также получение больших репрезентативных наборов данных о дефектах как две повторяющиеся проблемы.

Вторая, менее обсуждаемая особенность промышленной области заключается в том, насколько узкими и контролируемыми являются условия съемки. В отличие от открытых пространств, освещение, положение камеры и представление объекта обычно проектируются, а не возникают случайно, что отчасти объясняет, почему сообщаемая точность в промышленности выше, чем на открытом воздухе при сопоставимых возможностях. Это также делает промышленные модели более уязвимыми к незапланированным изменениям (новый вариант продукта, перестановка камеры, изменение освещения), и частота переобучения, а не сама точность, часто является реальным ограничением стоимости владения [23]. В том же исследовании отмечается, что сообщаемые скорости контроля обычно оцениваются по конкретным типам поверхностей и дефектов, для которых была создана система, что ограничивает перенос на другую линейку продукции и подтверждает тезис раздела 3.3 о чувствительности к условиям оценки [47].

4.5. Область применения: беспилотные летательные аппараты и аэрофотосъемка.

Система машинного зрения, установленная на БПЛА, должна соответствовать ограничениям реального времени при жестких ограничениях по размеру, весу и энергопотреблению (SWaP), что обычно исключает использование серверного оборудования. Обнаружение мелких объектов на изображениях, полученных с большой высоты, является повторяющейся проблемой, поскольку наземные детекторы систематически пропускают мелкие, плотные воздушные объекты [37]. Ян и др. [34] описывают конвейер обработки данных с использованием усеченного YOLOv4 и сиамского трекера, координируемый через операционную систему роботов (ROS) [87], на потребительском дроне с вычислительными мощностями уровня ноутбука: mAP@0.5 составляет 0,736 (усеченный) против 0,749 (неусеченный), при этом размер модели уменьшается с 250,2 МБ до 16,8 МБ, а количество операций с плавающей запятой — с 59,6 до 18,6 миллиардов (таблица 7). Более ранние детекторы БПЛА (DroNet [ 36 ], SlimYOLOv3 [35]) и обзоры [37] подтверждают это: сокращение и упрощение, а не новые парадигмы, являются основной причиной снижения задержки, о котором сообщается в данном исследовании.

Закономерность, представленная в таблице 7 , повторяется, хотя и менее точно, во всей остальной литературе: размер модели уменьшился примерно в 15 раз, а количество операций с плавающей запятой (FLOPs) — более чем в 3 раза между необрезанными и обрезанными детекторами, в то время как точность и mAP@0.5 снизились всего на несколько пунктов, а полнота практически не изменилась. Эта сверхлинейная зависимость (значительная экономия вычислительных ресурсов при небольших затратах на точность) соответствует общему выводу литературы по обрезке [29, 30] о том, что полностью обученные сверточные детекторы, как правило, имеют избыточную параметризацию для узкоспециализированной задачи, такой как обнаружение людей одного класса, и является убедительным доказательством того, что аппаратно-ориентированное сжатие, а не выбор семейства детекторов, определяет, соответствует ли данный уровень точности энергопотреблению и полезной нагрузке платформы БПЛА.

4.6. Область применения: Точное земледелие

Точное земледелие применяет обнаружение/классификацию в реальном времени для идентификации культур/сорняков, обнаружения болезней и подсчета плодов, обычно с помощью наземных роботов или БПЛА. CropDeep [22] был создан для обработки данных в полевых условиях в реальном времени, с тем же противоречием между производительностью и точностью, что и в промышленности, но при переменном освещении на открытом воздухе. Легкие магистрали и мобильные ViT подходят для классификации болезней растений на устройстве, где связь ненадежна [20, 26]. Сравнение YOLOv4, EfficientDet и CenterNet для обнаружения сорняков с помощью Jetson показало, что YOLOv4 имеет показатель mAP@0.5 93,4% (80 мс/14 FPS) по сравнению с YOLOv4-tiny, имеющим показатель mAP@0.5 89,2% (24,5 мс/52 FPS) [ 88 ], аналогично компромиссу с БПЛА в таблице 7. Система сегментации культур/сорняков на полевом роботе работает с частотой около 20 Гц, запуская в режиме реального времени активацию прополки [89], в отличие от одной лишь классификации; измеренное потребление энергии в поле остается скудным (Раздел 3.3).

В сельскохозяйственных приложениях также присутствует ограничение, практически отсутствующее в других областях: прерывистая или отсутствующая связь с полем, в сочетании с работой от батарей или солнечных батарей в течение нескольких дней. Это смещает выбор модели дальше в сторону уровня TinyML, показанного на рисунке 5 , чем можно было бы предположить, исходя только из задержки, поскольку модель, работающая в реальном времени с разгрузкой из облака, бесполезна без надежного восходящего канала; по этой причине в нескольких обзорах TinyML мониторинг сельского хозяйства указан как один из ведущих вариантов использования [26]. В том же исследовании было обнаружено, что все три детектора работали значительно медленнее на встроенной платформе, чем на настольном графическом процессоре (YOLOv4: 18 мс на RTX 2080 Ti против 80 мс на Jetson Xavier AGX [88]), что примерно в четыре раза замедляет работу, подтверждая разрыв между встроенными и настольными системами, описанный в разделе 3.3.

4.7. Область применения: Медицинское и хирургическое зрение

В хирургии с визуальным контролем в реальном времени компьютерное зрение занимает здесь иное положение, поскольку требования к точности сочетаются со строгими ограничениями валидации и регулирования, с которыми в других областях сталкиваются реже. Систематический обзор интраоперационного визуального контроля [38] документирует растущее число систем сегментации хирургических инструментов и тканей в реальном времени, отмечая, что задержка и методы валидации значительно различаются, что затрудняет сравнение. Как и в промышленной инспекции, ключевой вопрос часто заключается не в том, достижима ли точность в автономном режиме, а в рамках кадрового бюджета видео в реальном времени при клинически приемлемом уровне ложноотрицательных результатов [38]. Обзор методов обнаружения полипов толстой кишки [90] подтверждает это, обнаружив, что точность варьируется в зависимости от морфологии поражения, и указывая на разрыв между установленными эталонными значениями и клинической практикой как на барьер для внедрения [90].

Медицинская область также более четко, чем другие, выявляет ограничение, прослеживающееся в этом обзоре в более слабой форме: сообщаемые данные о задержке хирургического зрения редко сопровождаются клинической валидацией, необходимой для того, чтобы показать, что данная точка точности-скорости безопасна для конкретной процедуры и популяции, а не просто хорошо выглядит на ретроспективном наборе данных [38], пробел, который рассматривается в разделе 5.1. Обзор колоноскопии [90] сужает этот момент: несколько детекторов полипов в реальном времени достигают высокой чувствительности на общедоступных эталонных наборах данных, но обобщение между наборами данных (например, между эндоскопическими центрами) остается непоследовательным, что является проблемой, связанной со сменой области исследования и общим пробелом в надежности, описанным в разделе 5.1.

4.8. Междоменный синтез

В таблице 8 собраны репрезентативные исследования из каждой области, с указанием используемой методики, уровня оборудования и основного показателя реального времени. Повторяются две закономерности: используемая архитектура заимствована из небольшого общего пула (в основном семейство YOLO и усеченные/квантованные варианты), адаптация к конкретной области происходит за счет обработки и постобработки данных, а не новых парадигм, и основным рычагом для выполнения требований к реальному времени в данной области является сжатие (раздел 3.2) в сочетании с выбором уровня развертывания (рисунок 5), а не единая «самая быстрая» архитектура. Примечание к парным показателям задержки/частоты кадров в таблице 8: несколько строк не являются простыми обратными величинами (например, 76,80 мс наряду с 25+ FPS), что отражает конвейерное/многопоточное измерение, а не ошибку транскрипции, что само по себе иллюстрирует разрыв в соглашениях об отчетности, описанных в разделе 3.3 и таблице 4.

При сравнении пяти областей параллельно выявляется третья, более тонкая закономерность: каждая определяет «реальное время» через различные связующие ресурсы. Для вождения — наихудшая сквозная задержка при соблюдении требований безопасности; для промышленной инспекции — устойчивая производительность, соответствующая времени цикла; для машинного зрения БПЛА — комбинированный диапазон размеров, веса и энергопотребления; для сельского хозяйства — энергетическая автономность при прерывистом подключении; и для медицинского зрения — подтвержденная точность в пределах клинически приемлемого бюджета кадров, а не просто частота кадров. Поскольку это действительно разные цели оптимизации, а не разные значения в одной шкале, метод, который является «реальным временем» по стандартам одной области, не обязательно соответствует стандартам другой, что является еще одним аргументом (раздел 5.1) в пользу бенчмаркинга, ориентированного на конкретную область, а не на нейтральную.

Две другие области, не рассматриваемые как полноценные тематические исследования, но хорошо представленные в литературе, демонстрируют ту же закономерность с другой точки зрения. Обнаружение аномалий в системах видеонаблюдения [93] имеет ту же асимметричную структуру затрат, что и промышленная область (пропущенное событие обходится дороже, чем ложная тревога), что согласуется с пересечением, отмеченным в разделе 3.1; его непрерывный, постоянно включенный профиль пропускной способности для нескольких камер представляет собой версию того же ограничения другой формы, а не действительно новое ограничение. Обнаружение в условиях низкой освещенности и ночного времени [94] вместо этого охватывает все области, а не определяет свою собственную: точность для архитектур, работающих в режиме реального времени, существенно снижается в условиях низкой контрастности и высокого уровня шума, если не используется этап улучшения, который сам по себе увеличивает бюджет задержки.

4.9. Базовые модели, модели визуального и языкового восприятия и системы, интегрированные с LLM, в конвейерах обработки данных в реальном времени.

Базовые и визуально-языковые модели, описанные в разделе 2.5, начинают пересекаться с вышеупомянутыми областями, хотя и гораздо менее зрело, чем литература по детекторам и сегментации, описанная в разделах 4.1, 4.2, 4.3, 4.4, 4.5, 4.6, 4.7 и 4.8. Наблюдаются две модели внедрения. Во-первых, базовая модель используется в автономном режиме как механизм обработки данных или инструмент аннотирования, улучшающий последующую модель реального времени, не запускаясь при этом на этапе вывода: сегментация с подсказками SAM [57] и обнаружение открытого множества Grounding DINO [58] используются таким образом, автоматически размечая обучающие данные для гораздо меньшего детектора, развернутого с помощью методов сжатия, описанных в разделе 3, — косвенный, но уже практичный путь, с помощью которого базовые модели улучшают системы реального времени сегодня.

Во втором варианте сжатая базовая модель работает непосредственно в рамках бюджета. EdgeSAM [61] нацелен на сегментацию с возможностью быстрого выполнения, сокращая кодировщик SAM более чем на порядок, и сообщает о производительности более 30 FPS на смартфоне/встроенном графическом процессоре [61]. MiniCPM-V [62] применяет ту же стратегию к полной модели «зрение-язык», достигая производительности уровня GPT-4V от 8-параметрической модели на мобильном телефоне. Это частично закрывает разрыв, но не полностью: EdgeSAM сжимает кодировщик SAM, но не пересчет маски декодера для каждого объекта [61]; стоимость вывода MiniCPM-V масштабируется в зависимости от длины выходных данных, в отличие от предсказания фиксированного размера, что затрудняет определение наихудшей задержки [62].

В таблице 9 приведено краткое описание рассматриваемых здесь базовых и визуально-языковых моделей, их приблизительный масштаб, стратегия сжатия и заявленная готовность к работе в реальном времени, что наглядно демонстрирует разрыв между исходными, несжатыми базовыми моделями и сжатыми вариантами, которые начинают приближаться к области работы в реальном времени, определенной в разделе 4.1.

Таблица 10 дополняет это, возвращаясь к картине развертывания оборудования из раздела 3.3 и рисунка 5 , суммируя репрезентативные аппаратные платформы и наборы инструментов на каждом уровне развертывания, а также типичные бюджеты энергопотребления из кроссплатформенных сравнительных исследований. В совокупности таблицы 9 и 10 показывают, что рассмотренные здесь варианты сжатой базовой модели на данный момент являются реалистичными кандидатами в основном для уровней периферийных серверов и устройств в этой иерархии, а не для уровня TinyML класса микроконтроллеров в нижней части рисунка 5.

Даже если существуют сжатые варианты, их подключение к конвейеру, показанному на рисунке 2, отличается от обычного детектора: модели визуально-языковой обработки выдают открытые языковые выходные данные, а не блоки с фиксированной схемой, которые трудно заменить специализированным блоком в критичной к задержке логике. В обзоре VLM для робототехнического зрения [60] развертывание в реальном времени указано в числе основных открытых проблем этой области. В разделах 4.3, 4.4, 4.5, 4.6 и 4.7 эти модели в основном представлены как автономный механизм обработки данных или слой асинхронного рассуждения над обычным детектором, а не как сам компонент, критичный к задержке (раздел 5.2). Еще один пробел — это оценка: ни один из сжатых вариантов не сообщает о хвостовой задержке или времени в наихудшем случае (раздел 3.4), поэтому невозможно утверждать, соответствуют ли они ограничению реального времени в условиях наихудшего случая.

5.1. Ограничения рассмотренной литературы

В рассмотренной литературе встречаются несколько методологических ограничений. Во-первых, отчеты о производительности в реальном времени непоследовательны: данные о FPS редко содержат достаточно подробной информации об оборудовании/пакетах/разрешении для прямого сравнения [30, 48, 50], поэтому данные в разделе 4.1 представлены как ориентировочные. Во-вторых, устойчивость при смене домена сообщается неравномерно по сравнению с эталонной точностью [22, 31, 38, 48]. В-третьих, энергопотребление сообщается лишь в меньшинстве исследований, несмотря на то, что это является ограничивающим фактором при развертывании TinyML/UAV [24, 26]. В-четвертых, эффективные графические трансформеры сократили разрыв в задержке с CNN [20, 21], но их интеграция в конвейеры обнаружения/сегментации/отслеживания остается менее зрелой, а сравнительные гибридные оценки в разных доменах по-прежнему редки.

Пятое ограничение, специфичное для базовых моделей и моделей визуально-языковой обработки данных из разделов 2.5 и 4.9, заключается в том, что эта сублитература достаточно молода, поэтому прямые сравнения с обычными детекторами на тех же тестах реального времени все еще редки. Большинство сообщаемых ускорений для сжатых базовых моделей (например, EdgeSAM по сравнению с оригинальным SAM [61]) оцениваются по сравнению с их собственным несжатым базовым уровнем, а не с детекторами, специфичными для конкретной задачи, из разделов 4.1 и 4.2 , что затрудняет точное определение места сжатых базовых моделей на границе точности и задержки, показанной на рисунке 4, относительно специализированных архитектур.

Данный обзор имеет свои методологические ограничения. Как описано в разделе 3.1, он следует повествовательному, а не формально зарегистрированному систематическому протоколу, и отбор источников, хотя и структурирован, отражает суждение авторов и может не включать неиндексированные работы. Точные подсчеты записей по каждой базе данных не регистрировались; на рисунке 1 представлен качественный анализ отбора, а не проверенные подсчеты, и разработка полностью систематического протокола является задачей на будущее (раздел 5.2). Охват различных областей неравномерен: литература по вождению и БПЛА (разделы 4.3 и 4.5) опирается на более обширную и гетерогенную базу данных, чем литература по промышленности и медицине (разделы 4.4 и 4.7), что отражает относительный размер литературы. 94 источника охватывают широкий спектр изданий и лет; результаты не были независимо перепроверены и должны рассматриваться как утверждения, основанные на первичной литературе.

5.2. Перспективные направления исследований

Исходя из указанных выше ограничений, особенно перспективными выглядят четыре направления. Во-первых, стандартизированные, явно выраженные в предметной области протоколы тестирования производительности в реальном времени, сообщающие об аппаратном обеспечении, размере пакета, разрешении и конкретном ограничении привязки целевой области (раздел 4.8) вместо одного деконтекстуализированного показателя FPS. Во-вторых, оценка с учетом энергопотребления, сообщаемая наряду с задержкой, как само собой разумеющееся, особенно для уровней БПЛА, сельского хозяйства и TinyML, где энергопотребление часто является ограничивающим фактором [24, 26]. В-третьих, продолжение совместной разработки эффективных архитектур трансформеров и гибридных архитектур свертки-внимания с методами сжатия из раздела 3, что, вероятно, сократит оставшийся разрыв в задержке с помощью сверточных базовых цепей [20, 21] по мере развития поддержки внимания на NPU.

В-четвертых, исходя из раздела 4.9, объединение базовых моделей и моделей визуального языка в конвейеры с ограниченной задержкой является существенным и в значительной степени открытым направлением. Это включает в себя расширение стратегии децентрализованной дистилляции EdgeSAM [61] на другие семейства базовых моделей; создание протоколов оценки, размещающих сжатые базовые модели и специализированные детекторы на одной оси точности-задержки; и проектирование архитектур, в которых большая модель визуального языка работает асинхронно в качестве слоя рассуждений с более медленным темпом (понимание сцены, объяснение аномалий) над обычным детектором с жесткой задержкой, а не заменяет его полностью. Такие иерархические конструкции уже появляются в ранней форме среди источников в разделе 4.9 и, по нашей оценке, представляют собой наиболее практичный ближайший путь для развития возможностей базовых моделей в системах реального времени с ограниченной задержкой.