Камеры машинного зрения обладают рядом преимуществ, делающих их незаменимыми в различных областях, включая спорт. К таким преимуществам относятся: широкий выбор моделей с различным разрешением, размером сенсора, скоростью захвата изображения, а также отличная оптика и современные коммуникационные интерфейсы.
Важной особенностью является возможность синхронизации работы нескольких камер между собой и с часами точного времени, даже на значительном расстоянии (сотни метров), что позволяет гибко управлять запуском записи с внешних событий. Всё это направлено на получение изображений с необходимым качеством и скоростью в точно заданный момент времени.
В данной статье рассматриваются новые возможности, открывающиеся благодаря применению технологий машинного зрения в спортивной индустрии и смежных областях.
Помимо очевидного применения в системах обеспечения безопасности на спортивных аренах (распознавание лиц, опасных предметов и т.д.), где требования к качеству изображения особенно высоки, технологии машинного зрения находят применение и в других сферах спорта:
- Тренировочный процесс: высокоскоростная съемка в видах спорта, где важна техника выполнения движений (плавание, гимнастика, легкая атлетика, лыжи и др.).
- Судейство: видеофиксация положения “офсайд”, “аут”, “гол” и других моментов, фотофиниш в массовых забегах.
- Аналитика в игровых видах спорта (перемещение игроков по полю): футбол, хоккей, баскетбол.
В дальнейшем мы более подробно остановимся на требованиях к оборудованию в конкретных областях применения, начав с основных технологических особенностей камер машинного зрения.
Два Мира – Две Судьбы
Исторически сложившиеся различия в сфере применения IP-камер и камер машинного зрения (МЗ) обусловливают принципиальные отличия в функциональных возможностях, зачастую кажущихся близкими, но на деле существенно различающимися подходами к проектированию отдельных компонентов и систем.
Ключевые критерии IP-видеонаблюдения заключаются в следующем:
- Визуальная оценка качества изображения оператором.
- Возможность функционирования в условиях изменяющейся освещенности (день/ночь).
- Широкое использование автоматических функций, таких как автоэкспозиция и автофокусировка.
- Применение сравнительно простых алгоритмов обработки, например, детектора движения, как правило, реализуемых непосредственно в камерах.
- Сжатие изображений для минимизации сетевого трафика в распределенных системах видеонаблюдения и объемов видеозаписей для архивного хранения.
- Наличие удобных средств поиска, просмотра записей и управления большими объемами данных, получаемых с десятков камер (VMS).
На рынке преобладают готовые решения как по части оборудования, так и программного обеспечения. Роль интегратора сводится к конфигурированию системы из стандартных компонентов в соответствии с требованиями конкретного заказчика, ее адаптации к конкретному объекту, монтажу и вводу в эксплуатацию. Взаимодействие с программным обеспечением ограничивается настройкой готового пакета для выбранного набора оборудования в соответствии с пожеланиями будущих пользователей системы.
В системах видеонаблюдения приоритет отдается простоте использования и минимизации объёмов хранимых данных, что обусловлено ограниченными возможностями человеческого оператора. Программное обеспечение таких систем направлено на выполнение стандартных задач и представлено готовыми решениями для массового рынка.
В области машинного зрения задачи более разнообразны, что приводит к более широкому спектру требований к системам захвата изображения. Ключевым фактором является максимальная передача деталей для эффективной работы алгоритмов обработки изображений, а также необходимость обеспечения стабильных условий освещения.
При этом, в отличие от систем видеонаблюдения, в камерах машинного зрения:
- Отключаются автоматические функции (автоэкспозиция, автофокус), управление которыми осуществляется внешним программным обеспечением.
- Основная обработка данных выполняется на отдельных вычислителях, учитывая высокую сложность алгоритмов.
- Используются высокоскоростные интерфейсы для передачи изображений с высоким разрешением и частотой кадров.
Функциональность программного обеспечения со стороны производителя ограничивается драйверами для настройки оборудования, а разработка прикладных программ осуществляется под конкретный заказ.
Такой подход позволяет гибко подстраивать систему машинного зрения под специфические требования задач и клиентов.
Несмотря на это, существуют стандартные задачи в области машинного зрения, решаемые с помощью готовых решений, например, контроль маркировки продукции. Однако, эти случаи составляют лишь небольшую часть всего спектра применения камер машинного зрения в промышленности.
Для того чтобы в полной мере понять различия между IP-камерами и камерами машинного зрения, необходимо проанализировать ключевые технологические отличия.
К ним относятся:
- Характеристики изображения: разрешение, глубина цвета (разрядность) и частота кадров;
- Наличие высокоскоростных интерфейсов связи: обеспечивающих быструю передачу данных;
- Специализированные функции: присущие камерам машинного зрения, такие как распознавание образов, анализ движения и др.
В современном мире, несмотря на разнообразие камер для машинного зрения, разрешение VGA (640×480) практически не встречается.
Наиболее распространённые разрешения составляют 2 мегапикселя, FullHD или чуть выше, а пик массового сегмента – 12 Мпкс, 4K FullHD. Существуют камеры с более высоким разрешением – 20 и даже 50 Мпкс, но их применение ограничено как стоимостью, так и сложностью обработки огромных объёмов данных.
Важно отметить, что увеличение разрешения требует поддержания достаточной чувствительности, которая напрямую зависит от физических размеров пикселя. Способность элемента матрицы воспринимать свет пропорциональна его площади. Например, квадратный пиксель со стороной 2 мкм будет в шесть раз (25/4) менее чувствительным, чем пиксель со стороной 5 мкм.
Кроме того, размер пикселя влияет на глубину резкости, которая прямо пропорциональна его геометрическим размерам. Таким образом, величина пикселя и, как следствие, размер матрицы, напрямую определяют количество передаваемых оттенков, возможность работы в условиях недостаточного освещения (или короткой выдержки) и глубину резкости изображения.
Повышение разрешения влечёт за собой увеличение требований к пропускной способности каналов передачи данных. Для поддержания приемлемой чувствительности требуется увеличение размеров сенсоров и, соответственно, оптики. В то время как в IP-камерах большинство объективов рассчитаны на сенсоры размером 1/3″ и 1/2″, редко больше, в машинном зрении «приличная» камера с FullHD/2 Мпкс разрешением и пикселем, близким к 5 мкм, имеет матрицу не менее 2/3″ (On Semi Python 2000, CMOSIS CMV2000), а то и близкую к 1″ (Sony Pregius IMX174, IMX249).
Для камер среднего и высокого уровня устанавливаются не 8- (типичная ситуация для IP-камер), а 10-, а иногда даже 12-разрядные аналого-цифровые преобразователи. В сочетании с повышенным динамическим диапазоном сенсора это значительно увеличивает точность передачи оттенков серого или цвета (8 бит – 256 оттенков, 10 бит – 1024, 12 бит – 4096).
Важно подчеркнуть, что изображение не только выглядит лучше визуально, но и содержит гораздо больше аналитической информации. Несмотря на существенное увеличение стоимости комплекта камера + оптика, при необходимости получения изображения требуемого качества для машинной обработки инвестиции в него оправданы. Относительно высокая цена делает особенно важным соответствие параметров камеры и оптики.
Возможности системы в целом будут определяться ее слабейшим компонентом: камерой или объективом – в такой ситуации очень легко переплатить из желания сэкономить. На начальном этапе целесообразно обратиться за подбором оборудования к профессионалам.
Коммуникационные Интерфейсы: Вызовы и Решения
Высокая размерность данных и повышенная частота кадров в системах машинного зрения, особенно без применения сжатия, предъявляют строгие требования к пропускной способности каналов передачи данных.
Для решения этой проблемы индустрия машинного зрения активно разрабатывает специализированные интерфейсы. Одновременно с этим, стандартные компьютерные интерфейсы также постоянно совершенствуются, предлагая широкий спектр решений для различных задач. В таблице представлены наиболее распространенные интерфейсы и их показатели производительности.
В настоящее время наибольшую популярность приобрели интерфейсы GigE и USB 3.0. Широкое использование GigE обусловлено доступностью сетевой архитектуры Ethernet, а USB 3.0 – стандартной комплектацией большинства современных персональных компьютеров.
Важно отметить, что в обоих случаях передача питания к камере может осуществляться по тому же кабелю: для GigE – посредством технологии PoE (Power Over Ethernet), для USB 3.0 – по умолчанию.
Современные камеры машинного зрения обладают рядом дополнительных функций, позволяющих получать не только изображение, но и управлять процессом захвата, синхронизировать работу с внешними устройствами и другими камерами. К таким функциям относятся:
● Цифровой запуск (Triggering):
Функция Triggering предоставляет возможность гибкого управления работой камеры и внешними устройствами посредством цифровых сигналов. Это позволяет открывать затвор, выполнять серию снимков, управлять подсветкой и другими элементами системы.
Важным преимуществом является возможность оперативного изменения длительности экспозиции путем изменения длительности сигнала триггера без необходимости перепрограммирования параметров камеры.
● Служебная информация в кадре (Chunk Frame):
Данная функция позволяет добавлять в каждый кадр служебную информацию, такую как порядковый номер кадра, значение внутреннего счетчика-таймера или состояние цифровых линий. Эта информация необходима для последующей обработки последовательности кадров.
● Предустановленные параметры съемки (Sequencer):
Новые камеры обладают возможностью задавать несколько наборов настроек съемки, включая экспозицию, усиление, область кадра (ROI), баланс белого и другие параметры.
В зависимости от настроек триггера камера может снимать последовательность кадров с различными настройками по одному сигналу или выполнять последовательный захват изображения кадр за кадром с заданным порядком настроек.
● Синхронизация по Ethernet – PTP (Precise Time Protocol):
Эта функция обеспечивает точную синхронизацию работы нескольких камер и устройств, что важно для получения согласованных данных.
Таким образом, дополнительные функции камер машинного зрения расширяют возможности их применения в сложных условиях и позволяют получать более полную информацию о исследуемом объекте.
Как уже было отмечено ранее, для достижения желаемого результата при обработке данных часто требуется информация с нескольких камер, полученная синхронно или с заданными временными интервалами.
Традиционно синхронизация нескольких устройств, включая камеры, осуществляется посредством выделенных цифровых линий. Каждая камера оснащается, как минимум, одной цифровой линией для внешнего запуска и одной – для выдачи цифрового сигнала на другое устройство (камеру или осветитель). Данная система эффективна при близком расположении камер.
Однако, при удалении камер на сотни метров (например, по стадиону), прокладка дополнительного кабеля и вероятные задержки и искажения сигнала делают ее реализацию сложной, а порой и невозможной. К счастью, эта проблема актуальна не только для распределенных систем машинного зрения, но и для многих других промышленных систем.
Несколько лет назад был разработан международный стандарт IEEE 1588, который на основе статистических алгоритмов и протокола PTP (Precise Time Protocol) позволяет синхронизировать внутренние часы отдельных устройств в распределенной системе с точностью до долей миллисекунды, а при использовании специализированных Master-контроллеров точного времени – еще точнее.
Благодаря этому десятки камер могут синхронизировать собственные встроенные часы и осуществлять захват изображений синхронно, в заданные моменты времени. Примечательно, что синхронизация осуществляется по стандартной сети Ethernet, не требуя создания дополнительной инфраструктуры и сопряженная с минимальными или нулевыми дополнительными затратами.
Зачем все это нужно?
Очевидным применением описанных возможностей является использование доступных систем высокоскоростной видеорегистрации для анализа техники выполнения движений спортсменов в процессе тренировок. Для такой системы ключевым требованием является возможность регистрации и последующего воспроизведения движений с максимальной детализацией. Камера может быть подключена к стандартному компьютеру через USB 3.0 интерфейс.
Системы машинного зрения нашли широкое применение в системах поддержки судейских бригад. Видеофиксация спортивных событий, таких как “аут”, “офсайд” и “гол”, помогает избежать спорных ситуаций. В данном случае критичным является высокая скорость регистрации для точного фиксации момента или расчета траектории движения мяча или шайбы. Количество камер в такой системе может достигать десятка, при этом система должна быть мобильной, так как часто устанавливается непосредственно перед матчем.
Благодаря развитию компьютерных технологий, коммуникаций и машинного зрения стоимость компонентов таких систем снизилась, что делает их доступными для многих команд, клубов и федераций.
Современный спорт предъявляет высокие требования не только к спортсменам, но и к тренерскому штабу. В командных видах спорта, где успех зависит от слаженной работы команды, а не от наличия “звезд”, оценка действий каждого игрока, их взаимодействия и взаимодействия команды в целом как на тренировках, так и во время матча, является бесценной информацией для тренера при выработке эффективной тактики и стратегии.
Для получения объективной и оперативной информации недостаточно просто видеофиксации. Математическая обработка видеопотока позволяет определить положение каждого игрока своей команды и команды соперника в каждый момент времени. Системы спортивной видеоаналитики стали прибыльным бизнесом для многих спортивных арен и клубов. Их создание требует синхронизации работы десятков камер и мощных вычислительных ресурсов, но окупаемость таких систем высока.
Системы машинного зрения используются в спорте на разных уровнях стоимости и масштаба. Оснащение стадионов может стоить сотни тысяч евро, а локальная система скоростной видеорегистрации обойдется в несколько тысяч. При этом львиную долю стоимости составляют программное обеспечение и инженерные работы.
Высокая стоимость зарубежных систем, рассчитанных на индустрию спорта с другими требованиями и бюджетами, открывает возможности для новых игроков в области машинного зрения. Низкая стоимость оборудования и понятная архитектура позволяют начать бизнес в сфере спортивной индустрии, используя уже имеющийся опыт работы с системами видеонаблюдения.
Отечественные разработчики, традиционно сильные в интеграции и разработке сложного программного и математического обеспечения, могут помочь воспользоваться этими возможностями.
