Статистические данные свидетельствуют о том, что внедрение искусственного интеллекта и систем компьютерного зрения в автомобилях существенно повышает безопасность дорожного движения. Даже до того, как беспилотный транспорт станет доминирующим на дорогах, автомобили, оснащенные системами ADAS на базе компьютерного зрения, способны значительно снизить количество ДТП.
Новые автомобильные технологии, такие как машинное зрение, не только повышают безопасность дорожного движения, но и открывают новые возможности для развития бизнеса в смежных отраслях, таких как страхование, каршеринг и подготовка водителей. В ближайшем будущем автомобильный рынок, службы автосервиса и смежные с транспортной отрасли претерпят существенные изменения.
Поэтому инвестирование в подобные разработки в настоящее время позволит занять лидирующие позиции в эпоху внедрения инновационных технологий.
В современных автомобилях видеокамеры используются не только в качестве альтернативы зеркалу заднего вида, но и играют важную роль в системах активной безопасности. Их основная задача – поддержка систем предотвращения столкновений путем обнаружения объектов. Камеры также применяются для мониторинга полосы движения, автоматического распознавания дорожных знаков и светофоров, а также контроля состояния водителя. Вместе с радарами и лидарами они используются для управления беспилотными автомобилями. Однако это далеко не все потенциальные области применения видеокамер в транспортных средствах.
С развитием систем искусственного интеллекта, уменьшением размеров и увеличением мощности бортовых вычислительных устройств, ростом пропускной способности средств мобильной связи и развитием облачных технологий появляется возможность реализации новых сервисов на основе видеокамер и компьютерного зрения.
В этой связи, целью данной статьи является анализ тенденций развития искусственного интеллекта и систем компьютерного зрения с учетом этих тенденций для формирования перечня полезных сервисов на их основе. В статье представлены сведения о том, что автомобили уже сегодня обладают “видением”, как это реализовано, и какие полезные сервисы могут быть созданы для водителей, транспортных организаций и смежных с транспортной отраслью секторов.
Введение
Настоящее время характеризуется высоким спросом на технологии компьютерного зрения и искусственного интеллекта. Несмотря на это, вокруг этих направлений циркулирует много неточностей. Некоторые считают, что компьютеры уже способны “видеть” и “мыслить”, превосходя человека, в то время как другие воспринимают их как фантазию или рекламный трюк.
Первые попытки заставить компьютер “видеть” относятся к началу 1960-х годов. Однако только в последние годы, с ростом вычислительной мощности и объемов памяти, технологии искусственного интеллекта, машинного обучения и компьютерного зрения стали находить все более широкое применение в различных отраслях, включая транспортную промышленность.
Автомобильная промышленность является пионером в использовании систем машинного зрения и одним из крупнейших потребителей этих технологий. Она формирует до 23% рынка продуктов компьютерного зрения. Неудивительно, что машинное зрение стало активно использоваться не только на этапах производства автомобилей, но и непосредственно в самих автомобилях.
В настоящее время компьютерное зрение применяется в системах автопилотирования, распознавании различных объектов (автомобили, дорожные полосы, номерные знаки, дорожные знаки, светофоры, пешеходы и т.д.), оценке расстояния до соседних автомобилей и их скорости, а также предоставлении рекомендаций по выбору безопасной дистанции и скорости. Кроме того, компьютерное зрение позволяет оценивать различные действия и состояния водителя (засыпание, отвлечение от дороги, разговоры по телефону, курение и т.д.). Применение компьютерного зрения в автомобилях способствует снижению аварийности.
С момента появления концептуальных автомобилей с камерами заднего вида вместо зеркал в 1956 году, эта технология прошла долгий путь развития. В современных автомобилях видеокамеры являются неотъемлемой частью систем активной безопасности, а не просто заменой зеркалам заднего вида. Они используются для слежения за полосой движения в ночное время, обнаружения и распознавания дорожных знаков и светофоров, мониторинга состояния водителя и участия в управлении беспилотными автомобилями.
В связи с прогрессом в области искусственного интеллекта, систем компьютерного зрения, а также ростом вычислительной мощности бортовых миникомпьютеров и скоростных каналов мобильной связи, возникла необходимость в анализе тенденций развития этих технологий и формировании перечня новых полезных сервисов на их основе.
Целью настоящей работы является анализ тенденций развития искусственного интеллекта и систем компьютерного зрения с целью формирования перечня новых полезных сервисов на их основе.
Роль компьютерного зрения в автомобилях
В современных автомобилях камеры играют ключевую роль в системах активной безопасности, обеспечивая поддержку систем предотвращения столкновений путем обнаружения объектов. Кроме того, они используются для мониторинга полосы движения, автоматического распознавания дорожных знаков и светофоров. В сочетании с радарами и лидарами камеры применяются в управлении беспилотными транспортными средствами.
Системы компьютерного зрения для пилотируемых автомобилей можно классифицировать по функциональному назначению на три основные группы:
- Оценка состояния водителя: современные системы способны обнаруживать засыпание водителя и выдавать сигналы для пробуждения, а также фиксировать отвлечение внимания от дороги (курение, разговор по телефону, прием пищи, отклонение взгляда от дороги, непривычная поза и т.д.). Функция распознавания личности водителя полезна для проверки допуска к управлению (такси, специализированный транспорт), а также в системах каршеринга для подтверждения личности арендатора.
- Оценка действий водителя: с помощью искусственного интеллекта и систем компьютерного зрения можно отслеживать выезд за пределы разметки или пересечение сплошных линий, контролировать дистанцию до впереди идущего транспорта и предупреждать об опасном сближении, определять скорость движения и предупреждать о превышении допустимого лимита, а также фиксировать агрессивный стиль вождения (частая смена полос).
- Оценка окружающей обстановки: видеокамера, направленная в сторону движения, позволяет распознавать светофоры и их сигналы, дорожные знаки и предоставлять подсказки о допустимом режиме движения, обнаруживать транспортные средства, внезапно появляющиеся с прилегающих дорог.
Также система способна распознавать пешеходов, велосипедистов, мотоциклистов и другие объекты на дороге и обочине, предупреждая об опасном сближении, оценивать качество разметки дорожного полотна, фиксировать скорость обгоняющего транспорта, распознавать автомобильные номера попутных транспортных средств, а также обнаруживать ДТП или посторонние предметы на дороге, которые могут представлять угрозу безопасности движения (покрышки, лужи, ямы, камни, трещины, мусор и т.д.).
Автомобили претерпели значительную эволюцию с момента своего изобретения. Сегодня испытываются беспилотные и летающие автомобили, а подключенные автомобили уже используются на дорогах. Подключенный автомобиль обменивается данными с другими автомобилями, устройствами, сетями и сервисами, охватывая обширную инфраструктуру, включая дом и офис. Первые подключенные автомобили появились в США в 1946 году – это были автомобили с телефонами, которые изначально использовались в основном водителями-экспедиторами, журналистами и важными персонами. В 1968 году компания Volkswagen представила первую бортовую компьютерную систему, что стало еще одним важным шагом для развития рынка подключенных автомобилей.
Необходимым условием для функционирования концепции “Connected Car” является наличие стабильного соединения с сетью. С этой точки зрения, первым “подключенным” автомобилем можно считать модель, созданную General Motors (GM) совместно с Motorola Automotive под названием OnStar в 1996 году. Данное решение позволило интегрировать автомобиль в сети сотовой связи и открыло новые возможности для инноваций в сфере безопасности.
В последующие годы развитие технологий шло стремительными темпами. В 2001 году появились первые мобильные телефоны, подключенные к автомобилю посредством Bluetooth, что дало старт концепции громкой связи и заложило основы для технологий распознавания голоса.
В 2003 году GM реализовала возможность дистанционного получения отчетов о состоянии автомобиля, передачи навигационных параметров GPS и доступа к данным из интернета. С развитием сотовой связи с 2007 года автопроизводители стали активно внедрять в свои автомобили телематические системы, использующие каналы передачи данных мобильных операторов. В 2008 году автомобили впервые получили доступ к Wi-Fi.
Функционал “подключенных” автомобилей можно классифицировать по пяти основным категориям: безопасность (системы помощи водителю ADAS), навигация, информирование и развлечения, диагностика и платежи. Для обеспечения обмена информацией между автомобилями и соответствующими сервисами необходима телематическая платформа, создание которой уже начато в России. В 2019 году был официально запущен проект по её разработке, а в декабре 2020 года утвержден Российский стандарт по сбору автомобильных данных.
Наличие такой платформы, вкупе с последними достижениями в области искусственного интеллекта и компьютерного зрения, открывает возможности для создания новых сервисов для “подключенных” автомобилей. При этом, помимо самих автомобилей, как источников и потребителей данных, появляется целый ряд новых потребителей, которым может быть полезна информация, получаемая от “подключенных” автомобилей.
К ним относятся: пассажирские предприятия (автобусные, троллейбусные, трамвайные, такси); агрегаторы таксомоторных перевозок; автошколы; страховые компании; каршеринговые компании; подразделения ГИБДД (патрульные службы, подразделения приема экзаменов по вождению); подразделения МВД и МЧС; станции скорой помощи; дорожные службы.
В дальнейшем можно будет рассмотреть более детально, какие новые решения могут быть реализованы для указанных выше потребителей и граждан при использовании искусственного интеллекта и систем компьютерного зрения в “подключенных” автомобилях.
Системы мониторинга состояния водителей и фиксации нарушений Правил дорожного движения (ПДД) представляют значительный интерес для пассажирских транспортных предприятий.
Такие системы позволяют оценить водительское поведение, напрямую влияющее на безопасность пассажиров. Службы безопасности движения могут использовать полученные данные для стажировки водителей, объективной оценки их квалификации и принятия обоснованных решений о допуске к работе на маршрутах.
Мониторинг также способствует поощрению аккуратных водителей и привлечению к ответственности нарушителей.
Кроме того, системы компьютерного зрения могут обнаруживать автомобили, въезжающие на выделенные полосы для общественного транспорта, распознавать номера таких транспортных средств и передавать информацию о нарушениях в соответствующие органы через телематические платформы.
Системы агрегации такси предоставляют возможность мониторинга стиля вождения водителей в режиме реального времени. Это позволяет поощрять аккуратных водителей и применять санкции к нарушителям правил дорожного движения.
Данные системы также способствуют повышению безопасности перевозок, позволяя:
- Верифицировать личность водителя: Идентифицировать водителя, находящегося за рулем, что исключает возможность использования чужих аккаунтов.
- Контролировать режим работы: Предотвращать превышение допустимой продолжительности рабочего дня, что снижает риск аварий, связанных с усталостью водителя.
- Выявлять нелегальную деятельность: Определять водителей, осуществляющих перевозки пассажиров без соответствующей лицензии.
- Пресекать нарушения правил дорожного движения: Фиксировать случаи выезда на выделенные полосы для общественного транспорта, а также направлять информацию о нарушителях в органы ГИБДД.
Кроме того, видеокамеры, установленные в салоне транспортного средства, могут регистрировать неправомерные действия пассажиров, включая нападения на водителей, а также контролировать процесс расчёта за проезд.
Предлагаемая система компьютерного зрения может быть внедрена как в автошколах, так и подразделениях ГИБДД для повышения объективности и эффективности процесса обучения и экзаменов по вождению.
В автошколах:
Система позволит отслеживать количество учебных часов, а также фиксировать все отвлечения курсанта от дороги, нарушения ПДД, неуверенное движение в пределах разметки, несоблюдение дистанции или скоростного режима. Это даст возможность курсантам проанализировать видеоматериалы своих тренировочных заездов как самостоятельно, так и с инструктором, выявляя и корректируя ошибки.
Благодаря объективной оценке уровня подготовки каждого курсанта, система позволит принимать обоснованные решения о качестве обучения и допуска к экзаменам в ГИБДД.
В подразделениях ГИБДД:
Во время экзамена по вождению система зафиксирует все допущенные ошибки и нарушения. Это обеспечит инспекторам ГИБДД объективную оценку уровня подготовки курсанта.
Система подытожит экзамен в виде балльной оценки, что повысит объективность принятия решения о сдаче или несдаче экзамена.
Кроме того, видеозапись экзамена может быть использована для подачи апелляции, оценки работы инспекторов и анализа эффективности работы автошкол.
Таким образом, внедрение системы компьютерного зрения позволит стандартизировать и повысить качество обучения и экзаменов по вождению, сделав процесс более прозрачным и справедливым.
Отделения дорожной полиции (патрульные службы) при объявлении розыска на автомобиль вносят его данные в базу разыскиваемых транспортных средств телематической платформы. Все подключенные к этой платформе автомобили – автобусы, троллейбусы, трамваи, такси, грузовики, автомобили каршеринга, личные автомобили и спецтранспорт – автоматически получают информацию о разыскиваемом автомобиле.
В процессе движения видеокамеры этих автомобилей непрерывно анализируют номера окружающих транспортных средств. При обнаружении разыскиваемого автомобиля его местоположение передается через телематическую платформу в патрульные службы ГИБДД, что позволяет оперативно задержать автомобиль.
Такой подход обеспечивает подключение десятков, а то и сотен тысяч автомобилей к поиску, что гарантирует оперативность обнаружения и перехвата разыскиваемого транспорта.
Кроме того, все подключенные транспортные средства могут использоваться для выявления нарушений скоростного режима попутного транспорта. Анализ видеопотока позволяет определить скорость обгоняющего автомобиля. При превышении допустимой скорости номер автомобиля фиксируется, а данные о нарушителе передаются в телематическую платформу.
Таким образом, создается сеть из миллионов мобильных камер для фиксации нарушений скоростного режима. Это позволит существенно снизить количество ДТП, связанных с превышением скорости.
Системы компьютерного зрения (СКЗ) представляют значительный интерес для различных отраслей, таких как страхование, каршеринг и дорожные службы.
Страховые компании могут использовать СКЗ для оценки поведения водителей и соблюдения ими правил дорожного движения. Точные данные мониторинга поведения за рулем могут служить основой для индивидуального изменения суммы страховых взносов. Кроме того, по соглашению с владельцем автомобиля, застрахованный транспорт может быть использован в системах фиксации нарушений ПДД и поиска угнанных автомобилей. Это позволит страховым компаниям получать дополнительный доход от государственных структур, а страхователям – скидки на страховку.
Каршеринговые компании могут применять СКЗ для мониторинга стиля вождения клиентов, идентификации водителей, контроля режима работы (превышение времени непрерывного управления, управление в неадекватном состоянии) и выявления случаев вождения водителями, не имеющими права на аренду автомобиля. Система может блокировать движение автомобиля в случае попытки его использования незарегистрированным водителем. Результаты мониторинга могут использоваться для индивидуальной корректировки платы за аренду. Аналогично страховым компаниям, каршеринговые компании могут получать дополнительный доход от государства за использование своих автомобилей в системах мониторинга и поиска угнанных автомобилей.
Дорожные службы могут использовать данные от подключенных автомобилей для мониторинга состояния дорог (качество разметки, ямы, трещины) и выявления опасных предметов на проезжей части или обочине. Эта информация будет автоматически поступать в централизованную платформу и направляться соответствующим службам. Это позволит оперативно реагировать на проблемы на удаленных участках дорог и принимать меры по их устранению. Кроме того, другие подключенные автомобили получат своевременное уведомление об опасности на определенном участке дороги.
Представленная платформа функционирует как централизованная система сбора и обработки данных, поступающих от подключенных автомобилей. Данные охватывают широкий спектр параметров, включая нарушения правил дорожного движения, мониторинг состояния водителей и их поведения, поиск угнанных транспортных средств, а также состояние дорожной инфраструктуры. Платформа обеспечивает обмен информацией между подключенными автомобилями и потребителями данных, формируя статистические отчеты, которые служат основой для принятия решений по повышению безопасности дорожного движения.
Кроме того, платформа позволяет контролировать выполнение мероприятий по улучшению дорожной ситуации, например, устранения дефектов дорожного покрытия, уборки мусора с обочин, восстановления дорожной разметки и т.д.
Принципы работы системы компьютерного зрения, используемой в подключенных автомобилях, представлены на рисунке 1.
Рис. 1. Принципиальная схема работы программных средств компьютерного зрения для подключенных автомобилей (выполнено автором).
Для реализации системы компьютерного зрения в транспортном средстве, помимо спутникового навигационного приемника, требуется установка не менее двух портативных видеокамер (для обзора салона и дороги перед автомобилем) и миникомпьютера с соответствующим программным обеспечением. Программное обеспечение выполняет следующие функции:
- Анализ видеопотока: обработка поступающих изображений, сегментация и распознавание различных объектов.
- Анализ текущей ситуации и принятие решений: формирование журнала событий, связанных со состоянием водителя, его действиями, параметрами окружающей среды и дорожной обстановкой.
- Связь с телематической платформой: отправка на серверную площадку информации из журнала событий и получение полезной информации с платформы.
- Информирование водителя: доведение до водителя всех необходимых оперативных сведений в виде звуковых или визуальных сообщений.
Модули программного обеспечения работают последовательно. Модуль анализа видеопотока обрабатывает поступающие изображения в фоновом режиме, сегментирует и распознает различные объекты. Модуль анализа текущей ситуации формирует журнал событий, касающихся состояния водителя, его действий, параметров окружающей среды и дорожной обстановки. Модуль связи с платформой отправляет данные на сервер и получает полезную информацию. Модуль информирования доводит оперативные сведения до водителя в виде звуковых или визуальных сообщений.
В настоящий момент идет разработка и внедрению программного обеспечения для сервисов, ориентированных на подключенные автомобили. Решение подобных задач основано на использовании передовых технологий, таких как нейронные сети, машинное обучение и различные методы обработки изображений.
Для реализации проекта используются следующие инструментальные средства:
- Язык программирования Python.
- Специализированные библиотеки для построения нейронных сетей и машинного обучения (Keras, PyBrain, Scikit-learn, TensorFlow, PyTorch с torchvision и др.).
- Библиотеки для обработки изображений и работы с матрицами (OpenCV, ImageAI, NumPy).
Для оптимизации процесса разработки и сокращения объёма программного кода создана собственная библиотека постобработки изображений под названием Postoperative Library for Image Transformation (PostoLIT).
На сегодняшний день с использованием указанных инструментов реализованы базовые модули системы компьютерного зрения для подключенных автомобилей, в том числе:
- Нейронные сети R-CNN для распознавания объектов дорожной инфраструктуры (дорожная разметка, автомобили, пешеходы, светофоры, дорожные знаки и др.).
- Модули сегментации и кластеризации изображений на основе каскадов Хаара.
- Модули распознавания и сегментации экземпляров объектов на базе сетей Mask R-CNN.
- Модули распознавания состояния водителя на основе детекторов лицевых ориентиров и элементов лица (засыпание, отвлечение от дороги, разговор по телефону и др.).
Примеры работы некоторых программных модулей представлены на рисунке 2.
Рис. 2. Примеры работы некоторых программных модулей компьютерного зрения для подключенных автомобилей
Количество подключенных автомобилей неуклонно растет. Если в 2015 году в мире насчитывалось 26,5 млн подключенных автомобилей, то сейчас их количество увеличится до 82,5 млн. Аналогичная тенденция наблюдается и в России, где по состоянию на сегодняшний день зарегистрировано 53 млн транспортных средств. Если по итогам 2019 года количество подключенных автомобилей составляло около 8,4 млн, то ожидается его увеличение до 20 млн.
Постоянный рост числа подключенных автомобилей свидетельствует о перспективности внедрения систем компьютерного зрения в автомобильной отрасли. В то же время, существенным сдерживающим фактором развития нейросетевых технологий в этой области является дефицит квалифицированных специалистов. Согласно статистическим данным, доля IT-специалистов среди трудоспособного населения России составляет лишь 1,5%, что значительно ниже аналогичных показателей в Финляндии (7%), Великобритании (5%) и Норвегии (5,5%). Годовая потребность в IT-кадрах для России к 2024 году прогнозируется на уровне 300 тысяч человек.
Разработка систем искусственного интеллекта требует не просто навыков программирования, но и глубокого понимания высшей математики и прикладных областей, для которых создаются данные системы. Несмотря на то, что более 50 российских вузов осуществляют подготовку специалистов в области искусственного интеллекта, ощущается острая нехватка таких кадров. Для преодоления этого дефицита необходимы меры по подготовке специалистов соответствующей квалификации.
В этом контексте своевременным и важным шагом стало начало реализации Федерального проекта «Кадры для цифровой экономики». Предпринятые меры способствуют ускорению развития нейросетевых технологий и систем компьютерного зрения, в том числе и в автомобильной сфере.
Выводы
- Направление компьютерного зрения и искусственного интеллекта является, без преувеличения, наиболее актуальным в сфере развития информационных технологий.
- Динамичный рост количества подключенных автомобилей, а также появление транспортных средств с полуавтономным и автономным управлением, приводит к неуклонному увеличению спроса на инновационные сервисы, основанные на компьютерном зрении для данной категории автомобилей.
- Для успешной реализации и развития новых видов сервисов для подключенных и беспилотных автомобилей необходима ревизия и модернизация системы подготовки кадров. Важно внедрение новых образовательных программ с акцентом на изучение специализированных разделов математики, нейронных сетей, машинного обучения и компьютерного зрения.
