Системы машинного зрения для управления процессами на строительной площадке

Введение

Искусственный интеллект (ИИ) представляет собой комплекс технологических решений, имитирующих когнитивные функции человека, включая самообучение и поиск решений без предварительно заданного алгоритма. Эти технологии способны достигать результатов, сопоставимых с интеллектуальной деятельностью человека при решении задач в таких областях, как компьютерное зрение, обработка естественного языка, распознавание и синтез речи, а также принятие решений и другие задачи обработки данных [1].

Компьютерное зрение, являющееся частью ИИ, охватывает научные и прикладные исследования, направленные на извлечение и использование информации с изображений. Первоначально эта область фокусировалась на восстановлении пространственной структуры объекта по двумерным изображениям. Впоследствии задачи расширились до анализа состояния объекта на основе изображений. Новые подходы в области детекции, классификации и сегментации объектов позволяют создавать системы распознавания в режиме реального времени [2].

В строительстве компьютерное зрение и методы глубокого обучения используются для обнаружения и сегментации объектов на стройплощадках. Один из подходов предполагает использование больших наборов данных изображений, собранных в процессе строительства [2], а другой – применение сверточных нейронных сетей для обнаружения распространенных типов элементов на стройплощадке, таких как здания, оборудование и рабочие бригады [3].

Для моделирования каждого этапа жизненного цикла объекта важно определить ключевые факторы, влияющие на принятие решений, а также параметры входных и выходных данных. Необходимо также учитывать технико-экономические показатели формируемой информационной модели [4].

Однако применение ИИ в строительстве сталкивается с рядом проблем:

• Изменчивость формы и размера объектов, что усложняет их обнаружение.
• Визуальная блокировка, приводящая к ложным срабатываниям.
• Сложность интеграции информации от различных объектов разного размера и масштаба [5].

Кроме того, сложная конфигурация стройплощадок и необходимость в надежных моделях сегментации экземпляров для эффективного обнаружения объектов в различных условиях создают дополнительные трудности [6].

Эти проблемы подчеркивают необходимость в передовых сенсорных технологиях и инновационных стратегиях для автоматизации обнаружения дефектов и улучшения мониторинга безопасности на стройплощадках.

В настоящее время цифровая фотография является одним из наиболее распространенных способов документирования полевых работ, несмотря на появление новых методов зондирования. Визуальные данные, полученные с помощью камер и мобильных устройств, могут быть использованы для создания отчетов о ходе выполнения работ, контроля качества, мониторинга производительности бригад, управления ресурсами и обеспечения безопасности.

Традиционно, ручная обработка большого объема строительных изображений была наиболее распространенным методом организации и хранения информации. Однако с появлением смартфонов, беспилотных летательных аппаратов и других персональных устройств количество цифровых изображений и видео резко возросло, что делает традиционные ручные решения неэффективными [4]. Инструменты, основанные на ИИ, имеют потенциал для решения этой проблемы с повышенной точностью и своевременностью.

Объекты и методы исследования

Использование компьютерного зрения на строительных площадках открывает широкие возможности для повышения эффективности, безопасности и контроля качества. Данная технология охватывает различные приложения, основанные на анализе визуальной информации, полученной с помощью камер и дронов.

Среди ключевых применений:

• Мониторинг соблюдения техники безопасности: Системы компьютерного зрения способны отслеживать передвижение работников и выявлять потенциальные нарушения правил техники безопасности в режиме реального времени.
• Оптимизация использования строительной техники: Отслеживание местоположения и состояния оборудования позволяет оптимизировать его использование, предотвратить простои и снизить эксплуатационные расходы.
• Автоматизированный контроль качества материалов: Компьютерное зрение может использоваться для идентификации дефектов и несоответствий в материалах, что повышает точность расчета потребности в материалах и минимизирует потери.
• Мониторинг прогресса строительства: Постоянный анализ визуальной информации с площадки позволяет отслеживать ход работ, выявлять отклонения от графика и своевременно принимать корректирующие меры.
• Создание цифровых моделей: Дроны, оснащенные камерами высокого разрешения, позволяют создавать точные 3D-модели строительной площадки, предоставляя руководителям проекта полную картину состояния объекта.

Важность обнаружения объектов в режиме реального времени.

Способность компьютерного зрения обнаруживать и классифицировать объекты в режиме реального времени имеет решающее значение для обеспечения безопасности на строительной площадке. Например, система может выявлять случаи приближения работников к опасным зонам или движущемуся оборудованию, предупреждая о потенциальной угрозе.

Перспективы развития.

Развитие технологий машинного обучения и компьютерного зрения открывает новые горизонты для применения в строительной отрасли. Обогащение изображений метаданными, сгенерированными искусственным интеллектом, позволит расширить возможности поиска информации и анализа данных, полученных с помощью визуальных систем.

Проблемы отрасли на этапе строительства и пути их решения

Проблема: Строительная отрасль характеризуется высокой степенью риска для здоровья и безопасности работников. Статистика свидетельствует о значительном количестве несчастных случаев, связанных с нарушением правил охраны труда и ненадлежащей организацией рабочего процесса.

Более половины (55%) несчастных случаев происходит из-за недостаточной организации труда. В частности, падения с высоты составляют 34% всех происшествий, воздействие движущихся частей механизмов – 23%, обрушения и обвалы – 13%.

Помимо безопасности, отрасль сталкивается с проблемами:

• Срыва сроков: Отклонение от запланированных сроков строительства в среднем на 30% связано с невыполнением операций по технологической карте.
• Перерасхода бюджета: Неконтролируемый расход материалов приводит к превышению бюджета.
• Недостаточный контроль качества: Слабый контроль работы склада приводит к низкому уровню контроля за строительными материалами.
• Ручной контроль работ: Отсутствие автоматизированной системы оценки выполнения работ приводит к необходимости ручного контроля со стороны подрядчика, заказчика, авторского и государственного надзора.

Цель: Разработка алгоритма для детекции и сегментации ситуаций на строительной площадке на основе различных источников данных, таких как фотографии рабочих, средств индивидуальной защиты, складов, материалов, рабочей силы, участка фронта работ, защитных ограждений.

Результат: Алгоритм позволит выявлять аномалии – отклонения от запланированных действий или нарушения правил.

План реализации:

• Сбор и предварительная обработка данных.
• Разделение данных на обучающий и тестовый наборы.
• Выбор метода обучения и обучение модели на обучающей выборке.
• Тестирование обученной модели на тестовом наборе.
• Оценка производительности модели.

Рис. 1. Методология управления данными с изображений с помощью компьютерного зрения

Результаты исследований: Сбор и обработка данных

Выводы о сборе и обработке данных демонстрируют необходимость тщательного подхода:

• Специфичность данных. Доступность открытых данных по объектам исследования ограничена, что затрудняет сбор необходимого количества изображений для обучения модели.
• Трудоёмкость сбора данных. Сбор данных на строительных площадках требует значительных временных затрат.

Разметка данных является критическим этапом:

• Использование Label Studio. Для детекции различных классов объектов на снимках рекомендуется использовать платформу Label Studio.
• Принципы разметки. Разметка осуществляется путем выделения объекта рамкой, соответствующей выбранному классу.

Важные аспекты разметки данных:

• Сбалансированность датасета. Необходимо обеспечить приблизительно равное количество примеров для каждого класса объектов.
• Точность разметки. Ограничивающая рамка должна плотно охватывать объект, не пересекая его контуры.
• Объём разметки. Для эффективного обучения модели рекомендуется размечать не менее 50 изображений для каждого класса объекта.
• Ограничение количества классов. Для повышения точности модели рекомендуется ограничить количество обнаруживаемых объектов.

Рис. 2. Детекция объектов на строительной площадке [10]

При обучении модели на обучающей выборке для задачи обнаружения объектов на изображении необходимо учесть различные подходы.

Семантическая сегментация предполагает классификацию каждого пикселя изображения по принадлежности к определённой категории. Например, на изображении с человеком на строительной площадке модель должна определить, к какой категории относится каждый пиксель: человек, дорожное покрытие, освещение, небо и т.д.

Ограничением семантической сегментации является невозможность различения отдельных объектов одного типа. Два объекта, перекрывающих друг друга, будут классифицированы как один.

Для решения этой проблемы используется сегментация экземпляров, которая позволяет различать отдельные объекты одного типа и применяется, например, в системах подсчёта людей в толпе или в автомобилях с автономным управлением.

Классификация с локализацией предполагает определение не только категории объекта, но и прямоугольной области (ограничивающей рамки), охватывающей его на изображении. Модель обучается одновременно классифицировать объект и точно определять границы этой рамки.

Задача детекции объектов является более общей. Она требует выявления всех объектов на изображении, независимо от их количества, с указанием координат ограничивающих рамок и их классификацией по заранее заданным категориям. В отличие от классификации с локализацией, количество объектов на изображении неизвестно априори.

Метрики

В задачах классификации с локализацией и обнаружением объектов для оценки точности определения положения ограничивающей рамки frequentemente используется метрика, основанная на отношении площадей перекрытия (IoU). В задачах обнаружения объектов в качестве основной метрики зачастую применяется средняя точность (mAP), которая представляет собой усредненное значение средней точности (AP) по всем категориям объектов.

Рис. 3. Примеры влияния взаимного положения ограничивающих рамок на метрику IoU

Выбор методов

Двухэтапные методы, основанные на регионах, представляют собой последовательный процесс, включающий два этапа. На первом этапе осуществляется селективный поиск по выделенным регионам, где с высокой вероятностью присутствуют объекты поиска. На втором этапе выбранные регионы анализируются классификатором для определения принадлежности к исходным классам, а регрессор уточняет положение ограничивающих рамок.

К таким алгоритмам относится R-CNN (Region-based Convolutional Network), использующий сверточные нейронные сети и позволяющий обнаруживать объекты независимо от их размера, расстояния до камеры и угла зрения.

Альтернативный алгоритм YOLO (You Look Only Once) обеспечивает детекцию объектов в режиме реального времени. Входное изображение разбивается на сетку из N×N ячеек. Если центр объекта попадает в координаты ячейки, то эта ячейка отвечает за определение параметров его местоположения. Каждая ячейка описывает несколько вариантов положения ограничивающих рамок для одного и того же объекта, включая координаты центра, ширину, высоту и степень уверенности в присутствии объекта. Для каждой пары “класс объекта – ячейка” необходимо определить вероятность наличия объекта данного класса в ячейке.

После обучения модели на тестовом наборе данных оценивается ее производительность.

Рис. 4. Результат работы Yolov5s основан на обучении, epoch = 50

Метод компьютерного зрения, основанный на архитектуре нейронной сети YOLO показывает точность на 3х разных метриках на 4 классах выше 85 %.

Выводы

Использование систем компьютерного зрения для выявления аномалий является перспективным инструментом контроля безопасности на строительных объектах.

Интегрированные системы управления безопасностью, основанные на таких системах, могут быть внедрены для предотвращения несчастных случаев.

Для этого необходимо создать модели распознавания изображений с применением синтетических данных и методов трансферного обучения. Представленная модель распознавания объектов, способная обнаруживать как рабочих, так и потенциально опасные объекты, позволяет прогнозировать аварийные ситуации, например, падение работника с высоты.

Такая модель может быть использована для немедленного реагирования на происшествие.

Кроме того, модели распознавания объектов могут применяться для контроля соблюдения правил техники безопасности, в частности, ношения средств индивидуальной защиты, таких как защитные каски.

В дальнейшем планируется оптимизировать созданные модели, повысить их эффективность в реальных условиях строительной площадки, увеличить объем исходных данных и расширить перечень распознаваемых объектов.