Система контроля на основе компьютерного зрения для обучения рабочих в строительной отрасли

1. Введение

Компьютерное зрение давно применяется для задач контроля и проверки качества в различных отраслях промышленности [1, 2, 3, 4]. Эти приложения в основном связаны с обнаружением закономерностей, неровностей или извлечением информации из анализируемых объектов, что можно в широком смысле определить как задачи распознавания. Среди них типичным примером является производство, где проводятся геометрические измерения изготовленных деталей и изделий. Как правило, контроль включает автоматическое распознавание объекта и последующий анализ его геометрических размеров.

Использование компьютерного зрения в производстве экономит время, минимизирует ошибки и улучшает процесс автоматизации. Важно отметить, что в этих приложениях контролируется окружающая среда для минимизации ошибок измерения. В некоторых случаях для помощи алгоритмам зрения используются специальные световые схемы [5]. С другой стороны, компьютерное зрение также используется для проверки изделий в динамической среде, например, в сельском хозяйстве [6].

Однако это в основном задачи классификации, такие как обнаружение болезней, насекомых и оценка качества продукции, а не измерение геометрических свойств. Приложение, рассматриваемое в данной статье, — это автоматизированная система контроля и оценки, разработанная для использования в строительной отрасли. Это включает в себя проверку правильности размеров, углов и других физических свойств установки, выполненную стажерами. В этом приложении окружающая среда не контролируется, как на производственной линии, поэтому это сложная задача для решения [7, 8].

В местной строительной отрасли рабочие обязаны проходить обучение и сертификацию для обеспечения соответствия стандартам качества строительства. После обучения рабочие проходят аттестацию, в ходе которой им необходимо собрать кабельный канал по техническому чертежу в течение заданного времени. Все обучающиеся получают одинаковые материалы и собирают одинаковую конструкцию. Качество выполненной работы затем проверяется группой экспертов вручную и визуально.

Оценка включает проверку размеров, выравнивания и положения конструкции, и она оценивается на основе соответствия предоставленному техническому чертежу. На рисунке 1 показаны примеры работ с проблемами выравнивания, а также процесс ручной оценки. Естественно, это трудоемкий и длительный процесс для организаций, предоставляющих обучение. Поэтому было разработано решение на основе компьютерного зрения для автоматизации процесса оценки с целью его ускорения. 

В строительной отрасли компьютерное зрение и методы обработки изображений уже давно используются, как правило, для обеспечения безопасности строительства, отслеживания ресурсов и мониторинга деятельности, обследования, инспекции и мониторинга состояния. Для всестороннего обзора применения компьютерного зрения в строительной отрасли см. работу Мартинеса и др. [3]. Интеллектуальное строительство, контроль качества строительных изделий и строительство вне строительной площадки также рассматриваются как перспективные направления исследований в этой области [3]. Представленная в данной работе исследовательская работа оценивает качество выполненных строительных изделий, хотя она и предназначена в качестве инструмента оценки для обучения и повышения квалификации строительных рабочих.

В нашем приложении система машинного зрения проверяет работу, выполненную стажером, с точки зрения геометрических размеров, ориентации и положения. Она формирует отчет, в котором выделяются несоответствия спецификациям. Основной характеристикой объекта, используемой для анализа, являются углы объекта. Следовательно, производительность системы в значительной степени зависит от точного обнаружения угловых точек объектов. Обнаружение углов широко используется в обработке изображений, и в литературе доступно множество алгоритмов, наиболее популярными из которых являются FAST [9], SUSAN [10] и алгоритм обнаружения углов Харриса [11].

Эти алгоритмы основаны на пикселях и часто возвращают избыточные или ложные угловые точки. В этом исследовании мы экспериментировали с алгоритмами обнаружения углов FAST, Харриса и алгоритмом обнаружения углов с минимальным собственным значением, доступными в библиотеках обработки изображений Matlab. Мы обнаружили, что алгоритм с минимальным собственным значением показал хорошие результаты. Однако фильтрация зашумленных обнаружений для поиска углов, принадлежащих опорным точкам объектов для нашего анализа, является вычислительно затратной. С другой стороны, сверточные сети (CNN) и эволюционные методы приобретают популярность в качестве детекторов углов, обеспечивая конкурентоспособные результаты, особенно при работе с зашумленными изображениями [12].

В последнее время архитектуры глубокого обучения, использующие множество слоев CNN, стали очень популярны в компьютерном зрении благодаря своей замечательной производительности. Наши эксперименты показали, что глубокое обучение может эффективно идентифицировать углы объектов, однако это происходит в пределах ограниченного прямоугольника [13]. Используя гибридный подход, который применяет пиксельный фильтр, такой как алгоритм минимального собственного значения, и дополнительно фильтрует результаты с помощью выходных данных глубокого обучения, мы можем очень точно обнаруживать углы интересующих нас объектов. Это позволило проводить надежные геометрические измерения и проверки в относительно менее контролируемых условиях окружающей среды.

В последнее время мы наблюдаем применение методов глубокого обучения в строительной отрасли. Например, присутствие рабочих, оборудования и материалов определяется по изображениям с камер на строительных площадках для повышения безопасности и производительности [14]. Достижения в области машинного обучения открывают множество возможностей для использования в этой отрасли, таких как контроль за строительной площадкой, прогнозирование затрат, интеллектуальное техническое обслуживание и многое другое. Подробный обзор различных алгоритмов машинного обучения, от простых до очень сложных методов, и их применений представлен в [15, 16].

Другая область, где новейшие архитектуры глубокого обучения широко используются, — это медицина. Медицинские изображения получают с помощью различных технологий, таких как ультразвуковое исследование, магнитно-резонансная томография, компьютерная томография и т. д. Анализ этих изображений требует экспертных знаний, и в последнее время для этого используются алгоритмы глубокого обучения (см., например, отслеживание тканей в ультразвуковых видео [17], сегментация медицинских изображений [18]). Подробный обзор применения алгоритмов глубокого обучения в анализе медицинских изображений можно найти в [19].

Как уже упоминалось, алгоритмы глубокого обучения включают множество слоев сверточных нейронных сетей. После обучения эти слои становятся очень эффективными в обнаружении полезных признаков во входных изображениях. Теперь мы видим, что глубокое обучение также поддерживает традиционные методы обработки изображений, такие как сегментация изображений [18], шумоподавление изображений [20], обнаружение углов [21] и обнаружение краев [22]. В этом исследовании наш метод обнаружения углов является гибридным, где мы использовали глубокое обучение для обнаружения только тех объектов, которые нас интересуют, и их угловых координат. Затем мы применили традиционный алгоритм обнаружения углов в пределах этих границ, чтобы получить их точное местоположение.

Далее будет представлен обзор системы, а также гибридное решение и результаты ее работы. В разделе 2 представлены ключевые компоненты системы и их производительность. В разделе 3 описаны ее работа и пользовательский интерфейс. В разделе 4 представлена ​​производительность системы в достижении точной оценки работы обучаемого. Более ранняя версия этого исследования была представлена ​​в [13].

2. Обзор системы

На раннем этапе этого исследования для аппаратной установки использовались стандартные компоненты [13]. В настоящее время аппаратное обеспечение системы машинного зрения модернизировано до промышленной камеры (EXO 540CU3 от SVS Vistek, Зеефельд, Германия) с объективом 50 мм и системой освещения, поскольку проект готов к использованию в реальных условиях. Камера установлена ​​посередине стеновой конструкции. Разрешение получаемого изображения составляет 5320 × 4600 пикселей.

Расстояние между камерой и стеновой конструкцией установлено на уровне 180 см. Полученные изображения имеют незначительные искажения объектива. Калибровка камеры выполнена с использованием изображений шахматной доски и инструментов калибровки камеры Matlab [23]. Аппаратная установка и тестовые сборки, используемые в экспериментах, показаны на рисунке 2. Две черные ленты на стеновой конструкции используются в качестве эталона для измерения высоты конструкции от пола, что также является компонентом оценки. 

Для разработки программного обеспечения используется Matlab. На рисунке 3 представлен общий обзор операций, выполняемых в программном обеспечении. После получения изображения первым шагом является определение типа стеновой конструкции с помощью обученной модели глубокого обучения. Этот шаг помогает системе определить, какой тип конструкции подлежит анализу, чтобы она могла выполнить соответствующие вычисления. На следующем этапе определяются угловые точки объекта с использованием гибридного подхода, который будет подробно описан в следующих разделах. Эти угловые точки используются в качестве опорных точек при измерении размеров объекта, выравнивания, углов и т. д. Шаблон объектов в стеновой конструкции доступен в виде чертежа САПР, поэтому ожидаемая работа от стажера известна заранее. Следующий шаг процесса — сопоставление обнаруженных элементов с шаблоном и определение всех расхождений. Кроме того, эксперт может вручную отметить любые интересующие точки на изображении и получить для них измерения. Наконец, система генерирует отчет о результатах проверки и записывает его вместе с данными кандидата.

3. Подбор шаблона и проверка стеновой конструкции.

Вышеупомянутый гибридный подход обеспечил надежное обнаружение угловых точек, необходимых для нашего анализа. Тем не менее, могут оставаться некоторые остаточные, неучтенные угловые точки. Поскольку технический чертеж стеновой конструкции известен заранее, на заключительном этапе анализа используется метод сопоставления шаблонов для определения наиболее подходящих угловых точек, представляющих углы объектов в конструкции. Шаблон строится, начиная с верхней левой угловой точки, с использованием геометрических методов. Выбор допустимых угловых точек осуществляется путем принятия угловых точек, наиболее близких к угловым точкам шаблона, тем самым завершая процесс выбора угловых точек. На рисунке 7a показан наиболее подходящий шаблон, а на рисунке 7b — окончательные извлеченные опорные угловые точки. После получения этих опорных точек проводятся измерения для оценки с использованием основных геометрических методов. Наконец, создается отчет в виде электронной таблицы Excel, в котором представлены результаты анализа, как показано на рисунке 7c.

Ключевым требованием для сборки типа B было измерение угла выступания кабельного канала. Блок визуального контроля располагается на фиксированном расстоянии от стеновых конструкций и должен оставаться неподвижным для обеспечения точности калибровки. Однако блок может смещаться вбок для получения изображений. Источник света, расположенный над объективом камеры под фиксированным углом, используется для проецирования тени кабельного канала, как показано на рисунке 8a . Углы выступающей части кабельного канала затем измеряются относительно тени объекта, а не самого объекта, как показано на рисунке 8b, c.

С учетом положения источника света углы выступающей части кабельного канала относительно тени рассчитываются как 130 градусов с использованием основных геометрических преобразований. Следовательно, правильно изготовленный изогнутый кабельный канал должен иметь угол 130 градусов; отклонение от этого значения указывает на наличие дефектов изготовления. Аналогичным образом создается отчет в Excel, содержащий результаты анализа, как показано на рисунке 8d.

Для обоих типов сборок после анализа размеров объектов используется наиболее подходящий шаблон, соответствующий реальным объектам в сборке, чтобы визуально проиллюстрировать пользователю результаты анализа. Как уже упоминалось, алгоритм сопоставления шаблонов запускает процесс поиска наилучшего соответствия, начиная с обнаруженной верхней левой угловой точки. Сравнение шаблона с анализируемыми объектами на изображении позволяет пользователю увидеть величину отклонения. Если это отклонение очень велико, эксперту, возможно, придется скорректировать оборудование перед тем, как сделать следующий снимок.

Существует также вероятность того, что детектор углов с минимальным собственным значением или модель глубокого обучения не смогут обнаружить угловые точки или допустят ложные срабатывания. Это может иногда приводить к ошибкам в анализе. Чтобы обойти такие случаи, мы также предоставили возможность ручной оценки, где пользователи могут вручную отмечать интересующие точки на изображении и получать измерения расстояний или углов.

4. Производительность

Для оценки производительности нашей системы мы использовали тестовую установку, изготовленную с высокой точностью, как указано на технических чертежах, предоставленных стажерам, как показано на рисунке 1. Используя эту аппаратную установку, мы получили изображения из фиксированной точки, однако при немного изменяющихся условиях освещения. Всего для тестирования каждой сборки было использовано 30 изображений. Мы получили погрешности измерений для каждого оцениваемого компонента на всех изображениях. Для наглядности мы представили результаты измерений в таблице 4, используя только пять изображений, полученных при нормальных условиях освещения для сборки А.

Эти результаты сравнивают фактические свойства правильно изготовленной сборки с тем, что измеряется системой. Разница между ними, следовательно, указывает на погрешность измерения нашей системы. В таблице 4 приведены все измерения для каждого тестового изображения и средние погрешности. В большинстве случаев средняя погрешность составляла менее 1%, что означает незначительную погрешность измерения. Однако также заметно, что средний процент погрешности для некоторых ребер (ребра 3 и 7) был относительно выше, чем для других ребер. Эти более значительные ошибки были вызваны неточностями, возникающими в процессе сопоставления шаблонов, в частности, из-за теней от объектов. Однако эти два измерения тривиальны, поскольку соответствуют ширине кабельного канала, которая является стандартной.

Аналогичные наблюдения были сделаны для сборки B. В таблице 5 приведены результаты измерений в сравнении с фактическими значениями для выбранного количества изображений, полученных в нормальных условиях освещения, в целях иллюстрации. Критической точкой измерения в этой сборке является угол выступания кабельного канала. Результаты показывают незначительную среднюю погрешность измерения в 0,2%. Важно отметить, что здесь мы приводим среднюю погрешность в качестве простого показателя производительности. Тем не менее, как того требует наш отраслевой партнер, в любой из точек измерения погрешность более 5% считается существенной системной ошибкой. На всех тестовых изображениях, полученных в нормальных условиях, мы не наблюдали существенной системной ошибки.

В некоторых необычных случаях мы наблюдали значительные ошибки (т.е. более 5%). При более детальном изучении первопричин этих ошибок мы обнаружили небольшие отклонения между обнаруженными и фактическими опорными точками, как показано на примерах на рисунке 10. Основными причинами этой ошибки были два: вращение и/или освещение. Предполагалось, что обе тестовые сборки не были наклонены, однако небольшой наклон может произойти во время съемки пользователем, если камера неправильно закреплена. Другая возможность заключается в том, что сборка, выполненная стажером, была наклонена, хотя она должна была быть параллельна полу.

В этом случае опорные угловые точки, полученные из изображений, приведут к неточному сопоставлению с шаблоном и увеличат ошибки измерений. На основе наших экспериментов мы обнаружили, что если ошибки измерений превышали 5%, это было связано с этими внешними факторами или с очень некачественной сборкой стены, выполненной стажером. Мы не включили функцию вращения для подгонки шаблона, если сборка была наклонена во время изготовления, поскольку такая сборка считается неудачной. Тем не менее, при необходимости можно измерить и другие параметры, скорректировав наклон с помощью графического редактора перед анализом.

Другой причиной ошибок было наличие теней. Они появляются при неравномерном распределении источников света по объекту во время съемки. Когда разница в интенсивности света между тенью и самим объектом недостаточно велика, алгоритм обнаружения углов захватывает угловую точку в тени, а не сам объект. Следовательно, сопоставление шаблонов не смогло исправить эту ошибку, и для измерений использовался угол тени. Это также привело к неточным результатам, однако ошибки, связанные с тенями, можно минимизировать за счет улучшения освещения в оборудовании.

5. Выводы

В данной статье описана система контроля на основе компьютерного зрения для автоматизированной оценки работы, выполняемой стажерами в строительной отрасли для получения сертификата. Основная цель исследования заключалась в минимизации рутинного процесса ручной/визуальной оценки и экономии рабочего времени. Однако для того, чтобы система компьютерного зрения заменила ручной метод оценки, она должна точно выполнять геометрические измерения. Ключевым признаком, используемым для этой цели, были угловые точки объектов. Точное обнаружение угловых точек значительно повышает точность и производительность системы.

Интуитивно понятно, что угловые точки объекта на изображении должны быть обнаружены с точностью до нескольких пикселей. Для этой цели используется алгоритм обнаружения углов с минимальным собственным значением. В данном приложении окружающая среда не полностью контролируется по сравнению, например, с приложением контроля качества на производстве. Поэтому алгоритм обнаружения углов может возвращать много избыточных точек. Для их фильтрации и идентификации тех, которые принадлежат анализируемым объектам, мы использовали алгоритмы глубокого обучения. Этот гибридный подход обеспечил точное обнаружение углов объектов.

Используя метод сопоставления шаблонов, измерения обнаруженных объектов, такие как размеры, выравнивание и углы, сравниваются с шаблоном, полученным из технических чертежей. Наши экспериментальные результаты показали, что система машинного зрения имеет незначительные погрешности измерений при хороших условиях освещения. В целом, решение на основе компьютерного зрения значительно сократило время, затрачиваемое на ручную проверку. Более того, физическое присутствие экспертов на площадке оценки не требуется, поскольку захват и обработка изображений могут выполняться удаленно. Интересным вкладом этого исследования является гибридный подход к обнаружению углов, который позволяет использовать методы компьютерного зрения для анализа и оценки изготовленных объектов в динамических условиях. Это открывает возможности для изучения других проблем контроля качества и инспекции в менее контролируемых условиях.

В наших дальнейших исследованиях мы планируем разработать универсальную систему, в которой преподаватели смогут программировать различные варианты оценки, создавая широкий спектр сценариев, которые можно использовать для проверки работ обучающихся и выставления им оценок.