Сегодня внедрение системы машинного зрения доступно любому производителю намного дешевле, чем несколько лет назад. Готовые аппаратные платформы умещаются в корпусе одного промышленного компьютера. Больше не нужно разворачивать кластеры из видеокарт. Программные фреймворки машинного обучения уже умеют десятки типовых обученных моделей, так что заказчику не нужно разрабатывать систему с нуля.
В данной публикации рассматривается применение технологий машинного зрения для повышения безопасности транспортировки сырьевых материалов на Стойленском горно-обогатительном комбинате, а также прогнозируется экономия в размере семидесяти миллионов рублей ежегодно.
В соответствии с планом, цифровая система предназначена для мониторинга качества загрузки автомобилей-самосвалов и вагонов-самосвалов (далее – думпкаров), а также определения объема перевозимой руды на Стойленском горно-обогатительном комбинате.
Разработка проекта стартовала в конце прошлого года. Недавно был завершен этап проверки гипотезы, в ходе которого технология компьютерного зрения была протестирована на двух контрольных точках. В августе планируется запуск минимально жизнеспособной версии (MVP) системы, после чего ее установят еще в десяти стационарных точках Стойленского ГОКа.
Думпкары
Проблематика
Добыча железной руды в карьере осуществляется с помощью буровзрывных работ, которые разрыхляют горную породу. После этого экскаваторы загружают добытую массу в транспортные средства. Перевозка до железнодорожной ветки выполняется самосвалами «БелАЗ», а затем по рельсам руда транспортируется в вагонах-самосвалах до обогатительной фабрики. Однако в процессе работы периодически возникают проблемы с загрузкой транспорта, выражающиеся как в недогрузе, так и в перегрузе.
Недостаточная загрузка вагонов в среднем приводит к недоставке 2-3% от установленной нормы, что вынуждает выполнять дополнительные рейсы. Это влечет за собой увеличение расхода топлива и повышение риска преждевременного износа деталей подвижного состава. Перегруз или неравномерное распределение груза в грузовых вагонах также способствует усиленному износу деталей и создает опасность высыпания породы на железнодорожные пути.
Решение
Разрабатываемая система машинного зрения предназначена для оценки качества загрузки железной руды с последующим сравнением полученных данных с normative значениями, указанными в “паспорте загрузки”. Кроме того, система будет предоставлять специалистам СГОКа рекомендации по корректировке процесса загрузки.
Контроль качества загрузки планируется осуществлять на всех этапах: в карьере при загрузке автосамосвалов и на железнодорожной станции при загрузке думпкаров. В будущем предполагается интегрировать компоненты системы непосредственно на ковш экскаватора.
Месторасположение карьера и железнодорожной станции, таких точек на СГОКе более десяти
Этапы внедрения системы
Процесс внедрения системы можно охарактеризовать следующими этапами:
- Проектирование решения и оценка его экономической эффективности.
- Подбор и установка необходимого оборудования (видеокамеры, серверы, компьютеры и т.д.).
- Сбор данных.
- Разметка и обучение нейросети.
- Тестирование системы.
- Корректировка алгоритмов нейросети.
- Разработка back-end сервисов и интеграция с системами НЛМК.
- Масштабирование системы на десять стационарных точек.
На сегодняшний день завершен первый этап проекта: подтверждена техническая реализуемость системы, разработан прототип на полевом оборудовании, а также рассчитан потенциальный экономический эффект от внедрения.
Для проверки гипотезы на двух точках были установлены автономные камеры GoPro с мобильными источниками питания. Кроме того, проведены выезды с минимальным набором оборудования для промышленной эксплуатации (влагозащищенные и инфракрасные камеры). В течение недели видеокамеры регистрировали автосамосвалы и думпкары с различных ракурсов. Полученные данные использовались для разметки и обучения первых моделей нейросети.
Второй этап проекта предусматривает установку системы на 10+ стационарных точек и ее интеграцию с системами НЛМК. В данном материале освещается первая часть проекта – проверка гипотезы на примере думпкаров.
Установка видеооборудования и сбор данных
Специалистами была проведена рекогносцировка железнодорожной станции с целью определения оптимальных позиций для установки видеокамер. В ходе обследования были учтены факторы окружающей среды, доступные ракурсы и зона охвата камер.
В начальной фазе тестирования применялись камеры GoPro с широкоугольным объективом (“рыбий глаз”). Однако впоследствии от них было решено отказаться в пользу стандартных камер, поскольку искажения изображения, присущие такому типу объектива, требовали дополнительной программной коррекции.
Фото с фишаем, здесь виден изгиб по краям изображения
При подборе оборудования для точек в карьере учитывались суровые условия эксплуатации: экстремальные температуры летом и зимой, а также необходимость работы в зоне взрывных работ.
Для оптимизации процесса выбора техники 3D-моделлер создал виртуальную копию стационарной точки. Это позволило дистанционно определить оптимальную конфигурацию камер без постоянных выездов на объект. Модель позволяла моделировать условия освещения, как дневного, так и ночного, для оценки качества изображения.
В виртуальной модели были учтены все объекты, включая точную высоту опорных столбов и расположение камер на них. Это дало возможность смоделировать ожидаемое изображение. При этом учитывались такие параметры, как фокусное расстояние и уровень освещения для получения детализированной картинки. Были проведены эксперименты с различными позиционированиями стационарных точек, чтобы обеспечить оптимальный угол обзора и дальность съемки камер.
Учитывалась также ориентация восхода и заката солнца для предотвращения засветов в объективе.
Ввиду сложных условий эксплуатации были выбраны влагозащищенные камеры Hikvision и инфракрасная камера глубины Intel RealSense D40055. Для защиты оборудования от пыли, грязи и температурных колебаний все компоненты размещены в телекоммуникационных шкафах, используемых сотовыми операторами.
Эти шкафы оснащены системами автономного охлаждения и обогрева.
Для инфракрасной камеры был изготовлен отдельный алюминиевый корпус, так как она не рассчитана на уличные условия эксплуатации.
Обучение нейронной сети для идентификации грузов
Для того чтобы обучить нейросеть распознаванию породы, определения местоположения вершины (горки) её массы и границ вагона, необходимо предоставить ей большой объем данных. При этом требуется четко указать, где располагается горка породы, а где заканчиваются стенки вагона. С этой целью каждое изображение подвергается ручной разметке.
В ходе недельных съемок было получено 700 ГБ видеоматериала, из которого были отобраны наиболее разнообразные фотографии для разметки, охватывающие различные составы, дни и время суток.
На начальном этапе разметка осуществлялась вручную: вагоны обозначались зеленым цветом, горка – оранжевым, а ее центр – фиолетовым. Subsequently, размеченный материал в паре с исходным изображением передавался нейронной сети с задачей воспроизвести полученные результаты.
Ручная разметка является трудоемким процессом, обработка одного кадра занимает приблизительно 10-20 минут. Дополнительно каждый кадр требует валидации (2-5 минут). Выбор объектов для разметки и их распознавания, а также определение области анализа (ближайший вагон или весь состав) потребовали значительного времени. В конечном итоге было решено размечать все объекты, что увеличило время на разметку и валидацию одного кадра до 30-60 минут.
С учетом необходимого объема обработки (около тысячи кадров), данный процесс требовал привлечения команды разметчиков для предотвращения утомления и обеспечения точности. Первая версия модели была обучена на 70% изображений и протестирована на оставшихся 30%, чтобы избежать переобучения.
Для повышения стабильности работы нейронной сети дополнительно использовались синтетические данные, созданные на основе 3D-модели думпкара с помощью скрипта, генерирующего случайные перегрузки, недогрузы и негабаритные ситуации.
Процедурно сгенерированая руда для обучения нейросети
Одним из преимуществ использования синтетических данных является то, что все полученные изображения уже снабжены необходимыми метками. При этом время генерации одного кадра составляет около двух минут, а процесс можно автоматизировать и запустить на нескольких компьютерах непрерывно.
В ходе обучения нейронной сети было использовано множество фотографий (около тысячи) в сочетании с синтетическими данными, что позволило создать первую работоспособную модель. Последующее добавление вручную размеченных кадров привело к созданию усовершенствованной версии модели. На данном этапе этого достаточно для запуска MVP и тестирования системы в нескольких фиксированных точках в реальных условиях.
В дальнейшем планируется дообучение модели при необходимости. Например, если условия эксплуатации существенно изменятся (туман, снег, дождь), или если станет ясно, что эффективность системы напрямую зависит от качества модели и требуется её итеративное улучшение. В этом случае будут исследоваться различные архитектуры нейронных сетей, подходы к обучению и объемы используемых данных для повышения производительности.
Как работает система
На железнодорожных путях используются три камеры для мониторинга процесса погрузки железной руды.
Первая камера, расположенная на столбе, направлена вниз на вагон и отслеживает равномерность распределения груза по всей площади платформы. Данные с этой камеры анализируются алгоритмами на сервере, которые проверяют соблюдение требований к отступам от краев платформы, указанных в “паспорте загрузки”. Это предотвращает возможные инциденты, связанные со скатыванием груза во время транспортировки.
Вторая камера, установленная сбоку, фиксирует конфигурацию вершины загруженного груза. Анализ полученных данных позволяет определить физический центр тяжести, что является важным фактором для обеспечения стабильности и предотвращения перекосов платформы, приводящих к повышенному износу оборудования.
Третья камера, инфракрасная камера глубины, используется для точного измерения объема груза. Создание трехмерного профиля поверхности позволяет алгоритму определить высоту пика груза с погрешностью до десяти сантиметров.
Использование камеры глубины открывает для аналитической системы возможность определения веса объектов, что превращает её в espécie рода дистанционных весов. Это достигается за счет анализа профиля и геометрии объекта, полученных с помощью камеры. Зная эти параметры, можно рассчитать объем объекта с помощью математических формул.
Учитывая тип материала (породу) и его объем, система может определить вес объекта, умножив плотность материала на его объем.
На объекте, помимо видеокамер, установлены мощные прожекторы, аналогичные тем, что применяются на крупных спортивных аренах. Данная система освещения обеспечивает высокое качество изображения даже в условиях недостаточной видимости.
Визуализация (на примере трехмерной модели):
В режиме реального времени камеры передают видеопоток на сервер для обработки специализированными алгоритмами. Для обеспечения автономной работы системы на стационарной точке размещен мини-компьютер с подключением к электросети.
На сегодняшний день система способна идентифицировать железную руду в железнодорожных вагонах-самосвалах и автосамосвалах, а также сопоставлять качество загрузки с эталонными параметрами.
С целью оптимизации экономической эффективности транспортировки мы ориентируемся на ключевой показатель — коэффициент использования грузоподъемности. Равномерная и корректная загрузка кузова транспорта позволяет в полной мере реализовать его потенциал. В ходе анализа годовых данных было выявлено, что средний недогруз железнодорожного и автомобильного транспорта составил 2%, при этом имели место и случаи перегруза. Наш стратегический ориентир — достижение коэффициента загрузки на уровне 100%, в реализации которого нам содействует внедренный цифровой сервис.
Елена Кокорина главный специалист Управления по цифровой трансформации Дивизиона Руда
Система, основанная на машинном зрении, определяет процент заполнения транспортного средства и корректность его загрузки.
Важным аспектом является эффективное использование данного инструмента. Система позволяет в режиме реального времени информировать оператора экскаватора и осуществлять оперативную корректировку загрузки. В случае невозможности корректировки, критически важно донести информацию о неправильной загрузке до водителя “БелАЗа” или машиниста тягового агрегата.
Понимая риски, связанные с неправильной загрузкой, водитель и машинист могут обеспечить более безопасную транспортировку, предотвращая аварии и другие непредвиденные ситуации.
Андрей Немировский – начальник управления по цифровой трансформации АО «СТОЙЛЕНСКИЙ ГОК»
В данном видеоматериале представлена демонстрация функционирования системы. Подобным образом будет осуществляться работа алгоритма в режиме реального времени, при этом пользователь будет наблюдать последовательность кадров из данного видео в формате слайд-шоу.
Ожидаемый результат
В ближайшем будущем планируется доработать модель для работы с новым типом оборудования и интегрировать сервис с информационными системами СГОКа. Это позволит автоматизировать сбор данных о объеме и качестве загрузок, а также обеспечит возможность оперативного внесения корректировок специалистами на месте.
Кроме того, предполагается масштабирование решения на десять стационарных точек, где задействованы самосвалы и карьерные траки. По итогам года ожидается достижение следующих экономических результатов:
- исключение перегрузов и недогрузов;
- снижение расхода топлива самосвалами на 1% и электроэнергии dump trucks на 6,5%;
- увеличение оборота перевозимой руды на 1-2%;
- минимизация количества поломок “БелАЗов”;
- выявление негабаритных грузов до их поступления на обогатительную фабрику.
Реализация проекта позволит сократить ежегодные расходы примерно на 70 миллионов рублей.
На следующем этапе работы планируется реализовать функцию информирования о перегрузках и недогрузках в режиме реального времени, что позволит предотвращать ошибки и ещё больше оптимизировать бизнес-процессы.
Использованные технологии
При разработке системы использовались контейнеризация Docker и интерактивная среда Jupyter Notebook. Для разметки данных применялся формат COCO. В качестве основы был выбран фреймворк Detectron2, предназначенный для задач компьютерного зрения.
Система реализует сегментацию экземпляров (Instance Segmentation). Несмотря на то, что данный метод неэффективен при работе с мелкими объектами, в данном случае его применение оправдано наличием исключительно крупных объектов, что позволяет системе демонстрировать высокую точность.
Гибкость фреймворка Detectron2 позволила провести детальную настройку системы путем подбора оптимальных параметров и архитектуры нейронной сети.
Разработанный алгоритм усреднения результатов предсказания по нескольким кадрам повышает достоверность определения породы перевозимого материала и минимизирует влияние случайных помех.
В состав итогового решения интегрированы цифровые линейки, использующие данные модели для расчета расстояний в пикселях и их преобразования в метры. Также разработан инструмент для объединения информации с трех камер о проезжающих объектах и типе перевозимого материала.
Команда реализовала два из трех проектов, представленных в видеоролике клиента о внедрении ИИ-решений на СГОКе: проект по распознаванию думпкаров и автосамосвалов, а также проект по оценке состава железной руды на конвейере. Подобное решение было успешно внедрено для ERG на ССГПО.
Автор: @redmadrobot
Источник: https://habr.com/
