Как построить систему машинного зрения для контроля гранулометрического состава руды на конвейере

В настоящей статье мы освещаем решение проблемы анализа гранулометрического состава руды и определения негабарита в процессе производства золота.

Крупный бизнес, в частности металлургическая промышленность, давно признал преимущества цифровизации. Улучшение производительности даже на 1-2% может принести значительную экономическую выгоду, измеряемую миллионами рублей в год. Именно поэтому нейросети играют ключевую роль, детально анализируя каждый образец руды.

Особую важность приобретает точность анализа при работе с полиметаллическими рудами, содержащими золото и медь. Например, для золотой руды используются мельницы самоизмельчения, где частичное дробление происходит за счет крупных кусков, а частичное – с помощью стальных шаров. При этом предъявляются высокие требования к гранулометрическому составу: соотношение различных фракций должно быть оптимальным для обеспечения эффективного перемалывания.

Любые фрагменты, превышающие допустимый размер, классифицируются как негабарит. Оператор определяет его значение в зависимости от размера руды на конвейере. Негабарит может привести к блокировке прохождения руды между конвейерами или подаче в мельницу. Это означает, что около 11 тысяч тонн руды останутся необработанными, а каждая тонна содержит 1,7 грамма драгоценных металлов. Таким образом, можно оценить экономический ущерб от каждого случая негабарита.

Обнаружение негабарита и стало основной задачей, с которой к нам обратился заказчик.

Проблемы: остановка конвейера и перерасход ресурсов на мельницах

Предприятие-заказчик является одним из ведущих производителей драгоценных металлов с активами в России и Казахстане. Его первое месторождение в Казахстане – «Варваринское», также известное как Варвара, оснащено фабрикой, перерабатывающей 4,2 млн тонн руды ежегодно.

Исходя из этой цифры был рассчитан дневной объем добычи.

В ходе церемонии открытия месторождения был выплавлен первый слиток стандартного веса – 12 кг. Несмотря на компактные размеры, вес слитка создает иллюзию его легкости.

Однако, основная задача заключается в оптимизации работы мельниц.

Попадание крупных кусков руды на конвейер неизбежно приводит к кратковременным остановкам для их ручного удаления. Наиболее серьезной проблемой является блокирование выхода загрузочной телеги мельницы негабаритным фрагментом. В этом случае требуется полная разгрузка мельницы, что влечет за собой длительный простой в подаче руды.

Дополнительную сложность создает неоднородность руды, обусловленная плотностью породы и качеством взрывных работ. Изменения фракционного состава руды требуют постоянной корректировки параметров работы мельницы и подаваемых материалов для обеспечения максимальной производительности.

Целью проекта является оптимизация расхода ресурсов, затрачиваемых на работу мельниц, и минимизация простоев, вызванных попаданием крупных фрагментов на конвейер.

Какие решения этой проблемы есть на рынке?

Необходимо провести анализ гранулометрического состава руды с целью выявления негабаритных элементов. Проблема негабарита требует постоянного мониторинга конвейера, что может быть поручено оператору. Однако, человеческий фактор может приводить к ошибкам из-за утомляемости. Для повышения эффективности и точности мы выбрали визуальный контроль с использованием камеры, который оптимален по соотношению цены и качества. В качестве альтернативы могут использоваться и другие типы датчиков.

Анализ гранулометрического состава руды представляет собой более сложную задачу. Во-первых, требуется анализ скрытого слоя материала. Во-вторых, необходимо классифицировать камни по размеру для определения оптимального режима работы мельницы с учетом процентного соотношения фракций.

Существуют различные подходы к решению этой задачи:

• Лабораторный анализ: Технолог отбирает пробу руды и проводит ситовой анализ. Данный метод, хоть и точный, имеет ряд недостатков: длительность анализа (несколько часов), что приводит к задержке в корректировке режима работы мельницы, и ограниченный объем анализируемого материала.
• Автоматизированный ситовой анализ: Позволяет обрабатывать большие объемы руды и получать актуальную информацию о гранулометрическом составе. Однако, такие системы достаточно сложны в реализации.
• Компьютерное зрение с использованием алгоритмов машинного обучения: Обеспечивает получение данных о гранулометрическом составе в режиме реального времени, включая прогнозирование скрытого слоя. Лабораторный анализ при этом используется реже, в качестве эталона для корректировки параметров нейронных сетей и повышения точности предсказаний.

Таким образом, выбор оптимального метода анализа зависит от требований к точности, скорости получения данных и бюджетных ограничений.

Решение: компьютерное зрение на производстве

Прежде чем приступить к реализации проекта, наша компания уже имела опыт разработки подобных решений для компаний ERG и НЛМК. Это позволило нам воспользоваться накопленным опытом и экспертизой в данной области.

Во-первых, мы были уверены в точности определения минимального размера камней и классов фракции грансостава с помощью компьютерного зрения. Данные, представленные в презентации, подтверждались результатами финальной сдачи предыдущих проектов.

Во-вторых, наличие готовых интерфейсов позволило избежать их разработки с нуля. Хотя они служили скорее ориентиром, поскольку интерфейс был полностью адаптирован под требования заказчика.

В-третьих, мы были осведомлены о проблемах, которые могут возникнуть при внедрении системы, и предлагали решения для их минимизации. Например, закупка и доставка оборудования могут занимать значительное время, поэтому мы предложили варианты ускорения этого процесса.

Отличительной особенностью данного проекта стало добавление негабарита к задачам поиска мелких камней, что было впервые реализовано в нашей практике. Оба решения основаны на компьютерном зрении, но используют различные модели.

Требования к каждому решению различны. При анализе негабарита необходимо обрабатывать все кадры без пропусков, что требует использования легких и быстрых моделей, точно определяющих форму крупных камней. Для определения грансостава требуется найти максимальное количество камней на кадрах, что предполагает использование мощных и ресурсоемких моделей.

Применение моделей грансостава для поиска негабарита привело бы к увеличению затрат на аппаратное обеспечение. С целью обеспечения масштабируемости на соседние конвейеры, мы использовали различные инструменты для решения этих задач.

Анализ грансостава

Определение негабарита

Определение негабарита

В целях обеспечения эффективного контроля размеров камней на конвейере, перед мельницами устанавливаются камеры Basler. Полученные изображения передаются на сервер, который интегрирован с контроллером системы.

Оператор задаёт допустимый порог размера камня (не более 700 мм по большей стороне). При обнаружении системой машинного зрения камней, превышающих заданный размер, сервер автоматически направляет сигнал на контроллер, инициируя остановку конвейера. Оператор удаляет негабаритный камень и возобновляет работу конвейера.

Система обработки изображений включает в себя сжатие исходных данных с камеры, определение контуров всех камней и перевод их размеров из пикселей в миллиметры. После этого все камни, превышающие заданную длину (определяемую по большей стороне), отсекаются. Обработанное изображение поступает в веб-интерфейс.

Веб-приложение обеспечивает оператору визуализацию снимков с разметкой в реальном времени и формирует отчет о выявленных негабаритных камнях.

Анализ грансостава

Изображение также подаётся с камеры Basler и размечается по классам фракции:

• 0–10 мм,
• 10–20 мм,
• 20–40 мм,
• 40–80 мм,
• 80–150 мм,
• 150–200 мм,
• 200–250 мм,
• +250 мм.

Система осуществляет прогнозирование состава внутренней части породы, которая не попадает в кадр снимка, и строит гистограмму текущего распределения зернового состава по классам. Это позволяет оператору корректировать параметры работы мельниц, а руководителю – оценивать качество буровзрывных работ.

Для реализации данной функциональности используются две последовательные модели. Первая модель осуществляет распознавание камней на изображении. Ее основной показатель эффективности – средняя точность классификации по всем классам крупности. Вторая модель преобразует данные, полученные от первой модели, и формирует распределение зернового состава во всей массе породы на ленте. Результаты работы второй модели могут быть проверены с помощью построения корреляционных графиков (рассевов).

Стоит ли цифровизация своих денег

В настоящее время вопрос инвестиций в производство является весьма актуальным. Необходимо оценить целесообразность таких инвестиций, а также соотношение рисков с потенциальной отдачей. Возникает вопрос о возможности успешной реализации и дальнейшего развития новых цифровых проектов в условиях уже высокой нагрузки.

По словам специалистов, большинство очевидных возможностей для повышения эффективности на промышленных предприятиях уже реализованы. Для дальнейшего увеличения производительности часто требуется модернизация оборудования или расширение производства за счет дополнительных линий, что влечет за собой значительные капиталовложения.

Инновационные цифровые решения позволяют получить дополнительный прирост производительности без крупных инвестиций в основной капитал. Важно понимать, что такие решения, как правило, связаны с проверкой гипотез, которые не всегда подтверждаются. Это нормально для проектов R&D. Успешные проекты, в свою очередь, покрывают затраты на гипотезы, не принесшие желаемого результата.

Кроме того, внедрение любых цифровых решений способствует улучшению IT-гигиены предприятия: появляются новые интеграции между различными системами, данные начинают аккумулироваться, обрабатываться и храниться в систематизированном виде. Даже пилотные проекты, не достигшие ожидаемой эффективности, способствуют совершенствованию общей цифровой экосистемы и созданию предпосылок для более сложных систем.

Лидеры рынка давно осознали, что прекращение инвестиций в развитие и стремление к максимальной краткосрочной прибыли – это тупиковый путь. Такой подход может привести к деградации производства и потере позиций на рынке. Поэтому ведущие компании металлургического сектора делают ставку на технологии и движение в сторону концепции Индустрии 4.0.

Этапы проекта

Всего в проекте можно выделить семь этапов:

• предпроектное исследование,
• заказ и установка оборудования,
• 3D-моделирование (синтетика),
• сбор первых данных и разработка моделей,
• разработка сервиса,
• калибровка моделей и повышение базовой точности,
• испытания и верификация результатов.

Что-то мы делали параллельно. Например, пока ждали доставку оборудования, запустили работы по созданию моделей и разработке сервиса

Предпроектное исследование

Этап реализации проекта был ознаменован разработкой технического задания, подбором необходимого оборудования и составлением монтажной документации.

Важно отметить, что на протяжении всего проекта ни одна из сторон не посетила производственную площадку.

Изучение конвейерных линий осуществлялось по чертежам и предоставленной документации. Анализ полученных снимков позволил смоделировать положение камеры и сделать вывод о достаточности одной камеры для обслуживания конвейера. В результате были сформулированы требования к оборудованию и серверу.

В обычных условиях проект предусматривает пристальное внимание к вопросам гигиены, тесное взаимодействие с заказчиком и регулярные визиты на объект. Однако пандемия внесла коррективы, заставив перенести акцент на выстраивание прозрачной коммуникации: определение каналов связи, частоты взаимодействия и ролей каждой стороны. Заказчик взял на себя ответственность за своевременное предоставление данных, необходимых для бесперебойного выполнения работ, в то время как наша команда отвечала за техническую реализацию и информировала заказчика о нюансах проекта с точки зрения его бизнес-целей.

Внутренние коммуникации были специально настроены, а особое внимание уделялось четкой постановке задач и проговариванию ожидаемых результатов.

Данный проект уникален своей дистанционной реализацией. Нам предоставлялись фото- и видеоматериалы мест монтажа, технические регламенты, замеры расстояний и сетевые схемы. Для синхронизации ожиданий была разработана максимально детализированная спецификация, а наша команда подключалась к процессу установки оборудования практически в режиме реального времени.

Еженедельные спринты, план встреч и работ позволили поддерживать необходимый темп. В ходе еженедельных обсуждений анализировался статус проекта, получались комментарии и корректировки, которые реализовывались на следующей неделе. Обе команды – наша и заказчика – продемонстрировали слаженную работу.

Заказ и доставка оборудования

Подготовка к внедрению системы на производстве является достаточно сложной процедурой.

Для получения высококачественных изображений была выбрана мощная промышленная камера Basler. Установка камеры требовала учета воздействия высоких температур на производственной линии, чтобы избежать негативного влияния на качество съемки. В диапазоне температур от +72 до +77 °C возможны замедление работы камеры, появление дефектных пикселей и шумов. Неправильная настройка освещения также может привести к артефактам.

При заказе оборудования необходимо было учесть все особенности производственных условий. Хотя мы обычно предлагаем клиентам самостоятельно осуществлять закупку оборудования для ускорения процесса, в данном случае заказчиком выступила команда заказчика.

Создание цифрового двойника места крепления камеры

Для оптимизации процесса установки оборудования нам потребовалось разработать стратегию освещения и определить оптимальные позиции для размещения камер. С целью оказания поддержки монтажной бригаде в установке, мы создали цифровую модель места установки камер.

Данная модель позволила нам удаленно определять конфигурацию осветительных приборов и точки крепления камер без необходимости выезда на производство. В результате, к моменту доставки оборудования монтажная бригада уже располагала всей необходимой информацией о наилучшем размещении камер и прожекторов.

Расположение камер на участке конвейерной ленты для определения грансостава

Расположение камер на участке конвейерной ленты для определения негабарита

Разработка цифрового двойника осуществлялась с использованием широко распространенной программы 3D-моделирования Blender. В ходе проекта потребовалось найти баланс между точным воспроизведением геометрических параметров и характеристик реального объекта, заданных чертежами, и разумным ограничением уровня детализации модели. Удачное завершение проекта позволило эффективно использовать созданную 3D-модель для оперативной проверки конструктивных решений.

Начали моделировать первые данные

В ожидании поставки оборудования и доступа к реальным данным с камеры, нами была запущена генерация синтетических данных.

Обоснование необходимости использования синтетических данных подробно изложено в кейсах ERG и НЛМК. Вкратце: они существенно ускоряют процесс обучения моделей, особенно на начальных этапах, когда объём исторических данных недостаточен или отсутствует.

В рамках данного проекта с заказчиком, реализация пайплайна генерации синтетических данных усложнилась из-за необходимости точного моделирования негабаритных объектов. В отличие от мелких частиц руды, для которых допустима упрощенная детализация, крупные камни требуют более высокого уровня реализма. В связи с этим потребовалась доработка алгоритмов и автоматизация процесса генерации, что позволило получить синтетические данные, максимально приближенные к реальным, практически без прямого участия специалистов.

Процесс генерации включал следующие этапы:

• создание 500 камней различной формы с помощью алгоритмической генерации;
• размещение камней на виртуальной ленте с использованием физического движка,
• аалогичного тому, что применяется в разработке видеоигр;
• трассировка лучей и рендеринг, обеспечивающие реалистичное изображение.

Данный подход позволил воссоздать форму, рельеф и текстуру камней и ленты, а также текстуру и карту глубины песка. Кроме того, моделировались внешнее освещение, тени и дополнительные шумы.

Полученные синтетические данные дополнили реальные данные, на основе которых проводилось дообучение моделей.

Сбор первых данных и разработка моделей

Пока мы дожидались оборудования, команда запустила разработку сервиса:

• настроила тестовую инфраструктуру;
• развернула облачные серверы и настроила инструменты для разметки данных;
• собрала обучающие, тестовые и валидационные выборки для старта разметки.

Алгоритм приведения пикселей в миллиметры

Нейронная сеть успешно обнаруживает камни на изображении и определяет их размер в пикселях. Однако конечная цель системы — определение физических размеров камней. Для этого необходимо разработать алгоритм, преобразующий пиксельные размеры в миллиметры.

Создание такого алгоритма является одной из первостепенных задач после установки камеры. Качество его реализации напрямую влияет на точность предсказаний системы.

Простейший вариант алгоритма предполагает использование одного коэффициента. В этом случае размер камня в пикселях умножается на этот коэффициент, что позволяет получить его физический размер в миллиметрах.

Более совершенный подход предусматривает использование набора коэффициентов, каждый из которых соответствует определенному пикселю или группе пикселей. Такой метод повышает точность определения размеров объектов, особенно в случаях, когда камера не установлена строго перпендикулярно ленте. Однако разработка такого алгоритма более сложна.

В процессе калибровки модели указанный набор коэффициентов был оптимизирован. Следует отметить, что данный алгоритм обладает принципиально устранимой погрешностью. Её возникновение обусловлено постоянными изменениями высоты руды в фиксированных точках конвейера, а также неоднородностью состава горной массы.

Разметка

После установки камер видеонаблюдения на конвейерную линию были собраны объёмные наборы фотографических данных в различные временные интервалы. Отбор данных осуществлялся случайным образом для исключения влияния внешних условий на процесс обучения и предотвращения возникновения ненужных зависимостей.

Для увеличения репрезентативности выборки, при отборе снимков избегали повторов.

В процессе обучения моделей машинного зрения особое внимание уделялось включению в обучающую выборку изображений пустого и частично загруженного конвейера. Отсутствие таких изображений в ранних версиях моделей приводило к ошибочной интерпретации ленты конвейера как единого крупногабаритного объекта.

Модель

Различные модели были разработаны для обработки изображений негабаритных и крупногабаритных грузов. Каждая модель прошла четыре этапа доработки алгоритма.

В случае негабаритных грузов изображение сжималось до 800 пикселей. Затем с помощью модели распознавания определялись контуры груза. Далее, камни, размер которых по большей стороне был ниже заданного порога, отсекались и выводились в интерфейс.

Изображение для грансостава было предварительно разделено на фиксированные ячейки. Затем для каждого камня были определены контуры, учитывая границы этих ячеек. После этого изображение было сшито, ограничиваясь размерами ленты конвейера, и вместе с контурами и классами крупности выведено в интерфейс пользователя.

Разработка сервиса

Для обеспечения разметки данных и работы с моделями был сформирован серверный комплекс, включающий в себя систему хранения данных на базе MongoDB, механизмы запуска и остановки системы с использованием Docker-compose, а также предиктивные алгоритмы для двух сервисов.

Разработанное API обеспечивает взаимодействие с внешними системами. При обнаружении негабаритного объекта сигнал передается на контроллер, что приводит к остановке конвейера. В перспективе API может быть использован в системах BI-аналитики (с возможностью экспорта данных в Excel) или при внедрении цифрового советника – рекомендательной системы для автоматизации режимов работы мельниц.

Активное участие заказчика на этапе разработки интерфейса позволило создать полностью кастомизированное рабочее место оператора, ориентированное на удобство использования и оперативное принятие решений.

Интерфейсы оператора

Оба интерфейса обладают схожими функциональными возможностями, такими как переключение и активация месторождений, отображение температуры видеокамеры, онлайн-трансляции разметки и общей информации о времени, местоположении и других параметрах. В то же время существуют и отличия, которые заслуживают более подробного рассмотрения.

В частности, для грансостава интерфейс демонстрирует среднескользящее распределение, представляющее собой усреднённое интегральное значение распределения фракции за определённый период времени. Дополнительно доступна настройка текущего распределения, позволяющая просматривать процентный состав руды на конвейере в настоящий момент и её динамику. Длительность периода, используемого для расчёта среднескользящего распределения, устанавливается оператором.

Для негабарита показывается последний найденный негабарит и статистика по ним за выбранный оператором период. В течение десяти секунд подаётся звуковой сигнал, чтобы привлечь внимание оператора.

Калибровка и апробация моделей

В процессе работы было установлено, что необходима корректировка конфигурации освещения и положения камеры. Была произведена перестановка прожекторов, а также проведена повторная тренировка модели. Для дополнения набора данных синтетическими изображениями были внесены изменения в позиционирование источников света и камеры. Эти модификации, совместно с новыми аннотированными фотографиями, позволили достичь прежних показателей точности и превзойти их. Subsequently, была проведена калибровка моделей с целью обеспечения их соответствия реальным данным рассеяния.

Определили метрики качества предиктивных моделей

Для оценки эффективности нейронных сетей была использована стандартная метрика — Intersection over Union (IoU).

IoU вычисляется как отношение площади пересечения двух прямоугольных областей к площади их объединения. Значение IoU варьируется от 0, что соответствует полному отсутствию перекрытия, до 1, что указывает на полное совпадение.

После предварительной обработки были отобраны блоки, демонстрирующие коэффициент IoU (Intersection over Union) выше установленного порога. Значение этого порога, как правило, составляет 0,75 или 0,5 и определяется спецификой решаемой задачи.

Для оценки эффективности нейросетевой модели была использована метрика, основанная на количестве отобранных блоков в отношении общего числа объектов с ручным размещением.

Подбрасывали камни для калибровки модели

Заказчик продемонстрировал активное участие в процессе обсуждения, внося конструктивные предложения. В частности, была предложена идея о применении камней для калибровки алгоритмов, позволяющих преобразовывать пиксели в миллиметры. Данный подход был признан перспективным и использован в работе.

Для проверки точности определения размеров негабаритных объектов камни были окрашены и промаркированы цифровыми обозначениями. Это позволило провести сравнительный анализ результатов работы моделей с фактическими размерами камней.

Испытания проводились в течение двух недель и были признаны образцом хорошо организованной приемки-сдачи работ в рамках нашей команды. Запланированный срок, составляющий две недели, был полностью соблюден благодаря тщательной подготовке и калибровке моделей.

В ходе испытаний использовались те же методы оценки, что и при калибровочных работах. Средняя абсолютная ошибка по гранулометрическому составу за весь период испытаний составила менее 5%.

Результат

Проведенный тестовый запуск (MVP) системы продемонстрировал её эффективность. Высокие показатели работы нейронных сетей свидетельствуют о готовности системы к внедрению в промышленную эксплуатацию.

Решение обладает потенциалом для масштабирования на другие месторождения и конвейеры, поскольку на данный момент его применение было ограничено двумя точками.

К числу главных достижений проекта можно отнести успешное решение проблемы негабаритных предметов. Это достижение полностью окупает инвестиции в проект.
Второе важное достижение – значительное сокращение времени получения данных о гранулометрическом составе руды, с двух часов до десяти секунд. Такая оперативность позволяет осуществлять точный контроль и регулирование оптимальной нагрузки на мельницу в режиме реального времени.

Автор: @redmadrobot
Источник: https://habr.com/