Почему физика по-прежнему ограничивает возможности применения искусственного интеллекта в машинном зрении? Сегодня мы сосредоточимся на вопросе о том, насколько сильно геометрические и оптические свойства самого исследуемого объекта определяют конструкцию системы машинного зрения – иными словами, подложки, на которой отображаются элементы.
На практике именно здесь часто принимается решение о том, будет ли система контроля работать надежно или потерпит неудачу из-за основных законов физики.
Как геометрия объекта влияет на производительность машинного зрения
Геометрия подложки зачастую может быть плоская, ребристая, изогнутая. Причем, геометрия исследуемого объекта играет центральную роль и напрямую влияет на то, как свет взаимодействует с поверхностью и как проявляются стабильные элементы:
- Плоские, плоские поверхности обычно можно сравнительно легко визуализировать с помощью классических вариантов установки (коаксиальное, купольное, площадное освещение).
- Структурированные, ребристые, текстурированные или фрезерованные поверхности создают сильные колебания интенсивности в зависимости от направления освещения, что может маскировать или имитировать контраст дефектов.
- Изогнутые или сильно трехмерные детали приводят к сильно варьирующимся углам падения и отражения, вызывая локальную переэкспозицию и затенение.
Это напрямую влияет на размещение камер и источников света:
Оптимальные стратегии освещения для различных геометрических форм поверхностей
- Для плоских поверхностей оптическая ось часто может быть ориентирована почти перпендикулярно объекту; в этом случае освещение выбирается таким образом, чтобы подчеркнуть определенные отражающие или рассеянные компоненты (например, коаксиальное или купольное освещение).
- Для ребристых структур часто бывает полезно сочетание нескольких направлений освещения, чтобы минимизировать направленные эффекты; в качестве альтернативы, специально выбранное косое освещение может выделить одни края, подавляя другие.
- Для изогнутых деталей один точечный источник света почти всегда представляет проблему. Более надежными обычно являются большие, предпочтительно замкнутые источники (купола, светильники большой площади, кольцевые светильники большого диаметра) или множественные/подвижные источники освещения.
Особенно в приложениях искусственного интеллекта, необходимо избегать ситуаций, когда артефакты, обусловленные исключительно формой (например, «горячие точки» на изогнутых участках), воспринимаются как дефекты. Поэтому концепция освещения, учитывающая геометрию, имеет важное значение.
Оптические свойства поверхности могуть быть матовые, отражающие и прозрачные поверхности. Помимо геометрии, свойства материала подложки определяют, как будет обрабатываться свет:
- Матовые, диффузно отражающие поверхности рассеивают свет практически независимо от угла падения; контраст в основном возникает за счет различий в отражательной способности.
- Отражающие, глянцевые поверхности более точно подчиняются закону отражения; небольшие угловые изменения могут вызывать значительные различия в интенсивности.
- Прозрачные или полупрозрачные материалы добавляют к этому эффекту пропускания, преломления и объемного рассеяния.
 |
 |
| Глянцевая поверхность | |
 |
 |
| Структурированная поверхность | |
 |
 |
| Матовая поверхность | |
Выбор оптимального освещения для каждого типа материала
- Матовые поверхности: Цель — однородное, стабильное освещение с высоким соотношением сигнал/шум. Площадные источники света, рассеиватели и, при необходимости, поляризационные фильтры как на источнике света, так и на линзе помогают уменьшить остаточные блики.
- Глянцевые поверхности: Необходимо четко определить, следует ли использовать или подавлять зеркальное отражение. Коаксиальное освещение подходит для равномерного осветления плоских, зеркальных поверхностей, в то время как дефекты (царапины, остатки) создают контраст. Низкоугловое или темнопольное освещение, напротив, подчеркивает края, царапины и топографические дефекты.
- Прозрачные/полупрозрачные поверхности: Подсветка часто полезна для выделения краев и неоднородностей пропускания света. Для дефектов поверхности на прозрачных деталях косое или соосное освещение , опять же часто в сочетании с поляризацией, помогает контролировать мешающие отражения от окружающей среды.
Размещение камеры тесно связано со следующими свойствами: если зеркальное отражение используется намеренно, камеру следует размещать в направлении отражения; если отражение нежелательно, оптику намеренно поворачивают под этими углами.
Учет реальных погодных условий: ржавчина, старение и воздействие окружающей среды.
Сценарии, в которых сама основа сильно различается, представляют собой особенно сложную задачу – как локально в пределах одной части, так и глобально между частями. Типичные примеры включают:
- Ржавчина на металлических деталях, хранящихся на открытом воздухе.
- Изношенные от непогоды железнодорожные шпалы/подкладки
- Поверхности, измененные грязью, влагой или биологическими наростами.
В этих случаях геометрические и оптические изменения перекрываются, и идеальная эталонная поверхность больше не существует.
- Геометрические изменения (отслаивание, шероховатость поверхности, износ)
- Оптические изменения (сдвиг цвета, изменение шероховатости и, следовательно, изменение отражательной способности).
- Частичная, сильная гетерогенность как внутри одной выборки, так и между различными выборками.
Почему согласованность освещения имеет решающее значение для моделей искусственного интеллекта
В контексте проектирования освещения это означает:
- Идеальные «эталонные изображения» с абсолютной однородностью практически недостижимы. Вместо этого необходимо максимально повысить устойчивость установки к таким вариациям.
- Крупные рассеянные источники света (купола, панели большой площади) помогают избежать локальных сильных отражений и сгладить микроскопическую шероховатость.
- Тщательно подобранный угол падения может гарантировать, что шероховатые, корродированные структуры останутся видимыми, но при этом не допустит, чтобы каждое пятно ржавчины доминировало на изображении, когда основное внимание уделяется другим типам дефектов (например, трещинам или структурным повреждениям).
Временная стабильность также имеет значение:
- Наружные системы подвержены воздействию изменяющегося окружающего освещения, грязи и влаги.
- Защита от окружающего света, прочные, закрытые осветительные приборы и регулярная калибровка (возможно, с использованием эталонных мишеней) имеют важное значение.
Модели искусственного интеллекта получают значительную выгоду, если система освещения последовательно учитывает нормальные изменения состояния подложки, что позволяет надежно обнаруживать истинные аномалии, несмотря на сильно меняющиеся условия поверхности.
- Осевое и внеосевое расположение : свет вводится вдоль оптической оси (коаксиально) или используются наклонные источники света?
- Кольцевое, линейное, зональное или купольное освещение : должен ли свет быть направленным или равномерно распределенным?
- Статические или последовательные настройки : достаточно ли одной конфигурации освещения на одно сканирование, или для выявления различных типов дефектов и поверхностных эффектов необходимо последовательно использовать несколько вариантов освещения?
Многоуровневые методы освещения для надежной проверки с помощью ИИ — более качественные данные для принятия более взвешенных решений.
Для сильно изменчивых или сложных поверхностей часто бывает полезно
- Осуществите съемку сцены с использованием нескольких источников света, ориентированных по-разному.
- сгенерировать несколько изображений с различными настройками освещения (например, комбинацию темнопольного, коаксиального и купольного освещения).
- объединять эти изображения в единое комбинированное «изображение освещения» там, где это уместно (например, по каналам, используя операции max/min или взвешенное усреднение), и только после этого полученное изображение с множественным освещением передается в модель ИИ для оценки.
Это делает проверку менее чувствительной к локальным выбросам (горячим точкам, теням) и помогает оценке — будь то классической или основанной на ИИ — лучше отделять паттерны интенсивности, соответствующие важным характеристикам, от тех, которые вызваны исключительно материальными и световыми эффектами.
Почему понимание физики имеет важное значение для компьютерного зрения в искусственном интеллекте
Тщательный анализ геометрии и оптических свойств подложки — это не теоретическая роскошь, а основа любого надежного решения в области машинного зрения.
Пропуск этого шага и «простой выбор камеры» чреват тем, что как классические алгоритмы, так и модели искусственного интеллекта никогда не смогут полностью раскрыть свой потенциал.
Часто задаваемые вопросы
Почему системы инспекции на основе ИИ терпят неудачу, несмотря на наличие качественных моделей?
Во многих случаях проблема заключается не в модели, а в качестве изображения. Если освещение, геометрия и свойства материалов не контролируются должным образом, система обучается нестабильным или нерелевантным признакам. Даже самый лучший ИИ не может компенсировать плохие физические условия.
Какое освещение является оптимальным для систем машинного зрения?
Универсального решения не существует. Оптимальное освещение зависит от геометрии и материала объекта. Для плоских поверхностей часто хорошо подходит коаксиальное или рассеянное освещение, в то время как для структурированных или изогнутых деталей обычно требуется многонаправленное или широкомасштабное освещение.
Почему так сложно осматривать отражающие или глянцевые поверхности?
Поскольку небольшие изменения угла могут вызывать значительные колебания интенсивности отраженного света, это приводит к бликам, засветкам и нестабильному контрасту, что может сбивать с толку как традиционные алгоритмы, так и модели искусственного интеллекта.
Может ли увеличение объема обучающих данных исправить плохие условия освещения?
Лишь в ограниченной степени. Хотя больше данных может помочь, они не могут полностью компенсировать непоследовательность или физические недостатки при получении изображений. Улучшение настроек освещения зачастую гораздо эффективнее, чем увеличение размера набора данных.
Как я могу повысить надежность своей системы инспекции с использованием искусственного интеллекта?
Сосредоточьтесь на стабильном и учитывающем физические законы изображении. Используйте стабильное освещение, уменьшите нежелательные отражения и спроектируйте свою установку таким образом, чтобы она учитывала естественные различия в материалах и поверхностях. Во многих случаях сочетание нескольких стратегий освещения значительно повышает надежность.