Человекоцентричное машинное зрение: этика, доверие и удобство использования

Машинное зрение стало одной из наиболее революционных областей искусственного интеллекта, позволяя машинам интерпретировать визуальную информацию и действовать на её основе способами, которые ранее были доступны только человеку. Сегодня оно лежит в основе таких приложений, как медицинская диагностика, видеонаблюдение, промышленная автоматизация и автономное вождение. Эти системы часто хвалят за их способность быстро и точно обрабатывать огромные объемы визуальных данных, что делает их привлекательными инструментами в секторах, где точность и эффективность имеют решающее значение.

Однако дискуссии вокруг машинного зрения, как правило, в значительной степени сосредоточены на показателях производительности, таких как точность или скорость обработки, игнорируя при этом человеческий опыт тех, кто использует эту технологию или на кого она влияет. Для многих специалистов вопросы доверия, удобства использования и этики так же важны, как и технические возможности. Опасения по поводу прозрачности, предвзятости и подотчетности продолжают формировать общественное и профессиональное отношение к машинному зрению. В некоторых контекстах эти опасения замедлили или даже предотвратили внедрение, несмотря на доказанные технические преимущества этих систем.

Данное исследование восполняет этот пробел, используя качественный подход для изучения того, как профессионалы воспринимают и используют машинное зрение на практике. Вместо измерения результатов работы системы, оно стремится понять реальные условия использования пользователями: насколько они доверяют этим системам, с какими проблемами сталкиваются при их интеграции в рабочие процессы и какие этические проблемы возникают в повседневной работе. Сосредоточившись на человеческой перспективе, исследование направлено на получение информации, дополняющей существующие технические оценки, и на предложение способов разработки и внедрения машинного зрения, которые были бы не только эффективными, но и заслуживающими доверия, удобными в использовании и этически обоснованными.

2.1. Техническая перспектива

Машинное зрение, часто называемое компьютерным зрением, — это область искусственного интеллекта, которая позволяет машинам интерпретировать и обрабатывать визуальные данные из окружающей среды таким образом, чтобы имитировать или расширять человеческое зрение [17]. По своей сути, машинное зрение включает в себя получение, анализ и понимание изображений или видеопотоков для извлечения значимой информации. Обычно это достигается за счет сочетания методов обработки изображений, распознавания образов и алгоритмов глубокого обучения. Хотя ранние системы машинного зрения ограничивались подходами, основанными на правилах, и простым анализом изображений, недавние достижения в области сверточных нейронных сетей (CNN) и генеративно-состязательных сетей (GAN) значительно расширили возможности и производительность таких систем [7, 11].

В здравоохранении машинное зрение произвело революцию в медицинской визуализации. Модели на основе глубокого обучения теперь применяются в радиологии, дерматологии и офтальмологии для обнаружения опухолей, классификации поражений кожи и выявления заболеваний сетчатки, часто с точностью, сопоставимой или превосходящей точность специалистов-людей [18]. Эти инструменты не только повышают точность диагностики, но и способствуют раннему выявлению, потенциально снижая смертность от таких заболеваний, как рак и диабетическая ретинопатия. Помимо диагностики, системы машинного зрения все чаще используются в хирургии под контролем изображений, где они помогают хирургам, улучшая визуализацию анатомических структур в реальном времени [12].

В сфере безопасности и видеонаблюдения системы компьютерного зрения широко используются для распознавания лиц, обнаружения аномалий и анализа поведения. Такие системы развертываются в аэропортах, транспортных узлах и проектах «умных городов» для повышения безопасности и эффективности. Однако, хотя в технических отчетах подчеркивается улучшение точности распознавания, производительность часто снижается при плохом освещении или в различных демографических условиях [3].

Розничная торговля также внедрила технологии машинного зрения для преобразования клиентского опыта и операционной деятельности. Системы самообслуживания, автоматическое распознавание товаров и управление запасами на полках в режиме реального времени демонстрируют, как системы машинного зрения снижают затраты на рабочую силу и оптимизируют цепочки поставок [19]. Анализируя модели перемещения и взаимодействия покупателей, ритейлеры также используют аналитику на основе машинного зрения для целевого маркетинга и оптимизации планировки.

В транспортной сфере машинное зрение имеет важное значение для автономного вождения и интеллектуальных транспортных систем. Самоуправляемые транспортные средства используют алгоритмы машинного зрения для обнаружения полосы движения, распознавания препятствий, классификации дорожных знаков и отслеживания пешеходов [9, 10]. Помимо автономных автомобилей, машинное зрение улучшает мониторинг транспортного потока и системы предотвращения столкновений в авиации и железнодорожном транспорте.

2.2. Исследования, ориентированные на человека

Искусственный интеллект, ориентированный на человека (HCAI), подразумевает разработку и внедрение систем ИИ, которые ставят во главу угла человеческие потребности, ценности и возможности. В отличие от традиционных подходов к ИИ, которые фокусируются исключительно на технических характеристиках, HCAI уделяет особое внимание пользовательскому опыту, этическим соображениям и влиянию на общество. Эта парадигма направлена ​​на создание инструментов ИИ, которые расширяют возможности человека и способствуют укреплению доверия между пользователями.

Топол [18] утверждает, что ценность машинного зрения в здравоохранении зависит как от доверия врачей, так и от технической точности. Аналогично, исследования в области человекоцентрированного ИИ показывают, что доверие к автоматизированным системам формируется объяснимостью, интерпретируемостью и удобством использования, а не только точностью [13, 14]. Врачи, сотрудники служб безопасности и инженеры часто колеблются, прежде чем полностью внедрить эти системы, когда результаты непрозрачны или интерфейсы сложны для навигации. Например, диагностические инструменты, предоставляющие результаты без контекстных объяснений, могут скорее перегружать медицинских работников, чем помогать им. В таких ответственных сферах, как транспорт, даже незначительные проблемы с удобством использования могут подорвать доверие, показывая, что интеграция машинного зрения в рабочие процессы так же важна, как и его производительность.

В недавних исследованиях были предложены концепции повышения объяснимости систем ИИ в здравоохранении. Комплексный обзор Шмагера и др. [16] подчеркивает необходимость понимания вовлеченных и затронутых людей, акцентируя внимание на использовании методов человекоцентрированного проектирования. Эти концепции направлены на то, чтобы дать возможность специалистам принимать решения в сотрудничестве с ИИ, гарантируя, что системы не только технически совершенны, но и соответствуют человеческим ценностям и потребностям. Оценка объяснимого ИИ (XAI) в клиническом принятии решений выявила ключевые показатели, такие как клиническая интерпретируемость, точность и ценность. Исследование Высоцки и др. [20] оценило коммуникационный разрыв между моделями ИИ и медицинскими работниками, сосредоточившись на объяснимости, полезности и доверии. Их выводы показывают, что, хотя XAI в целом хорошо воспринимается, остаются значительные проблемы, такие как высокая когнитивная нагрузка, несоответствие клиническим знаниям и отсутствие раннего вовлечения заинтересованных сторон. Эти выводы подчеркивают важность согласования методов оценки ИИ с потребностями различных заинтересованных сторон для преодоления социально-технического разрыва в системах поддержки принятия клинических решений на основе ИИ.

Искусственный интеллект, ориентированный на человека, также подчеркивает аспект сотрудничества между людьми и системами ИИ. Социотехнический подход рассматривает ИИ не просто как технологический инструмент, а как члена команды, который синергетически объединяет возможности человека и ИИ для достижения общих целей. Эта перспектива имеет решающее значение в здравоохранении, где системы ИИ могут помогать врачам в процессе принятия решений, что приводит к улучшению результатов лечения пациентов и повышению эффективности рабочих процессов.

2.3. Этика и управление

Этика и управление в сфере искусственного интеллекта (ИИ) охватывают рамки, принципы и практики, которые регулируют разработку, внедрение и надзор за технологиями ИИ, чтобы обеспечить их соответствие общественным ценностям, правам человека и правовым стандартам. Эта область рассматривает такие вопросы, как справедливость, подотчетность, прозрачность, конфиденциальность и смягчение предвзятости, стремясь к укреплению доверия и обеспечению справедливых результатов в системах ИИ.

Буоламвини и Гебру [3] подчеркивают, что алгоритмическая предвзятость представляет значительные риски для справедливости в машинном зрении, особенно в системах распознавания лиц, где частота ошибок непропорционально выше для людей с более темной кожей и женщин. Эти различия подпитывают дебаты о том, следует ли ограничивать такие системы в контексте правоохранительных органов или общественного наблюдения.

Помимо предвзятости, Морли и др. [13, 14] отмечают, что этические проблемы распространяются на конфиденциальность, согласие и подотчетность. Системы наблюдения вызывают вопросы о гражданских свободах, а использование данных медицинской визуализации для обучения алгоритмов обработки изображений вызывает опасения по поводу конфиденциальности.

Вопрос подотчетности остается особенно проблематичным, поскольку неясно, кто несет ответственность за ошибки: разработчики, организации или конечные пользователи. Системы управления начали решать эти проблемы, но регулирование остается непоследовательным и отстает от технологического развития. Этические последствия ИИ также включают в себя проблемы конфиденциальности, особенно в отношении сбора, хранения и использования данных.

Системы ИИ часто требуют доступа к огромным объемам персональных данных, что поднимает вопросы о согласии, минимизации данных и потенциальной возможности несанкционированного доступа или атак с целью повторной идентификации. Использование биометрических данных, таких как распознавание лиц, еще больше усложняет эти вопросы, требуя надежных мер защиты данных и соблюдения законов о конфиденциальности для защиты прав и свобод отдельных лиц. Обеспечение подотчетности в системах ИИ предполагает установление четких линий ответственности за решения, принимаемые этими технологиями.

Это включает в себя определение того, кто несет ответственность, когда системы ИИ причиняют вред или принимают ошибочные решения. Прозрачность тесно связана с подотчетностью, поскольку она позволяет тщательно контролировать процессы принятия решений в системах ИИ. Однако многие системы искусственного интеллекта, особенно основанные на глубоком обучении, работают как «черные ящики», что затрудняет понимание того, как принимаются решения. Эта непрозрачность может подорвать доверие и затруднить привлечение организаций к ответственности за результаты, полученные с помощью ИИ.

Системы управления имеют важное значение для контроля за развитием ИИ и обеспечения учета этических аспектов на протяжении всего жизненного цикла систем ИИ. Эти системы часто представляют собой сочетание саморегулирования со стороны заинтересованных сторон отрасли и внешнего регулирования со стороны государственных органов. Однако быстрые темпы развития ИИ часто опережают возможности существующих нормативных актов, что приводит к пробелам в надзоре. Во всем мире предпринимаются усилия по разработке всеобъемлющих структур управления ИИ, которые учитывают этические проблемы и способствуют ответственной практике использования ИИ. Организации играют решающую роль в этичном внедрении технологий ИИ. Внедрение этичных практик в области ИИ включает в себя разработку внутренних политик, способствующих справедливости, прозрачности и подотчетности.

Это включает в себя проведение регулярных проверок систем ИИ на предмет предвзятости, обеспечение разнообразия в обучающих данных и формирование культуры этической осведомленности среди специалистов по ИИ. Принимая эти практики, компании могут снизить риски, связанные с ИИ, и внести свой вклад в разработку надежных и справедливых систем ИИ. Помимо этих этических рамок, соответствующие исследования в области взаимодействия человека с компьютером и критических исследований данных предлагают ценную информацию о справедливости, подотчетности и прозрачности в области ИИ. Конференция ACM по справедливости, подотчетности и прозрачности (FAccT) развила сильную исследовательскую традицию анализа социально-технических последствий алгоритмических систем [1]. Аналогично, Гейтс [6] в своей работе «Наше биометрическое будущее» представляет критическую этнографию технологий распознавания лиц, показывая, как методы наблюдения переплетаются с культурными представлениями об идентичности и управлении. Интеграция этих перспектив помещает данное исследование в более широкий междисциплинарный диалог, связывающий техническую этику с профессиональным опытом.

2.4. Выявление пробелов

Несмотря на широкий спектр технических исследований, большая часть литературы по-прежнему делает акцент на разработке алгоритмов и бенчмарках производительности. Шелиски [17] дает всесторонний обзор методов компьютерного зрения, в то время как Крижевский и др. [9, 10] демонстрируют преобразующую силу моделей глубокого обучения, таких как AlexNet, в повышении точности классификации изображений. Эти технические достижения вывели машинное зрение на новый уровень возможностей, но одновременно сузили исследовательское внимание до вычислительной эффективности и уменьшения ошибок, затмив более широкие социально-технические исследования.

Буоламвини и Гебру [3] и Морли и др. [13, 14] подчеркивают, что этические и социальные проблемы, такие как справедливость, предвзятость и подотчетность, все чаще признаются. Однако по-прежнему существует ограниченное количество исследований, изучающих, как пользователи — врачи, пациенты, инженеры или обычные граждане — на самом деле воспринимают технологии машинного зрения в реальных условиях. Существующие исследования в подавляющем большинстве случаев опираются на количественные показатели производительности, игнорируя субъективные факторы, такие как доверие, интерпретируемость и удобство использования. Это пренебрежение создает пробел в понимании того, как техническая производительность преобразуется в социальное принятие и практическую полезность.

Исследователи начали призывать к использованию качественных подходов в дополнение к количественным оценкам. Кейн [4] утверждает, что качественные методы необходимы для выявления тонких нюансов взаимодействия человека и ИИ, особенно в отношении воспринимаемой прозрачности и доверия. Аналогично, Инь и др. [21] предполагают, что исследования с использованием смешанных методов могут преодолеть разрыв между техническими оценками и оценками, ориентированными на пользователя, путем учета как числовых показателей производительности, так и субъективного жизненного опыта. Без этих перспектив исследования рискуют создать технологически продвинутые системы, которые не соответствуют ожиданиям пользователей или общественным стандартам.

Выявление и устранение этих пробелов имеет решающее значение для согласования развития машинного зрения с потребностями общества. Благодаря использованию качественных методов исследования и методов вовлечения общественности, ученые и практики могут получить целостное понимание динамики внедрения. Такие подходы предоставляют практические рекомендации по повышению доверия, удобства использования и этической приемлемости в различных областях применения, гарантируя, что технологии машинного зрения не только эффективны, но и социально ответственны и ориентированы на пользователя.

Данное исследование использует интерпретативную парадигму и задумано как поисковое качественное исследование. Интерпретативная позиция уместна, поскольку она ставит во главу угла смыслы, которые люди придают своему опыту, признавая, что знание социально конструируется и зависит от контекста. Учитывая, что исследование сосредоточено на выявлении того, как профессионалы воспринимают доверие, удобство использования и этические вопросы в машинном зрении, качественный подход обеспечивает гибкость для получения глубоких и тонких перспектив, недоступных с помощью количественных методов [5]. Данные для этого исследования были собраны в период с марта по июнь 2024 года. Дизайн исследования был полностью реализован, как описано, в результате чего был получен всеобъемлющий набор данных интервью и фокус-групповых дискуссий. Таким образом, эмпирическая работа служит основой для анализа, представленного в этой статье, а не представляет собой перспективное или запланированное исследование.

В исследовании участвовали специалисты, непосредственно взаимодействующие с системами машинного зрения, включая врачей, использующих медицинскую визуализацию с помощью ИИ, сотрудников службы безопасности, управляющих технологиями наблюдения, и инженеров, участвующих в проектировании или внедрении автономных систем. Для обеспечения включения лиц с соответствующей экспертизой и опытом были отобраны от 20 до 30 участников методом целенаправленной выборки. Участники были набраны из учреждений в Соединенном Королевстве, Гане и Канаде.

Такая межрегиональная выборка позволила получить сравнительные данные из регионов с высокими ресурсами и развивающихся стран, отражающие различия в зрелости регулирования, инфраструктуре данных и общественном доверии к ИИ. Хотя исследование не претендует на статистическое обобщение, включение разнообразных профессиональных и географических контекстов обогащает понимание того, как доверие и этическая осведомленность проявляются в различных социальных и институциональных условиях. Эта стратегия выборки не была направлена ​​на получение статистических обобщений, а скорее на предоставление ценных данных в различных контекстах применения [15].

Хотя участники представляли разные профессии, их объединяло непосредственное взаимодействие с системами на основе машинного зрения в процессе принятия решений. Общая опора на машинное зрение для задач оценки и проверки обеспечила целостную аналитическую основу, в то время как межотраслевые различия были изучены для выявления контекстуальных расхождений в формировании доверия, проблемах удобства использования и этических приоритетах. Этот подход следует интерпретативной логике, подчеркивая сравнение в различных профессиональных условиях, а не объединение в однородную совокупность.

3.1. Профиль и контекст участников

Для более ясного понимания эмпирической основы данного исследования в этом разделе изложены характеристики 27 участников, чьи выводы легли в основу анализа. Вся идентифицирующая информация была заменена псевдонимами, а организационные атрибуты были анонимизированы, при этом сохранено достаточное количество контекстных деталей для обеспечения достоверности интерпретации.

Участники представляли три широких сектора, в которых регулярно используются инструменты машинного зрения: здравоохранение, безопасность и видеонаблюдение, а также машиностроение/промышленная автоматизация. В группу здравоохранения вошли рентгенологи, специалисты по ультразвуковой диагностике, хирурги и администраторы клиник из крупной государственной университетской больницы в Великобритании и двух региональных больниц в Канаде. Эти участники использовали такие системы, как платформы для обнаружения опухолей с помощью ИИ, инструменты для сортировки изображений и автоматизированное программное обеспечение для выделения аномалий, интегрированное в рабочие процессы радиологии.

В состав группы специалистов по безопасности вошли сотрудники муниципального оперативного центра безопасности и частной охранной фирмы в Гане, использующие системы распознавания лиц, инструменты анализа поведенческих паттернов и панели мониторинга с несколькими камерами. Их роли варьировались от операторов видеонаблюдения до аналитиков-руководителей, которые проверяют и подтверждают оповещения, генерируемые программным обеспечением для видеонаблюдения.

В состав инженерной группы входили инженеры по автоматизации, специалисты по робототехнике и технологи по обеспечению качества из одной канадской фирмы и одной британской производственной компании. Они регулярно работали с промышленными инспекционными камерами, системами классификации дефектов и модулями машинного зрения, встроенными в роботизированные сборочные линии.

Участники имели от 2 до 18 лет профессионального опыта и от 1 до 7 лет непосредственного знакомства с технологиями машинного зрения. Хотя уровень их технической подготовки различался, все участники занимали должности, требующие интерпретации, проверки или принятия мер на основе результатов работы систем машинного зрения в реальных условиях. Это разнообразие позволило получить широкое и сравнительное понимание того, как вопросы доверия, удобства использования и этические аспекты проявляются в различных институциональных и инфраструктурных средах.

В таблице  1  ниже приведена сводная информация об анонимизированных ролях, секторах, регионах, используемых системах машинного зрения и уровнях опыта участников исследования. Вся идентифицирующая информация была удалена в соответствии с политикой двойной анонимной проверки.

В таблице 1 представлен обзор участников, их отраслей, ролей, регионов и используемых ими систем машинного зрения.

4.1. Результаты

Тематический анализ интервью выявил четыре основные темы: доверие и надежность, удобство использования и интеграция в рабочие процессы, этические вопросы и проблемы внедрения.

4.1.1  Доверие и надежность

Участники подчеркнули, что их готовность доверять системам машинного зрения зависела не столько от сообщаемых показателей точности, сколько от прозрачности и интерпретируемости результатов. Например, врачи отметили, что диагностические рекомендации имеют ограниченную ценность, если представлены без подтверждающих объяснений. Аналогично, сотрудники службы безопасности объяснили, что одна ложная тревога может значительно подорвать их доверие к технологиям наблюдения, независимо от общей производительности системы. Это подчеркнуло, что надежность с точки зрения пользователей тесно связана с интерпретируемостью и согласованностью, а не только с числовыми показателями.

Например, рентгенолог из университетской больницы в Великобритании объяснил: «Когда система выделяет проблемную область, мне нужно понимать, почему она это сделала, иначе это добавляет неопределенности, а не уверенности». В противоположность этому, аналитик по безопасности из Ганы отметил: «Даже одна ложная тревога может вызвать сомнения; мы начинаем сомневаться во всей логике принятия решений системой». Инженеры, работающие над промышленными инструментами контроля, описали аналогичные сомнения, когда результаты колебались при одинаковых визуальных входных данных. Эти примеры показывают, что надежность понималась не как статический показатель, а как динамическое, взаимосвязанное качество, формирующееся в процессе повседневного использования.

4.1.1.1  Иллюстративные цитаты: доверие и надежность

Несколько участников описали конкретные моменты, когда доверие формировалось в ходе повседневных взаимодействий, а не на основе абстрактных утверждений о точности. Опытный радиолог (Великобритания) вспомнила эпизод, когда тепловая карта, сгенерированная диагностическим инструментом, противоречила ее клиническому заключению: «Система пометила область как “высокий риск”, но это не соответствовало анатомическому рисунку, который мы обычно связываем со злокачественными новообразованиями. Я приостановила консультацию, вернулась к исходному снимку и, по сути, была вынуждена заново проводить анализ вручную. В тот момент ИИ не уменьшил неопределенность, а, наоборот, добавил ее».

Аналитик по безопасности из Ганы описал похожую ситуацию, но в контексте наблюдения: «Однажды мы получили оповещение, которое определило сотрудника как „повторно подозрительного человека“. Это было явно неверно, но поскольку система зафиксировала это автоматически, мне пришлось обосновывать необходимость отмены оповещения. Такие инциденты заставляют усомниться в том, понимает ли система вообще окружающую обстановку».

Инженеры также указали на проблемы с надежностью, связанные с изменчивостью контекста: «На сборочной линии камера иногда неправильно классифицировала совершенно исправные компоненты, когда солнечный свет попадал на угол конвейера. Модель вела себя так, как будто деталь изменилась, хотя на самом деле проблема была в освещении. В такие моменты начинаешь задумываться о том, какие еще скрытые особенности вы еще не обнаружили».

4.1.2.  Удобство использования и интеграция рабочих процессов

Участники из разных секторов описывали трудности с удобством использования как существенное препятствие для внедрения. Медицинские работники отмечали, что результаты диагностических инструментов часто требуют дополнительных усилий для интерпретации, что создает проблемы в условиях быстрого темпа работы и ограниченного времени. Инженеры, работающие над автономными системами, сообщали, что нечеткие или задержанные оповещения иногда усложняют процессы принятия решений. В обоих случаях отсутствие интуитивно понятного дизайна и бесшовной интеграции в рабочие процессы ограничивало практическую пользу этих технологий. Медицинские работники подчеркивали противоречие между сложностью системы и скоростью рабочего процесса: «Искусственный интеллект добавляет шаги к нашей рутине; нам часто приходится перепроверять его результаты, что сводит на нет цель экономии времени». В сфере безопасности участники описывали ограниченную совместимость между старыми системами мониторинга и новыми инструментами машинного зрения, что приводит к дублированию экранов и усталости от оповещений. Инженеры отмечали, что задержка визуальной обратной связи во время автоматизированной проверки качества «вынуждала к ручному вмешательству», что свидетельствует о продолжающемся диалоге между человеком и автоматизированными системами на практике.

4.1.2.1  Отраслевой пример: удобство использования и рабочий процесс

Одной из повторяющихся проблем, с которыми сталкиваются медицинские работники, является неудобство, создаваемое плохо интегрированными интерфейсами. Одна сонографистка описала утренний прием, во время которого отмеченные искусственным интеллектом области постоянно закрывали необходимые ей анатомические обозначения: «Наложенные рамки постоянно закрывали обозначения, на которые я полагаюсь. Мне приходилось несколько раз переключаться между окнами, чтобы их прочитать. Когда вы сканируете двадцать пациентов подряд, эти дополнительные действия действительно отвлекают от работы».

Специалисты по безопасности также сообщали о сбоях в рабочем процессе при переключении между устаревшими системами и системами с поддержкой ИИ: «Наши старые мониторы показывают необработанный поток данных, но панель мониторинга ИИ находится на отдельном экране. Когда появляется оповещение, приходится переключаться между двумя интерфейсами, каждый со своей временной меткой. Теряется время только на выравнивание представлений».

Участники инженерного отдела описали схожие ограничения удобства использования, возникающие из-за задержек в обработке данных: «Если классификация системы занимает больше секунды или двух, робот приостанавливается, и у нас образуется очередь. В этот момент «умная» функция становится узким местом, а не вспомогательным средством».

4.1.3  Этические вопросы

Этические вопросы неоднократно поднимались в ходе интервью, особенно в отношении предвзятости и конфиденциальности. Специалисты по безопасности выражали обеспокоенность по поводу неравномерных результатов, получаемых инструментами распознавания лиц в разных демографических группах, что, по их мнению, может подорвать справедливость в правоохранительных органах. Участники из сферы здравоохранения выражали беспокойство по поводу вторичного использования данных изображений пациентов в целях обучения, ставя под сомнение соблюдение надлежащих процедур получения согласия. Более широкая проблема, поднятая в различных секторах, касалась ответственности: респонденты не были уверены в том, кто должен нести ответственность за ошибки — разработчики, создавшие системы, учреждения, которые их внедрили, или лица, которые на них полагались. Этические вопросы для участников не были абстрактными, а напрямую связаны с их профессиональными обязанностями. Администратор больницы выразил обеспокоенность тем, что «изображения пациентов повторно использовались для обучения ИИ без четкой процедуры получения согласия», а менеджер по безопасности выразил беспокойство тем, что «распознавание лиц чаще указывало на определенные этнические группы, и нам приходилось вручную обосновывать эти результаты перед руководством». Инженеры подняли другую проблему: непрозрачность сторонних модулей машинного зрения, из-за которой «невозможно отследить ответственность в случае сбоя компонента или появления предвзятых результатов». Эти истории демонстрируют, как этические принципы, предвзятость и ответственность проявляются и обсуждаются по-разному в различных контекстах.

4.1.3.1  Жизненный этический опыт: предвзятость, неприкосновенность частной жизни и ответственность

Участники привели конкретные примеры, иллюстрирующие возникновение этических проблем на практике. Руководитель службы безопасности описал усиленный контроль за определенными демографическими группами из-за алгоритмической предвзятости: «Программное обеспечение гораздо чаще отмечало молодых людей с более темной кожей. Даже когда мы знали, что оповещения ложны, система создавала документальное подтверждение, требующее дополнительной отчетности. Это ставило нас в положение, когда нам приходилось защищать людей от предположений системы».

Один из администраторов медицинских учреждений Канады выразил обеспокоенность по поводу согласия на повторное использование данных: «Некоторые данные визуализации были переданы поставщику для улучшения его модели. Пациенты не давали на это явного согласия. Даже если данные были анонимизированы, сама мысль о том, что они выходят за пределы больницы, вызывала у многих из нас дискомфорт».

Инженеры подняли еще одну этическую проблему, связанную с непрозрачными алгоритмами поставщиков: «Когда происходит неправильная классификация, мы не можем отследить, какой компонент модели принял это решение. Мы отвечаем за контроль качества, но у нас нет инструментов, чтобы понять, что пошло не так. Это делает вопрос ответственности неясным».

4.1.4  Проблемы внедрения

Последней выявленной темой стала сложность достижения широкого внедрения. Участники часто указывали на ограниченную прозрачность в отношении того, как генерируются результаты, и недостаточную организационную подготовку как на барьеры для эффективного использования. Несколько специалистов отметили, что они с большей вероятностью внедрят эти системы, если объяснения будут более понятными и если организации будут больше инвестировать в подготовку персонала для работы с ними.

В совокупности эти результаты показали, что для внедрения требуется не только техническая надежность; оно зависит от мер по укреплению доверия и институциональной поддержки. Также выявились региональные различия. Участники из регионов с ограниченными ресурсами подчеркивали инфраструктурные и образовательные ограничения: «У нас есть программное обеспечение, но нет надежного подключения или подготовки персонала для его эффективного использования», — сказал один инженер.

В отличие от них, участники из крупных медицинских учреждений указывали на организационную нерешительность из-за рисков ответственности: «Пока регулирующие органы не прояснят, кто несет ответственность за ошибки ИИ, больницы будут оставаться осторожными». Такие контрасты подчеркивают, что на внедрение влияют как культурные, так и институциональные условия.

4.1.4.1  Краткие примеры внедрения: институциональные и инфраструктурные барьеры

Руководитель радиологического отделения в Великобритании описал институциональные сомнения, вызванные опасениями по поводу ответственности: «У нас была готова система для пилотного внедрения, но наша юридическая команда не могла определить, кто будет нести ответственность за диагностические ошибки, если в них будет участвовать ИИ. Пока это не прояснится, внедрение застопоривается не потому, что технология плохая, а потому, что цепочка ответственности неясна».

Инженер с автоматизированного производственного предприятия подчеркнул наличие инфраструктурных недостатков: «Система машинного зрения зависит от стабильной скорости сети. Даже кратковременное замедление приводит к пропуску кадров моделью. Руководство хочет масштабировать систему, но без модернизации инфраструктуры это просто невозможно».

4.2. Обсуждение

Результаты показали, что одних лишь технических характеристик недостаточно для обеспечения доверия или широкого использования систем машинного зрения. Акцент, который участники делали на интерпретируемости, подтверждает аргумент Морли и др. [13, 14] о том, что объяснимость имеет важное значение для внедрения, ориентированного на человека. В частности, нежелание врачей полагаться на результаты без контекстных объяснений отражало опасения, высказанные в более широкой литературе по поводу непрозрачных систем типа «черный ящик». Хотя некоторые темы, такие как необходимость интерпретируемости и прозрачности, были общими для всех участников, нюансы этих тем различались в зависимости от сектора.

Врачи подчеркивали диагностическую ответственность и согласие пациента, специалисты по безопасности акцентировали внимание на справедливости, границах наблюдения и потенциальной предвзятости; инженеры сосредоточились на надежности интерфейса и непрерывности рабочего процесса. Признание как конвергенции, так и дивергенции усиливает контекстную достоверность этих результатов и отражает то, как профессиональные нормы формируют восприятие машинного зрения.

Проблемы с удобством использования, выявленные в этом исследовании, также согласуются с выводами Высоцки и др. [20], которые отметили, что плохо разработанные интерфейсы увеличивают когнитивную нагрузку на медицинских работников. Интервью расширили эти выводы на другие области, показав, что аналогичные проблемы затрагивают инженеров и сотрудников службы безопасности, предполагая, что проблемы с удобством использования затрагивают все отрасли, а не являются специфичными для какого-либо сектора.

Этические соображения перекликались с выводами Буоламвини и Гебру [3] об алгоритмической предвзятости в системах распознавания лиц, но добавили качественную глубину, показав, как эти предубеждения воспринимаются конечными пользователями в их повседневной практике. Аналогично, опасения по поводу конфиденциальности данных отражали растущую дискуссию о вторичном использовании конфиденциальных наборов данных в обучении ИИ. Неопределенность в отношении ответственности усилила аргумент о том, что рамки управления еще не смогли адекватно определить ответственность за вред, причиненный системами, управляемыми ИИ [13, 14].

Выявленные в этом исследовании барьеры внедрения показали устойчивое несоответствие между приоритетами разработчиков и ожиданиями пользователей. В то время как разработчики систем часто делали акцент на точности и снижении количества ошибок, участники исследования ценили прозрачность, интеграцию рабочих процессов и этические гарантии. Это расхождение объясняет, почему высокоэффективные системы, прошедшие лабораторные испытания, иногда не находили применения в реальных условиях. Преодоление этого разрыва потребует не только технических усовершенствований, но и подходов к проектированию с участием конечных пользователей на протяжении всего процесса разработки системы.

В целом, результаты показали, что успешное внедрение технологий машинного зрения зависит от сочетания технических характеристик, удобства использования, этической целостности и институциональной поддержки. Эти выводы имеют важное значение для проектирования систем, которое должно отдавать приоритет объяснимым результатам и удобным пользовательским интерфейсам; для политики, которая должна обеспечивать подотчетность и усиливать защиту данных; и для практики, которая требует программ обучения, позволяющих специалистам уверенно работать с системами машинного зрения. Сосредоточившись на человеческом опыте, это исследование способствует более сбалансированному пониманию внедрения машинного зрения и предоставляет рекомендации по согласованию технологического развития с ожиданиями общества.

5.1. Заключение

В этом исследовании изучались человекоцентричные взгляды на технологии машинного зрения, с акцентом на доверие, удобство использования, этические проблемы и барьеры внедрения в секторах здравоохранения, безопасности и инженерии. Результаты показывают, что, хотя системы машинного зрения часто демонстрируют высокую техническую точность, их принятие зависит не только от числовых показателей. Участники постоянно подчеркивали важность интерпретируемости, интеграции рабочих процессов и этических гарантий. Доверие было связано не столько с точностью, сколько с прозрачностью и объяснимостью, в то время как проблемы с удобством использования, такие как сложные интерфейсы или нечеткие результаты, создавали барьеры в условиях ограниченного времени. Этические проблемы, связанные с предвзятостью, конфиденциальностью и подотчетностью, еще раз подчеркнули необходимость усиления управления и применения подходов к проектированию с участием общественности.

Эти выводы помогают преодолеть разрыв между техническим развитием и реальным внедрением. Уделяя первостепенное внимание человеческому опыту, данное исследование демонстрирует, что эффективное внедрение машинного зрения требует не только совершенства алгоритмов, но и тщательного учета социальных, этических и практических аспектов. Разработчики должны отдавать приоритет объяснимости и удобству использования при проектировании системы, а учреждения должны инвестировать в обучение и прозрачную коммуникацию. Политики и регулирующие органы также играют решающую роль в создании механизмов подотчетности и защите конфиденциальности.

5.2. Рекомендация

Исследование рекомендует разработчикам внедрять методы объяснимого искусственного интеллекта и человекоцентрированные подходы к проектированию для создания более интерпретируемых и удобных для пользователя систем. Учреждениям следует предоставлять постоянное обучение и ресурсы, чтобы специалисты могли уверенно использовать инструменты машинного зрения на практике, а политикам рекомендуется создавать четкие рамки управления, обеспечивающие подотчетность, защиту данных и справедливость при внедрении систем на основе ИИ. Будущие исследования должны расширить свою сферу применения, включив в нее точки зрения пациентов и граждан, а также использовать смешанные методы, позволяющие получить как эмпирические, так и основанные на результатах работы данные. В конечном итоге, путь к надежному и этичному машинному зрению лежит в согласовании технологических возможностей с потребностями человека и общественными ценностями, обеспечении интеграции инноваций с человекоцентрированным проектированием и управлением, чтобы эти системы могли в полной мере реализовать свой потенциал как эффективные, этичные и широко распространенные инструменты в различных секторах.

5.2.1.  Ограничения и дальнейшая работа

Данное исследование носит поисковый и качественный характер, и поэтому его результаты основаны на ограниченном количестве участников из конкретных профессиональных сфер. Хотя были предприняты усилия по включению различных секторов, таких как здравоохранение, безопасность и инженерия, результаты не являются статистически обобщаемыми. Кроме того, поскольку интервью проводились в ограниченные сроки, изменения в профессиональной практике и политике могут быть отражены не в полной мере. В будущих исследованиях следует расширить разнообразие участников, включить точки зрения пациентов и граждан, а также использовать смешанные методы для сопоставления качественных данных с показателями эффективности. Продольные исследования также могли бы помочь проследить, как доверие и этические проблемы развиваются по мере того, как системы машинного зрения все больше внедряются в повседневную практику.

Помимо этих ограничений, важно отметить, что данное исследование в основном опиралось на данные, полученные в ходе интервью. Хотя этот метод позволяет глубоко понять восприятие участников, он не отражает тонких нюансов взаимодействия, которые можно было бы наблюдать с помощью этнографии на рабочем месте или длительного полевого исследования. В будущих исследованиях было бы полезно сочетать интервью с непосредственным наблюдением за взаимодействием человека и ИИ в клинических кабинетах, центрах управления безопасностью и на промышленных рабочих местах. Кроме того, хотя в исследовании участвовали представители разных регионов, различия в ресурсах между учреждениями повлияли на типы систем, с которыми сталкивались участники, что может повлиять на характер их опыта. Эти факторы следует учитывать при интерпретации результатов.

Литература