Проектирование нейроморфных систем, способных эмулировать функционирование биологических нейронов и синапсов, а также моделировать когнитивные процессы человеческого мозга, признаётся одним из приоритетных направлений в сфере искусственного интеллекта, включая системы машинного зрения.
Достигнутый уровень технологического развития позволяет перейти к новому этапу исследований, направленных на разработку новых вычислительных парадигм и аппаратную реализацию моделей нейронных сетей. Теперь стало возможным создавать системы на кристалле, включающие миллионы искусственных нейронов и синапсов.
В настоящее время проекты в области нейроморфных чипов разрабатываются многими лидерами рынка – от крупных технологических компаний до стартапов. В данной статье рассматриваются общие принципы конструирования нейроморфных систем и способы реализации нейронных сетей, а также представлен обзор перспективных проектов в области нейроморфных вычислений.
Введение: Поиск альтернатив архитектуре фон Неймана
В последние десятилетия доминирующей вычислительной моделью для большинства компьютерных систем была архитектура фон Неймана. В этой архитектуре взаимодействие между процессором и памятью осуществляется через шину данных, что ограничивает производительность, особенно в задачах с интенсивной обработкой данных.
Распространение алгоритмов машинного обучения, требующих обработки огромных массивов данных, а также физические ограничения КМОП-технологии побуждают искать альтернативы традиционным процессорам для создания систем искусственного интеллекта.
В отличие от последовательных фоннеймановских процессоров, человеческий мозг обрабатывает информацию параллельно. Каждый из миллиардов нейронов работает независимо, получая сигналы от других нейронов через синапсы – соединения с памятью. Искусственные аналоги биологического мозга – нейроморфные системы – строятся на этом принципе (см. рис. 1).
Рис. 1. Архитектура фон Неймана (слева) и нейро- морфная архитектура (справа)
Благодаря параллельной обработке данных на множестве процессоров, аппаратная реализация нейроморфных систем позволяет существенно повысить вычислительную мощность. Развитие субмикронных и нанотехнологий делает создание таких систем все более реальным.
Нейроморфные системы содержат десятки тысяч, а иногда и миллионы процессорных ядер, имитирующих нейроны. Структура каждого такого ядра проще, чем у традиционных процессоров, но благодаря их количеству функциональность системы значительно возрастает.
Важным фактором является энергопотребление. Для мобильных и периферийных устройств ограничение потребляемой мощности является критической проблемой. Традиционные вычислительные архитектуры неэффективны в плане снижения энергопотребления. Решением может стать более эффективная параллельная архитектура, способная к обучению.
Также важно обеспечить автономность системы, чтобы она могла работать без постоянного обмена данными с удаленными серверами или облаком. Это повышает безопасность и скорость работы. Поэтому желательно создать самообучающуюся нейроморфную систему, способную обрабатывать данные локально, внутри устройства.
Искусственные нейронные сети: краткий обзор
Искусственные нейронные сети (ИНС) являются ключевым инструментом для реализации нейроморфных вычислений. Они представляют собой математические модели, основанные на принципах организации человеческого мозга.
Развитие ИНС можно разделить на три поколения. Первое поколение базировалось на пороговых нейронах Маккаллока-Питса или однослойных перцептронах с бинарными входами и выходами. Второе поколение включало многослойные перцептроны, сети Кохонена, Хопфилда, радиальные базисные сети и другие.
Третье поколение характеризуется сетями глубинного обучения и спайковыми (импульсными) нейронными сетями. Сети глубинного обучения содержат множество слоев, каждый из которых отвечает за обработку определенного элемента входных данных. Благодаря этому, они способны не только выделять отдельные сложные объекты, но и принимать решения на основе иерархических связей между ними.
С точки зрения физиологической реалистичности, спайковые нейронные сети (СНС) являются наиболее адекватной моделью работы мозга. В СНС нейроны обмениваются короткими импульсами (спайками) постоянной амплитуды.
Рис. 2. Процесс активирования спайков нейрона
Несмотря на то, что СНС известна давно, только недавно она стала широко применяться для решения прикладных задач. Основное отличие СНС от нейронных сетей второго поколения заключается в том, что вместо непрерывно меняющихся значений СНС оперирует дискретными событиями, происходящими в определенные моменты времени.
Преимущество СНС состоит в том, что импульсный подход позволяет учитывать расстояния между нейронами и время распространения сигнала, то есть контекст пространства и времени. Поэтому СНС лучше имитируют работу мозга и лучше приспособлены для обработки данных от датчиков.
Мемристор как модель синапса: кратко о главном
В данной статье рассматривается применение мемристоров в качестве модели биологических синапсов.
Основным свойством синапса является его долговременная пластичность, то есть способность изменять свою проводимость под воздействием сигнала и сохранять это состояние.
Среди различных вариантов реализации искусственных синапсов, таких как МОП-транзисторы с плавающим затвором, ячейки статической памяти и различные типы энергонезависимой памяти (флеш-память, память на основе фазового перехода, сегнетоэлектрическая память, магниторезистивная память), мемристор сегодня считается наиболее перспективным.
Мемристор представляет собой энергонезависимый резистор с эффектом памяти, сопротивление которого изменяется под воздействием электрического поля и прошедшего заряда. Изменение сопротивления зависит от величины и полярности тока. Такая особенность мемристора позволяет реализовать пластичность синапса, выражающуюся в изменении эффективности передачи сигнала.
Использование мемристоров позволяет достичь высокой плотности размещения элементов на чипе и существенно снизить энергопотребление.
Важным преимуществом мемристоров является их совместимость с КМОП-технологией, что упрощает их интеграцию в существующие системы.
Несмотря на перспективность, мемристоры пока сталкиваются с рядом технических проблем, таких как необходимость оптимизации управляющего напряжения и улучшения воспроизводимости характеристик переключения. Изучение механизма переключения также требует дальнейшего углубления.
Современные нейроморфные системы: краткий обзор
В последние 10-15 лет исследования в области нейроморфных систем достигли нового уровня развития, что обусловило появление необходимой инфраструктуры для дальнейшего прогресса в данной области. Первые попытки создания искусственных нейронных систем были предприняты еще в конце прошлого века.
Разрабатываемые нейроморфные системы можно условно классифицировать на три типа:
- Системы с предварительным обучением, не допускающие изменения параметров в процессе решения задачи.
- Системы с предварительным обучением, позволяющие модифицировать отдельные параметры в ходе решения задачи (например, веса связей, включение/выключение связей и др.).
- Системы, способные изменять свои параметры в процессе решения задачи, включая структуру связей и количество нейронов (при этом не исключается возможность предварительного обучения).
Одним из крупнейших проектов в этой области является проект SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics), реализуемый компанией IBM совместно с ведущими университетами США по заказу Управления перспективных исследований и разработок министерства обороны США (DARPA). В 2014 году в рамках этого проекта был создан нейронный процессор TrueNorth, реализующий спайковую нейронную сеть.
Рис. 3. Блок-схема нейросинаптического ядра процессора TrueNorth
Архитектура процессора TrueNorth основана на событийно-зависимой асинхронной модели и построена на нейросинаптических ядрах, содержащих вычислительные элементы и память в качестве нейронов и синапсов. TrueNorth содержит 5,4 млрд транзисторов, что позволило реализовать 1 млн нейронов и 256 млн синапсов.
Архитектура чипа представляет собой массив из 4096 нейросинаптических ядер, организованных по схеме 64х64. Чип изготовлен по 28-нм технологическому процессу компании Samsung и имеет площадь 430 мм², потребляя в стандартном режиме около 100 мВт.
Каждое ядро TrueNorth оснащено локальной памятью, хранящей параметры нейрона, синаптические веса и информацию о маршрутизации импульсов. Размещение памяти и вычислительных элементов в непосредственной близости друг от друга позволяет преодолеть недостатки фоннеймановской архитектуры.
Каждое ядро имеет 256 входов (аксонов) и 256 выходов (нейронов). Аксоны соединяются с любым подмножеством нейронов при помощи программируемого матричного коммутатора 256х256, обеспечивающего связь между любыми объектами внутренней сети ядра. Каждый нейрон накапливает входные сигналы синапсов и их веса в переменной высокой точности (мембранном потенциале) и генерирует импульс при превышении значения этой переменной определенного порога, настраиваемого индивидуально для каждого нейрона.
Для процессора TrueNorth была разработана принципиально новая модель программирования, кардинально отличающаяся от традиционных фоннеймановских архитектур. Отсутствие централизованной памяти и обычных управляющих операторов потребовало создания специальной среды разработки Corelet Programming Environment. Эта среда включает в себя доменно-специфический язык для задания функциональных сетей нейросинаптических ядер, библиотеку типовых сетей и инструменты для развертывания, тестирования и отладки.
В результате использования процессора TrueNorth были созданы системы различной конфигурации, последней из которых является NS16e‑4 – самый крупный на сегодняшний день нейросинаптический компьютер. Он содержит 64 миллиона нейронов и 16 миллиардов синапсов и способен выполнять порядка 10¹¹ синаптических операций в секунду на один ватт мощности.
Сообщество инженеров разработало множество приложений для систем, основанных на процессоре TrueNorth, охватывающих широкий спектр задач: от классификации и реконструкции стереоизображений до обработки аудиосигналов, робототехники, распознавания объектов и жестов в реальном времени, синтеза речи и обучения нейронных сетей с подкреплением.
В области нейроморфных вычислений ведется активное развитие новых проектов. Одним из них является проект Neurogrid, реализуемый в Стэндфордском университете. В рамках проекта был создан аналого-цифровой чип, содержащий 65 536 нейронов. Плата с 16 такими чипами моделирует нейронную сеть, насчитывающую 1 миллион нейронов.
Компания Qualcomm представила в 2014 году однокристальный нейронный процессор Zeroth, способный к самообучению на основе обратной связи от окружающей среды. Процессор планируется использовать в платформе Smart Protect для защиты мобильных устройств от вредоносных программ.
В рамках программы Евросоюза BrainScaleS был разработан аналого-цифровой КМОП-чип BrainScaleS‑2, созданный по 65-нм нормам. В отличие от предыдущей версии, он оснащен специальной схемой для гибкой настройки алгоритмов обучения нейронной сети на основе временной зависимости пластичности синапсов (Spike-Timing-Dependent Plasticity). Чип содержит аналоговую нейронную сеть из 512 нейронов и 130 тысяч синапсов, а также блоки цифрового управления, коммуникации и обработки пластичности.
Компания Synopsys предлагает процессоры ARC EV для систем компьютерного зрения, основанные на сверточных нейронных сетях (CNN). CNN – это эффективный тип однонаправленной искусственной нейронной сети, широко используемый в задачах распознавания образов, виртуальной и дополненной реальности.
Процессоры серии ARC EV6, помимо 32-битного скалярного ядра ARC HS, оснащены 512-битным SIMD/VLIW DSP-процессором и специализированным модулем CNN. DSP-процессор выполняет задачи обработки изображений, такие как фильтрация, геометрические преобразования и преобразование цветовых пространств. Модули CNN отвечают за свертку, сегментацию и классификацию объектов. Количество модулей CNN и количество MAC-устройств в каждом модуле подбираются в зависимости от сложности нейронной сети и требований к производительности и энергопотреблению.
Процессоры ARC EV6 способны достигать производительности до 4,5 ТMAC/с и обрабатывать несколько видеопотоков с разрешением 4K. ARC EV поддерживают все типы сверточных сетей, включая такие распространенные сети, как AlexNet, VGG-16, GoogLeNet, YOLO, Faster R-CNN, SqueezeNet и ResNet. Особенностью реализации специализированного модуля CNN является возможность обработки 32-битных CNN-графов с использованием 12-битных модулей CNN при сохранении качества распознавания и существенном снижении энергопотребления. Процессор ARC EV, реализованный по технологии FinFET 16 нм, обладает энергоэффективностью 2000 ГMAC/Вт·с.
В 2017 году компания Intel объявила о разработке нейроморфного исследовательского процессора Loihi, способного к обучению в режиме реального времени с использованием различных типов обратной связи. Чип, изготовленный по 14-нм технологии, построен на основе спайковой нейронной сети и содержит более 2 млрд транзисторов, включая 130 тыс. нейронов и 130 млн синапсов.
Чип представляет собой многоядерную ИС с 128 нейроморфными ядрами, оснащенную специальной программируемой подсистемой обучения СНС на кристалле. Нейроморфные ядра, содержащие множество нейронов, связаны между собой и получают спайки (импульсы) из других частей сети. После накопления полученных спайков в течение определенного периода времени до установленного порога, ядро пересылает собственные импульсы в подключенные нейроны. Предыдущие спайки усиливают друг друга и нейронные связи, в то время как последующие спайки препятствуют соединению, снижая возможность соединения до тех пор, пока все действия не будут остановлены.
Таблица 1. Нейроморфные системы на базе чипа Loihi
Помимо 128 нейроморфных ядер, чип содержит три управляющих x86-совместимых процессорных ядра Lakemont и коммуникационный интерфейс, который позволяет масштабировать систему. Реализованный на кристалле протокол сети поддерживает до 4096 ядер на кристалле и до 16384 чипов.
Архитектура процессора Loihi основана на принципах асинхронного и децентрализованного взаимодействия нейронов. Каждый из 128 нейроморфных ядер Loihi содержит 1024 блока спайковых нейронов, объединенных в древовидные структуры. Взаимодействие между нейронами внутри ядра осуществляется случайным образом и не зависит от состояния других нейронов.
Для обеспечения взаимодействия между ядрами используются пакеты сообщений различного типа: спайковые, барьерные (для синхронизации).
Loihi обладает встроенной подсистемой обучения, которая может быть адаптирована к параметрам сети в процессе работы. Это позволяет реализовать различные обучающие парадигмы, включая контролируемое, неконтролируемое и подкрепляющее обучение.
На базе Loihi Intel разработала ряд нейроморфных систем с различным количеством чипов для масштабирования вычислительной мощности.
Технология Loihi уже используется в различных областях:
- Цифровая безопасность: Airbus планирует использовать Loihi для обнаружения вредоносных программ.
- Оптимизация производственных процессов: GE рассматривает Loihi как инструмент для повышения эффективности производства.
- Обработка Big Data: Hitachi исследует возможности Loihi в области обработки данных в системах Интернет вещей, сетях датчиков и умной городской инфраструктуры.
Кроме того, Intel совместно с Корнеллским университетом продемонстрировал возможность использования Loihi для распознавания опасных химических веществ. Эта технология может найти применение в создании роботов-разведчиков, а также в медицине и мониторинге окружающей среды.
Рис. 4. Блок-схема СнК Akida от BrainChip
В 2018 году австралийская компания BrainChip представила нейроморфную систему на кристалле Akida, реализующую спайковую нейронную сеть с положительной обратной связью. Чип оснащен блоком преобразования сигналов от датчиков и интерфейсов (USB, PCIe, Ethernet и др.) в импульсы, которые затем обрабатываются массивом нейронов на чипе в виде паттернов. Кристалл Akida содержит 1,2 миллиона нейронов и 10 миллиардов синапсов.
Компания BrainChip предлагает Akida как полностью интегрированные системы на кристалле, так и IP-блоки для интеграции во встраиваемые решения, такие как специализированные микросхемы.
Нейроморфная система Akida включает нейронную матрицу и процессор Arm для управления системой и обеспечения ее функциональности. Система может функционировать как сопроцессор главного компьютера, используя встроенный интерфейс PCIe или USB3.0. Интерфейсы I3S и I2C предназначены для приема данных с датчиков. Встроенный процессор может использоваться для предварительной обработки данных датчиков в автономном режиме или для создания дополнительных методов обучения.
Разработка BrainChip ориентирована на широкий спектр приложений, включая интеллектуальные камеры, устройства умного дома, системы помощи водителю (ADAS) и автономные транспортные средства, робототехнику, промышленный мониторинг, Интернет вещей и др.
В России также ведутся исследования и разработки в области нейроморфных систем. В Национальном исследовательском центре “Курчатовский институт” развивается научное направление природоподобных технологий, основанное на конвергенции нано-, био-, информационных, когнитивных и социогуманитарных наук (НБИКС).
В центре ведутся работы в области мемристоров на основе различных материалов, в частности органических полимеров, а также разработка перспективных архитектур нейроморфных сетей на основе мемристоров. Специалистами НИЦ “Курчатовский институт” была опубликована работа, показывающая теоретическую возможность относительно простой реализации на мемристорах на основе ниобата лития нейроморфных сетей с дофаминергическим подкреплением, что позволяет нейронной сети взаимодействовать с окружающей средой и эффективно самообучаться.
Научно-технический центр «Модуль» занимается разработкой и производством микропроцессоров с инновационной архитектурой NeuroMatrix, а также вычислительных модулей и программных комплексов для моделирования глубоких нейронных сетей.
В 2019 году на базе этой архитектуры был создан нейропроцессор NM6408 – 21-ядерный чип, изготовленный по 28-нанометровой технологии. Данный вычислительный ускоритель для серверов обладает пиковой производительностью в 512 Гфлопс и предназначен для обработки больших объемов данных в режиме реального времени.
Область применения NM6408 весьма разнообразна, включая обработку видеоданных с камер высокого разрешения. Потенциальными потребителями являются предприятия транспортной отрасли, сферы безопасности, энергетики и другие.
В 2020 году компания IVA Technologies представила специализированный тензорный процессор на базе собственной архитектуры IVA TPU для ускорения расчетов нейронных сетей. Планируется, что в первом квартале 2021 года появятся первые образцы этого процессора.
В основе IVA TPU лежит блок матричного умножения, который выполняет наиболее ресурсоемкие вычисления с высокой скоростью. Отличительной чертой процессора является гибко настраиваемое IP-ядро ускорителя тензорных вычислений.
IVA TPU предназначен для решения широкого спектра задач в различных приложениях, таких как системы распознавания образов, голосовой идентификации и перевода в текстовый формат, детектор ключевых слов, прогнозирование по неструктурированным данным, управление беспилотными летательными аппаратами и роботизированной техникой.
Заключение
Внедрение нейроморфной архитектуры, основанной на новой парадигме вычислений, которая не разделяет процессы обработки и хранения информации, может стать качественным скачком в решении вычислительных задач и приблизить создание систем с “сильным” искусственным интеллектом.
По прогнозам исследовательской компании IndustryARC, рынок сенсорных систем и нейроморфных вычислений достигнет 560,4 млн долларов США, демонстрируя среднегодовой темп роста в 84,2%. Этот рост обусловлен снижением спроса на чипсеты с традиционной архитектурой и возрастающим интересом к приложениям, основанным на искусственном интеллекте.
Ведущие компании в области искусственного интеллекта активно инвестируют в разработку нейроморфных систем для повышения вычислительной мощности и снижения энергопотребления. Северная Америка доминирует на рынке нейроморфных систем благодаря присутствию крупных производителей нейроморфных чипов.
Расширение применения нейроморфных систем для обработки сложных алгоритмов способствует росту рынка, однако недостаток исследований и разработок, а также ограниченные инвестиции замедляют создание реальных приложений. Ожидается, что в ближайшие годы рынок распознавания сигналов, включающий системы машинного зрения и обработки аудио/видео, продемонстрирует значительный рост (98,3%).
Нейроморфные системы найдут широкое применение в таких областях, как аэрокосмическая и оборонная промышленность, автомобильные системы автономного вождения, смартфоны, робототехника, умные дома, медицинские и телекоммуникационные системы.
Помимо перечисленных в статье компаний IBM, Qualcomm, Synopsys, Intel и BrainChip, над разработкой нейроморфных систем работают такие компании, как Applied Brain Research, Samsung, Hewlett Packard, HRL Laboratories, General Vision, Vicarious, Numenta, а также множество стартапов, таких как Aspinity и aiCTX AG.
Учитывая активную деятельность компаний в области проектирования нейроморфных систем, можно предположить, вближайшие годы станут годами массового появления следующего поколения процессоров для искусственного интеллекта, основанных на принципах нейроморфных вычислений.
Литература
- Modha D. S. TrueNorth: Accelerating From Zero to 64 Million Neurons in 10 Years. IEEE Computer. May 2019.
- Bai K., Yi Y. Opening the Black Box of Silicon Chip Design in Neuromorphic Computing. www.intechopen.com
- Benjamin B. V., Gao P., McQuinn E., Choudhary S., Chandrasekaran A. R. et al. Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations // Proc. IEEE. May 2014. V. 102, no. 5.
- Billaudelle S., Cramer B., Petrovici M. A., Schreiber K., Kappel D., Schemmel J., Meier K. Structural plasticity on an accelerated analog neuromorphic hardware system. Elsevier. Neural Networks (133), 2021. PP. 11–20.
- Imam N., Cleland T. A. Rapid online learning and robust recall in a neuromorphic olfactory circuit // Nature Machine Intelligence. 2020. V. 2. PP. 181–191.
- https://en.wikichip.org/wiki/intel/loihi#Die
