Intel начинает поставки процессоров для нейронных сетей. Заменят ли искусственные нейронные сети обычные процессоры

Сегодня практическая сторона вопросов, связанных с разработкой искусственного интеллекта, лежит в плоскости реализации глубокого или глубинного обучения (deep learning). На основе подобранных особых образом паттернов происходит обучение системы, которая затем реализует полученные знания на практике: водит машины, распознаёт образы или звуки, делает что-то ещё.

И всё бы хорошо, только для глубокого обучения требуется предварительный массивный обмен информацией с базой данных, что в оперативной обстановке реализовать или очень тяжело, или попросту невозможно. От роботов и ИИ хотелось бы большей сообразительности, чтобы думал как человек, опираясь на ассоциативное мышление. Это желание породило попытки воплотить в кремнии подобие человеческого мозга, где электронные схемы имитировали бы работу нейронов и синапсов.

В современной истории более-менее комплексное воплощение «человеческого мозга» в кремнии создали инженеры компании IBM. В 2011 году компания представила процессор и позже развила архитектуру до 4096-ядерного процессора с одним миллионом цифровых нейронов и 256 млн программируемых цифровых синапсов. Весной прошлого года на базе 16 28-нм процессоров TrueNorth компания поставила первый в индустрии «когнитивный» компьютер Национальной администрации по ядерной безопасности (National Nuclear Security Administration). Что интересно, анонс IBM TrueNorth в 2011 году заставил задуматься о нейроморфных процессорах компанию Intel.

Сегодня Intel . Оказывается, в компании шесть лет назад начали разрабатывать фирменный нейроморфный процессор. Воплощением многолетней разработки стало решение под кодовым именем Loihi (скорее всего речь идёт о крупнейшем подводном вулкане в США — Лоихи). Процессор Loihi будет выпускаться с использованием 14-нм техпроцесса и начнёт поставляться академическим учреждениям в первой половине 2018 года.

По словам Intel, Loihi сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку (к базе данных). К примеру, Intel заявляет, что при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) нейроморфный процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети. При этом, если сравнивать Loihi с обычными свёрточными нейронными сетями, разработка Intel при обучении использует много меньше ресурсов, а это каналы связи, потребление и скорость принятия решений. Также Intel уверяет, что Loihi обучается в 1000 раз эффективнее, чем обычные компьютерные системы общего назначения.

К сожалению, компания не уделила достаточно внимания описанию технических спецификаций Loihi. Вкратце сообщается, что Loihi — это многоядерное решение с внутренней ячеистой сетью. Ядра Loihi — нейроморфные асинхронные (каждое из них может работать независимо от других). Ячеистая сеть имеет несколько степеней разрежённости, она иерархическая и поддерживает рекуррентную топологию нейронной сети, где каждый нейрон может взаимодействовать с тысячами других нейронов.

Также каждое нейроморфное ядро включает механизм (движок) обучения, который может быть запрограммирован для адаптации сети в процессе работы. Если транслировать состав процессора Intel Loihi на возможности мозга человека, то решение включает 130 000 нейронов и 130 млн синапсов. Процессор Intel Loihi не такой умный, как процессор IBM TrueNorth, но определённо эффективнее с позиции производства с технологическими нормами 14 нм.

Нейрон , по сути, представляет собой элементарный процессор , характеризующийся входным и выходным состоянием, передаточной функцией ( функция активации) и локальной памятью.

Рис. 8.1.

Состояния нейронов изменяются в процессе функционирования и составляют кратковременную память нейросети. Каждый нейрон вычисляет взвешенную сумму пришедших к нему по синапсам сигналов и производит над ней нелинейное преобразование. При пересылке по синапсам сигналы умножаются на некоторый весовой коэффициент. В распределении весовых коэффициентов заключается информация , хранящаяся в ассоциативной памяти НС. Основным элементом проектирования сети является ее обучение. При обучении и переобучении НС ее весовые коэффициенты изменяются. Однако они остаются постоянными при функционировании нейросети, формируя долговременную память .

НС может состоять из одного слоя, из двух, из трех и большего числа слоев, однако, как правило, для решения практических задач более трех слоев в НС не требуется.

Число входов НС определяет размерность гиперпространства , в котором входные сигналы могут быть представлены точками или гиперобластями из близко расположенных точек. Количество нейронов в слое сети определяет число гиперплоскостей в гиперпространстве . Вычисление взвешенных сумм и выполнение нелинейного преобразования позволяют определить, с какой стороны от той или иной гиперплоскости находится точка входного сигнала в гиперпространстве .

Возьмем классическую задачу распознавания образов: определение принадлежности точки одному из двух классов. Такая задача естественным образом решается с помощью одного нейрона. Он позволит разделить гиперпространство на две непересекающиеся и невложенные гиперобласти. Входные сигналы в задачах, решаемых с помощью нейросетей, образуют в гиперпространстве сильно вложенные или пересекающиеся области, разделить которые с помощью одного нейрона невозможно. Это можно сделать, только проведя нелинейную гиперповерхность между областями. Ее можно описать с помощью полинома n-го порядка. Однако степенная функция слишком медленно считается и поэтому очень неудобна для вычислительной техники. Альтернативным вариантом является аппроксимация гиперповерхности линейными гиперплоскостями . Понятно, что при этом точность аппроксимации зависит от числа используемых гиперплоскостей , которое, в свою очередь , зависит от числа нейронов в сети. Отсюда возникает потребность в аппаратной реализации как можно большего числа нейронов в сети. Количество нейронов в одном слое сети определяет ее разрешающую способность. Однослойная НС не может разделить линейно зависимые образы. Поэтому важно уметь аппаратно реализовывать многослойные НС.

Искусственные нейронные сети отличаются удивительными свойствами. Они не требуют детализированной разработки программного обеспечения и открывают возможности решения задач, для которых отсутствуют теоретические модели или эвристические правила, определяющие алгоритм решения. Такие сети обладают способностью адаптироваться к изменениям условий функционирования, в том числе к возникновению заранее непредусмотренных факторов. По своей природе НС являются системами с очень высоким уровнем параллелизма.

В нейрокомпьютерах используются принципы обработки информации, осуществляемые в реальных нейронных сетях . Эти принципиально новые вычислительные средства с нетрадиционной архитектурой позволяют выполнять высокопроизводительную обработку информационных массивов большой размерности. В отличие от традиционных вычислительных систем, нейросетевые вычислители , аналогично нейронным сетям , дают возможность с большей скоростью обрабатывать информационные потоки дискретных и непрерывных сигналов, содержат простые вычислительные элементы и с высокой степенью надежности позволяют решать информационные задачи обработки данных, обеспечивая при этом режим самоперестройки вычислительной среды в зависимости от полученных решений.

Вообще говоря, под термином " нейрокомпьютер " в настоящее время подразумевается довольно широкий класс вычислителей. Это происходит по той простой причине, что формально нейрокомпьютером можно считать любую аппаратную реализацию нейросетевого алгоритма , от простой модели биологического нейрона до системы распознавания символов или движущихся целей. Нейрокомпьютеры не являются компьютерами в общепринятом смысле этого слова. В настоящее время технология еще не достигла того уровня развития, при котором можно было бы говорить о нейрокомпьютере общего назначения (который являлся бы одновременно искусственным интеллектом). Системы с фиксированными значениями весовых коэффициентов – вообще самые узкоспециализированные из нейросетевого семейства. Обучающиеся сети более адаптированы к разнообразию решаемых задач. Обучающиеся сети более гибки и способны к решению разнообразных задач. Таким образом, построение нейрокомпьютера – это каждый раз широчайшее поле для исследовательской деятельности в области аппаратной реализации практически всех элементов НС.

В начале 21 века, в отличие от 40-50-х годов прошлого столетия, существует объективная практическая потребность научиться создавать нейрокомпьютеры, т.е. необходимо аппаратно реализовать довольно много параллельно действующих нейронов, с миллионами фиксированных или параллельно адаптивно модифицируемых связей- синапсов , с несколькими полносвязными слоями нейронов.

В то же время физические возможности технологии интегральной электроники не безграничны. Геометрические размеры транзисторов больше нельзя физически уменьшать: при технологически достижимых размерах порядка 1 мкм и меньше проявляются физические явления, незаметные при больших размерах активных элементов – начинают сильно сказываться квантовые размерные эффекты. Транзисторы перестают работать как транзисторы.

Для аппаратной реализации НС необходим новый носитель информации. Таким новым носителем информации может быть свет, который позволит резко, на несколько порядков, повысить производительность вычислений.

Единственной технологией аппаратной реализации НС, способной в будущем прийти на смену оптике и оптоэлектронике, является нанотехнология, способная обеспечить не только физически предельно возможную степень интеграции субмолекулярных квантовых элементов с физически предельно возможным быстродействием, но и столь необходимую для аппаратной реализации НС трехмерную архитектуру.

Длительное время считалось, что нейрокомпьютеры эффективны для решения так называемых неформализуемых и плохо формализуемых задач , связанных с необходимостью включения в алгоритм решения задачи процесса обучения на реальном экспериментальном материале. В первую очередь к таким задачам относилась задача аппроксимации частного вида функций, принимающих дискретное множество значений, т. е. задача распознавания образов.

В настоящее время к этому классу задач добавляется класс задач, иногда не требующий обучения на экспериментальном материале, но хорошо представимый в нейросетевом логическом базисе. К ним относятся задачи с ярко выраженным естественным параллелизмом обработки сигналов, обработка изображений и др. Подтверждением точки зрения, что в будущем нейрокомпьютеры будут более эффективными, чем прочие архитектуры, может, в частности, служить резкое расширение в последние годы класса общематематических задач, решаемых в нейросетевом логическом базисе. К ним, кроме перечисленных выше, можно отнести задачи решения линейных и нелинейных алгебраических уравнений и неравенств большой размерности; систем нелинейных дифференциальных уравнений; уравнений в частных производных; задач оптимизации и других задач.

Китайская компания Huawei анонсировала Kirin 970 - первый чипсет, имеющий выделенный нейронный процессор (NPU). Вслед за китайцами Apple показала свой A11 Bionic для моделей iPhone 8, 8 Plus и X. Этот чип, среди прочего, поддерживает технологию Neural Engine , которая, если верить представителям компании, «специально разработана для машинного обучения». Совсем недавно уже Qualcomm представила свой чип Snapdragon 845, умеющий передавать конкретным ядрам связанные с искусственным интеллектом задачи. Особой разницы в подходах компаний нет. Все зависит от доступных разработчикам уровней управления ядрами и энергоэффективности чипов.

Но действительно ли новые чипы существенно отличаются от уже существующих на рынке аналогов, и если да, то в чем их отличие? Ответ на это сможет дать часто встречающийся в сообщениях об искусственном интеллекте термин – «гетерогенные вычисления». Он применяется по отношению к процессорам, использующим специализированные функции систем для улучшения производительности или уменьшения энергопотребления. Такой подход уже неоднократно реализован в предыдущих поколениях чипов. Новые мобильные процессоры просто используют эту концепцию с некоторыми вариациями.

Закономерное развитие?

В последних поколениях процессоров активно используется технология ARM Big .Little. Она сочетает медленные энергоэффективные ядра с более производительными, имеющими высокий уровень потребления энергии. Суть заключалась в уменьшении объемов энергии для увеличения автономности устройств. В прошедшем году нейронные чипы сделали еще один шаг в этом направлении, добавив отдельный элемент для обработки задач искусственного интеллекта, или, в случае со , задействовав отдельные маломощные ядра для этой задачи.

Мобильный процессор от Apple A11 Bionic применяет Neural Engine в сочетании с графическим чипом для ускорения работы Face ID, Animoji и ускорения работы некоторых неродных программ. Когда пользователь запускает эти процессы на новом iPhone, чип включает Neural Engine для обработки лица владельца или для проекции его мимики на анимированную картинку.

В NPU берет на себя функции по сканированию и переводу слов на изображениях, полученных с использованием Microsoft Translator. Однако пока программа – единственное стороннее приложение, работающее с адаптированной китайским производителем технологией. По заверениям Huawei, новая технология «HiAI» ускоряет работу большинства элементов чипсета и способна выполнять гораздо более широкий спектр задач, чем другие NPU.

Новые горизонты

При отдельном рассмотрении технология позволяет осуществлять с не меньшей эффективностью непосредственно на устройстве те задачи, для обработки которых раньше были задействованы сторонние облачные решения. С помощью новых компонентов, оснащенный такими чипами телефон, сможет выполнять больше действий одновременно. Это повлияет на многие аспекты работы устройства, начиная с уменьшения времени на переводы и заканчивая поиском фотографий по внутренним хештегам. Также передача выполнения таких процессов непосредственно смартфону вместо применения облачных решений положительно скажется на безопасности и конфиденциальности, уменьшая шансы хакеров заполучить данные пользователя.

Еще одним важным моментом новых чипов является энергопотребление, ведь энергия – ценный ресурс, который требует разумного распределения, особенно если дело касается повторяющихся задач. Графические чипы любят тратить запасы батареи очень быстро, так что переложить их процессы на DSP может быть хорошим решением.

По факту, сами мобильные процессоры не могут самостоятельно принимать решения о том, какие ядра нужно задействовать при выполнении определенных задач. Это зависит от разработчиков и производителей техники, использующих для этого сторонние поддерживаемые библиотеки. , и активно интегрируют такие решения, как TensorFlow Lite и Facebook Caffe2. Qualcomm также поддерживает новый Open Neural Networks Exchange (ONNX), а Apple недавно добавила совместимость множества новых моделей машинного обучения в своей Core ML framework.

Увы, особых преимуществ новые мобильные процессоры пока еще не предоставляют. Производители уже меряются показателями результатов своих собственных тестов и контрольных показателей. Но без тесной интеграции с окружающей современного пользователя реальностью эти показатели имеют мало смысла. Сама технология находится на очень ранней стадии развития, а использующие ее разработчики пока немногочисленны и разрозненны.

В любом случае, каждая новая технология – выигрыш для пользователя, будь то рост производительности или улучшенная энергоэффективность. Производители серьезно настроены вкладывать время и деньги в развитие нейронных чипов, а значит будущие мобильные процессоры смогут предложить гораздо более широкий список задач, в которых будет задействован искусственный интеллект.

Достаточно странно, что никто на Хабре не написал, но, на мой взгляд, сегодня произошло знаковое событие. IBM представила новый, полностью законченный чип, реализующий нейронную сетку. Программа его разработки, существовала давно и шла достаточно успешно. На Хабре уже была статья о полномасштабной .

В чипе 1 миллион нейронов и 256 миллионов синапсов. Судя по всему, как и в симуляции, чип имеет сходную с неокортексом архитектуру.

Чем это офигенно круто? Тем, что все сегодняшние нейронные сети должны производить астрономическое количество операций, особенно при обучении. Зачастую это упирается в производительность. В реальном времени на одном устройстве можно решать только простые задачки. Распараллеливание на кластеры и видеокарты значительно ускоряют обработку (за счёт огромных вычислительных мощностей и большого энергопотребления). Но всё упирается в главную проблему архитектуры фон Неймана: память разнесена с блоками обработки. В настоящих нейронах всё по-другому: память сама выполняет обработку (на Хабре есть классный цикл статей про ).

Если IBM начнёт выпуск таких процессоров, то многие задачи видеоаналитики можно будет решать напрямую на них. Самое простое, что приходит в голову - классификация объектов в видеопотоке (люди, автомобили, животные). Именно эту задачу IBM и продемонстрировало в качестве примера работы. В видеопотоке 400*240 30fps они выделяли людей, велосипедистов, машины, грузовики и автобусы.

Если всё настолько круто, то машины-роботы в скором времени не будут требовать лидаров, пяток видеокамер с таким чипом - и вперёд.

Кстати, если считать производительность такого чипа в терафлопсах, то получится астрономическое число. Ведь, по сути, такой чип это 1 миллион процессоров, за один такт каждый из которых обрабатывает информацию с 256 каналов входа (ну, приблизительно).

Чуть больше информации на сайте IBM Research .

З.Ю. Пардон за статью без особых подробностей в стиле Ализара, но меня и впрямь удивило, что такое знаковое событие прошло мимо Хабра.

Четыре российские компании объединились для создания первого отечественного процессора, предназначенного для радикального повышения производительности компьютерных нейронных сетей. Чип позволяет в разы увеличить скорость распознавания лиц, букв, картинок, быстрее и точнее анализировать снимки компьютерной томографии и другие медицинские данные, решать сложные стратегические задачи. Эксперты полагают, что российские разработчики имеют реальные шансы заявить о себе на только формирующемся мировом рынке нейропроцессоров.

От пикселей к нейронам

Любителям компьютерных игр хорошо знаком графический процессор (ГП) - микросхема для обработки картинок и видео. В отличие от центрального процессора (ЦП) графический умеет выполнять лишь небольшое число узкоспециальных вычислительных операций, но зато делает это чрезвычайно быстро и эффективно. Это благодаря ему современные компьютерные игры демонстрируют ту реалистичную видеографику, которая так захватывает любителей электронных развлечений.

Специальные математические операции, под которые «заточен» ГП, оказались применимы и для эффективного майнинга криптовалют. Поэтому в прошлом году со взлетом интереса к биткоинам мир стал свидетелем абсолютно беспрецедентного явления - глобального дефицита видеокарт.

Спрос на них продолжает расти и в нынешнем году благодаря стремительному развитию теперь уже нейросетей - вычислительных систем, позволяющих на основе больших данных решать такие задачи, как распознавание лиц и речи, литературный перевод текстов, анализ медицинских данных - компьютерной томографии, магниторезонансной томографии, рентгеновских снимков и других.

ГП позволяет серьезно ускорить работу некоторых нейросетевых алгоритмов, но в этом деле он далеко не так эффективен, как в решении задач по обработке графики. Поэтому сейчас в мировой компьютерной индустрии на повестке дня стоит задача создания нейронного процессора (НП), предназначенного для многократного ускорения работы таких сетей. Отдельные экспериментальные устройства этого типа уже существуют, но окончательное формирование мирового рынка нейропроцессоров займет, по оценкам экспертов, еще четыре-шесть лет. В течение этого времени шанс закрепиться на этом рынке будут иметь и небольшие компании-разработчики, и даже стартапы.

От конкуренции к доверию

В отраслевом союзе «Нейронет» решили принять участие в этой гонке, объединив усилия четырех входящих в систему Национальной технологической инициативы (НТИ) небольших, но продвинутых компаний. Созданный консорциум займется разработкой национального нейропроцессора, способного не только конкурировать с западными образцами, но и стать стопроцентно отечественным, «доверенным», то есть гарантированно свободным от недокументированных возможностей и аппаратных «закладок». Последнее особенно важно для заказчиков из российского ВПК, где нейронные сети тоже получают широкое распространение - в системах управления боевыми беспилотниками, в планировании военных операций, в аппаратуре высокоточного наведения стрелкового оружия.

По словам директора союза «Нейронет» НТИ Александра Семенова, о составе консорциума и старте его деятельности будет официально объявлено в феврале наступающего года.

Российские математики и инженеры, разрабатывающие аппаратную часть и алгоритмы в области искусственного интеллекта и нейронных сетей, - лучшие в мире, - убежден Александр Семенов. - Сейчас у них есть примерно четыре года на то, чтобы опередить своих иностранных коллег и задать стандарты будущего рынка.

По оценке заведующего лабораторией нейросетевых технологий и компьютерной лингвистики Московского физико-технического института Станислава Ашманова, всего в мире сейчас насчитывается около двух тысяч компаний, участвующих в гонке по созданию эталонного нейронного процессора.

Кто успеет сделать чип, который станет отраслевым стандартом, тот заработает деньги, соизмеримые с доходами нынешних лидеров рынка центральных процессоров, таких как Intel или AMD, - считает Станислав Ашманов. - Пока из этой пары тысяч стартапов во всем мире ближе всего к победе не более пяти компаний.

От харда к софту

По словам эксперта, гонка в этой области сейчас идет по двум направлениям: во-первых, разработка серверного чипа для мощных серверов в дата-центрах, во-вторых, создание экономичного встраиваемого нейропроцессора для установки на всевозможных «умных устройствах»: смартфонах, роботах, дронах, беспилотных автомобилях. Работы, ведущиеся в России, по мнению Ашманова, имеют шанс выиграть на обоих направлениях.

Разработка отечественной аппаратуры, ускоряющей обсчет нейросетей, - безусловно, важнейший, необходимый проект при существующей конъюнктуре мирового рынка, - сказал «Известиям» Константин Трушкин, заместитель генерального директора компании МЦСТ, производящей отечественный ЦП «Эльбрус» и системные платы на его основе. - Соединение универсальных процессорных ядер со специализированными блоками, выполняющими вычисления по нейросетевым алгоритмам с высокой эффективностью, - актуальная современная тенденция. Но, чтобы такую систему можно было считать доверенной, и ядро, и нейросетевой акселератор должны быть разработаны в России.

Однако, напомнил Константин Трушкин, недостаточно сделать саму микросхему НП, необходимо создать еще и обслуживающую ее программную среду: операционную систему, средства разработки, библиотеки нейросетевых алгоритмов, среду обучения нейросетей. Только тогда можно будет говорить о существовании полноценной отечественной аппаратно-программной нейросетевой платформы.