IBM адаптувала згорткову нейронну мережу для роботи на нейроморфному чіпі.
Мозок людини містить близько 86 мільярдів нейронів – клітин, які з'єднуються з тисячами інших нейронів за допомогою відростків – синапсів. Нейрон отримує сигнали від багатьох інших, і коли стимуляція досягає певного порога, він «активується», посилаючи свій власний сигнал навколишнім нейронам. Мозок навчається, зокрема, шляхом коригування міцних зв'язків. Коли послідовність дій повторюється, наприклад, за допомогою практики, супутні синапси стають сильнішими, а отриманий урок чи вміння «вписується» в мережу.
У 1940-х роках вчені почали моделювати нейрони математично, а в 50-х - створювати мережі з нейронів та комп'ютерів. Штучні нейрони та синапси набагато простіше, ніж у мозку, але діють за тими самими принципами. Безліч простих одиниць — нейронів — з'єднуються коїться з іншими через «синапси» зі своїми числовими значеннями залежно від значень одиниць.
Згорткові нейронні мережі (convolutional neural network, CNN) - це особливий тип мереж, який набув популярності в останні кілька років. CNN отримують важливі функції зі стимулів – як правило, фотографій. Візьмемо, наприклад, фотографію собаки. Її можна у вигляді шару нейронів, де активація одного нейрона представляє один піксель у зображенні. На наступному шарі кожен нейрон прийматиме вхідні дані з набору першого шару та активуватиметься, якщо виявляє певний патерн у цьому наборі, діючи свого роду як фільтр.
У наступних шарах нейрони шукатимуть патерни в патернах і так далі. В рамках одного шару фільтри можуть бути чутливими до певних структур. Спочатку до меж фігур, потім до лап, потім до собак, доки мережа не зможе визначити різницю міжсобакою та тостером.
Нині такі обчислення коштують дорого. Враховуючи, що в людському мозку мільярди нейронів та трильйони синапсів, імітація кожного поки що неможлива. Навіть симуляція невеликої частини мозку вимагатиме мільйони обчислень для кожного елемента введення, на що потрібні величезні обчислювальні потужності. У найбільших сучасних CNN можуть бути мільйони нейронів та мільярди синапсів, але не більше.
Але все ж таки апаратне забезпечення справляється з глибоким навчанням не так ефективно, як мозок, який може керувати автомобілем і одночасно вести розмову про майбутнє автономних транспортних засобів, при цьому споживаючи енергії менше, ніж лампочка.
У 1980-х роках інженер Карвер Мід (Carver Mead) вигадав термін «нейроморфні процесори», щоб описати комп'ютерні чіпи, які працюють у певному сенсі подібно до мозку. Його робота заклала основу для цієї галузі. І хоча термін «нейроморфний» тепер застосовують до великого спектру рішень, вони намагаються повторити механізм роботи нейронних мереж на апаратному рівні, уникаючи вузьких місць, із якими стикаються традиційні процесори.
Побачивши необхідність швидкого та ефективного машинного навчання, Управління перспективних проектів Міністерства оборони США (відоміше за абревіатурою DARPA) з 2008 року активно фінансує корпоративну лабораторію IBM HRL Laboratories, щоб та розробляла нейроморфні машини, які можна легко масштабувати.
У 2014 році IBM представила свій чіп TrueNorth на обкладинці журналу Science. З того часу компанія розробляє системи на базі TrueNorth за фінансової підтримки Міністерства енергетики США, ВПС та армії. Один такий чіп містить мільйон «нейронів», кожен із яких представлений групою цифрових транзисторів, та 256 мільйонів «синапсів»- Дротових з'єднань між чіпами.
Більш ефективними порівняно із звичайними чіпами нейроморфні архітектури стають завдяки двом функціям. По-перше, такий чіп, подібно до мозку, спілкується через «спалахи» — одномірні пакети інформації, відправлені з одного нейрона до низхідних нейронів. Сигнали прості (є спалах чи ні її) і передаються лише зрідка, коли нейрон передає пакет. По-друге, так само як і в мозку, обробка та пам'ять розташовані в нейронах та синапсах. На традиційному комп'ютері блок обробки даних постійно отримує інформацію з окремих областей пам'яті, виконує операції, а потім повертає нову інформацію в пам'ять. Це призводить до безлічі повільних та енерговитратних дій.
Ключовою частиною проекту IBM було створення як чіпа, а й програмного забезпечення. Компанія створила симулятор, нову мову програмування та бібліотеку алгоритмів та додатків. Потім компанія надала ці інструменти більш ніж 160 дослідникам у академічних, національних та корпоративних лабораторіях. Дизайн TrueNorth був завершений у 2011 році, а революція згорткових нейронних мереж відбулася у 2012 році в рамках змагань ImageNet Challenge. Тому деякі люди стали ставити питання, чи зможуть чіпи TrueNorth обробляти ці мережі.
У CNN використовується метод зворотного розповсюдження помилки. Щоразу, коли мережа помиляється, обчислюється різниця між її припущенням та правильною відповіддю. Алгоритм зворотного поширення помилки розглядає кожен нейрон у кінцевому шарі та обчислює, наскільки зміна у виході цього нейрона зменшить загальну помилку. Потім він повертається до попередніх нейронів і обчислює, наскільки зміна в силі кожного синапсу зменшить загальну помилку.
Потрібно з'ясувати, чи вартозбільшити або зменшити синаптичну силу, тому алгоритм трохи підлаштовує кожну вагу в правильному напрямку. Згодом алгоритм обчислює нову помилку з використанням нових терезів і повторює весь процес. Після багатьох таких кроків помилка зменшується в процесі, який називається градієнтним спуском.
Спочатку TrueNorth вважався несумісним з алгоритмом зворотного розповсюдження помилки, оскільки градієнтний спуск вимагає внесення крихітних коригувань до ваги та бачення крихітних покращень. TrueNorth максимізує свою ефективність, використовуючи лише три різні значення ваги: -1, 0 і 1, а вихід з нейрона дорівнює 0 або 1. Градієнтів немає, тільки дискретні кроки.
Одним із ключових досягнень команди стала серія методів для виконання алгоритму зворотного розповсюдження помилки з імпульсними нейронними мережами. Дослідники вирішили це завдання, навчивши програмну модель чіпа, запрограмовану на використання апроксимації апаратного забезпечення, яке сумісне з градієнтним спуском.
Інший ключовий розробкою було зіставлення CNN з безліччю з'єднань з нейронами на чіпі, який передбачає лише 256 підключень однією нейрон. Цього вдалося досягти шляхом призначення певних пар нейронів, які спрацьовують одночасно, які об'єднали в один нейрон через входи та виходи.
Незважаючи на досить високу продуктивність TrueNorth, він був створений без урахування особливостей глибоких нейромереж та CNN, тому порівняно з іншими системами він має недоліки. Наприклад, щоб мережа з 30 тисяч нейронів працювала, потрібно 8 чіпів (8 мільйонів нейронів). Крім того, TrueNorth — повністю цифровий чіп, коли деякі мають аналогові компоненти. Їхня робота більш непередбачувана, але все-таки більш ефективна. І хочакожен чіп TrueNorth ділиться на 4096 "ядер", які працюють паралельно, 256 нейронів у кожному ядрі оновлюються лише послідовно і по одному за раз.
Послідовна обробка нейронів у ядрі TrueNorth може створити вузьке місце, але вона забезпечує регулярність. А це означає, що поведінка чіпа можна моделювати з високою точністю на настільних комп'ютерах. При цьому чіп універсальний - може підтримувати безліч різних типів мереж, а поточна мета команди творців чіпа під керівництвом головного наукового співробітника IBM з мозкоподібних обчислень Дхармендра Модха (Dharmendra Modha) полягає в тому, щоб розгорнути кілька різних мереж, що працюють разом - досягти композиційності.
Плани на майбутнє
На додачу до досягнення композиційності, команда Модха прагне досліджувати різні методи навчання. Також вчені відзначають, що методи, описані в їх роботі, можуть застосовуватися до нейроморфних чіпів, відмінних від TrueNorth. Більше того, крім нових методів навчання, команда замислюється і про радикальніші досягнення. Відповідно до звіту Департаменту енергетики США від 2015 року про нейроморфні обчислення, нині близько 5–15% світової енергії витрачається у тій чи іншій формі обробки та передачі даних. Водночас Департамент хоче підвищити швидкість, ефективність та відмовостійкість мереж. Цей звіт підштовхнув IBM до думки про розробку матеріалів з новими фізичними властивостями.
У Національній лабораторії Лоуренса Лівермора є плата з 16 чіпів TrueNorth, яка застосовується для підвищення кібербезпеки та забезпечення безпеки ядерних озброєнь США. Дослідницька лабораторія ВПС, яка використовує TrueNorth для забезпечення автономної навігації безпілотних літальних апаратів,нещодавно оголосила про плани випробувати масив із 64 чіпів.