Машина Больцмана

Машина Больцмана(англ.Boltzmann machine) - вид стохастичної рекурентної нейронної мережі, винайденої Джеффрі Хінтоном і Террі Сейновскі в 1985 [1] . Машина Больцмана може розглядатися як генеративний стохастичний варіант мережі Хопфілда.

Фахівці зі статистики називають такі мережі випадковими марківськими полями. Мережа названа машиною Больцмана на честь австрійського фізика Людвіга Больцмана, одного із творців статистичної фізики.

Ця мережа використовує для навчання алгоритм імітації відпалу та виявилася першою нейронною мережею, здатною навчатися внутрішнім уявленням, вирішувати складні комбінаторні завдання. Незважаючи на це, через низку проблем, машини Больцмана з необмеженою зв'язністю не можуть використовуватися для вирішення практичних проблем. Якщо ж зв'язність обмежена, навчання може бути досить ефективним для використання на практиці. Зокрема з каскаду обмежених машин Больцмана будується так звана глибока мережа довіри.

Зміст

Як і мережа Хопфілда, машина Больцмана є мережею нейронів із певною для неї поняттям "енергії". Розрахунок глобальної енергії виробляється ідентичним формою з мережею Хопфілда образом:

  • w_ сила зв'язку між нейронами j та i.
  • s_i стан, s_i \in\, нейрона i.
  • \theta_i поріг для нейрона i.

Зв'язки мають такі обмеження:

  • w_=0qquadforall i . (Нейрон не може мати зв'язок з самим собою);
  • w_=w_qquad \forall i,j (всі зв'язки є симетричними).

Термічна рівновага

Одним із основних недоліків мережі Хопфілда є тенденція «стабілізації» стану мережі у локальному, а не у глобальному мінімумі. Практичнобажано, щоб мережа переходила в глибокі мінімуми енергії частіше, ніж неглибокі, і щоб відносна ймовірність переходу мережі в один із двох мінімумів із різною енергією залежала тільки від співвідношення їх глибин. Це дозволило б керувати ймовірностями отримання конкретних вихідних векторів стану шляхом зміни профілю енергетичної поверхні системи за рахунок модифікації ваги зв'язків. На основі цих міркувань і побудовано машину Больцмана.

Ідея використання «теплового шуму» для виходу з локальних мінімумів та підвищення ймовірності попадання у глибші мінімуми належить С. Кірпатріку. На основі цієї ідеї розроблено алгоритм імітації відпалу.

Введемо деякий параметр t аналог рівня теплового шуму. Тоді ймовірність активності деякого нейрона визначається на основі ймовірнісної функції Больцмана:

де t - Рівень теплового шуму в мережі; E_k - сума ваги зв'язків до-го нейрона з усіма активними в даний момент нейронами.

Обмежена машина Больцмана

Хоча можливості навчання машини Больцмана обмежені практично, ці проблеми можна вирішити застосуванням архітектури обмеженої машини Больцмана (restricted Boltzmann machine; RBM). У цій архітектурі зв'язку існують лише між прихованими та видимими нейронами, але при цьому відсутні між нейронами одного класу. Така архітектура спочатку використовувалася Полом Смоленськи в 1986 році під назвою Harmonium [2] , але набула популярності тільки після винаходу Хінтоном швидких алгоритмів навчання в середині 2000-х років.

Обмежені машини Больцмана використовують у мережах глибинного навчання. Зокрема, глибокі мережі довіри можуть бути отримані шляхом «накладання» RBM та подальшого донавчання за допомогою зворотного алгоритмупоширення помилки.

Напишіть відгук про статтю "Машина Больцмана"

Примітки

  1. ↑Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J.A Learning Algorithm для Boltzmann Machines. - Cognitive Science 9 (1), 1985. - С. 147-169.
  2. ↑Smolensky Paul.Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory // [www-psych.stanford.edu/

jlm/papers/PDP/Volume%201/Chap6_PDP86.pdf Parallel Distributed Processing: Explorations in Microstructure of Cognition, Volume 1: Foundations]. - MIT Press, 1986. - P. 194-281. - ISBN 0-262-68053-X.

  • [youtube.com/watch?v=AyzOUbkUf3M Talk at Google by Geoffrey Hinton]
Прямої діїЗі зворотними зв'язками

Уривок, що характеризує Машина Больцмана

- Ми його звідти як довбали, так все покидав, самого короля забрали! - блищачи чорними розпаленими очима і озираючись навколо себе, кричав солдат. - Підійди тільки цього разу лезерви, його б, брате ти мій, звання не залишилося, тому вірно тобі кажу ... Князь Андрій, так само як і всі оточуючі оповідача, блискучим поглядом дивився на нього і відчував втішне почуття. «Але хіба не однаково тепер, – подумав він. – А що буде там, і що таке було тут? Чому мені так шкода було розлучатися із життям? Щось було в цьому житті, чого я не розумів і не розумію».