Алгоритм Кохонена
Алгоритм Кохонена – передбачає підстроювання синапсів на підставі їх значень попередньої ітерації.
(3)
З вищенаведеної формули видно, що навчання зводиться до мінімізації різниці між вхідними сигналами нейрона, що надходять з виходів нейронів попереднього шаруyi(n‑1), і ваговими коефіцієнтами його синапсів.
Повний алгоритм навчання має приблизно таку ж структуру, як у методах Хебба, але на кроці 3 з усього шару вибирається нейрон, значення синапсів якого максимально схожі на вхідний образ, і підстроювання ваги за формулою (3) проводиться тільки для нього. Ця, так звана, акредитація може супроводжуватися загальмовуванням решти нейронів шару і введенням обраного нейрона в насичення. Вибір такого нейрона може здійснюватися, наприклад, розрахунком скалярного добутку вектора вагових коефіцієнтів вектором вхідних значень. Максимальний твір дає нейрон, що виграв.
Інший варіант – розрахунок відстані між цими векторами в p-вимірному просторі, де p – розмір векторів.
, (4)
де j - індекс нейрона в шарі n, i - індекс підсумовування нейронів шару (n-1),wij- вага синапсу, що з'єднує нейрони; виходи нейронів шару (n-1) є вхідними значеннями шару n. Корінь у формулі (4) брати не обов'язково, оскільки важлива лише відносна оцінка різних Dj.
У цьому випадку "перемагає" нейрон з найменшою відстанню. Іноді нейрони, що занадто часто отримують акредитацію, примусово виключаються з розгляду, щоб "зрівняти права" всіх нейронів шару. Найпростіший варіант такого алгоритму полягає в гальмуванні нейрона, що тільки що виграв.
При використанні навчання за алгоритмом Кохонена існує практиканормалізації вхідних образів, а як і – на стадії ініціалізації – і нормалізації початкових значень вагових коефіцієнтів.
, (5)
деxi- i-а компонента вектора вхідного образу або вектора вагових коефіцієнтів, а n - його розмірність. Це дозволяє скоротити тривалість процесу навчання.
Ініціалізація вагових коефіцієнтів випадковими значеннями може призвести до того, що різні класи, яким відповідають щільно розподілені вхідні образи, зіллються або, навпаки, подрібнюються на додаткові підкласи у разі близьких образів того самого класу. Для запобігання такій ситуації використовується метод опуклої комбінації. Суть його зводиться до того що, що вхідні нормалізовані образи піддаються перетворення:
, (6)
деxi– i-а компонента вхідного образу, n – загальна кількість його компонент,(t)– коефіцієнт, що змінюється у процесі навчання від нуля до одиниці, у результаті спочатку на входи мережі подаються практично однакові образи, і з часом вони дедалі більше сходяться до вихідним. Вагові коефіцієнти встановлюються на етапі ініціалізації рівними величині
, (7)
де n – розмірність вектора ваг для нейронів шару, що ініціалізується.
Самоорганізовані мережі
На основі розглянутого вище методу будуються нейронні мережі особливого типу - так звані структури, що самоорганізуються - self-organizing feature maps (цей усталений переклад з англійської, на мій погляд, не дуже вдалий, так як, йдеться не про зміну структури мережі, а тільки про підстроювання синапсів). Для них після вибору з шару n нейрона j з мінімальною відстаннюDj(4) навчається за формулою (3) не тільки цей нейрон, але і його сусіди, розташовані в околиці R. Величина R наПерші ітерації дуже великі, так що навчаються всі нейрони, але з часом вона зменшується до нуля. Отже, що ближче кінець навчання, то точніше визначається група нейронів, відповідальних кожному класу образів.