Карти Кохонена
Будь-яка нейронна мережа, перш за все, має бути навчена. Процес навчання полягає у підстроюванні внутрішніх параметрів нейромережі під конкретне завдання.
При навчанні "класичної" багатошарової нейромережі на вхід подаються дані або індикатори, а вихід нейромережі порівнюється з еталонним значенням. Різниця цих значень називається помилкою нейронної мережі, яка мінімізується в процесі навчання. Таким чином, звичайні нейронні мережі виявляють закономірності між вхідними даними та прогнозованою величиною. Якщо такі закономірності є, то нейромережа їх виділить і прогноз буде успішним.
У процесі навчання карт Кохонена на входи також подаються дані та індикатори, але за цьому мережа підлаштовується під закономірності у вхідних даних, а чи не під еталонне значення виходу. Таке навчання називається навчанням "без вчителя". Навчання при цьому полягає не в мінімізації помилки, а в підстроюванні внутрішніх параметрів нейромережі (ваги) для більшого збігу з вхідними даними. Після навчання така нейромережа візуально відображає багатовимірні вхідні дані на площині нейронів. Маючи таке представлення даних, можна наочно побачити наявність чи відсутність взаємозв'язку у вхідних даних.
Для більшої зручності візуального представлення нейрони карти Кохонена розташовують у вигляді двомірної матриці і розфарбовують цю матрицю в залежності від параметрів нейронів, що аналізуються.
Порядок роботи з картами Кохонена
Як і при роботі зі звичайними нейромережами, оперування картами Кохонена складається з кількох послідовних етапів. Першим є етап визначення складу входів.
Для хорошого навчання звичайної нейромережі потрібно вибрати таку безліч входів, яка найбільшесильно впливає на вихідні (прогнозовані) значення. Якщо ми вгадали, і входи справді впливають на виходи, то нейромережа працюватиме і даватиме чудові прогнози. Однак підібрати правильні входи дуже складно. Зазвичай це робиться шляхом спроб і помилок, тобто. простим перебором різних комбінацій індикаторів та даних. Про ці та інші тонкощі роботи з такими нейромережами було розказано у статті «Нейросе-ти: робота над помилками» у попередньому номері ЗС.
Входи нейромережі, що навчається «без вчителя», визначаються іншим чином, і перед такою нейромережею ставиться інша мета - виявлення закономірностей між будь-якими вхідними даними та індикаторами, які подаються на вхід карти. Архітектура карт Кохонена, на відміну від багатошарової нейромережі, дуже проста і є одним-єдиним шаром нейронів, який організований у вигляді двомірної матриці. Користувачеві необхідно визначити лише розмір цієї матриці, тобто. кількість нейронів за шириною та кількість нейронів за висотою.
Карти Кохонена дають візуальне відображення багатовимірних вхідних даних. У карти Кохонена аналізуються не тільки виходи нейронів (як у випадку звичайної нейромережі), але також ваги нейронів та розподіл прикладів по нейронах. Так як карта Кохонена організована у вигляді двомірної решітки, у вузлах якої розташовуються нейрони, її дуже зручно відображати на площині у вигляді «карти» з розфарбуванням, що залежить від величини аналізованого параметра нейрона. Саме через схожість такого типу зображення нейромережі з топографічними картами вони отримали назву карт Кохонена.
Як влаштовано карту Кохонена
Таким чином, карти Кохонена, що самоорганізуються, являють собою один з видів нейронних мереж. Принципи роботи та навчання такої нейромережі булисформульовані фінським ученим Тойво Кохоненом у 1982 році. Основною ідеєю Т. Кохонена є введення в правило навчання нейрона інформації про його розташування. За Кохоненом, нейромережа має один вхідний шар, з числом нейронів, рівним числу входів, і єдиний прихований (вихідний) шар нейронів, що утворює одновимірну (лінія) або двовимірну (прямокутник) грати. За аналогією з топографічними картами таку нейромережу також називають картою Кохонена.
З цією парадигми навчання проводиться без «вчителя», тобто. у процесі навчання немає порівняння виходів нейронів із еталонними значеннями.
У процесі навчання на вхід такої нейромережі послідовно подаються навчальні приклади. Після подачі чергового прикладу визначається більш схожий нейрон, тобто. нейрон, у якого скалярний добуток ваг та поданого на вхід вектора мінімально. Такий нейрон вважається переможцем і покликаний бути центром при підстроюванні ваг у сусідніх нейронів. Правило навчання, запропоноване Кохоненом, передбачає змагальне навчання з урахуванням відстані нейронів від «нейрона-переможця» та записується у вигляді:
де - функція сусідства, що визначає величину коригування ваги нейрона,wi- вагаi-го нейрона,b- швидкість навчання.
Для нейрона-переможця функція сусідства дорівнює 1 і потім плавно (за лінійним або експонентним законом) зменшується при віддаленні від нього. Таким чином, у процесі навчання підстроювання вагів відбувається не тільки в одному нейроні - нейроні-переможці, але і в його околицях.
Після закінчення процесу навчання карта Кохонена класифікує вхідні приклади групи схожих друг з одним. Вся сукупність нейронів у вихідному шарі точно моделює структуру розподілунавчальних прикладів у багатовимірному просторі. Унікальність технології самоорганізованих карт полягає у перетворенні N-вимірного простору на дво- або одновимірне. Однак таке перетворення пов'язане з деякими помилками. Дві точки, що близько лежать на карті Кохонена, будуть близькі і в N-мірному вхідному просторі, але не навпаки.
Для кращого розуміння ми підготували приклад, який роз'яснює загальні підходи до аналізу карт, що самоорганізуються. Подамо на два входи карти (розміром 50х50 нейронів) набір випадкових чисел від 0 до 50 загальним числом 500 прикладів.
Після навчання такої карти Кохонена все сімейство карт матиме вигляд, зображений малюнку. Карта частот має рівномірний розподіл прикладів на поверхні карти, що пояснюється рівномірним розподілом вхідних прикладів і якістю навчання карти.
У цьому прикладі цікавить розмальовка карти входів. Забарвлення кожної з них лінійне і постійне по одній з граней карти. Причому обидві карти входів мають однакове забарвлення, але розгорнуті одна щодо одної на 90 градусів. При значенні 1-го входу, що дорівнює 0 (темно-синя смуга на першій карті), 2-й вхід може приймати весь спектр значень від 0 (темно-синій) до 50 (темно-червоний). Це відповідає вхідному розподілу даних (пара незалежних, рівномірно розподілених величин). Таким чином, картка, що самоорганізується, змогла правильно відобразити взаємний розподіл двох входів карти.
Карта виходів нейронів
Виходи нейронів карти Кохонена нагадують топографічну карту. Координати цієї карти визначають становище одного нейрона. Наприклад, координати 12:34 описують нейрон, що знаходиться на перетині 12 стовпця з 34 поряд у матриці нейронів. Величина виходу нейрона за аналогією догеографічними картами сприймається як висота точки.
Карти Кохонена, як і географічні карти, можна відображати або двомірному, або тривимірному вигляді. У двомірному вигляді карта розфарбовується відповідно до рівня виходу нейрона. Для вищих значень зазвичай використовуються світлі тони, а низьких значень - темні.
Мапа виходів є головною картою в аналізі карт Кохонена. Саме на неї проектується взаємне розташування досліджуваних даних. Подібні вхідні дані утворюють на карті кластери - замкнуті області, які з нейронів з однаковими значеннями виходів. Як правило, яскраво виражені кластери даних мають чіткі межі з іншими областями карти. У тривимірному вигляді це виглядає як крутий схил пагорба.
Карта частот
Після закінчення навчання кожен вхідний приклад потрапляє у «свій» нейрон. При цьому деякі нейрони не потрапить жодного прикладу, а деякі потрапить кілька прикладів. Розподіл навчальних прикладів по нейронах дуже показовий і відображається на карті частот.
У випадку вхідні приклади рівномірно розподіляються по карті. Але якщо даних є яскраво виражені групи, то приклади розподіляються нерівномірно, утворюючи кластери. Кластером може бути або відокремлена група з декількох нейронів, в яку потрапила деяка кількість вхідних прикладів, або окремий нейрон, який потрапило велике число вхідних прикладів.
Карта входів нейронів
Як говорилося вище, під час аналізу карт Кохонена проводиться оцінка як виходів нейронів, а й терезів нейронів. Для кожного входу нейрона малюється своя карта, яка розфарбовується відповідно до значення відповідної ваги нейрона. У нейронної мережі, що навчається з учителем, ваги нейронів не мають фізичного сенсута не використовуються в аналізі. При навчанні без «вчителя» ваги нейронів підлаштовуються під точні значення вхідних змінних і відбивають їх внутрішню структуру. Для ідеально навченої нейронної мережі вага нейрона дорівнює відповідній компоненті вхідного прикладу. Зазвичай аналізують одночасно кілька карток входів. Спочатку на одній карті виділяють області однакового кольору. У цій галузі групуються вхідні приклади, мають однакове значення відповідного входу. Далі нейрони з цієї галузі вивчаються на інших картах щодо колірного розподілу.
Працюючи з картами Кохонена важливо розуміти, що це розглянуті вище карти - лише розмальовки тих самих нейронів. При цьому кожен навчальний приклад має те саме розташування на кожній з розглянутих карт.