Функції радіального базису (приклад)

Матеріал із MachineLearning.

Функція радіального базису - функція, значення якої залежить від норми аргументу. RBF використовуються у метричних алгоритмах класифікації, зокрема у методі потенційних функцій, який (у спрощеному вигляді) розглядається у цій статті.

Зміст

Постановка задачі

Задано вибірку, в якій опис кожного об'єкта є вектором. Мітки класів належать безлічі. Вважається, кожен об'єкт вибірки має певний «заряд» і створює межах околиці потенціал, вид якого визначається функцією радіального базису . Таким чином, сумарний потенціал у точці визначається за формулою:

Знак цього потенціалу визначає клас об'єкта, тобто. класифікатор. Потрібно оптимізувати значення параметрів , .

Ядерні функції

Однією з найважливіших частин алгоритму є вибір функції радіального базису. Як можуть застосовуватися такі функції (введено позначення):

1. Гауссіана, де 0" alt="\beta>0" />.
2. Ядро логістичної регресії, 0" alt="\sigma>0" />.
3. Ядро, що відповідає ньютоновому потенціалу, 0" alt="A>0" />.
4. Модифікований ньютонів потенціал, 0" alt="A>0" />, 0" alt= "n>0" />.
5. Трикутне ядро.
6. Модифіковане трикутне ядро, 0" alt="n>0" />.
7. Прямокутне ядро.
8. Ядро Єпанечникова.
9. Квартичне ядро.
10. Узагальнене квартичне ядро, 0" alt="n>0" />.
11. Зворотне мультиквадратичне ядро, 0" alt="A>0" />.
12. Сімейство ядер Вендланда, що є багаточленами на відрізку і рівні

нулю поза ним. Вони характеризуються двома параметрами - розмірністю простору та ступенемгладкості. У цій реалізації використовується перші дев'ять ядер:

Алгоритм відшукання оптимальних параметрів

Вважається, що радіуси всіх потенціалів дорівнюють між собою ( ). Змінна , і навіть параметри RBF (якщо є) — структурні параметри методу. Заряди налаштовуються згідно з алгоритмом:

1. покласти.
2. повторювати
3. вибрати випадковий елемент із вибірки
4. якщо то
5. поки не виконано критерій зупинки

Використовуються такі критерії зупинення алгоритму:

• Обмеження на максимальну кількість ітерацій.
• Частка помилок на навчальній вибірці - якщо , то алгоритм зупиняється. є структурним параметром методу.
• Як розвиток попереднього пункту — відсоток помилок на тестовій вибірці, яка

виділяється з навчальної заздалегідь випадковим чином. Частка об'єктів, що увійдуть до тестової вибірки, задається ззовні.

Оскільки підрахунок частки помилок — трудомісткий процес, то раціонально виконувати його над кожної ітерації алгоритму. Частоту перевірок можна змінювати ззовні.

Обчислювальний експеримент

Для перевірки працездатності алгоритму використовувалися набори реальних та синтетичних даних.

1)Реальні дані

Як реальні дані використовувалися дані про сорти ірисів, зібрані Фішером. Навчальна вибірка складалася зі 100 об'єктів (по 50 об'єктів кожного з двох класів), що володіють чотирма речовими ознаками. При використанні всіх чотирьох ознак алгоритм показав дуже добрий результат, неправильно класифікувавши три об'єкти. При використанні перших двох ознак класи глибоко проникають один в одного; алгоритм працює значно гірше, неправильно класифікуючи близько 25об'єктів.

По осях графіків відкладено значення ознак. Точки - об'єкти, колір крапок позначає приналежність до того чи іншого класу; колір гуртків навколо точок – результат роботи алгоритму.

У другому випадку можна намалювати тривимірний графік, що зображує потенціал у різних точках простору ознак:

2)Синтетичні дані

Синтетичні дані були об'єктами з двома ознаками з декількох кластерів. У межах кожного із кластерів ознаки мали нормальний розподіл. Залежно кількості кластерів і параметрів розподілу завдання класифікації представляла різну складність.

2.1) Легкий випадок

Об'єкти формують два кластери із слабким взаємним проникненням. Якість класифікації хороша (менше 5% неправильно визначених міток класів).

2.2) Проміжний випадок

Об'єкти становлять п'ять кластерів із суттєвим проникненням. Неправильно класифіковано близько 8% об'єктів.

2.3) Складний випадок

Об'єкти становлять вісім кластерів із сильним проникненням один в одного. Неправильно класифіковано близько 13% об'єктів.

---