Рідж-регресія
Матеріал із MachineLearning.
Рідж-регресія або гребенева регресія(англ. ridge regression) - це один з методів зниження розмірності. Часто його застосовують для боротьби з надмірністю даних, коли незалежні змінні корелюють один з одним (тобто має місце мультиколлінеарність). Наслідком цього є погана зумовленість матриці та нестійкість оцінок коефіцієнтів регресії. Оцінки, наприклад, можуть мати неправильний знак або значення, які набагато перевершують ті, які є прийнятними з фізичних або практичних міркувань.
Застосування гребеневої регресії нерідко виправдовують тим, що це практичний прийом, за допомогою якого за бажання можна отримати менше значення середнього квадрата помилки.
Метод варто використовувати, якщо:
- сильна обумовленість;
- сильно різняться власні значення чи деякі їх близькі до нуля;
- у матриці є майже лінійно залежні стовпці.
Зміст
Приклад завдання
Припустимо ознаки в задачі були погано відібрані експертами і присутні дані про довжину, виражені з сантиметрах і дюймах. Легко бачити, що ці дані є лінійно залежними.
Опис методу
Додаткове визначення
Кількість обумовленостідорівнює ,
де власні значення.
Гребенева регресія
Вводиться модифікований функціонал
де - Коефіцієнт регуляризації. Це позитивне число, у додатках зазвичай приймають
МНК (регуляризоване) рішення виходить таким
У матриць та власні вектори збігаються, а власним значенням різняться на . Тому число обумовленості для матриці дорівнює
Виходить, що більше , тим менше число обумовленості. Ззростанням зростає стійкість завдання.
При сингулярному розкладі отримуємо.
Вони різняться лише на співмножник.
Відбувається стиснення коефіцієнтів (shrinkage). Знижується ефективна розмірність, хоча кількість ознак залишається незмінною.
Число ознак вимірюється за формулою
Після модифікації число ознак стає рівним
а це менше. Тому що більше , то менше ефективна розмірність.