Сплайн, що згладжує

Згладжуючий сплайн(англ.smoothing spline) це метод згладжування (апроксимації кривої набору зашумлених вихідних даних) з використанням сплайн-функцій.

Зміст

Визначення

Нехай (x_i, Y_i); x_1 послідовність спостережень, породжених виразом Y_i = \mu (x_i). Наближення сплайнами, що згладжують \hat\mu функції \mu визначається як функція (у класі двічі диференційованих функцій), що мінімізує [1]

\sum_^n (Y_i - \hat\mu(x_i))^2 + \lambda \int_^ \hat\mu(x)^2 \,dx.

  1. \lambda \ge 0 параметр згладжування, що контролює співвідношення між точністю відтворення даних та «нерівністю» апроксимуючої функції.
  2. інтеграл обчислюється по всьому діапазону x_i.
  3. при \lambda\to 0 (немає згладжування), сплайн, що згладжує, перетворюється на інтерполяційний сплайн.
  4. при \lambda\to\infty (нескінченне згладжування), штраф за нерівність стає переважним і апроксимація перетворюється на лінійну МНК апроксимацію.
  5. найчастіше в сучасній статистичній літературі використовується штраф за нерівність на основі другої похідної, проте метод може бути легко адаптований до використання штрафів на основі інших похідних.
  6. у ранній літературі, з рівновіддаленими x_i, для обчислення штрафу замість похідної використовувалися кінцеві різниці другого та третього порядку.
  7. якщо суму квадратів відхилень сплайну від вихідних даних (перший член функціоналу) замінити на логарифм функції правдоподібності, отримаємо оцінку максимальної правдоподібності зі штрафною функцією. У такій постановці звичайний сплайн, що згладжує, є спеціальним випадком, коли правдоподібність розраховується виходячи з нормального розподілу похибки.

Висновок сплайну, що згладжує

Для зручності розділимо знаходження виразів, що описують сплайн, що згладжує, на два етапи

  1. Для початку знайдемо значення \ hat \ mu (x_i); i = 1, \ ldots, n .
  2. З цих значень знайдемо \hat\mu(x) всімx.

Почнемо з другого кроку.

Даний вектор \hat = (\hat\mu(x_1), \ldots,\hat\mu(x_n))^T "підігнаних" значень, сума квадратів в критерії сплайну - константа. Потрібно тільки мінімізувати \int \hat\mu(x)^2 \, dx , і мінімізація - натуральний кубічний сплайн, що інтерпрелює точки (x_i, \hat\mu(x_i)). Цей інтерполяційний сплайн це лінійний оператор, і він може бути представлений у формі:

де f_i(x) набір базових сплайн-функцій. В результаті штраф за негладкість має форму

\int \hat\mu(x)^2 dx = \hat^T A \hat.де елементиA— \int f_i(x) f_j( x) dx. Базисні функції та матрицяAзалежать від конфігурації незалежних змінних x_i, але не від Y_i або \hat m.

Тепер, повертаючись до першого кроку, виважена сума квадратів може бути записана як

\Y - \hat m\^2 + \lambda \hat^T A \hat m, де Y=(Y_1,\ldots,Y_n)^T . мінімізація по \hat m дає

\hat m = (I + \lambda A) ^ Y.

Створення багатовимірних сплайнів

З наведеного обмеження на формулу визначення x_1 ми можемо зробити висновок, що алгоритм не працює для довільного набору даних. Якщо планується використання алгоритму довільного набору точок у багатовимірному просторі необхідний алгоритм, у якому немає таких обмежень. Можливе рішення полягає у введенні параметра таким чином, що вхідні дані можуть бути представлені як одновимірні функції, що залежать від цього параметра; потім можна застосувати згладжування кожної функції. У двовимірномупростір рішення полягає в параметризації x і y як x(t) and y(t) де t_1 . Відповідне рішення для t це накопичена відстань t_=t_+\sqrt-x_)^2+(y_-y_)^2> де t_1 = 0. [2] [3]

Більш детальний аналіз параметризації виконано E.T.Y Lee. [4]

Пов'язані методи

Сплайни, що згладжують, мають відношення, але відрізняються від:

  • Регресійні сплайни. У цьому методі дані апроксимуються набором базисних сплайн-функцій зі зменшеною кількістю вузлів, як правило, за МНК. Штрафи за негладкість не використовуються.
  • Penalized Splines. Поєднують зменшену кількість вузлів регресійних сплайнів зі штрафом за негладкість сплайнів, що згладжують. [5]
  • Метод пружної картки. Даний метод поєднує МНК-штрафи для помилки апроксимації зі штрафами за кривизну і розтягування множини, що апроксимує, і використовує великий крок дискретизації для оптимізації проблеми.

Вихідний код

Вихідний код для сплайнів, що згладжують, може бути взятий з прикладів до книги Carl de Boor'sA Practical Guide to Splines. Приклади написано на Фортрані. Оновлені вихідні коди також доступні на офіційному сайті Carl de Boor's [pages.cs.wisc.edu/

Напишіть відгук про статтю "Сплайн, що згладжує"

Примітки

Література

  • Wahba, G. (1990).Spline Models for Observational Data. SIAM, Philadelphia.
  • Green, PJ і Silverman, BW (1994).Nonparametric Regression і Generalized Linear Models. CRC Press
  • De Boor, C. (2001).A Practical Gu
Визначення

: неправильне або відсутнє зображення

Для покращення цієї статті бажано? :
  • Вікіфікувати список літератури.

Уривок, що характеризує Згладжуючий сплайн

Обличчя княгині змінилося. Вона зітхнула. — Так, мабуть, — сказала вона. – Ах! Це дуже страшно… Губка Лізи опустилася. Вона наблизила своє обличчя до лиця попелу і знову несподівано заплакала. - Їй треба відпочити, - сказав князь Андрій, морщачись. - Чи не так, Ліза? Зведи її до себе, а я піду до батюшки. Що він, все те саме? – Те саме, те саме; не знаю, як на твої очі, – радісно відповіла княжна. - І той самий годинник, і алеями прогулянки? Верстат? – питав князь Андрій із трохи помітною усмішкою, що показувала, що незважаючи на всю свою любов та повагу до батька, він розумів його слабкості. — Той самий годинник і верстат, ще математика і мої уроки геометрії, — радісно відповідала княжна Мар'я, ніби її уроки з геометрії були одним із найрадісніших вражень її життя. Коли минули ті двадцять хвилин, які були потрібні для терміну вставання старого князя, Тихін прийшов кликати молодого князя до батька. Старий зробив виняток у своєму способі життя на честь приїзду сина: він наказав впустити його у свою половину під час одягання перед обідом. Князь ходив старовинним, у каптані та пудрі. І коли князь Андрій (не з тим буркотливим виразом обличчя і манерами, які він напускав на себе у вітальні, а з тим жвавим обличчям, яке в нього було, коли він розмовляв з П'єром) входив до батька, старий сидів у вбиральні. на широкому, сафіяному оббитому кріслі в пудроманті, надаючи свою голову рукам Тихона. - А! Воїн! Бонапарта завоювати хочеш? — сказав старий і труснув напудреною головою, скільки дозволяла це коса, що заплетається, що в руках Тихона. - Приймись хоч ти за нього гарненько, а то він так скоро і нас своїми підданими запише. – Здорово! – І він виставив свою щоку. Старийперебував у гарному настрої після дообіднього сну. (Він казав, що після обіду срібний сон, а до обіду золотий.) Він радісно з-під своїх густих навислих брів косився на сина. Князь Андрій підійшов і поцілував батька у вказане їм місце. Він не відповідав на улюблену тему розмови батька – кепкування з теперішніх військових людей, а над Бонапартом. — Так, приїхав до вас, батюшка, і з вагітною дружиною, — сказав князь Андрій, стежачи жвавими й шанобливими очима за рухом кожної риси батьківського обличчя. - Як ваше здоров'я? - Нездорові, брате, бувають тільки дурні та розпусники, а ти мене знаєш: з ранку до вечора зайнятий, поміркований, ну і здоровий. - Слава Богу, - сказав син, посміхаючись. - Бог тут ні до чого. Ну, розповідай, – продовжував він, повертаючись до свого коханого ковзана, – як вас німці з Бонапартом боротимуться за вашою новою наукою, званою стратегією, навчили. Князь Андрій усміхнувся. — Дайте схаменутися, батюшка, — сказав він з усмішкою, яка показувала, що слабість батька не заважає йому поважати і любити його. – Я ж ще й не розмістився. — Брешеш, брешеш, — закричав старий, струшуючи кіскою, щоб спробувати, чи міцно вона була заплетена, і хапаючи сина за руку. – Будинок для твоєї дружини готовий. Княжна Мар'я зведе її і покаже і з три короби набалакає. Це їхня бабина справа. Я їй радий. Сиди, розказуй. Міхельсона армію я розумію, Толстого теж… висадка одноразова… Південна армія що робитиме? Пукраїнсія, нейтралітет... це я знаю. Австрія що? - говорив він, вставши з крісла і ходячи по кімнаті з Тихоном, який бігав і подавав частини одягу. – Швеція що? Як Помірянню перейдуть? Князь Андрій, бачачи наполегливість вимоги батька, спочатку неохоче, але потім дедалі більше пожвавлюючись і мимоволі, серед розповіді, за звичкою,перейшовши з української французькою мовою, почав викладати операційний план передбачуваної кампанії. Він розповів, як дев'янотисячна армія повинна була загрожувати Пукраїнсії, щоб вивести її з нейтралітету і втягнути у війну, як частина цих військ мала в Штральзунді з'єднатися зі шведськими військами, як двісті двадцять тисяч австрійців, у поєднанні зі ста тисячами українців, мали діяти в Італії та на Рейні, і як п'ятдесят тисяч українських та п'ятдесят тисяч англійців висадяться в Неаполі, і як у результаті п'ятсоттисячна армія мала з різних боків зробити напад на французів. Старий князь не виявив жодного інтересу при розповіді, ніби не слухав, і, продовжуючи на ходу одягатися, тричі несподівано перервав його. Одного разу він зупинив його і закричав: — Білий! білий! Це означало, що Тихін подавав йому не той жилет, який він хотів. Інший раз він зупинився, спитав: — І скоро вона народить? - І з докором похитавши головою, сказав: - Недобре! Продовжуй, продовжуй. Утретє, коли князь Андрій закінчував опис, старий заспівав фальшивим і старечим голосом: «Malbroug s'en va t en guerre. Dieu sait guand reviendra». [Мальбрук у похід зібрався. Бог знає повернеться колись.] Син тільки посміхнувся. - Я не кажу, щоб це був план, який я схвалюю, - сказав син, - я вам тільки розповів, що є. Наполеон вже склав свій план не гірше за це. - Ну, новенького ти мені нічого не сказав. – І старий задумливо промовив про себе скоромовкою: – Dieu sait quand reviendra. - Іди в їдальню.

У призначену годину, напудрений і поголений, князь вийшов у їдальню, де чекала його невістка, княжна Мар'я, m lle Бурьєн і архітектор князя, за дивною примхою його допускається до столу, хоча за своїм становищемнезначна людина ця ніяк не могла розраховувати на таку честь. Князь, що твердо тримався в житті відмінності станів і рідко допускав до столу навіть важливих губернських чиновників, раптом на архітекторі Михайлі Івановичу, що сякав у кутку в картату хустку, доводив, що всі люди рівні, і не раз навіяв своїй дочці, що Михайла Іванович гірше за нас з тобою. За столом князь найчастіше звертався до безсловесного Михайла Івановича.