Рівняння Колмогорова для ймовірностей станів

Рівняння Колмогорова – рівняння для перехідної функції марковського випадкового процесу.

Вичерпною кількісною характеристикою Марківського процесу є сукупність ймовірностей станів, тобто. ймовірностей pi ( t ) те, що у момент t процес буде у стані si ( i =1… n ) .

Граф станів моделі розмноження та загибелі

Розглянемо, як визначаються ймовірності станів за наведеним на рис. графу станів, вважаючи всі потоки найпростішими. У випадковий момент часу t система може бути в одному з станів si з ймовірністю pi(t). Надамо t мале збільшення ∆ t і знайдемо, наприклад, p 2 ( t +∆ t ) - ймовірність того, що в момент t + ∆ t система буде в змозі s 2 . Це може статися, по-перше, якщо система в даний момент була в стані s 2 і за час t не вийшла з нього; по-друге, якщо в момент t система була в стані s 1 або s 5 і за час t перейшла в стан s 2 .

У першому випадку треба ймовірність p 2 ( t ) помножити на ймовірність того, що за час t t система не перейде в стан s1, s3 або s4. Сумарний потік подій, що виводить систему зі стану s2 має інтенсивність λ21+ λ23+ λ24. Значить, ймовірність того, що за час ∆ t система вийде зі стану s 2 дорівнює (λ21+ λ23+ λ24)∆ t . Звідси ймовірність першого варіанта p 2.1 (t + t) = p 2 (t) [1-(λ21 + λ23 + λ24) t].

Знайдемо можливість переходу в стан s 2 . Якщо в момент t система знаходилася в стані s 1 з ймовірністю pi ( t ) , то ймовірність переходу в стан s 1 за час ∆ t дорівнює p 2.2 ( t + ∆ t ) = p 1 ( t ) λ12 ∆ t .

Аналогічно длястану s 5 . p 2.3 ( t + ∆ t ) = p 1 ( t )λ52 ∆ t .

Складаючи ймовірності p 2.1 (t + t) + p 2.2 (t + t) + p 2.2 (t + t), отримаємо.

Розкриємо квадратні дужки, перенесемо p 2 ( t ) у ліву частину і розділимо обидві частини на ∆ t :

Якщо спрямувати ∆ t до нуля, то зліва отримаємо похідну функції p 2 ( t ):

Аналогічні рівняння можна вивести всім інших станів. Виходить система диференціальних рівнянь:

Ця система лінійних диференціальних рівнянь дає можливість визначити ймовірності станів, якщо задати початкові умови. У лівій частині кожного рівняння стоїть похідна ймовірності i -го стану, а в правій - сума творів ймовірностей усіх станів, з яких ведуть стрілки в даний стан, на інтенсивності відповідних потоків подій, мінус сумарна інтенсивність всіх потоків, що виводять систему з даного стану, помножена на ймовірність i-го стану.

Представимо рівняння Колмогорова у загальному вигляді

Тут враховано, що з станів, які мають безпосередніх переходів, вважатимуться .

Фінальні ймовірності станів

Якщо процес, що протікає в системі, триває досить довго, то варто говорити про граничну поведінку ймовірностей Pi(t) при t -> infinity. У деяких випадках існуютьфінальні (граничні) ймовірності станів:

що не залежать від того, в якому стані система знаходилася в початковий момент. Говорять, що в системі встановлюється граничний стаціонарний режим, при якому вона переходить зі стану в стан, але ймовірності станів Pi вже не змінюються в часі. Система, для якої існують фінальні стани, називається ергодичною, а відповідний випадковий процес – ергодичним.

Фінальні ймовірності системи можуть бути отримані шляхом вирішення системи лінійних рівнянь алгебри, які виходять з диференціальних рівнянь Колмогорова, якщо прирівняти похідні до нуля, а ймовірнісні функції станів P0(t), P1(t). Pn(t) у правих частинах рівнянь Колмогорова замінити на невідомі фінальні ймовірності P0, P1, P2. Pn.

Таким чином, для системи з n+1 станами виходить система n+1 лінійних однорідних рівнянь алгебри з n+ 1 невідомими P0, P1, P2. Pn, які можна знайти з точністю до постійного множника. Для знаходження їх точних значень до рівнянь додають нормувальну умову P0 + P1 +. Pn = 1, користуючись яким можна виразити будь-яку з ймовірностей через інші і відкинути одне з рівнянь.