Єтні канали

2.1. Власна інформація. Взаємна інформація

Опис дискретного каналу

Дискретним називається канал, сигнали на вході та виході якого є послідовностями випадкових дискретних величин (символів).

Для повного опису каналу на інтервалі часу, що відповідає передачі одного символу, необхідно задати ансамблі символів на входіXі виходіYта умовні ймовірності переходівp(yk/xj).

Оскільки поява символу повідомленняxjна вході дискретного каналу є випадковою подією, то кажуть, що має місце невизначеність результату. В результаті досвіду невизначеність зменшується, і при цьому виходить деяка кількість інформації.

Тоді власна інформація символуxj(кількість інформації, що доставляється самим символомxjабо будь-яким іншим, однозначно з ним пов'язаним) визначається як

тобто. інформація у будь-якій події вимірюється логарифмом величини, зворотної ймовірності його появи.

Вибір основи логарифмуlogap(xj)визначає одиницю кількості інформації. Якщоа= 2, то одиниця інформації називається двійковою (біт), приа=е- натуральною (нат), а приа= 10 - десятковий (дит, хартлі). Двійкова одиниця кількості інформації, наприклад, є власна інформація символу, що має два рівноможливі стани. Перехід від однієї системи логарифмів до іншої рівносильний простої зміни одиниці виміру інформації. Цей перехід здійснюється за формулою

Умовна власна інформація

У загальному випадку символиXтаYна вході та виході дискретного каналу залежні. Нехайp(xj/yk)- умовна ймовірність того, що реалізувався станxjансамблюXза умови , що ансамбльYприйняв станyk. Тоді, за аналогією з власною, інформація, що міститься в символіxjза умови, що сигнал набув значенняyk, визначається як

і називається умовною власною інформацією.

Розглянемо знову ансамбліXтаY. Нехай ансамблі залежать. В результаті досвіду (прийом символуyk) апостеріорна ймовірність появи символуxjзмінюється порівняно з апріорною. Тоді кількість інформації щодо символу повідомленняxj, що доставляється символомyk, можна визначити як логарифм відношення апостеріорної ймовірності до апріорної

У такий спосіб і визначається взаємна інформація.

Основні властивості взаємної інформації

1.Взаємна інформація може бути негативною, позитивною або рівною нулю, залежно від співвідношення між апріорною та апостеріорною ймовірностями

Оскільки яскравості елементів незалежні, то за властивістю адитивності інформації

Приклад 2.1.2. На екрані індикатора РЛС, що представляє поле з 10 вертикальними та 10 горизонтальними смугами, з'являється зображення об'єкта у вигляді відмітки яскравості. Усі положення об'єкта є рівноймовірними.

Визначити кількість інформації, що міститься у повідомленнях:

а) об'єкт знаходиться у 46-му квадраті екрану;

б) об'єкт знаходиться в 5-му горизонтальному рядку екрана.

Рішення.а) Нехайх46– повідомлення про те, що об'єкт знаходиться у 46-му квадраті екрану.

Власна інформація в цьому повідомленні за формулою (2.1.1)I(x46)=-log2x46. Безумовнаймовірність повідомлення - об'єкт знаходиться у 46-му квадраті екрану – дорівнює

деn– загальна кількість можливих наслідків (квадратів поля),

m- число результатів, що сприяють подіїx46.

За умовою задачіn=100 (квадратів), аm=1. Тоді

б) Імовірність подіїy5- об'єкт знаходиться в 5-му горизонтальному рядку екрана, за аналогією з розглянутим випадком а), визначається так:

p(y5) = m / n де n = 100, m = 10 і p (y5) = 10 / 100 = 1/10.

Приклад 2.1.3..Розглядається ансамбль повідомлень, наведений у таблиці

Повідомленняx4надходить у кодер. Обчислити додаткову інформацію про це повідомлення, що доставляється кожним наступним символом на виході кодера.

Рішення.На вхід кодера надходять повідомленняx0,x1,… ,x6та кодер породжує відповідні таблиці двійкові символи. Так, повідомленнюx4. відповідає кодове слово 101. Символи виході кодера з'являються послідовно, тобто. перший символ 1, другий 0 і третій 1. Перший символ кодового слова містить інформацію щодо того, яке повідомлення надходить на вхід кодера. Так, перший символ 1 показує, що на виході можуть бути повідомленняx2, x4, x5абоx6. Другий символ 0 звужує вибір - тепер на вході можливо обидва з двох повідомлень:x2абоx4. І, нарешті, останній, третій символ однозначно визначає передане повідомлення.

Як відомо, взаємна інформація є деякою (логарифмічною) функцією зміни ймовірностей. Тоді за формулою (2.1.3) взаємна інформація, що міститься в першому кодовому символі 1 щодо повідомленняx4,

Імовірністьp(x4/1)може бути знайдена за формулою Байєса. Умовна ймовірність гіпотези

У нашому випадку гіпотезиx0,x1,…,x6(Hi), а випадкова подіяА,що має місце при певній гіпотезі, є поява кодового символу 1 на виході кодера. Тоді формула Байєса набуде такого вигляду:

тобто. умовна ймовірністьp(1/x4)=0для гіпотез, у яких перший кодовий символ 0, іp(1/x4)=1для гіпотез, у яких перший кодовий символ 1. У формулі Байєса враховуються, таким чином, ті гіпотези, при яких можлива поява 1 на першому місці.

і взаємна інформація, що міститься в першому кодовому символі щодо повідомленняx4,

Інформація, що міститься у другому кодовому символі 0 за умови, що перший кодовий символ був 1, є

Інформація, що міститься в третьому кодовому символі 1 за умови, що йому передували 10, є

Оскільки повідомленняxjі кодові слова однозначно пов'язані, то

Справді, I(x4) = - log2 p(x4) = - log2 32 =5 біт і це одно

= 2.2 + 0.48 + 2.32 = 5 біт.

Приклад 2.1.4.По дискретному каналу передаються повідомленняx1таx2. Внаслідок дії шумів на виході каналу з'являються сигналиy1,y2таy3. Імовірності спільної появи задані у таблиці

---