Властивості функції ентропії джерела дискретних повідомлень
Властивості функції ентропії можна наочно продемонструвати з прикладу джерела дискретних повідомленьA=(a1, a2) з обсягом алфавітуmрівного 2, тобто.m=2. У цьому випадку справедливо і вираз (1.8) може бути записаний у вигляді:
(біт/символ).
Графік цієї функції має вигляд, поданий на рис. 1.1.
Рис.1.1. Графік функції ентропії.
З графіка видно, що звернення ймовірності появи одного з можливих символів 0 або 1 вносить повну визначеність, ентропія звертається в 0 і повідомлення про прийом такого символу не містить у собі жодної інформації.
При отриманні конкретного символу найбільш невизначено і кількість інформації, що міститься в символі, що надійшов, максимально.
Аналіз формули (1.8) та графіка (Рис. 1.1) дозволяє сформулювати основні властивості функції ентропії.
1 Ентропія джерела дискретних повідомлень є величина речова, обмежена та позитивна.
2 Ентропія дорівнює 0, якщо з ймовірністю, що дорівнює одиниці, завжди вибирається той самий символ.
3 Ентропія максимальна, якщо всі символи джерела повідомлень з'являються незалежно та рівноймовірно.
Цікаво відзначити, що порівняння виразів (1.5), (1.7) і (1.10) показує, що формула Хартлі є окремим випадком формули Шеннона за умови незалежності та рівноймовірності появи символів у повідомленні, а формула Шеннона, у свою чергу, є окремим випадком умовної ентропії. за умови, що символи повідомлення є незалежними. Дійсно, з (1.10) випливає, що кількість інформації, що міститься в повідомленні, що складається зnнерівноймовірних і взаємно залежних символів визначається виразом:
.
Якщо символи повідомлення взаємно незалежні, і ,отже, цей вислів перетворюється на вигляд:
=
Останній вираз відповідає формулі Шеннона.
У разі рівноймовірної появи символів повідомлення приj=1, 2,…,m.(m– обсяг алфавіту) і вище наведений вираз для формули Шеннона після відповідного перетворення набуде вигляду:
,
який відповідає формулі Хартлі.
Отже, кількість інформації, обумовлене Хартлі, тобто. при допущенні повної незалежності та рівної ймовірності появи окремих символів повідомлення визначає максимально можливу кількість інформації в повідомленні заданої довжини (n).
При нерівній ймовірності появи символів (формула Шеннона) кількість інформації, що міститься у повідомленні заданої довжини (n), знижується. Іншим чинником, що знижує ентропію, отже, і кількість інформації у повідомленні заданої довжини (n), є наявність статистичної залежності між символами – кореляції.
Через кореляційні зв'язки між символами та нерівноймовірною їхньою кількістю інформації в реальних повідомленнях падає. Кількісно ці втрати інформації характеризуються коефіцієнтом надмірності (R)
(1.11)
де - максимальна кількість інформації, яка може містити один символ повідомлення, що визначається за формулою (1.6);
Н - середня кількість інформації, яка переносить один символ у реальних повідомленнях;
m– число символів в алфавіті джерела повідомлень (обсяг алфавіту).
Надмірність свідчить, що кількість символів у повідомленні більше, ніж це вимагалося за повного їх використання, тобто. за умови, що символи з'являються рівноймовірно та взаємно незалежно.
Цікаво відзначити,що, для європейських мов надмірність становить щонайменше 0.5.