Кількісна оцінка інформації

Інформація - Комп'ютери, програмування

Інші матеріали по предмету Комп'ютери, програмування

КІЛЬКІСНА ОЦІНКА ІНФОРМАЦІЇ

Загальна кількість повідомлень, що неповторюються, яка може бути складена з алфавітуmшляхом комбінування поnсимволів у повідомленні,

Невизначеність, що припадає на символ первинного (кодованого) алфавіту, складеного з рівноймовірних та взаємонезалежних символів,

Основа логарифму впливає лише зручність обчислення. У разі оцінки ентропії:

а) у двійкових одиницях

б) у десяткових одиницях

в) у натуральних одиницях

Оскільки інформація є невизначеність, що знімається при отриманні повідомлення, то кількість інформації може бути представлена ​​як добуток загальної кількості повідомленькна середню ентропіюН, що припадає на одне повідомлення:

Для випадків рівноймовірнісних та взаємонезалежних символів первинного алфавіту кількість інформації вдоповідомленнях алфавітуmдорівнює

а кількість інформації в повідомленні, складеному здонерівноймовірних символів,

Для нерівноймовірних алфавітів ентропія на символ алфавіту

При вирішенні завдань, у яких ентропія обчислюється як сума творів ймовірностей з їхньої логарифм, незалежно від цього, є вони безумовними , умовними чи ймовірностями спільних подій.

Кількість інформації визначається виключно характеристиками первинного алфавіту, обсяг характеристик вторинного алфавіту. Об'єм інформації

деlсрсередня довжина кодових слів вторинного алфавіту. Для рівномірних кодів (усі комбінації коду містять однакову кількість розрядів)

деnдовжина коду (число елементарних посилок вкоді). Відповідно (3), обсяг дорівнює кількості інформації, якщоlср=Н, тобто. у разі максимального інформаційного навантаження на символ повідомлення. У решті випадків .

Наприклад, якщо кодувати в коді Бодо деякі рівноймовірний алфавіт, що складається з 32 символів, то

Якщо закодувати в коді Бодо український 32-літерний алфавіт, то без урахування кореляції між літерами кількість інформації

тобто. якщо в коді існує надмірність і , то обсяг у бітах завжди більше кількості інформації в тих самих одиницях.

Тема 2. Умовна ентропія та ентропія об'єднання

Поняття умовної ентропії в теорії інформації використовується при визначенні взаємозалежності між символами алфавіту, що кодується, для визначення втрат при передачі інформації по каналах зв'язку, при обчисленні ентропії об'єднання.

У всіх випадках при обчисленні умовної ентропії у тому чи іншому вигляді використовуються умовні ймовірності.

Якщо під час передачіnповідомлень символАз'явивсяmразів, символВз'явивсяlразів, а символАразом із символомВдоразів, то ймовірність появи символуА; ймовірність появи символуВ; ймовірність спільної появи символівАіВ; умовна ймовірність появи символуАщодо символуВта умовна ймовірність появи символуВщодо символуА

Якщо відома умовна ймовірність, можна легко визначити і ймовірність спільної появи символівАіВ, використовуючи вирази (7)

Від класичного виразу (4) формула умовної ентропії відрізняється тим, що в ній ймовірності умовні:

Розрізняють поняття приватної та загальної умовної ентропії. Вираз (9) та (10) представляютьсобою приватні умовні ентропії.

Вираз (11) є загальним виразом визначення кількості інформації на один символ повідомлення для випадку нерівномірних і взаємонезалежних символів.

Так як є ймовірність спільної появи двох подій , то формула (11) можна записати наступним чином:

Поняття загальної та приватної умовної ентропії широко використовується для обчислення інформаційних втрат у каналах зв'язку з шумами.

У випадку, якщо ми передаємоmсигналівАі очікуємо отриматиmсигналівВ, вплив перешкод у каналі зв'язку повністю описуєтьсяканальною матрицею, яку ми наводимо нижче:

b1 b2 … bj … bmа1

Імовірності, які розташовані по діагоналі, визначають правильний прем, інші хибний. Значення цифр, що заповнюють колонки канальної матриці, зазвичай зменшуються при віддаленні від головної діагоналі і при повному

---