Практичне заняття №2 Визначення ентропії та обсягу інформації

Визначити ентропію повної багаторівневої ієрархічної системи, кількість елементів якої на кожному рівні визначаєтьсяin=kn, n – номер рівня, k - Підстава системи. Корінь графа знаходиться на нульовому рівні.

Визначити ентропію зображення телевізійного приймача, якщо має число градацій 8, 500 рядків, 700 елементів у рядку.

Якщо градації яскравості рівноймовірні та взаємонезалежні:

Визначити обсяг інформації у слові «пролетар»:

а) якщо слово у коді Бодо

б) якщо слово у стандартному коді №3.

йому дорівнює кількість інформації, якщо перешкоди в каналі зв'язку відсутні?

Визначити обсяг інформації під час передачі документа, що містить 20 рядків текстової та цифрової інформації, якщо передача ведеться стандартним кодом №3, а кожен рядок містить 30 знаків (включаючи пробіли).

Чому дорівнює кількість інформації при отриманні 8 повідомлень рівномірного потрійного чотиризначного коду.

Практичне заняття №3 Обчислення інформаційних втрат під час передачі повідомлень каналами зв'язку з шумами

Визначити середню кількість інформації, що міститься в прийнятому ансамблі повідомлень щодо первинного алфавіту, якщо повідомлення складено з алфавіту А, В, С. При цьому ймовірність появи літер алфавіту на виході джерела повідомлення: Р(Аi)=Р(Вi)=0,25; Р(Сi)=0,5=(вj/аi). Умовні ймовірності виникнення пар алфавіту видувj/аiвиглядають так:

Р(А/А)=0,97, Р(В/А)=0,015, Р(З/А)=0,015 (I ст.)

Р(А/В)=0,02, Р(В/В)=0,97, Р(З/В)=0,01 (ІІ ст.)

Р(А/С)=0,01, Р(В/С)=0,01, Р(З/С)=0,98 (III ст.)

Знаходимо безумовні ймовірності спільної появи символів алфавіту таподій:

про знайдені ймовірності будуємо матрицю ймовірностей спільних подій і по ній обчислюємо безумовні ймовірностіР(аi), Р(вj).

Визначаємо ймовірність появи А, В, З з боку приймача:

Середня кількість інформації у прийнятому ансамблі повідомлень виражається формулою:

За таблицею знаходимо:

2. Повідомлення українського алфавіту передається п'ятизначним кодом Бодо за допомогою стандартного телеграфу. Літери передаються п'ятьма елементарними посилками, що мають 1=20мс – час передачі, 2=30мс – стартова, 3=45мс – стопна. Визначити: а) чому дорівнює швидкість передачі інформації; б) чому дорівнює швидкість передачі кожного і

інформаційного символу і час передачі повідомленняTN, де N=450.

. Визначити пропускну здатність дискретного бінарного симетричного каналу зв'язку, в якому в результаті дії перешкод 3% повідомлень не відповідає надісланим повідомленням. З яких 100 повідомлень у 3 випадках замість 0 передається 1 і навпаки. Визначити умовну та безумовну ймовірність у даному каналі зв'язку.

Обчислюємо спільні ймовірності та заносимо до таблиці:

Визначимо безумовну та умовну ентропії:

Визначимо пропускну здатність:

Практичне заняття №4 Надмірність повідомлень

Знайти надмірність алфавіту.

Імовірність появи букв первинного алфавіту на виході джерела повідомлення:

визначити ентропію, надмірність, коефіцієнт стиснення, абсолютну недовантаженість символів первинного алфавіту.

Визначити загальну та приватну надмірність якогось 8-ми буквеного алфавіту, якщо відомо, що його ентропія дорівнює 2,7 біт/симв при взаємонезалежних ірівноймовірних символах, а з урахуванням їхньої взаємозалежності менше на Н=0,25 біт/симв.

4. Визначити надмірність українських текстів для випадків:

а) при рівноймовірному появі букв у тексті;

б) при нерівноймовірному появі букв у тексті;

в) з урахуванням дволітерних поєднань;

г) з урахуванням трилітерних поєднань.

Правило: надмірність повідомлення при поблочному кодуванні символів алфавіту менша, ніж при буквальному кодуванні.

Якщо кодується цифрове повідомлення в двійковому коді, то при побічному кодуванні відбувається, як збільшення первинного алфавіту, тобто відбувається вирівнювання ймовірностей символів первинного алфавіту і зростає їх ентропія, а з нею і загальна ентропія алфавіту, тобто, як би зростає навантаження на один символ і відповідно зменшується надмірність.

При літерному кодуванні первинний алфавіт має вигляд:

…

…….

повідомлення з літер українського алфавіту. Визначити мінімальну середню довжину кодових слів передачі цих повідомлень в рівномірному двійковому коді. Визначити можливість скорочення довжини кодових слів з урахуванням трилітерних поєднань.

Верхня та нижня межа середньої довжини кодових блоків визначається з нерівності:

М – число літер у блоці.

Правило: при аналізі співвідношення 0 і 1 у двійковому коді видно, що чим менше число, що кодується, тим більша різниця між 0 і 1 (на користь 0) в кодовій комбінації. Таким чином у двійковому коді вже закладено надмірність, вона зменшуватиметься зі зростанням числа кодових комбінацій М. Середня довжина кодової комбінації двійкового коду точно виражатиме необхідну кількість двійкових символів тільки в тому випадку, якщо ймовірності появи 0 і 1 –рівні, а N – ціла міра числа 2.