Надмірністьповідомлень
Значення слова "Надмірність повідомлень" у Великій Радянській Енциклопедії
проявляється у можливості записати ці повідомлення в середньому більш коротко, використовуючи ті самі знаки (тобто замінюючи код на інший з тим же алфавітом; див.Код,Кодування). Наприклад, якщо розглянуті повідомлення є послідовністю знаків 0 і 1, в яких одиниця зустрічається в середньому один раз на десять знаків, то, застосовуючи кодування за правилом
00 ® 0, 01 ® 10, 10 ® 110, 11 ® 111,
можна скоротити запис майже вдвічі. Максимальна частка «зайвих» знаків визначається за статистичними властивостями джерела повідомлень, що розглядається, і також називається його надмірністю. У цьому розумінні <надмірність повідомленьRвизначається за формулою деm— число букв алфавіту, аН—ентропіяджерела на літеру повідомлення. Можна підрахувати, що у наведеному прикладіНадмірність повідомлень дорівнює 0,53. МінімальноїНадмірність повідомленьR= 0 має тільки послідовність, в якій знаки незалежні і з ймовірністю 1/mможуть дорівнювати будь-якій зmлітери алфавіту.
Практично важливим є питання про оцінку надмірності конкретних форм повідомлень (таких, як письмове та усне мовлення, фототелеграми, телевізійні зображення). ВеличинаНадмірність повідомлень у них виявляється зазвичай значною. Так, наприклад,Надмірність повідомлень англійської писемної мови не менше 0,6. Велика надмірність дозволяє краще розпізнати повідомлення, що передаються за наявності перешкод у каналах зв'язку. З цієї точки зору не завжди слід прагнути до зменшенняНадмірність повідомлень