1. Дискретні ансамблі та джерела повідомлень
Першим елементом узагальненої схеми системи передачі (зберігання) інформації (рис. 1) є джерело інформації.
Джерела інформації можуть набувати безліч різних форм. Як правило, первинні повідомлення – мова, музика, зображення, вимірювання параметрів навколишнього середовища тощо. - є функцією часу неелектричної природи. З метою передачі по каналу зв'язку ці повідомлення перетворюються на електричний сигнал, зміни якого в часі відображають повідомлення, що передається.
Наприклад, у радіомовленні джерело видає звуковий сигнал. У телевізійному мовленні виходом джерела є, окрім звуку, рухоме зображення. Виходи цих джерел є аналоговими сигналами, тому вони називаються аналоговими джерелами. У зв'язку з цим цікавий інформаційний аналіз безперервних (аналогових) повідомлень і кодують ці повідомлення безперервних сигналів.
На противагу цьому комп'ютери та пристрої для зберігання інформації, такі як магнітні або оптичні диски, мають дискретний вихід (зазвичай двійкові або ASCII символи), і тому їх називають дискретними джерелами. У дискретних джерелах значна частина повідомлень, що передаються, за своєю природою не є сигналами - це масиви чисел, текстові або інші файли тощо.
Вивчення інформаційних характеристик джерел розпочнемо із розгляду дискретного джерела.
Формально джерело дискретних повідомлень можна описати набором таких параметрів:
-алфавіт джерела- деяке дискретне безліч, тобто. безліч, що містить кінцеву чи лічильну кількість елементів;
- - елементи алфавіту (елементарні повідомлення);
- - Потужність множини (кількість елементів в).
-розподілймовірностейелементів множини
Безліч чисел,, задаєрозподіл ймовірностейна дискретній множині, якщо всі числанеотрицательны і задовольняють умову нормування
Кінцева множина разом із заданим на ньому розподілом ймовірностей, називаєтьсядискретним імовірнісним ансамблемабо коротко -дискретним ансамблемі позначається символом.
Іноді елементи алфавіту ми забезпечуватимемо підрядковими індексами, наприклад . Такий індекс є номер елемента в алфавіті. Тоді опис дискретного джерела може бути записаний у вигляді, де обсяг алфавіту.
Повідомлення, яке видає дискретне джерело, є вектором довільної довжини, складений з елементів заданого алфавіту.
Якщо джерело має фіксовану швидкість, швидкість джерела задається як число символів, що генеруються таким джерелом за 1 секунду.
Елементи випадкової послідовності, яку видає джерело - речові числа, тому такі послідовності називаютьсявипадковими процесами.
Номер елемента в послідовності трактується як момент часу, коли з'явилося дане значення. Власне, безліч значень часу може бути безперервним чи дискретним, безліч значень випадкової послідовності також може бути безперервним чи дискретним. Зараз ми розглядаємо лише дискретні процеси дискретного часу.
Найпростіше задати випадковий процес, припустивши, що його значення різні моменти часу незалежні і однаково розподілені. Джерело, вихід якого задовольняє умовам статистичної незалежності символів у вибраній послідовності, називається джереломбез пам'яті.
Спільна ймовірність послідовності довжинидля статистично незалежного джерела визначається за формулою
,
де - ймовірність появи момент часу.
Для опису такого процесу достатньо вказати ймовірність для всіх.
Для опису складніших моделей необхідно зробити деякі спрощення. Зазвичай припускають стаціонарність випадкового процесу.
Дискретне джерело називаєтьсястаціонарним, якщо спільні ймовірності двох послідовностей довжинип, допустимоі однакові для і при всіх зрушеннях.Іншими словами, спільні ймовірності для послідовностей джерела довільної довжини інваріантні по відношенню до довільного зсуву в часі.
Числові характеристики, зокрема, математичне очікування стаціонарних процесів залежать часу. Розглядаючи стаціонарні процеси, ми зможемо обчислювати незалежні від часу інформаційні показники випадкових процесів.
Джерело без пам'яті, що породжує стаціонарний процес, називають дискретним постійним джерелом (ДПІ).
За доказом основних положень теорії інформації Шенноном використовувалася модель, звана ергодичним джерелом повідомлень. Передбачається, що створювані ним повідомлення математично можна у вигляді ергодичної випадкової послідовності. Така послідовність, як відомо, задовольняє умовам стаціонарності та ергодичності. Перше означає, що ймовірності окремих знаків та його поєднань залежить від розташування останніх за довжиною повідомлення. З другого випливає, що статистичні закономірності, отримані щодо одного досить довгого повідомлення з ймовірністю, близької до одиниці, справедливі всім повідомлень, створюваних джерелом. Зі статистичних характеристик у цьому випадку насцікавить середня невизначеність для одного знак послідовності.
Стаціонарне джерело повідомлень, що вибирає кожен знак послідовності, що формується незалежно від інших знаків (тобто джерело без пам'яті),завжди є ергодичним.
Насправді, однак, часто зустрічаються джерела, які мають можливість вибору одного знака повідомлення залежить від цього, які знаки були обрані джерелом до цього (джерела з пам'яттю). Оскільки такий зв'язок, як правило, поширюється на обмежену кількість попередніх знаків, для опису функціонування джерела доцільно використовувати ланцюги Маркова.
Ланцюг Маркова порядкуnхарактеризує послідовність подій, ймовірності яких залежить від того, якіnподій передували даному. Ці конкретних подій визначають стан джерела, в якому він знаходиться при видачі чергового знака. При обсязі алфавіту символів кількість різних станів джерела не перевищує.