9.1. Імовірнісні джерела повідомлень.
У цих моделях джерело відкритого тексту сприймається як джерело випадкових послідовностей. Вважається, що джерело генерує кінцеву або нескінченну послідовність випадкових символів х(1),х(2),…,х(n) із алфавіту I. Імовірність випадкового повідомлення «i(1),i(2),…, i(n) )» визначається як ймовірність спільної події
При цьому, природно, вимагають виконання умов:
для будь-якого випадкового повідомлення «i(1),i(2),…, i(n)»
2) = 1;
3) для будь-якого випадкового повідомлення «i(1),i(2),…, i(n)»
Р(i(1),i(2),…, i(n))=,sn+1.
Сенс останньої умови полягає в тому, що вірогідність будь-якого випадкового повідомлення довжини n є сума ймовірностей всіх «продовжень» цього повідомлення до довжини sn (деякий варіант аксіоми Колмогорова). Текст, що породжується таким джерелом, є ймовірним аналогом мови. Він має однакові з мовою частотні характеристики k-грам. Задаючи конкретний імовірнісний розподіл на множині відкритих текстів, ми задаємо відповідну модель джерела повідомлень. Розглянемо деякі окремі випадки цієї загальної моделі.
Стаціонарне джерело незалежних символів алфавіту.У цій моделі передбачається, що ймовірності повідомлень повністю визначаються ймовірностями окремих символів алфавіту:
Р(i(1),i(2),…, i(n))=
Підвідкритим текстомрозуміється реалізація послідовності незалежних випробувань у поліноміальній імовірнісній схемі з числом результатів I = m. .Ця модель дозволяє розділити літери алфавіту на класи високої, середньої та низької частот використання. Нижче наведено літери високої частоти використання деяких європейських мов (частотавказана у відсотках).