Адитивний захід (захід Хартлі)
Аддитивна міра (мера Хартлі) - розділ Освіта, Теорія інформації та кодування Адитивну міру Можна розглядати як більш зручну для ряду застосувань кому.
Адитивний захід можна розглядати як більш зручний для ряду застосувань комбінаторний захід. Наші інтуїтивні уявлення про інформацію припускають, щоб кількість інформації збільшувалася приблизно пропорційно обсягу повідомлення та обсягу алфавіту, що використовується при цьому. Ні геометрична, ні комбінаторна міри цією властивістю не мають. Геометрична міра взагалі не враховує властивості алфавіту, обсяг інформації в разі комбінаторної міри зростає не прямо пропорційно розміру повідомлення, а за законом геометричної прогресії. Наприклад, якщо повідомлення представлене не однією, а двома перфокартами - число можливих комбінацій зросте в 2800 разів і стане рівним 21600.
У 1929 році Хартлі було запропоновано адитивний захід. Словомадитивність(підсумованість) тут підкреслюється важлива властивість цього заходу, що полягає в тому, що виміряна за її допомогою кількість інформації в сукупності декількох повідомлень дорівнює сумі кількостей інформації в кожному з повідомлень окремо.
Кількість інформації по Хартлі вимірюється в бітах (binary digit) і обчислюється як двійковий логарифм від стану в якому може знаходитися повідомлення або його джерело.
Повернемося до нашого прикладу із перфокартою. Кожна позиція на поверхні перфокарти може перебувати у двох станах з отвором і без нього. Таких позицій 800. Отже перфокарта може бути у 2 800 станах. Кількість інформації по Хартлі у разі дорівнюєIh =log22 800 =800біт.
Дві перфокарти матимуть у сукупності 2 1600 станів, що відповідає1600 біт інформації, тобто. кількість інформації по Хартлі у двох перфокартах 2 рази більша, ніж в одній. Це відповідає принципу адитивності (складання).
Адитивний захід простий і зручний для багатьох додатків, зокрема, він широко використовується в обчислювальній техніці, проте не відображає нашого інтуїтивного уявлення про зв'язок кількості інформації зі ступенем несподіванки появи того чи іншого повідомлення. Адже ми вважаємо, що у рідкісних і несподіваних, тобто. малоймовірні повідомлення, укладено більше інформації.
Таким чином, більш досконала, відповідальна нашим інтуїтивним уявленням про інформацію міра інформації має бути пов'язана з ймовірністю появи повідомлення, що має місце у статистичних заходах інформації.
Ця тема належить розділу:
Теорія інформації та кодування
Сочинський державний університет.. туризму та курортної справи.. Факультет інформаційних технологій та математики..
Що робитимемо з отриманим матеріалом:
Всі теми цього розділу:
Курс лекцій Ефективна організація обміну інформації набуває дедалі більшого значення як умова успішної практичної діяльності людей. Обсяг інформації, необхідний нормального функціонування совре
Визначення поняття інформація Слово інформація походить від латинського informare - зображати, складати поняття про щось, інформувати. Інформація поряд з матерією та енергією є первинними
Фази звернення інформації Система управління складається з об'єкта управління, комплексу технічних засобів, що складається з комп'ютера, що входять до його складу пристроїв введення-виведення та зберігання інформації, пристроїв збору переда
Деякі визначення Дані або сигнали,організовані у певні послідовності, несуть інформацію не оскільки вони повторюють об'єкти реального світу, а, по суспільної домовленості про кодуванні, тобто. одне
Заходи інформації Перш ніж перейти до заходів інформації, вкажемо, що джерела інформації та створювані ними повідомлення поділяються на дискретні і безперервні. Дискретні повідомлення складаються з звичайно
Геометрична міра Визначення кількості інформації геометричним методом зводиться до вимірювання довжини лінії, площі або обсягу геометричної моделі носія інформації або повідомлення. За геометричними розмірами
Ентропія та її властивості Існує кілька видів статистичних заходів інформації. Надалі розглядатимемо лише одну з них – міру Шеннона. Міра Шеннона кількості інформації тісно пов'язана з поняттям
Ентропія і середня ентропія простої події Розглянемо докладніше поняття ентропії [1] в різних варіантах, так як воно використовується в шенноновській теорії інформації. Ентропія – міра невизначеності деякого досвіду. У найпростішому випадку його використання
Метод множників Лагранжа Якщо потрібно знайти екстремум (максимум, мінімум або сідлову точку) функції n змінних f(x1, x2, …, xn), пов'язаних k =2 буквами існує оптимальний (у сенсі мінімуму середньої довжини кодового слова) двійковий код , в якому два найменш ймовірних сло
Лемма 2. Про оптимальність префіксного коду нередукованого ансамблю, якщо префіксний код редукованого ансамблю є оптимальним Формулювання. Якщо певний префіксний код редукованого ансамблю U' є оптимальним, то відповідний префіксний код вихідного ансамблю т
Процес повторюється до тих пір, поки в кожній підгрупі залишиться по одній літері Розглянемо алфавіт із восьмилітер. Зрозуміло, що з звичайному (не враховує статистичних характеристик) кодуванні подання кожної літери потрібно три символа. Найбільший ефект
Параметри ефективності оптимальних кодів Таких параметрів 2: коефіцієнт статистичного стиснення та коефіцієнт відносної ефективності. Обидва параметри характеризують рівень зменшення середньої довжини кодового слова. При цьому середня довжина
Особливості ефективних кодів 1. Букве первинного алфавіту з найменшою ймовірністю появи ставиться у відповідність код із найбільшою довжиною (лема 1), тобто. такий код є нерівномірним (з різною довжиною кодових слів). У р
Перешкодостійке кодування Як випливає з назви, таке кодування призначене для усунення шкідливого впливу перешкод каналах передачі інформації. Вже повідомлялося, що така передача можлива як у просторі, так і в
Найпростіші моделі цифрових каналів зв'язку з перешкодами Властивість перешкодостійких кодів виявляти і виправляти помилки сильно залежить від характеристик перешкод і каналу передачі. У теорії інформації зазвичай розглядають дві прості
Розрахунок ймовірності спотворення кодового слова в ДСМК Припустимо, кодове слово складається з n двійкових символів. Імовірність неспотворення кодового слова, як легко довести, дорівнює: . Імовірність спотворення одного символу (однокра
Загальні принципи використання надмірності Для простоти розглянемо блоковий код. З його допомогою кожним k розрядам (літерам) вхідної послідовності ставиться у відповідність n-розрядне кодове слова. Кількість різного виду
Кордон Хеммінга Кордон Хеммінга Q, визначає максимально можливу кількість дозволених кодових слів рівномірного коду при заданих довжині n кодового слова ікоригуючою здатністю коду КСК
Надмірність перешкодостійких кодів Однією з характеристик коду є його надмірність. Збільшення надмірності у принципі небажано, т.к. збільшує обсяги даних, що зберігаються і передаються, однак для боротьби з спотвореннями надлишок
Лінійні коди Розглянемо клас алгебраїчних кодів, які називаються лінійними. Визначення: Лінійними називають блокові коди, додаткові розряди яких утворюються
Визначення числа додаткових розрядів m Для визначення числа додаткових розрядів можна скористатися формулою кордону Хеммінгу: . У цьому можна одержати щільноупакований код, тобто. код з мінімальною при заданих пар
Побудова утворювальної матриці Лінійні коди мають таку властивість: з усієї множини 2k дозволених кодових слів, що утворюють, до речі, групу, можна виділити підмножини з k слів, що володіють св
Порядок кодування Кодове слово КС виходить шляхом множення матриці інформаційної послідовності X на матрицю, що утворює OM: KC1*n = X
Порядок декодування В результаті передачі кодового слова через канал може бути спотворено перешкодою. Це призведе до того, що прийняте кодове слово ПКР може не збігтися з вихідним КС.
Двійкові циклічні коди Наведена вище процедура побудови лінійного коду має ряд недоліків. Вона неоднозначна (МДР можна задати по-різному) і незручна в реалізації у вигляді технічних пристроїв. Цих недоліків
Деякі властивості циклічних кодів Всі властивості циклічних кодів визначаються утворюючим поліномом. 1. Циклічний код, утворює поліном якого містить більше одного доданку, виявляє всі поодинокі помилки.
Побудова коду із заданою коригуючою здатністю Існує нескладна процедура побудови коду із заданою коригуючою здатністю. Вона полягає в наступному: 1. За заданим розміром інформаційної складової кодового слова завдовжки
Матричне опис циклічних кодів Циклічні коди можна, як і будь-які лінійні коди, описувати за допомогою матриць. Згадаймо, що KC(X) = gm(X)*І(Х) . Згадаймо також на прикладі порядок множення підлоги
Вибір утворюючого полінома Ясно, що поліноми кодових слів КС(Х) повинні ділитися на утворюючий поліном g(X) без залишку. Циклічні коди відносяться до класу лінійних. Це означає, що для цих кодів існує
Види каналів передачі <Розглянемо канали, що відрізняються за типом використовуваних у них ліній зв'язку. 1. Механічні, у яких передачі інформації використовується переміщення будь-яких твердих, жид
Пропускна здатність каналів зв'язку Ця тема є однією з центральних в теорії інформації. У ній розглядаються граничні можливості каналів зв'язку з передачі інформації, визначаються характеристики каналів, що впливають на ці
Пропускна здатність дискретного каналу зв'язку з шумом Досліджуємо тепер пропускну здатність дискретного каналу зв'язку з шумом. Існує велика кількість математичних моделей таких каналів. Найпростішою з них є канал із незалежною
Типові послідовності та їх властивості Будемо розглядати послідовності статистично незалежних букв. Відповідно до закону великих чисел, найімовірнішими будуть послідовності завдовжки n, у яких за кількості N
Основна теорема Шеннона для дискретного каналу з шумом Формулювання Для дискретного каналу шумом існує такий спосіб кодування, при якому може бути забезпечена безпомилкова передача всеінформації, що надходить від джерел
Обговорення основної теореми Шеннона для каналу з шумом Теорема Шеннона для каналу з шумом не вказує на конкретний спосіб кодування, що забезпечує достовірну передачу інформації зі швидкістю, скільки завгодно близька з пропускною здатністю каналу
Пропускна здатність безперервного каналу за наявності адитивного шуму Розглянемо наступну модель каналу: 1. Канал здатний пропускати коливання з частотами нижче Fm. 2. У каналі діє перешкода n(t), що має нормальний (гау
Крок 2. Введення текстових файлів в Excel-таблицю з розбиттям кожного рядка тексту на окремі символи Під час введення раніше збереженого текстового файлу слід вказати тип файлу *.*. Це дозволить під час вибору бачити у списку усі файли. Вкажіть свій файл. Після цього на екран буде виведено вікно М
Крок 4. Знаходимо середню ентропію, що припадає на 1 літеру повідомлення.