Вимірювання інформації (докладний виклад)
Змістовний підхід до вимірювання інформації
Відповідь на запитання "Як вимірювати інформацію?" залежить від цього, що розуміти під інформацією. При оцінці інформації, що надходить, можна підходити суб'єктивно: на скільки дана інформація цікава або важлива для нас. Такий підхід приведе нас до того, що та сама інформація матиме різні оцінки. Спробуємо пояснити цю думку.
Поняття інформація та інформативність
Зупинимося на позиції, що інформація для людини – це знання. Звідси випливає, що повідомлення є інформативним, якщо воно поповнює знання людини. Наприклад, повідомлення про те, що 2 * 2 = 4 інформативно для першокласника, і не інформативно для старшокласника.
Таким чином, не можна ототожнювати поняття "інформація" та "інформативність повідомлення".
Якщо повідомлення не інформативно для людини, то кількість інформації в ньому з погляду цієї людини дорівнює нулю. Кількість інформації в інформативному повідомленні більша за нуль.
Повідомлення несе інформацію для людини, якщо відомості, що містяться в ньому, є для неї новими і зрозумілими.
Невизначеність знань про певну подію
Для кількісного виміру інформації введемо поняття "зменшення невизначеності знань", пояснивши його на прикладах. Допустимо, ви кидаєте монету, загадуючи, що випаде: орел чи решка? Є лише два варіанти можливого результату кидання монети. Причому жоден із цих варіантів не має переваги перед іншим. У цьому випадку вони є рівноймовірними.
Так от, у цьому випадку перед підкиданням монети невизначеність знань про результат дорівнює двом.
Гральний кубик із шістьма гранями може з рівною ймовірністю на будь-якій із них. Отже, невизначеність знань про результат кидання кубикадорівнює шести.
Ще приклад: спортсмен-лижник перед забігом шляхом жеребкування визначає свій порядковий номер на старті. Якщо у змаганні беруть участь 100 спортсменів, то невизначеність знань спортсменом свого номера дорівнює ста.
Звернімо увагу, що поки що ми запровадили поняття невизначеності на прикладі рівноймовірних подій. Але відіб події можуть бути і нерівноймовірними. Наприклад, у повідомленні про погоду в залежності від сезону відомості про те, що буде сніг або дощ, можуть мати різну ймовірність. Влітку найімовірніше повідомлення про дощ, взимку - про сніг, а в перехідний період вони можуть бути рівноймовірними.
Крім того, існують "достовірні події" - події, які відбуваються обов'язково, наприклад: зміна дня та ночі. Існують і "неможливі" події, які не відбуваються ніколи.
1 біт інформації, як міра зменшення невизначеності знань
Повернемося, наприклад, з монетою. Після того, як ви кинули і подивилися на неї, ви отримали зорове повідомлення, що випав, наприклад, орел. сталася одна з двох можливих подій. Невизначеність знань зменшилася вдвічі: було два варіанти, залишився один. Отже, дізнавшись про результат кидання монети, ви отримали один біт інформації.
Повідомлення про те, що відбулася одна з двох рівноймовірних подій, несе 1 біт інформації.
Зв'язок між невизначеністю та кількістю інформації
А тепер таке завдання: на іспиті учень може отримати одну з чотирьох позначок: "відмінно", "добре", "задовільно" та "незадовільно". Уявіть собі, що ваш товариш пішов складати іспит. Причому вчиться він нерівно і може з однаковою ймовірністю отримати будь-яку з цих оцінок. Ви хвилюєтеся за нього, чекаєте на результат. Нарешті він прийшов і повідомив, що отримав четвірку.Скільки біт інформації містить його повідомлення?
Щоб відповісти на поставлене запитання, отримуватимемо відповідь поступово. Запитуючи таким чином, щоб кожна відповідь приносила один біт інформації, а отже, зменшувала невизначеність наших знань у два рази.
Перше питання: - Оцінка вища за трійку? - Так! Після цієї відповіді кількість варіантів зменшилася вдвічі. Залишилися лише "4" та "5". Отримано 1 біт інформації. Друге питання: - Ти отримав п'ятірку? - Ні! Тепер результат остаточно з'ясувався. При цьому отримано ще один біт інформації. У сумі маємо два біти.
Повідомлення про те, що сталося одна з чотирьох рівноймовірних подій, несе 2 біти інформації.
У загальному випадку, нехайN- це кількість можливих наслідків цієї події, тобто її невизначеність. Позначимо літероюiкількість інформації в повідомленні про те, що пройшло одне з N подій. Тоді зв'язок між цими величинами виражається формулою:
Алфавітний підхід до вимірювання інформації
Говорити ж про "важливість" інформації для ЕОМ, яка отримує інформацію, просто безглуздо. Залишається оцінювати інформацію кількісно. Якщо згадати, як вимірюють величини у фізиці, то стане ясно, що кількісна оцінка чогось залежить від того, що вибрати як зразок. Можна запропонувати оцінку обсягу інформації, вибравши як зразок кількість слів чи символів, які у цій інформації. Але що вважати машинним словом, чи машинним символом, якщо інформація всередині ЕОМ кодується як сигналів двох видів: намагничено - на намагничено, включено чи вимкнено, висока напруга чи низька. Математична модель, прийнята для позначення цих двох станів, досить проста: прийнято один стан позначатицифрою 0, інше -1. Таке кодування називається двійковим, а цифри 0 та 1 називаються бітами.
Потужність алфавіту
Набір знаків, які використовуються для подання інформації, називають алфавітом. Таким чином, можна вважати, що машинний алфавіт містить два знаки. Зазвичай під алфавітом розуміють тільки бикви, але оскільки в тексті можуть зустрічатися розділові знаки, цифри, дужки, то їх ми теж включимо в алфавіт.
Повне число символів алфавіту називається потужністю алфавіту. І позначати цю величину буквоюN.
Наприклад, потужність алфавіту з українських букв дорівнює 33, а якщо до цього алфавіту включити також додаткові символи, то вийде алфавіт потужністю 54.
Виходячи з алфавітного підходу до вимірювання інформації можна довести, що мінімальна потужність алфавіту, придатного передачі інформації, дорівнює двом. Такий алфавіт називається двійковим кодом.
Інформаційний обсяг символу
Уявіть собі, що текст вам надходить послідовно, по одному знаку, як паперова стрічка, що виповзає з телеграфного апарату. Припустимо, що кожен символ з однаковою ймовірністю може бути будь-яким символом алфавіту. Таким чином, у кожній черговій позиції однаково тексту може з'явитися будь-який з N символів. Невизначеність появи кожного сивола дорівнює N. Тому кожен сомвол несе в собі i біт інформації, яке обчислюється з рівняння:
Для N=54, використовуючи таблицю логорифмів, отримаємо i=5,755 біт. Ось скільки інформації має один символ українського алфавіту!
А тепер, щоб знайти кількість інформації у всьому тексті, потрібно порахувати кількість символів у ньому та помножити на i
Отже, при алфавітному підході до вимірювання інформації кількість інформації від змістуне залежить. Кількість інформації залежить від обсягу тексту (тобто від числа знаків у тексті) та від алфавіту.
Звідси випливає, що не можна порівнювати інформаційні обсяги текстів, написаних різними мовами, лише за обсягом. Вони відрізняються інформаційні ваги одного символу оскільки потужності алфавітів різних мов різні.