Формула Шеннона - Студопедія
У загальному випадку, ентропіяHта кількість одержуваної в результаті зняття невизначеності інформаціїIзалежать від вихідної кількості аналізованих варіантівNта апріорних ймовірностей реалізації кожного їхP: 0, p1, …pN-1>, тобто.H=F(N, P). Розрахунок ентропії у разі проводитьсяза формулою Шеннона, запропонованої їм у 1948 року у статті " Математична теорія зв'язку " .
У окремому випадку, коли всі варіантирівноймовірні, залишається залежність лише від кількості аналізованих варіантів, тобто.H=F(N). У цьому випадку формула Шеннона значно спрощується і збігається з формулою Хартлі, яка вперше була запропонована американським інженером Ральфом Хартлі в 1928 році, тобто. не 20 років раніше.
Формула Шеннона має такий вигляд:
(1)
Знак мінус у формулі (1) означає, що ентропія – негативна величина. Пояснюється це тим, щоpi?1за визначенням, а логарифм числа меншої одиниці - величина негативна. За властивістю логарифму, тому цю формулу можна записати і в другому варіанті, без мінусу перед знаком суми.
інтерпретується як окрема кількість інформації , одержуване у разі реалізації i-ого варіанта. Ентропія у формулі Шеннона є середньою характеристикою - математичним очікуванням розподілу випадкової величини0, I1, … IN-1.
Наведемо приклад розрахунку ентропії за формулою Шеннона. Нехай у деякій установі склад працівників розподіляється так: ¾ – жінки, ¼ – чоловіки. Тоді невизначеність, наприклад, щодо того, кого ви зустрінете першим, зайшовши до закладу, буде розрахована низкою дій, показаних у таблиці 1.
| pi | 1/pi | Ii=log2(1/pi), біт | pi * log2 (1 / pi), біт | |
| Ж | 3/4 | 4/3 | log2(4/3)=0,42 | 3/4 * 0,42 = 0,31 |
| М | 1/4 | 4/1 | log2(4)=2 | 1/4 * 2 = 0,5 |
| å | 1 | H=0,81 біт |
Якщо ж апріорі відомо, що чоловіків і жінок в установі порівну (два рівноймовірні варіанти), то при розрахунку за тією ж формулою ми повинні отримати невизначеність в 1 біт. Перевірку цього припущення проведено в таблиці 2.
| pi | 1/pi | Ii=log2(1/pi), біт | pi * log2 (1 / pi), біт |
| Ж | 1/2 | log2(2)=1 | 1/2 * 1 = 1/2 |
| М | 1/2 | log2(2)=1 | 1/2 * 1 = 1/2 |
| å | 1 | H=1 біт |
Формула Шеннона (1) збіглася формою з формулою Больцмана, отриманої на 70 років раніше для вимірюваннятермодинамічної ентропіїідеального газу. Цей зв'язок між кількістю інформації та термодинамічною ентропією послужив спочатку причиною гарячих дискусій, а потім – ключем до вирішення низки наукових проблем. У найзагальнішому випадкуентропіярозуміється якміра невпорядкованості, неорганізованості матеріальних систем.
Відповідно до другого закону термодинаміки закриті системи, тобто. системи, позбавлені можливості речовинно-енергетично-інформаційного обміну із зовнішнім середовищем, прагнуть, і з часом неминуче приходять до природного стійкого рівноважного внутрішнього стану, що відповідає стану з максимальною ентропією. Закрита система прагне однорідності своїх елементів і рівномірності розподілу енергії зв'язків з-поміж них.Тобто. без інформаційного процесу матерія мимоволі забуває накопичену інформацію.
Чи не знайшли те, що шукали? Скористайтеся пошуком:
Вимкніть adBlock! і оновіть сторінку (F5)дуже потрібно