Ентропія як міра невизначеності
Випадкові дії можуть бути описані з використанням поняття «ймовірність». Співвідношення теорії можливостей дозволяють знайти (обчислити) можливостіяк одиночних випадкових событий, і складних експериментів, що об'єднують кілька незалежних чи пов'язаних між собою обставин. Але описати випадкові події можна у визначеннях ймовірностей.
Те, що подія випадково, означає відсутність повної переконаності в її настання, що, у свою чергу, робитьневизначеністьу фіналах дослідів, пов'язаних з цією подією. Безумовно,ступінь невизначеностірізна для різних ситуацій. Наприклад, якщо досвід полягає у визначенні віку випадком обраного студента 1-го курсу денного відділення університету, то з великою часткою переконаності можна стверджувати, що він виявиться менше 30 років; хте по положенню на денному відділенні можуть навчатися особи віком до 35 років, в більшості випадків очно навчаються випускники шкіл найближчих кількох випусків. Ще найменшу визначеність має аналогічний досвід, якщо перевіряється, чи буде довільно обраного студента вік менше 18 років. Для практики важливо мати можливість провести чисельну оцінку невизначеності різних експериментів. Спробуємо запровадити такий кількісний захід невизначеності.
Почнемо зі звичайної ситуації, коли досвід маєпрівноймовірних результатів. Вочевидь, що невизначеність кожного їх залежить відn, тобто.міра невизначеності є функцією числа наслідків f(n).
Можна вказати деякі характеристики цієї функції:
- 1.f(1) = 0, тому що прип =1 фінал досвіду не є випадковим і, отже, невизначеність відсутня;
- 2.f(n)росте зі зростаннямп,оскільки що більше число можливих результатів, то більше скрутним стає пророцтво результату досвіду.
Для визначення очевидного виду функціїf(n)розглянемо дванезалежних досвіду α і β* з кількостями рівноймовірних результатів, відповіднопα іпβ. Нехай має місце непростий досвід, який полягає в одночасному виконанні дослідів α та β; число ймовірних його результатів дорівнюєпα ∙пβ, при цьому вони всі рівноймовірні. Вочевидь, невизначеність фіналу такого складного досвіду α ^ β буде більше невизначеності досвіду α, оскільки до неї додається невизначеність β; міра невизначеності складного досвіду дорівнюєf(nα∙ nβ).З іншого боку, заходи невизначеності окремих α і β становлять, відповідно,f(nα)іf(nβ). У першому випадку (непростий досвід) проявляється загальна (сумарна) невизначеність спільних подій, у другому — невизначеність кожної з подій окремо. Але з незалежності α і β випливає, що у складному досвіді вони ніяк не можуть впливати один на одного і, а саме, α не може вплинути на невизначеність β, і навпаки. Отже, міра сумарної невизначеності має дорівнювати сумі заходів невизначеності кожного з дослідів, тобто.міра невизначеності адитивна:
* Для позначеннядослідів з випадковими фіналами будемо використовувати грецькі літери (α, β і т.д.), а для позначення окремихвиходів дослідів (подій) - латинські великі( А,і т.д.).
Тепер подумаємо у тому, яким то, можливо очевидний вид функціїf(n),щоб він задовольняв якостям (1) і (2) і співвідношенню (2.1)? Просто побачити, що такому набору властивостей задовольняє функція log(n),при цьому можна довести, що вонаєдиназ усіх існуючих класів функцій. Таким чином:за міру невизначеності досвіду зпрівноймовірними фіналами можна прийняти числоlog(n).
Слід зауважити, що вибір підстави логарифму в цьому випадку значення не має, тому що в силу відомої формули перетворення логарифму від однієї підстави до іншої.
перехід до іншого підставі полягає у впровадженні схожого обох елементів висловлювання (2.1) постійного множника logbа, що рівнозначно зміни масштабу (тобто. розміру одиниці) виміру невизначеності. Так як це так, є можливість обрати зручну (з будь-яких додаткових суджень) основу логарифму. Таким комфортним підставою виявляється2,оскількиву разі за одиницю виміру приймається невизначеність, що у досвіді, має лише два рівноймовірних фіналу, які можна позначити, наприклад, Правда(True)і Єресь(False)і використовуватиме аналізу таких подій апарат математичної логіки.
Единица виміру невизначеності при двох можливих равновероятных фіналах експерименту називаєтьсябит *.
* Назвабіт походить від англійськогоbinary digit, що в дослівному перекладі означає «двійковий розряд» або «двійкова одиниця».
Таким чином, нами встановлено очевидний вид функції, що описує міру невизначеності досвіду, що маєпрівноймовірних результатів:
Ця величина отримала назвуентропія.Надалі будемо позначати їїН.
Знову розглянемо досвід ізпрівноймовірними фіналами. Так як кожен фінал випадковий, він заносить власний внесок у невизначеність всього досвіду, але тому що всі результатипрівнозначні,доречно припустити, що і їх невизначеностісхожі. З характеристики адитивності невизначеності, також те, що згідно (2.2) загальна невизначеність дорівнює log2п, випливає, що невизначеність, що вноситься одним фіналом
дер =- можливість будь-якого з окремих наслідків.
Таким чином, невизначеність, що вноситься кожним із рівноймовірних наслідків, дорівнює:
Зараз спробуємо узагальнити формулу (2.3) на ситуацію, коли фінали дослідівнерівноймовірні,наприклад,р(А1)тар(А2).Тоді:
Узагальнюючи цей вираз на ситуацію, коли досвід α маєпнерівноймовірних результатівА1, А2… Ап,отримаємо:
Введена в такий спосіб величина, як було зазначено, іменуєтьсяентропією досвідуос. Використовуючи формулу для середнього значення дискретних випадкових величин (А.11), можна записати:
А (α) -позначає фінали, ймовірні в досвіді α.
Ентропіяє мірою невизначеності досвіду, у якому виникають випадкові події, і дорівнює середньої невизначеності всіх можливих його результатов.
Для практики формула (2.4) важлива тим, що дозволяє зіставити невизначеності різних дослідів із випадковими фіналами.