Методичні рекомендації Р-2013
5.2 Кількісні критерії оцінки
6.1 Приклади реалізації
6.8 Особливо важлива зона об'єкту, що охороняється
Колоті дрова березові з доставкою planeta-drov.ru.
5.2. Кількісні критерії оцінки
Наприклад, перевірка детектора руху вимагає багаторазового порушення зони, що охороняється, з подальшою реєстрацією результатів дослідів (кількість зареєстрованих порушень і кількість пропущених порушень).
На підставі даних дослідів проводиться обчислення ймовірності правильного функціонування алгоритму, (наведений далі приклад ймовірність виявлення (Р обн.)).
Дані оцінки можуть базуватися на стандартних «гостованих» методиках оцінки, наприклад, на методиці, описаній у стандарті СТ РЕВ 5313-85 «Прикладна статистика. Правила визначення довірчих кордонів для біномінального та негативно біномінального розподілу».
Ця методика простіша для розуміння та реалізації.
У основі даної методики лежить розуміння, що із зменшенням кількості проведених випробувань ми отримуємо ймовірність події, що у деякому довірчому інтервалі, тобто. у діапазоні можливих помилок (для отримання суворішого математичного визначення довірчого інтервалу слід звернутися до Е.С. Вентцель «Теорія ймовірностей»).
Розглянемо з прикладу розрахунок ймовірності події.
Провели 5 дослідів, їх виявили вторгнення в 4 випадках, Робн=4/5=0,8.
Примітка. Імовірність події
де m – число появи А; n - загальна кількість вироблених дослідів.
Далі нам треба визначити довірчий інтервал цієї ймовірності.
Примітка. Довірчий інтервал - інтервал значень параметра, сумісних з досвідченими даними і не суперечатьім.
Звертаємось до графіка визначення довірчого інтервалу, взятого з Є.С. Вентцель «Теорія ймовірностей» видавництво «Наука» 1969, рис 14.5.2 Вигляд графіка наведено нижче.
На цьому графіку по вертикалі відкладено значення довірчого інтервалу, по горизонталі – ймовірність події наших дослідів. Цифра над лініями графіків свідчить про кількість проведених дослідів (у разі - 5 дослідів).
Мал. 18 - Графік визначення довірчого інтервалу
На даному графіку показано, що можливість виявлення Робн=0,8 (тобто. провели п'ять дослідів, їх позитивними виявилися чотири. Робн=4/5=0,8). При цьому величина довірчого інтервалу склала величину від 042 до 097 з ймовірністю β =0,9.
Значення кількості дослідів зменшувати не можна, оскільки межі довірчого інтервалу вже досить великі.
Результати позитивних дослідів зменшити небажано. Зниження цих результатів навіть на одне значення, (тобто провели п'ять дослідів, з них позитивними виявилися три. Робн = 3/5 = 0,6), дає Робн = 0,6, (хоча даний результат може бути прийнятним при складних умовах експлуатації або за багаторубежної охорони).
Збільшення кількості дослідів зменшує ширину довірчого інтервалу, що є позитивним чинником.
У деяких випадках можливе проведення дослідів у кількості 100 і більше разів (наприклад, визначення номерів машин, що проїжджають). Тоді довірчий інтервал для ймовірності виявлення Робн=0,8 буде лише в межах від 0,74 до 0,82.
Іноді бувають випадки, коли у 10 дослідах отримали 10 виявлень, проте це не означає, що ймовірність виявлення = 1, тоді треба використовувати іншу формулу.
При цьому роблять розрахунок ймовірності, виходячи з того, щоподія відбулося, тобто. не виявили (див. нижче).
де - досить велика довірча ймовірність (у нашому прикладі =0,9), n - кількість дослідів.
При п'яти позитивних дослідах (n=5) маємо , що означає, що можливість невиявлення становить 0,369, тобто. ймовірність виявлення 1-0,369 = 0,631.
Округлюючи, отримаємо, що система виявлятиме 6 осіб із 10 із ймовірністю 0,9.
При n=10 верхня межа довірчого інтервалу , що означає, що ймовірність невиявлення становить 0,206, тобто. ймовірність виявлення 1-0,206 = 0,794.
Округлюючи, отримаємо, що система виявлятиме 8 осіб із 10 із ймовірністю 0,9.
При n=25, верхня межа довірчого інтервалу означає, що ймовірність невиявлення становить 0,088, тобто. ймовірність виявлення 1-0,088 = 0,912.
Округлюючи, отримаємо, що система виявлятиме 9 осіб із 10 із ймовірністю 0,9.
Узагальнемо наведені вище розрахунки для різної кількості дослідів (5, 10, 25 дослідів)
А)n – кількість дослідів, Р – ймовірність виявлення, I β – довірчий інтервал.
Б)для випадку, коли мали лише позитивний результат
n=5, Робн.=0,6 з ймовірністю 90%;
n=10, Робн.=0,8 з ймовірністю 90%;
n=25, Робн.=0,9 з ймовірністю 90%.
Середній час між помилковими тривогами (Тлож. трив.)
Цей параметр є взаємопов'язаним параметром із ймовірністю виявлення (Робн.). Що вище (Робн.), то менше (Тлож. трев.).
Велика кількість помилкових тривог негативно позначається на ефективності охорони, оскільки оператор перестає реагувати на події, що відбуваються, вважаючи їх помилковою тривогою, тому в залежності від важливості об'єкта, що охороняється, і значенняреєстрованого параметра необхідно розумно вибирати цей параметр.
З практики зазвичай вважають, що середній час між хибними тривогами має бути не більше ніж 24 години.
У загальному випадку допустимий час між помилковими тривогами визначається вимогами замовника, який визначає їх, виходячи зі специфіки несення служби особовим складом та важливості об'єкта охорони.
Досвідченим шляхом, отримавши прийнятну ймовірність Робн, не змінюючи умов випробувань, потрібно переконатися в допустимому інтервалі часу між помилковими тривогами.
Часто при проведенні приймально-здавальних випробувань ймовірність виявлення реєструється при одних налаштуваннях системи, а час між хибними тривогами – при інших налаштуваннях. Цей підхід є неприпустимим.
Примітка.Іноді Тлож. трив. замінюють ймовірністю хибної тривоги. (РЛТ). У разі Тлож. трив. інтуїтивно зрозуміліше.
Імовірність помилкової тривоги. Рлт - ймовірність того, що за час Т відбудеться помилкове спрацювання системи. Статистично оцінюється частота хибних тривог – кількість хибних тривог за певний інтервал часу. Середній інтервал часу між двома послідовними хибними спрацьовуваннями називається напрацюванням на хибне спрацьовування (Тлож.трев.). У уявленні про пуасонівський характер потоку хибних тривог можна записати:
Рлт = exp (Тp./T лож. трив.)
де: РЛТ. - ймовірність помилкової тривоги;
Тp. - час знаходження системи у працездатному стані.
Розглянуті характеристики пов'язані між собою таким параметром як чутливість системи. Чутливість - величина, обернена до порога. Поріг - певне значення, нижче за який вплив інтерпретується як шуми. Поріг регулюється під час налаштування системи. Чим більшечутливість, тим більше ймовірність Pобн., але при збільшенні чутливості зростає і частота помилкових тривог (Рлт.). Ця ситуація показано на рис.19.
При налаштуванні системи доводиться лавірувати між цими параметрами, завдання полягає у підборі оптимального рівня чутливості.
Часто у науковій літературі можна зустріти термін «Помилка першого роду» та «Помилка другого роду». Ці терміни близькі за своєю суттю (Робн. і Рлт).
Помилки першого роду(англ. type I errors, α errors, false positives) тапомилки другого роду(англ. type II errors, β errors, false negatives) у математичній статистиці - це ключові поняття завдань перевірки статистичних гіпотез Тим не менш, дані поняття часто використовуються і в інших областях, коли йдеться про прийняття «бінарного» рішення (так/ні) на основі якогось критерію (тесту, перевірки, вимірювання), який певною мірою може давати помилковий результат.
Помилка першого родучастоназивають помилковою тривогою, помилковим спрацьовуванням або хибнопозитивним спрацьовуванням.
Помилка другого родуінодіназивають перепусткою подіїабо хибнонегативним спрацьовуванням.
Мал. 19 - Взаємозв'язок ймовірності виявлення (Робн.) та ймовірності помилкових тривог Рлт.