Методика оцінки клінічної ефективності діагностичної експертної системи – тема наукової статті
Текст наукової роботи на тему "Методика оцінки клінічної ефективності діагностичної експертної системи"
ІТ та діагностика
www.idmz.ru 2 00 7, №2
спеціаліст відділу перспективних розробок управління інформаційних технологій ГОУ ВПО ТюмДМА Росздрава
к.м.н, доцент, завідувач курсу медичної інформатики, начальник відділу перспективних розробок управління інформаційних технологій ГОУ ВПО ТюмДМА Росздрава, м.Тюмень
МЕТОДИКА ОЦІНКИ КЛІНІЧНОЇ ЕФЕКТИВНОСТІ ДІАГНОСТИЧНОЇ ЕКСПЕРТНОЇ СИСТЕМИ
якісного аналізу даних за допомогою комп'ютерних інтелектуальних систем та його застосування для завдань
За численними даними, відсоток хворих на різні хронічні захворювання нирок у популяції становить близько 10,9% від загального числа. Передбачається, що до 2010 року спостерігатиметься зростання поширеності термінальної хронічної ниркової недостатності [6] і кількість пацієнтів за цей час подвоїться (рис.1).
Існуючі методи клінічної та інструментальної діагностики не завжди дозволяють поставити своєчасний та точний діагноз. На цьому етапі можуть допомогти інформаційні технології, що дозволяють застосовувати математичні методи у діагностичному процесі. Вже зараз створено велику кількість комп'ютерних програм медичного призначення, включаючи експертні системи (ЕС). Розвивається дуже перспективний когнітологічний підхід у діагностиці [7]. Актуальною залишається проблема оцінки якості укладання ЕС.
ІТ та діагностика
I та інформаційні
Метою цього дослідження була розробка методу оцінкиклінічної ефективності ЕС. Дослідження проводилося на підготовленій ЕС "Нефрологія", що реалізує Байєсов підхід. У ЕС містяться відомості за 9 нефрологічними нозологічними формами.
Інтерфейс програми містить три поля та кнопки у верхній частині екрана зліва («Нефрологія», «Пошук», «Вихід» та «Про програму», рис.2)
Поле №2 (рис.2) містить ієрархію симптомів у системі, звичній практичному лікарю: скарги, огляд, пальпація, перкусія, дані-
Пошук а“™ Q гфогрвмме
GO Порушення мочввтделмев1 □Про Набряки почбмч,1е
□Про Лихоманку □Про а поїємомоА поплести □ Про Іменення кольору мри GO Проарамноеть GO (Фзрачпая
« «влети □О Гемо» лив поойвлвтя 0О КсшиьДауп 20 □ Про «*"■
GO ■Артеріальний тиск □ Про Скарги загального характеру GO Огляд □ Про Г1вг>ьлація -ПО Пвркусія
ПО Д**і МборДГОрІаК І HIIUp^MaMI.
Рис.2. Загальний вигляд програми
Рис.1. Поширеність та первинна захворюваність на ТХПН у США (USRDS, 2000) (Батюшкін М.М., 2005)
ні лабораторних та інструментальних досліджень. Ієрархія представлена у вигляді дерева, в якому кожен пункт містить підпункти, які більш повно характеризують окремі симптоми. Зліва від кожного пункту в ієрархії розташований прапорець, за допомогою якого можна відзначити виявлені у пацієнта симптоми.
Лабораторно-інструментальні дані включають найбільш поширені і відповідні рівню оснащення ЛПЗ амбулаторної та стаціонарної ланки муніципальної охорони здоров'я:
♦ загальний аналіз крові;
♦ біохімічний аналіз крові;
♦ клінічний аналіз сечі;
♦ функціональне дослідження нирок.
У полі №1 виводяться висновки ЕС, одержувані внаслідок оцінки симптомів, із зазначенням ймовірності захворювання.
Уполе №3 представлена інформація довідкового характеру щодо захворювань (етіологія, патогенез, класифікація, опис клінічних проявів хвороби, принципи лікування), внесених до ЕС, що описує класичну клінічну характеристику хвороби.
нирок, що вражає грунтуо гіражиць, грмичществвмнс «гфсгедіальядо тк.ФФ. nniii»jiiri»riH Пієлонефрит може був? ідоктороннин, nepBMWMwi та япцина*-! гострі, крамацьким шм рвцшиаидавдм.
Пієлонефрит гестееюеый попал доенгся у боремеїдд. рожем і рааїльпні
Не протягне всього гасгеіїомщго періоді Чете зустрічається при першій вагітності Кв * правило. еиоміється ещеріяаями, ітеро*о*ком. протеєм грвіотрж1втеа № «А флорою)
Патогене» оея»1 з і^тимині додмнемк &ся«-ст*«е гормону*»*» BJinift a pa мк терміни вагітності дії механічного Фактора в більш псвдме терміни нерідка ^ "тврюдамем пуз ^ іпмочегоянковхо рвфЛОКСА
У болеинкетважегії»! гострий пн. Л сюегікоє во?т^*«етре беремемюегн (22-28-й тиждень). Пас.
гоні £3 тиж. Саме в цей період гкібсясу ймовірно воєнкло-
Клініці. У ьфажені тпжсміша. висока температура, озноб, пояснило,
дизурія Goa в попскче в (триместрі вагітності »алм ии ппчнаа прод/аиЛ ГеетаціомьД пієлонефрит дпффаращгрутт від круїзної •
ІТ та діагностика
www.idmz.ru 2 00 7, №2
Дані порівняння клінічного діагнозу та висновків ЕС
Нозологічна одиниця, або синдром Очікувана кількість Отримана кількість % збігу Середня % ймовірності нозології
Гострий гломерулонефрит 30 30 100 72,00
Гострий пієлонефрит 30 30 100 70,93
Хронічний пієлонефрит 30 30 100 78,56
Хронічнаниркова недостатність 30 30 100 65,53
Хронічний гломерулонефрит (змішаний тип) 30 30 100 68,50
Хронічний гломерулонефрит (нефротичний тип) 30 30 100 67,66
Хронічний гломерулонефрит (латентний тип) 30 30 100 67,26
Хронічний гломерулонефрит (гіпертонічний тип) 30 30 100 68,06
Хронічний гломерулонефрит (гематуричний тип) 30 30 100 68,70
I. На першому етапі оцінювали роботу ЕС за архівними даними з клінічних історій хвороб (архів нефрологічного відділення Тюменської ОКБ №1). Для перенесення даних з історій у програму ми розробили формалізовану карту, яка містить усі симптоми, закладені в ЕС.
Відбиралося мінімально за 30 історій хвороб за кожною нозологічною формою, яка представлена в ЕС. Загалом у дослідженні задіяли дані понад 270 історій хвороб, що вносили до ЕС для отримання висновку. У табл. 1 наведено результати аналізу висновків ЕС.
Очевидно, що ЕС показала досить високу ефективність: за всіма захворюваннями виявлено 100% збіг клінічного діагнозу, зазначеного в історії хвороби, з укладанням ЕС. У той же час ймовірність діагнозу в ЕС виявилася різними нозоформами в межах 54-81%. При аналізі таких низьких показників ймовірності діагностованих захворювань у кожному конкретному випадку з'ясувалося, що причини можна згрупувати в 2 блоки:
1. В анамнезі історій хвороб є вказівки на неодноразові звернення конкретного хворого із загостренням хронічного ниркового захворювання на даний стаціонар, що, мабуть, призводить до мінімізації збору доказової бази і, як наслідок, встановлення діагнозу за мінімальною кількістю ознак.
2. В історії хвороби лікар не вказує більш точної розшифровки симптому, наприклад,під час огляду можуть бути вказані набряки без
чіткої локалізації, що також знижує можливості застосування ЕС, що описується.
Тим не менш, програма показала точність при діагностиці захворювань, на що вказує збіг клінічного діагнозу та укладання ЕС.
ІІ. У подальшому для оцінки ефективності ЕС ми використали натурну модель нефрологічного відділення міської клінічної лікарні. Кількість ліжок приймалася рівним 55. Враховуючи щомісячний оборот ліжка, який становить 2,0 за місяць, у відділенні можуть пролікуватись близько 110 осіб. У стаціонарі на хворого заводиться історія хвороби, що містить відомості з семіотики захворювання. У нашій моделі заповнювалися карти, що відображають клінічні та лабораторно-інструментальні прояви хвороби. Оскільки в нефрологічному відділенні пролікуються хворі з патологією, не представленою в ЕС (наприклад, амілоїдоз і т.д.), то ми додали обмежену кількість карток з даними щодо захворювань легень. Усього було заповнено 216 карток, що приблизно відповідає двом місяцям роботи відділення.
♦ «точні» карти, які містять вичерпні дані щодо захворювання нефрологічного профілю, - 68;
♦ «близькі» картки, що містять неповні дані щодо захворювань нирок, - 118;
♦ карти ненефрологічного профілю (непрофільні) – 30.
ІТ та діагностика
I та інформаційні
Потім карти були поділені на дві рівні групи, які відповідають двом місяцям роботи нашого умовного відділення. Для максимального усунення фактора суб'єктивності використовувалася рандомізація методом послідовних номерів (табл.2) [8].
Основними гіпотезами для перевірки ефективності ЕС служили:
1. Якщо всередині групи, що досліджується, експертна система діагностує нефрологічні патології, тоїї робота ефективна.
2. Між точно та близько заповненими картами, з одного боку, та висновками ЕС, з іншого боку, має бути чіткий зв'язок.
3. Між досліджуваними групами («перший» і «другий» місяць роботи умовного відділення) достовірних відмінностей не повинно бути в будь-яких умовах - стабільна робота в часі.
Для статистичної обробки даних використовували пакет Primer of Biostatistics 4.03 (McGraw-Hill, 1998). Оцінка достовірності відмінностей часток проводилася за Z-критерієм. Кореляційний аналіз проводився методом рангової кореляції Спірмена.
Потім усі заповнені карти було проаналізовано ЕС «Нефрологія». В результаті отримані дані у групах незначно відрізняються від очікуваних (табл.3).
Аналізуючи результати оцінки модельних випадків експертною системою, встановлено, що ЕС точно розпізнає та відокремлює непрофільні карти. Факт того, що частка
Підсумки рандомізації карт
Карти 1 гр уппа 2 гр' уппа За Z-критерієм
"Точні" 34 31,5 34 31,5 р = 0,884
«Близькі» 60 55,5 58 54 р = 0,932
Непрофільні 14 13 16 14,5 р = 0,903
Результати аналізу ЕС за групами
Картки Очікування, % Вийшло в ЕС За Z-критерієм
Кількість карт % Імовірність діагнозу
"Точні" 31,5 * 52 48 * 100-95% р = 0,019
«Близькі» 55,5 * 42 39 * 94-60% р = 0,022
Непрофільні 13 14 13
Свідоцтво про реєстрацію ЗМІ Ел № ФС77-52970