Сучасний етап розвитку теорії експертних оцінок
На основі більш ніж двадцятирічного досвіду комісії "Експертні оцінки" Наукової ради АН СРСР з комплексної проблеми "Кібернетика" та двадцяти років роботи її наукового семінару "Математичні методи аналізу експертних оцінок" у цьому розділі звіту розглядаються основні проблеми теорії та практики експертних оцінок. Сучасні математичні методи експертних оцінок - це переважно методи статистики об'єктів нечислової природи. Обговорюються догми в галузі експертних оцінок та сучасні рекомендації, застосування статистики об'єктів нечислової природи в експертних оцінках, питання побудови інтегральних показників якості, ефективності та ін. рейтингів, а також перспективи створення та застосування гами сучасних методик експертних оцінок на основі підходів та результатів зазначеного наукового колективу. Загалом глава дає наукове обґрунтування розроблення автоматизованого робочого місця МАТЕК (МАТематичні методжі в ЕКспертних оцінках).
Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після Другої світової війни у рамках теорії управління (менеджменту) стала розвиватися самостійна дисципліна - експертні оцінки.
Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів, виражених у кількісній та/або якісній формі з метою підготовки інформації для прийняття рішень ЛПР - особами, що приймають рішення.
Для проведення роботи з методу експертних оцінок створюють Робочу групу (скорочено РГ), яка організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи сутнісно) в експертну комісію (ЕК).
Основні проблеми експертних оцінок
Що має надати експертна комісія в результаті своєї роботи - інформацію для ухвалення рішення ЛПР чи проект самого рішення? Від відповіді це методологічне питання залежить організація роботи експертної комісії.
Мета - збір інформації для ЛПР.
Тоді Робоча група має зібрати якомога більше інформації, що стосується справи, аргументів "за" і "проти" певних варіантів рішень. Корисний метод поступового збільшення числа експертів, описаний у [1]. Спочатку перший експерт наводить свої міркування з питання, що розглядається. Складений ним матеріал передається другому експерту, який додає свої аргументи. Накопичений матеріал надходить до наступного – третього – експерта. Процедура закінчується, коли вичерпується потік нових міркувань.
Зазначимо, що експерти у розглянутому методі лише постачають інформацію, аргументи "за" та "проти", але не виробляють узгодженого проекту рішення. Немає жодної необхідності прагнути до того, щоб експертні думки були узгоджені між собою. Більше того, найбільшу користь приносять експерти з мисленням, що відхиляється від масового, оскільки саме від них слід очікувати найоригінальніших аргументів.
Мета - підготовка проекту рішення для ЛПР
Вважається, що рішення може бути ухвалене лише на основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. При цьому відсіваються як некваліфіковані особи, які потрапили до складу експертної комісії з непорозуміння або з міркувань, що не мають відношення до їхнього професійного рівня, так і найбільш оригінальні мислителі, які глибше проникли в проблему, ніж більшість. Треба б з'ясувати їхаргументи, надати їм можливість обґрунтування їх точок зору. Натомість їх думкою нехтують. Буває й так, що експерти поділяються на дві чи більше груп, які мають єдині групові погляди. Так, в [1] наведено приклад поділу фахівців при оцінці результатів науково-дослідних робіт на дві групи: "теоретиків", що явно віддають перевагу НДР, в яких отримані теоретичні результати, і "практиків", які обирають ті НДР, які дозволяють отримувати безпосередні прикладні результати (Йдеться про конкурс НДР в Інституті проблем управління (автоматики та телемеханіки)).
Іноді заявляють, що у разі виявлення двох або кількох груп експертів (замість однієї погодженої думки) опитування не досягло мети. Це не так! Мета досягнута – встановлено, що єдиної думки немає. І ЛПР має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-якою цілою може призводити до свідомого одностороннього підбору експертів, ігнорування всіх точок зору, крім однієї, найбільш улюбленої Робочої групи (або навіть "підказаної" ЛПР).
Оскільки кількість експертів зазвичай не перевищує 20-30, то формальна статистична узгодженість думок експертів може поєднуватися з реально наявним поділом на групи, що робить подальші розрахунки, що не мають відношення до дійсності. Якщо ж звернутися до конкретних методів розрахунків, наприклад, за допомогою коефіцієнтів конкордації на основі коефіцієнтів рангової кореляції Кендала або Спірмена [31], необхідно пам'ятати, що насправді позитивний результат перевірки узгодженості таким способом означає ні більше, ні менше, як відхилення гіпотези про незалежність та рівномірну розподіл думок експертів на безлічі всіх ранжувань. Іншими словами, ми падаємо жертвоюпомилок, які з своєрідного тлумачення слів: перевірка узгодженості у зазначеному статистичному сенсі зовсім перевіркою узгодженості у сенсі практики експертних оцінок. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжувань привела нас до розробки нового математичного апарату для перевірки узгодженості – непараметричних методів, заснованих на люсіанах [32].)
З метою штучно досягти узгодженості намагаються зменшити вплив думок експертів-дисидентів. Жорсткий спосіб боротьби з дисидентами полягає у їх виключенні зі складу експертної комісії. Відбраковування експертів, як і відбраковування результатів спостережень, що різко виділяються, призводить до процедур, що мають погані або невідомі статистичні властивості. Так, у [33] показана крайня нестійкість класичних методів відбраковування викидів по відношенню до відхилень від передумов моделі.
М'який спосіб боротьби з дисидентами полягає у застосуванні робастних (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта - дійсне число, то думка дисидента, що різко виділяється, сильно впливає на середню арифметичну відповідь експертів і не впливає на їх медіану. Тому розумно як узгоджену думку розглядати медіану. Однак при цьому ігноруються (не досягають ЛПР) аргументи дисидентів.
У будь-якому з двох способів боротьби з дисидентами ЛПР позбавляється інформації, що йде від дисидентів, а тому може ухвалити необґрунтоване рішення, яке призведе до негативних наслідків. З іншого боку, подання ЛПР всього набору думок знімає частину відповідальності та праці щодо підготовки остаточного рішення з комісії експертів та робочої групи з проведення експертного опитування та перекладає її наплечі ЛПР.
Поширений досить примітивний підхід так званої "кваліметрії" (див., Наприклад, [34]), згідно з яким об'єкт завжди можна оцінити одним числом. Оцінювати людину одним числом спадало на думку лише на невільницьких ринках. Навряд чи навіть найзавзятіші кваліметристи розглядають книгу чи картину як еквівалент е› "ринкової вартості".