Відбір експертів та організація їх роботи При виборі експертів мають бути поставлені такі
За умови повноти системи переваг експертів: експерти повинні бути в змозі для всіх об'єктів безлічі А
а,Ь.с. т е А вказати кожної пари об'єктів свої переваги а з Ь чи а з Ь.
Умова транзитивності системи переваг експертів. Ця умова дотримується, якщо для трьох будь-яких компетенцій а,Ь, с з а з Ь і Ь з с слідує а з с;
Експерт не повинен бути особою, яка приймає рішення на основі отриманої інформації. Він може бути лише радником того, хто бере на себе відповідальність за постановку цілі, план, програму чи проект. В іншому випадку виникає спокуса «підпорядкування» експертизи заздалегідь запланованого рішення, прикриття волі керівника посиланням на «думку експертів»;
Необхідним є також оптимальне поєднання вузької спеціалізації та загального кругозору експерта, а також оптимальне поєднання його індивідуальних якостей.
Ще одним важливим критерієм відбору є наявність у експерта високих моральних якостей. Зрозуміло, що це дуже важко оцінити, проте очевидно, що без належного морального рівня експерта решта його якостей може виявитися марною, здатною лише збільшити небезпеку отримання псевдопрогнозу.
Методи відбору експертів
Методи відбору експертів зводяться до двох основних підходів - об'єктивного та суб'єктивного. Об'єктивний підхід має, у свою чергу, два варіанти – документальний та експериментальний.
Обидва методичні прийоми вимагають великої делікатності по відношенню до майбутнього експерта. Так, тестування який завжди прийнятно з етичної погляду. Крім того, валідність та надійність тестів нерідко викликає сумніви.
Суб'єктивний підхід також розпадається на кілька прийомів. Один зних - атестація, коли підбір експертів здійснюється за допомогою відкритого або таємного голосування потенційних членів майбутньої експертної групи з відведенням тих, хто не набрав певного мінімуму голосів. Тут можуть використовуватися методики з колами експертів, що розширюються, в кілька турів. У першому турі коло експертів складає списки кандидатів на експерти. Тури повторюються доти, доки склад кандидатів в експерти не стабілізується. Потім проводиться розрахунок коефіцієнтів компетентності експертів у залежності від числа включень до списків. Сам по собі цей прийом досить ефективний, але лише за умови, що члени майбутньої групи добре знають один одного і мають високу сумлінність. Інакше виникає небезпека відведення з випадкових, непринципових мотивів.
Інший прийом - метод взаємної оцінки майбутніх експертів (у балах або ранжируванням) - є по суті різновидом першого з усіма його особливостями та обмеженнями.
Третій прийом – метод самооцінки ступеня компетентності та об'єктивності. Тут, щоправда, є небезпека підвищених самооцінок. Але практика показує, що серйозні експерти, навпаки, схильні дещо занижувати свої оцінки та прагнуть не брати участь в експертизах, що виходять за межі їхніх інтересів.
На практиці часто застосовується спосіб, коли кожен експерт оцінює компетентність усіх членів експертної групи, у тому числі і свою власну, використовуючи заздалегідь встановлену бальну шкалу, наприклад таку, як у табл. 4.32, де використовуються такі числові значення: аналізованої області, 2 - задовільна компетентність, 3 - хороша компетентність, 4 - висока компетентність у цій галузі.
Бальна шкала компетентності експертів уаналізованої області П.І.Б.
компетентність 1 2 3 Разом з тим, очевидно, що жоден з перерахованих методів і прийомів відбору експертів не є універсальним і що методика відбору повинна базуватися на поєднанні різних прийомів.
Організація роботи експертів
На практиці чисельність експертної групи здебільшого становить приблизно 5 - 7, максимально 10 - 15 осіб при очних опитуваннях та 20 - 30, максимально 60 - 80 осіб при заочних опитуваннях, залежно від характеру експертизи.
Крім того, потрібне розумне поєднання експертів різного віку, темпераменту, різного службового становища, виробничого та життєвого досвіду.
Відомо, що члени експертної групи не люблять розпочинати роботу з «чистого листа». Набір конкретних питань, а деяких випадках і можливих відповідей допомагає експерту краще зрозуміти поставлене завдання. Тому в більшості експертних методів експертам пропонують анкету, яка зазвичай містить три групи питань: 1)
об'єктивні дані про самого експерта (вік, освіта, професія, стаж роботи, вчене звання, вузька спеціалізація тощо); 2)
характеристики, що дозволяють оцінити мотиви, якими керується експерт в оцінці досліджуваної проблеми; 3)
основні питання щодо істоти досліджуваної проблеми.
За формою питання можуть бути відкритими, закритими, прямими та опосередкованими.
Питання називається відкритим або вільним, якщо відповідь на нього може бути дана в будь-якій формі. Питання називається закритим, якщо його формулюванні містяться варіанти можливих відповідей (перелік альтернатив) і експерт має зупинити свій вибір одному чи кількох їх. Одним із різновидів закритого питання є дихотомічне питання, в якому можлива тількиальтернатива «так – ні».
Основною перевагою відкритих питань є те, що з їхньою допомогою можна знайти новий, абсолютно несподіваний для аналітиків аспект проблеми. Основними недоліками є можлива непорівнянність даних опитування та складність аналізу.
Перевага закритих питань полягає в тому, що вони строго та однозначно інтерпретуються та вимагають менше часу на обробку. Разом з тим анкета із закритими питаннями таїть у собі небезпеку нав'язування експерту відповідей, особливо у тих випадках, коли з того чи іншого питання він взагалі не має своєї думки або ж коли його думка не збігається з відповідями анкети.
Цілі анкети можуть бути замаскованими, і тоді ознаки анкети називають непрямими. Такі анкети застосовуються, коли немає впевненості в тому, що експерт з цього питання зможе (або захоче) дати певну інформацію.
Під час добору питань анкети необхідно провести перевірку того, щоб вони не допускали подвійного тлумачення. З цією метою корисно програти анкету самим аналітикам. Якщо розподіл суджень з деякого питання має значне стандартне відхилення, можна припустити, що це питання двозначний.
Відомо, що групова оцінка може вважатися досить надійною лише за умови гарної узгодженості відповідей опитуваних фахівців. Тому статистична обробка інформації, отримана від експертів, повинна містити: V
оцінку ступеня узгодженості експертів за кожною ознакою окремо та по всьому набору ознак загалом; V
виділення підгруп експертів з близькою думкою у разі суттєвих розбіжностей у відповідях; V
У спеціальній літературі розглядається низка методів статистичної обробки інформації, що дозволяютьрозв'язати сформульовані завдання. До найпоширеніших методів належать розрахунок коефіцієнтів асоціації, метод рангової кореляції, розрахунок коефіцієнтів конкордації та інших.