Метод q-сортування

Після того, як арбітри завершили свою роботу, обчислюється середня арифметична оцінка шкали для кожного випадку, а потім середні оцінки отримані відповідним чином ранжуються. Далі результати цього ранжирування випадків інтенсивності використовуються для приписування аналізованим текстам кодів, обумовлених встречаемостью у яких слів чи тим, отримали нашу оцінку. Довільність оцінки одного дослідника компенсується таким чином наявністю інших думок. [8]

Шкалювання методом парного порівняння

Шкалювання методом парного порівняння має самі цілі, як і попередній метод, але техніка його дещо інша. Кожен випадок, що підлягає оцінці, послідовно порівнюється попарно з усіма іншими випадками, при цьому кожен арбітр повинен вирішити, яке зі слів (або фраз) у кожній парі «сильніше» (або інтенсивніше) іншого. Так, якщо треба порівняти п'ять тверджень (випадків), то кожен арбітр буде послідовно порівнювати спочатку 1-е з них з 2-м, з 3-м, 4-м, 5-м, потім 2-е з 3-м, 4-му, 5-му і т. д., щоразу при цьому відзначаючи, яке з двох інтенсивніше. Підрахувавши, скільки разів кожен випадок опинився в оцінці всіх арбітрів «сильніших» за інших, і розділивши отримане число на число арбітрів (тобто обчисливши середню оцінку, винесену групою арбітрів кожному твердженню), ми отримуємо можливість здійснити кількісне ранжування всіх випадків за ступенем їхньої інтенсивності. Що середня оцінка деякого твердження, то воно, на думку арбітрів, «сильніше». [8]

Однак, з методами Q-сортування та парного порівняння пов'язані щонайменше дві складності. По-перше, в обох випадках дослідник покладається повністю на рішення арбітрів, критерії оцінки яких можуть бути, а можуть і не бути правомірними та/або заможними. Уекспертизі такого роду стандарти який завжди зрозумілі чи, у разі, який завжди ясно визначені, і внаслідок цього самі оцінки носять дискусійний характер. Трапляються випадки, коли один і той же арбітр виставляє різні оцінки одному й тому ж твердженню в серії ідентичних випробувань. З іншого боку, відбір арбітрів найвищою мірою довільний. Отже, і надійність результатів, отриманих при опорі таких арбітрів, дуже відносна. Тому ці процедури слід використовувати, роблячи знижку на «людський фактор». [8]