НОУ ІНТУІТ, Лекція, Оцінка якості тестових завдань

4.4. Методика експертизи та робота експертної групи

Під час експертизи тестові матеріали оцінюються на відповідність критеріям (показникам) якості.

Експертиза якості тестових матеріалів – обов'язковий етап тестування (у широкому значенні). Необхідний комплексний підхід до експертизи на основі системного аналізу та кваліметрії.

Експерт повинен уважно ознайомитись зі специфікацією тесту, провести аналіз змісту тесту, в основному, орієнтуючись на образ тестованого, який має середній рівень підготовки. Ця робота спрямована, в основному, на виявлення невдалих завдань, їх доопрацювання в плані змісту та включає оцінювання:

правильних відповідей та дистракторів тестових завдань;
релевантності змісту завдань (відповідності вимогам рівня навчальних досягнень та тестування) за допомогою зіставлення змістів завдань тесту та переліку вимог (входить до КІМ, видається експерту);
рівня завдань (базовий, підвищений, високий) та значущості їхнього змісту (відповідність ключовим елементам для засвоєння курсу за вимогами ДГЗ, не звертаючи уваги на "перетинання" окремих елементів змісту в деяких завданнях);
потенційного відсотка виконання тесту випробуваними (як мінімум, які мають задовільну підготовку);
потенційного відсотка успішного виконання тесту усіма у вибірці.

Експерт виконує аналіз якості змісту тесту, використовуючи паралельні варіанти, об'єднуючи та узагальнюючи інформацію по всій групі варіантів. У цьому випадку оцінювання якості варіантів тестів виконується за критеріями:

відсоток охоплення вимог до рівня навченості кожним варіантом та всіма варіантами у групі (для змістовної валідностітесту, обґрунтованості оцінок результатів за тестом);
відсоток завдань, орієнтованих на той чи інший розділ змісту або "пропорційність" змісту тесту, правильність відображення в ньому змісту навчальної дисципліни (експерти виносять свою думку щодо оптимальності поєднання розділів, наприклад, знаходять міру розкиду експертних суджень від класифікаторів та думок розробників);
відсоток відповідності завдань тесту та специфікації (змісту та специфікації) тесту.

Після цього експерт робить висновки та рекомендації щодо покращення вмісту тесту.

Крім багатьох переваг, є й недоліки експертної оцінки якості тестів, зокрема, "за бортом" часто залишаються оцінки внутрішньосистемних відносин тестових завдань у тесті, недостатньо ефективно апробаційне тестування (воно більше "ознайомче"), не враховується компетентність та узгодженість думок експертів у групі .