Чинники, що впливають на надійність тесту
Надійність вимірювального інструменту
Надійність психодіагностичного інструментарію у свою чергу залежить від:
- способу складання методики,
Внутрішня однорідність методики показує, що її завдання актуалізують одну і ту ж психічну властивість, ознаку. Для перевірки однорідності (гомогення) використовується метод розщеплення.
У цьому методі зазвичай завдання за своїми номерами поділяються на парні та непарні, окремо обробляються, а потім результати двох отриманих рядів корелюються між собою. Можна ділити завдання й іншим шляхом, наприклад зіставити першу половину тесту з другою, першу та третю чверть - з другої та четвертої тощо. Якщо коефіцієнт кореляції виходить менше 0,75 - 0,85, тоді методика визнається недостатньо надійною. Найкращі за надійністю тести (зазвичай це тести здібностей) дають коефіцієнти близько 0,90 і більше.
Отримавши низькі показники надійності методики, розробник повинен задуматися про присутність у ній завдань, що знижують коефіцієнт кореляції. Ці завдання аналізуються, потім:
Переробивши або вилучивши деякі завдання, необхідно знову вираховувати коефіцієнти надійності.
Стабільність досліджуваної ознаки
Якщо в результаті апробування якоїсь методики ми отримали великі розбіжності в першій і другій серії, це може означати не тільки те, що у самого інструментарію низька надійність. Це може бути пов'язано з тим, що самі по собі психічні властивості змінилися або як би змінилися під впливом психічного стану.
Застосовуючи інтелектуальний тест вранці або ввечері, ми можемо отримати різні результати: вранці людина ще бадьора і свіжа, увечері втомився і роздратований. У різні дні тижня ми теж можемо отримати різні результати:Понеділок людина ще розслаблена і незібрана, у вівторок чи середу вона вже бадьора і зібрана, у п'ятницю - втомилася і налаштована на майбутній відпочинок.
Більшість психологів, звичайно, не погодиться з тим, що протягом дня чи тижня рівень інтелектуальних здібностей змінюється під впливом стану. Однак не можна не визнати, що навіть у найгеніальнішої людини в стані сильної втоми (фрустрації, хвилювання.) якість інтелектуальної діяльності, швидше за все, знижується. І навіть якщо треба, геніальна людина не може вийти на свій звичайний, робочий рівень. Може відбуватися - хоча не так явно - зворотне: займаючись плідною інтелектуальною діяльністю, у людини можуть активізуватися його приховані ресурси, і в нього якийсь час буде як би підвищений рівень інтелекту.
Суто особистісні властивості (емоційність, дружелюбність, відвертість, сміливість тощо) ще більш волатильні у людини.
Звісно, більшість розробників створюють методики під певний нормальний стан людини. Але річ у тому, що цей нормальний стан майже неможливо визначити. За великим рахунком, можна стверджувати, що тести тестують те, чого немає. Однак не все так погано: досвідчений розробник здатний грамотними діями звести нанівець вплив випадкових факторів, до яких можна віднести довготривалі та короткочасні зміни ознаки, що вивчається.
Якщо ми за допомогою рулетки вимірюємо зростання людини, то кожен вимір ми отримуватимемо той самий результат (з точністю до сантиметра). Якщо людині кілька разів дається звичайна біографічна анкета (ПІБ, де народився, у скільки років пішов до школи.), то в переважній більшості випадків ми отримаємо відповіді, що повторюються. Це надійні методики. Психологія майже немає відносини з такими стабільними ознаками. Тому й показники надійності не можуть бути дуже високими. Якщо ці показники виходять надто хорошими (наприклад, на рівні 0,98-0,99), то варто замислитися, чи взагалі психологічна це методика.
Для перевірки стабільності ознаки, що діагностується, властивості використовується прийом, відомий як тест-ретест: повторне обстеження піддослідних за допомогою однієї і тієї ж методики. Про стабільність ознаки судять за коефіцієнтом кореляції між результатами першого та повторного обстеження.
Розробник методики при першому випробуванні суворо фіксує всі особливості проведення (ранковий - вечірній годинник, день тижня, спосіб презентації стимульного матеріалу та ін.). Під час другого випробування всі особливості проведення відтворюються. Надалі багато з цих особливостей входять до посібника з методики. Тільки так можна зменшити вплив волатильності психічних властивостей.
При визначенні стабільності ознаки велике значення має проміжок часу між першим і повторним обстеженням. Чим коротший термін від першого до другого випробування, тим (за інших рівних умов) більше шансів, що ознака, що діагностується, збереже рівень першого випробування. Слід врахувати те, що в одних ситуаціях піддослідні можуть "дружно" змінитися в той самий бік. В інших ситуаціях зміна психічних властивостей може бути різноспрямованою (у половини випробуваних в один бік, в іншої половини – в іншу). Якщо ми працюємо зі школярами та розробляємо для них тест загальної поінформованості (наприклад), слід врахувати, що ця якість має природну особливість підвищуватися з часом.
Чим довше інтервал між експериментами, тим сильнішими будуть зміни у самих психічних властивостях. Однак якщо робитиінтервал занадто невеликим, тут виникає інша небезпека: багато випробуваних будуть відтворювати свої попередні відповіді з пам'яті, відійшовши від змісту виконання завдань.
Тільки дослідник, з психологічної сутності методики, умов, у яких вона проводиться, особливостей вибірки піддослідних, може визначити інтервал між експериментами. У літературі найчастіше називаються часові інтервали кілька місяців, але з понад півроку. Чим молодші випробувані, тим менше мають бути ці інтервали.
Незалежність від особистості експериментатора
Найбільш схильні до впливу особистості психолога, це важливо враховувати, проективні методики. У них випробуваному відводиться максимум свободи в діях, а ті чи інші манери поведінки експериментатора, його зовнішній вигляд можуть наштовхнути на ті чи інші ідеї, які й виллються у проектну розповідь чи малюнок.
Особисті опитувальники більш вільні від впливу особистості психолога. Але якщо психолог вголос зачитує питання, цей вплив дуже зростає. З якою б інтонацією психолог не читав (бадьорою чи млявою, сухою чи емоційною), це все одно може наштовхнути випробуваного на інший варіант відповіді. У опитувальниках можуть зустрічатися питання на кшталт "Чи подобаються вам люди, що голосно розмовляють?" Якщо психолог, який проводить опитування, говорить голосно і трохи неприємно (може бути і так, що сам як особистість неприємний), то можна припускати, що багато піддослідних дадуть відповідь "Ні", хоча в іншій ситуації могли б вказати, що це їм байдуже.
Коефіцієнт константності тут визначається шляхом кореляції результатів двох дослідів, проведених відносно однакових умов на одній і тій же вибірці піддослідних, але різними експериментаторами. Коефіцієнт кореляції (константності) не повинен бути нижчим0,80. Якщо отримано низький показник константності, можна попрацювати з окремими завданнями, якими помітно вплив особистості психолога. Ці завдання також можна змінити або видалити.