Програма оновлення гуманітарної освіти в Україні м. С. Батигін
2. Типові порушення внутрішньої валідності виведення
Зміни історичного тла, матурація, невідповідність складів контрольної та експериментальної груп, відсівання респондентів, нестабільність інструментального комплексу, ефект тестування, реактивний ефект. "Натурні" експерименти.
На результати експерименту впливають будь-які події, що відбуваються під час проведення дослідження, особливо, якщо воно займає тривалий час. Сама залежна змінна змінюється під впливом сторонніх обставин і яка з них зумовила зміни — залишається неясним. Причини змін позначаються якзміни історичного тла.Під «історією» мається на увазі історія експерименту.
Припустимо, перевіряється гіпотеза вплив пропаганди на поведінку виборців. Відповідно до схеми експерименту здійснюється замір електоральних переваг до пропагандистської атаки та після неї. Потім зіставляються значення цієї змінної у двох групах: експериментальної, що піддавалася пропагандистському впливу, та контрольної, де на виборців не впливало. Припустимо, далі, що встановлені суттєві відмінності між експериментальною та контрольною
трупами. Однак, чи можемо ми бути впевнені, що відмінності обумовлені саме пропагандою. За короткий проміжок часу думки виборців могли вплинути різні події: підвищення цін, сенсаційні викриття політичних лідерів, зростання інфляції. Усі ці чинники можуть бути основою альтернативних гіпотез. Чим більший часовий проміжок між претестом і посттестом, тим більша ймовірність «історичних» спотворень результатів експерименту.
Модифікацією «історичних» змін є природні зміни в об'єкті експериментування."матурація". Зпротягом часу змінюється як зовнішнє середовище, а й внутрішні якості випробуваних. Припустимо, що експериментальній перевірці піддається метод викладання та попередні виміри відокремлені від підсумкових вимірів часом, що займає майже весь навчальний рік. Зрозуміло, за цей період відбудуться суттєві зрушення в рівні засвоєння матеріалу студентами — тут не можна скидати з рахунків ту обставину, що дослідники стали дорослішими і, мабуть, розумнішими. Результат може бути викликаний і новим методом викладання та дорослішанням експериментального контингенту. Навіть якщо експеримент триває дві-три години, на його результати може вплинути втома та роздратування піддослідних.
Невідповідність складів груп.На внутрішню валідність виведення виявляють спотворюючий вплив зміни у складі експериментальної та контрольної груп. Особливо це трапляється тоді, коли для експерименту вибираються приблизно рівні за віком класи, студентські групи. Проте проконтролювати всі відмінності досить складно. Наприклад, вищий рівень згуртованості в одній групі може призвести до суттєвих спотворень результатів. Надійний засіб вирівнювання складів контрольної та експериментальної груп – рандомізація.
Відсів піддослідних.Якщо експеримент триває довго, ймовірність уникнути відсіву піддослідних з різних причин досить висока. Тому під час здійснення підсумкових вимірів неможливо з упевненістю сказати, наскільки вплинуло вибуття піддослідних результат. Найчастіше з експериментів вибувають випробувані з контрольних груп.
Нестабільність інструментального комплексу.Зміни можуть зачіпати як зовнішні обставини (фон) і випробуваних, а й вимірювальний інструментарій дослідження. Проблемаполягає в тому, що на відміну від природничих наук у соціології та психології вимірювальні інструменти (у тому числі інтерв'юер) змінюються. А зміна вимірювального комплексу спричиняє усунення даних. Тут не можна змінювати ні wording, ні калібрування, ні
стиль інтерв'ювання. При експериментах, пов'язаних з контролем успішності студентів, такі похибки практично неминучі. Необхідно не тільки зберегти критерії оцінки знань — часто інтуїтивні, а й той психологічний настрій, який був притаманний екзаменатору в момент першої перевірки. Зміна екзаменатора в даному випадку еквівалентна зміні інструменту і перешкоджає будь-яким зіставленням.
Експериментальний інструментарій передбачає одноразове застосування одного випробуваному. В іншому випадку виникнеефект тестування.Якщо експериментатор звернеться з тим же тістопросником вдруге, результати виміру будуть іншими, оскільки випробуваний вже знайомий з інструментом і буде усвідомлено або неусвідомлено коригувати свої реакції, наприклад, намагатися згадати, що говорив минулий раз, і відтворювати свої відповіді. Власне кажучи, знайомий випробуваному тест-запитання — вже інший інструмент, ніж той, який застосовувався на стадії претесту, і порівняння даних містить суттєву похибку.
І, нарешті, найсуттєвіші спотворення пов'язані з впливом на результат експерименту поряд із незалежною змінною самої експериментальної ситуації — часто такий вплив називаютьреактивним ефектом.
Найкраще проілюструвати виникнення реактивного ефекту з прикладу перевірки нового методу лікування. Знаючи про те, що на них випробовується новий метод лікування, пацієнти виявляють помітні покращення принаймні у клінічній симптоматиці захворювання. Кращесебе почувають навіть ті, хто входить до контрольної групи, тобто не перебуває під впливом експериментальної змінної.
Вплив інструменту на реакції респондентів може бути несподіваним. У літературі добре описано «ефект інтерв'юера», коли відповіді значною мірою обумовлені мимовільним впливом особистості інтерв'юера. Рідше згадується, що питання, які ставлять під час одного інтерв'ю, виявляють вищу кореляцію, ніж самі питання, включені у різні анкети. Якщо питання інтерв'ю йдуть одне за одним, спостерігається «галаефект»: кореляція між ними вища, ніж між такими ж, але «віддаленими» питаннями. Кореляція між даними, отриманими за один день, вище, ніж кореляція між даними, отриманими у різні дні.
Слід розрізняти дію експериментальної змінної та експериментальної ситуації. В останньому випадку ми маємо справу з реактивним ефектом. У медицині його намагаються позбутися за допомогою placebo — контрольним хворим дають «видимість» експе
риментальної змінної, наприклад, таблетки такого ж кольору та смаку, які дають експериментальним хворим. Таким чином, placebo є одним із способів вирівнювання ефекту експериментальної ситуації. У соціології застосувати placebo практично неможливо.
Є й інші фактори, що знижують внутрішню валідність: взаємодія фактора відбору з «матурацією», деморалізація піддослідних, пов'язана з невдачами, що здаються; імітація впливу тощо.
Порушення внутрішньої валідності, зумовлені змінами «історичних» обставин експерименту, компенсуються порівнянням контрольної та експериментальної груп — зміни в даному випадку торкаються і тих, і інших піддослідних. Аналогічно зміни у вимірювальному інструментарії зачіпають обидвігрупи. Реактивний ефект також надає однакову дію усім випробуваних. Особливо серйозну небезпеку становлять сторонні змінні, пов'язані з недостатнім вирівнюванням груп.
Зовнішня валідність, як говорилося, це можливість поширити встановлені залежності за рамки експериментального матеріалу. При високій внутрішній валідності, тобто при впевненості, що зміни в зміннійхвикликають певні зміни в зміннійу,зовнішня валідність може виявитися абсолютно незадовільною.
Передбачається, що на відміну від лабораторного експеримент на натурі ближче до життя. Часто експерименти, що проводяться на вулиці, на виробництві, в громадських установах, за місцем проживання тощо називають на відміну від лабораторних «природними». легенди», стоять особливо гостро.
ділових етнічних груп сидять на тротуарі. «Джентльмен» запитує перехожих, чи не впустив хто щойно знайдений доларовий папірець. Помічники експериментатора збираються на вулиці групи різної величини, а потім встановлюється число перехожих, залучених групою. Декілька «хуліганів» на вулиці пристають до дам. Листи ділового, любовного та «нейтрального» змісту, які «по помилці» потрапили в чужі руки. Перелік подібних природних експериментів нескінченний. Однак чи свідчать вони про зв'язок змінних — неясно. Залишається сумнів: чи є природні експерименти більш природними та валідними, ніж експерименти у лабораторіях. Очевидний «мінус» природних експериментів — порушення моральних норм, пов'язане з цілеспрямованим обманом піддослідних, які не давали згоди на участь у «соціодрамі». Частководослідників вибачає та обставина, що моделюються ситуації входять до числа повсякденних і пов'язані з збитками, крім незначної втрати часу. Але, буває, міра перевищує. Відомі, наприклад, досліди С. Мільгрема з застосуванням електрошоку до випробуваних, створення ситуацій, пов'язаних з загрозою вірної загибелі, і т. п.