Апробація анкет, які супроводжують тестування учнів - Студопедія

У процесі розробки анкет, що супроводжують тестування, було проведено два етапи апробації. На першому етапі підлягали перевірці такі характеристики анкет, як їх зрозумілість і доступність для заповнення респондентами, чіткість і однозначність формулювань, а також час, необхідний для заповнення. На другому етапі проводився кількісний та якісний аналіз відповідей респондентів з метою виявлення характеристик культурно-освітнього середовища, що розрізняють успішні та неуспішні за результатами тестування школи. При цьому основна увага була зосереджена на анкеті для наших головних респондентів – учнів (анкета наведена повністю наприкінці цього розділу).

У рамках першого етапу ця анкета була апробована в двох п'ятих і трьох четвертих класах загальноосвітньої школи.

Усі учні впоралися з питаннями анкети протягом одного уроку. Однак до кінця роботи у деяких дітей (приблизно у 25% класу) спостерігалася явна втома. Вони пропускали інструкцію (вибирали не ту кількість альтернатив, яка вказана для даного питання), припускалися помилок при заповненні (на останніх сторінках анкети більше виправлень, ніж на перших), скаржилися на довгі таблиці. Крім того, під час роботи з анкетою діти ставили експериментатору багато питань, які можна розділити на дві групи:

1) питання, що стосуються технічної сторони заповнення анкети

2) змістовні питання щодо уточнення формулювань або вибору альтернатив відповідей

Питання першої групи: А чи можна обводити відповідь? (А чи можна закреслювати те, що не підходить?). А як зробити, якщо наголосив не те?

Запитання другої групи: Що таке «живий куточок?». «Завуч» – це хто? Якщо я прийшла впідготовчий, то з якого класу я навчаюсь у цій школі? Що відповідати, якщо нам не ставлять позначок? Що таке "регулярно"?

Після заповнення анкет була проведена бесіда з учнями, спрямована на виявлення їх загального ставлення до анкетування та уточнення проблем та труднощів, що виникали під час роботи з текстом анкети. Бесіда, в якій молодші школярі виступали як експерти, дозволила зафіксувати кілька позицій, визнаних більшістю учасників. Так, виявилося, що дітям зручніше відповідати на запитання на тему, ніж вибирати судження, що відповідають їх точці зору на цю тему. Також з'ясувалося, що питання, сформульовані у другій особі, переважно сформульовані від першої особи. Нарешті, коли питання представлено у табличній формі, то учні швидко забувають контекст, заданий у заголовку таблиці, тобто. втрачають смисловий фон питань.

Аналіз отриманих від дітей питань та зауважень дозволив нам скоригувати текст анкети. Зауваження щодо технічної сторони заповнення анкети змусили нас у ряді випадків замінити табличну форму на послідовний ряд конкретних суджень.

Надругому етапіпредметом апробації виступили дискримінаційні повноваження анкет, тобто. їх чутливість до тих факторів освітнього середовища, які впливають на ефективність учнів у вирішенні тестових завдань. Для проведення пілотного аналізу ми вибрали серед усіх шкіл, що брали участь у тестуванні, дві групи по чотири школи в кожній: до першої групи увійшли школи, в яких діти продемонстрували високі результати в основних тестах, до другої - школи, де діти продемонстрували відносно низькі результати .

Нижче наведено деякі відмінності, що виявилися у відповідях на запитання «Анкети для учнів» (див. Додаток 3), вцих двох групах шкіл.

У школах, де діти продемонстрували високі результати в основних тестах (далі їх називатимемо «сильними»), у відповіді на запитання 2 («Напиши, які традиції є у твоїй школі?»), отримано великий список різних традицій. Вони вказані у довільному порядку, списки не повністю повторюються. Учні по-різному формулюють назву чи суть заходу, який зараховують до традицій школи. У школах, де діти продемонстрували відносно низькі результати (далі називатимемо їх умовно «слабкими»), в анкетах вони також перерахували багато різних шкільних традицій. У цьому списки повністю збігаються як кількісно, і у послідовності перерахування. У більшості анкет збігаються навіть допущені під час перерахування помилки. Можна припустити, що відповідь це питання писався під диктовку, а самі учні не знали, що відповісти.

Показовий пункт 5 у питанні №4: «У вашій школі багато правил, які мають виконувати усі учні?». У сильних школах отримано 82% негативних відповідей на це питання. У «слабких» школах – від 90 до 100% усіх дітей відповіли на це питання позитивно.

Зупинимося на пунктах 3, 5, 6 та 7 питання №7. У цьому питанні описуються різні ситуації, що виникають на уроці. Пункти 3 і 6 пов'язані з емоційним станом дитини на уроці і сформульовані так: «Як часто на уроці ти почуваєшся спокійно?» і «Як часто на уроці ти боїшся, що тебе спитають?». Пункти 5 та 7 визначають, на кого орієнтована навчальна комунікація дитини на уроці. Вони сформульовані так: «Як часто на уроці ти ставиш учителю питання, якщо тобі щось незрозуміло?» і «Як часто на уроці ти сперечаєшся з хлопцями, обстоюючи свою точку зору?». І в «сильних», і в «слабких» школах учні стверджують,що в абсолютній більшості почуваються на уроках спокійно (88-91%). При цьому в сильних школах 82% дітей не бояться, що їх запитають. А в «слабких» школах лише 25% дітей ніколи не боїться, що їх спитають, а решта 75% або іноді побоюються, або бояться часто чи завжди (по 20%). Очевидно, що ця відповідь суперечить пункту 3.

Цілком по-різному розподіляються комунікативні процеси під час уроків у «сильних» і «слабких» школах. Якщо в «сильних» школах майже 95% учнів відзначають, що рідко звертаються до вчителя, але при цьому всі сперечаються між собою (причому 82% робить це часто), то в «слабких» школах навчальна комунікація будується інакше: до 50% дітей часто звертається до вчителя з питаннями та інші 50% - рідко. А часто сперечаються з однокласниками менше ніж 24% учнів, ще 57% робить це рідко і близько 15% дітей ніколи не вступає в дискусію з однокласниками.

Важливі моменти, що характеризують змістовну комунікацію на уроці, представлені у шести пунктах №8. Питання сформульовано так: «Як часто на уроках ваші вчителі:

- дають вам завдання, і ви їх мовчки виконуєте?

- знижують позначку за недбале оформлення роботи?

- Задають вам питання для обговорення всім класом?

- знижують позначку за погану поведінку?

- відповідають на ваші запитання?

Відповіді дітей із «сильних» та «слабких» шкіл дозволяють виявити різні змістовні акценти, які роблять вчителі цих шкіл в організації взаємодії з учнями на уроці. Так, у пункті 1 діти зі «слабких» шкіл бачать дуже знайому ситуацію та відповідають «завжди» в 81% анкет (інші 19% кажуть «часто»). У «сильних» школах таку організацію роботи також прийнято, але відповідь «завжди» дають менше 23% дітей, ще 63% каже «часто» і ще 13%вважає, що така форма роботи використовується вчителями нечасто. Також про змістовні характеристики організації взаємодії на уроці говорять пункти 3 і 6. Відповіді на пункт 3 у наших школах відрізняються ступенем переконаності дітей: якщо в «слабких» школах учні обирають відповідь «завжди» лише у 9% анкет, а решта 91% каже « часто», то у «сильних» школах відповіді «завжди» та «часто» розподілилися у співвідношенні 41 та 59%. Тобто майже половина учнів «сильних» шкіл сприймає таку форму роботи як обов'язкову. Інша картина відповідей представлена в пункті 6. На одностайну думку дітей з «сильних» шкіл вчителі завжди відповідають на питання, що виникають (96% відповідей, і 4% - «часто»). У «слабких» школах також більшість учнів обирають відповідь «завжди» - 61%, ще 23% вважають, що це відбувається часто, але є й група учнів, які не отримують від вчителів відповіді на свої запитання (вони дали в анкеті відповіді «рідко» »і «ніколи»).

Два пункти питання №8 стосуються позначок (пункти 2 та 4). І тут ми також бачимо суттєві відмінності у отриманих відповідях учнів. У «сильних» школах понад 86% дітей стверджують, що вчителі або взагалі не знижують або рідко знижують позначку за недбале оформлення роботи. З ними згодні лише 14% дітей із «слабких» шкіл. А решта 86% вважають, що це нормальна практика оцінювання (відповіді «часто» та «завжди»). Що стосується зниження позначки за поведінку, то і в «сильних», і в «слабких» школах це не поширена практика, з тією лише різницею, що в «слабких» школах все ж таки присутня деяка кількість дітей (близько 10%), які вважають , що таке має місце у їхній школі, тоді як у «сильних» школах таких учнів немає. Таким чином, відповіді на це питання дозволяють реконструювати деякі змістовні особливості.організації навчальної комунікації, що розрізняють школи, що продемонстрували високі та низькі результати у тестових завданнях.

Також показовими є відповіді на питання 11, в якому представлені різні ситуації на уроці, що передбачають спільну роботу дітей як змістовну (пункти 1, 2 та 4), так і контрольно-оцінну (пункти 3 та 5). Питання сформульовано так: «Як часто ви використовуєте на уроках такі форми роботи?

обговорюєте всім класом новий матеріал?
Ви вирішуєте завдання, розділившись на групи?
перевіряєте роботу один одного?
спільно ставите досліди та експерименти?
оцінює роботу одне одного?

До кожного пункту питання для відповіді пропонується вибір із чотирьох альтернатив: завжди/часто/рідко/ніколи.

У «сильних» школах учні до всіх п'яти пунктів питання вибирають як відповідь лише варіанти «завжди» або «часто». Причому у першому пункті відповідь «завжди» представлена майже 90% анкет.

У «слабких» школах усередині класів отримані дивовижно суперечливі відповіді окремі пункти цього питання, і навіть присутні явні протиріччя між пунктами. Так, в одному із класів на перший пункт питання 57% дітей обрали альтернативу «завжди», а понад 28% – «ніколи» чи «рідко». Тобто. трохи більше половини учнів «обговорює всім класом новий матеріал», а більше чверті цього ніколи не бачили і не брали участі в обговоренні. Інша важлива невідповідність виявилася між пунктами перевірки та оцінки робіт один одного. На думку абсолютної більшості дітей, взаємні перевірки відбуваються «рідко» або «ніколи», а оцінювання чужої роботи – «часто» (у 67% дітей). Можна припустити, що й оцінка пов'язані з аналізом і перевіркою, вона швидше за все носить формальний характер іорієнтована на вчительські критерії.

Щоб уточнити ситуацію з оціночною діяльністю, ми зіставили відповіді дітей на пункт 5 питання 11 із відповідями на запитання №10. Він сформульований так: «Як ти думаєш, оцінка, яку тобі ставить вчитель, більше відповідає твоїм знанням на даний момент:

твоїм успіхам порівняно з колишніми результатами?
твоїй активності на уроці?
її стосунку до тебе?
твоєму вмінню працювати разом з іншими учнями?
твоєму вмінню організувати свою роботу на уроці?
твоїм успіхам у порівнянні з іншими учнями?

Учні повинні як відповідь вибрати не більше трьох із семи запропонованих варіантів. Це, безумовно, змістовно складне питання. І в «сильних», і в «слабких» школах перше місце в рейтингу відповідей зайняла альтернатива №1 («знанням на даний момент»), друге – альтернатива №3 («активності на уроці»). Однак інші оцінки отримали зовсім різний розподіл у «сильних» та «слабких» школах. Так, альтернатива №2 («успіхи в порівнянні з колишніми результатами») у «сильних» школах стоїть у учнів на третьому місці за перевагами, а в «слабких» - на останньому. А альтернатива №4 («особисте ставлення педагога до дитини»), що практично не представлена у відповідях дітей із «сильних» шкіл (останнє місце в рейтингу альтернатив), у відповідях учнів із «слабких» шкіл займає високе третє місце.

З інших питань анкети для учнів також виявляються досить чіткі відмінності у відповідях учнів шкіл, які продемонстрували високі результати у вирішенні батареї тестових завдань, та учнів шкіл, які показали низькі результати у тестуванні. Це загалом показує, що розроблений нами інструментарій вирішує задачу диференціації тих якостейосвітнього середовища, які значно визначають успішність учнів у тестуванні. Однак, безумовно, надалі потрібне проведення більш деталізованої та статистично вивіреної аналітичної роботи з результатами анкетування учнів. Також важливим є зіставлення отриманої в дитячих анкетах інформації з даними інших суб'єктів освітнього середовища.

Чи не знайшли те, що шукали? Скористайтеся пошуком: