Сам Абрам дався в обман чи фальсифікація результатів тестування і як з нею боротися
- ПРОДУКТИ ТА ПОСЛУГИ
- Прайс-лист та буклет
Олена Мезенцева, заступник керівника відділу досліджень та розробок Лабораторії «Гуманітарні Технології» вважає, що оціночні процедури сприймаються не як інструмент, який допомагає співробітнику та роботодавцю знайти один одного – створити міцну трудову спілку, засновану на спільності цінностей , очікувань і взаємної симпатії, уникнувши у своїй докорів, невдоволень, розчарувань і тягар розірвання трудових відносин, але як порожня формальність.
На вигляд простак, а в душі хитряк
Проблема фальсифікації результатів тестування та інших оціночних процедур стара як світ. Починається все зі шкільної лави (а може, навіть раніше): з перших боязких спроб списування та червоних осіб. З віком ставки зростають, оціночні процедури стають все більш серйозними і впливають не тільки на підсумкову оцінку в семестрі, але і на те, чи ми отримаємо роботу мрії або інвестиції для втілення в життя нового геніального проекту. У міру накопичення життєвого досвіду з кожною черговою набитою шишкою приходить усвідомлення: ті, хто беруть хитрістю, часом несправедливо обходять на фініші тих, хто спирається лишена власні сильні сторони, знання та здібності.
Оціночні процедури сприймаються не як інструмент, що допомагає співробітнику і роботодавцю знайти один одного - створити міцний трудовий союз, заснований на спільності цінностей, очікувань і взаємної симпатії, уникнувши при цьому докорів, невдоволень, розчарувань і тягаря розірвання трудових відносин, але як порожня формальність.
Фальсифікація - серйозна проблема, яка призводить до того, що люди опиняються не на своїх місцях і отримують незаслужені або не отримують заслужені привілеї. То чи існує засіб проти хитрощів?
Як на мене, то не вигадали ще ефективніших ліків від усіх хвороб, ніж профілактика. З проблемою фальсифікації результатів тестування краще боротися ще до початку цього тестування. Розгорнута відповідь на запитання «як?» міститься в українському стандарті тестування персоналу [1].
Насамперед довіра. Як би банально це не звучало, але обраний інструмент повинен відповідати цілям тестування: ціль має визначати кошти, а не навпаки. Якщо слюсаря з ремонту сантехнічного устаткування при прийомі працювати просять пройти комплексний тест на ерудицію, то жодної довіри до процедури тестування це викликає. Навпаки, змушує сумніватися в компетентності осіб, це тестування провідних, і мотивує заповнювати тест аби як із залученням близьких родичів і будь-яких доступних інформаційних і матеріальних ресурсів.
Довіру підкріплюють зрозумілість та прозорість. Важливо, щоб респондент був проінформований про цілі та завдання тестування, про те, хто матиме доступ до його результатів та до яких наслідків ці результати можуть призвести. Етика співробітництва тавідвертості має свої обмеження: проте не варто чекати на чесність від респондента у відповідь на дезінформацію чи скритність.
Фальсифікація – це списування і використання підказок – це будь-які дії перед, під час чи після проходження тестування, метою яких є отримання несправедливих переваг чи недостовірних результатів. Отже, фальсифікація можлива не тільки з боку тих, що тестуються, але і з боку тих, що тестують. Якщо в осіб, які проводять тестування, немає впевненості в якості тесту та надійності його результатів, то у них немає причин підходити до організації процедури оцінки серйозно, і є безліч раціональних виправдань підказкам та порушенням регламенту.
Крім того, що потрібно використовувати якісні тести, важливо залучати до адміністрування тестування відповідальних та підготовлених виконавців незацікавлених у результатах оцінки.
Що погано лежить, сорока тут як тут
Щоб не виникало бажання фальшувати результати тестування, не потрібно надавати такої можливості.
Насправді ж (особливо при масовому тестуванні людей, які перебувають у різних містах і навіть країнах) проведення очного тестування часто важко і неможливе. Як можна забезпечити достовірність результатів?
Існують два взаємодоповнюючі шляхи.
-
Хитрий Мітрій, та й Ванька не дурень: захист на рівні структури тесту
У разі інтелектуальних методик та тестів знань важливі:
- введення обмежень за часом на вирішення завдання та тесту в цілому,
- наявність розширеного банку тестових завдань,
- рандомізація,
- можливість проходження верифікаційного тестування,
- наявність механізму відстеження кількості відволіканькористувача від вкладки проходження тестування (наприклад, перехід інші вкладки) тощо.
Все це, звичайно, добре, але як перевірити, що тестування проходив саме того респондент, один, не обклавшись томами Радянської енциклопедії?
Для цього існують системи онлайн прокторингу. Прокторинг – це технологія контролю за проходженням тестування, що реалізується повністю автоматично або за участю спеціально навчених осіб (прокторів), які часто не мають відношення ні до роботодавця (або іншої особи, яка проводить тестування), ні до кандидата. Ця технологія дозволяє здійснювати ідентифікацію та відстеження проходження тестування респондентом за даними з веб-камери та звукозапису, отриманого через мікрофон. Система налаштована на розпізнавання осіб та виявлення загроз достовірності даних, наприклад
- відсутність тестованого у кадрі,
- поява в об'єктиві камери іншої людини,
- сторонні звуки,
- довге відволікання погляду монітора, що тестується від екрану і т.д.
Як не хитри, а все назовні вийде
Проте часом буває надто пізно… Тестування проведено, вимоги до його проведення порушено, і є підозра, що «читерство» мало місце. Як перевірити, чи можна довіряти отриманим результатам?
Тут на допомогу приходить статистика та аналітика. На сьогоднішній день розроблено та апробовано велику кількість процедур, що дозволяють виявляти списування, використання допоміжних засобів під час тестування, витік завдань, допомогу та підказки з боку адміністраторів тестування та ін. Найчастіше для цього використовуються IRT алгоритми обробки результатів, але існують інші методи. Іноді, щоб виявити порушення, досить просто проаналізувати час відповідей на запитання. Недавній приклад із практики: завдання для двох груп респондентів виявилися дуже різними за рівнем складності – аналіз часу відповідей на запитання дозволив встановити, що причина не високі здібності, а використання калькулятора.
Статистичні методи виявлення «читерства» застосовні, головним чином, до тестів професійних знань та тестів здібностей. Звертаю увагу на те, що статистика вказує нам лише на ймовірність порушення достовірності процедури тестування та не дозволяє звинуватити когось у обмані. Результати статистичного аналізу – це привід уважніше поставитися до отриманихданим, наскільки можна організувати процедуру перетестування чи інший верифицирующей перевірки.
Давайте жити чесно...
І все-таки, я вірю, що відвертість породжує відвертість, тож будемо чесними, і світ відповість тим самим.