A-B-тестування: відповіді на запитання, що часто ставляться
A/B-тестування, також відоме як спліт-тестування, є одним з найбільш ефективних способів прийти до вимірних (і науково обґрунтованих) покращень вашого сайту. На практиці це виглядає так: розробляються дві версії контенту — наприклад, для посадкової сторінки — і дві такі сторінки одночасно запускаються для однакових за розміром аудиторій, щоб з'ясувати, яка з них працює краще. Такий тест, виконаний належним чином, показує, які зміни допоможуть збільшити конверсію.
Питання про те, як запустити та успішно провести A/B-тестування, виникають у багатьох. Тут зібрані найпопулярніші запитання та відповіді на них.
1. Коли А/В-тестування є гарною/поганою ідеєю?
Найчастіше такі тестування провалюються тому, що за ними немає чітких цілей, тому потрібно знати, що ви тестуєте. Наприклад, використовуйте такий тест для перевірки теорії: чи допоможе ця картинка збільшити конверсію, якщо додати її на посадкову сторінку? Люди більш схильні натискати на синю чи червону кнопку? Що буде, якщо змінити заголовок, наголосивши, що термін дії пропозиції обмежений? Ефект від усіх цих змін можна виміряти.
Люди стикаються з великими проблемами при запуску А/В-тестувань, коли їхня мета занадто розпливчаста, — наприклад, таким може виявитися тестування двох варіантів дизайну з безліччю відмінностей. Це може тривати довго, поки не визначиться беззаперечний переможець, і при цьому можуть бути зроблені неточні висновки, з'явиться невпевненість щодо того, що все-таки викликало збільшення конверсії.
2. Скільки варіантів має бути в A/B тестуванні?
Припустимо, ви добре попрацювали, і у вас є чотири неймовірні ідеї дизайну для посадкової сторінки.Звичайно, хотілося б запустити всі чотири варіанти одразу і визначити переможця, але подібний одночасний запуск уже ніяк не можна вважати А/В-тестуванням. Ряд факторів з кожного варіанта може засмітити прозорі води результатів, якщо так можна висловитися. Принадність правильного А/В-тестування в тому, що його результат є достовірним і конкретним.
3. Що таке нульова гіпотеза?
У статистиці правильність чи неправильність ідеї доводиться оскарженням нульової гіпотези. У нашому випадку заперечення цієї гіпотези - проведення тестування протягом досить тривалого часу для виключення випадкових результатів. Це називають досягненням статистичної значимості.
4. Скільки відвідувань сторінки потрібно для хорошого результату тестування А/В?
Перед перевіркою результатів А/В тесту, вам слід переконатися, що він досяг статистичної значущості — деякої точки, після якої можна бути на 95 і більше відсотків впевненим, що результат вірний.
Добре, що багато інструментів для тестування вже вбудовано лічильник статистичної значимості: з його допомогою вам буде дано сигнал, коли результати тесту будуть готові для інтерпретації. Якщо ж такого лічильника немає, можна скористатися одним із безлічі безкоштовних калькуляторів та інструментів для обчислення статистичної значущості.
5. Що таке багатовимірне тестування та чим воно відрізняється від A/B-тестування?
A/B тести зазвичай застосовуються для визначення одного ефективного рішення при редизайні для досягнення певної мети (наприклад, збільшення конверсії). Багатомірне тестування зазвичай використовується для перевірки невеликих змін протягом більш тривалого періоду часу. Воно охоплює кілька елементів сайту та перевіряє всі можливікомбінації цих елементів для безперервної оптимізації. Експерт компанії HubSpot Корі Ерідон (Corey Eridon) пояснює відмінності у використанні того чи іншого тестування:
«A/B тестування – чудовий метод, якщо вам потрібні швидкі значущі результати. Оскільки зміни від сторінки до сторінки чітко видно, буде легше сказати, яка сторінка найефективніша. Це також правильний вибір, якщо ваш сайт невеликий трафік.
А ось для коректних результатів у багатовимірному тестуванні вам потрібен сайт з високою відвідуваністю, тому що в такому тестуванні перевіряються кілька різних елементів, що змінюються.
Якщо ж трафіку для багатовимірного тестування у вас достатньо (хоча навіть при цьому ви можете скористатися А/В-тестами для перевірки нових дизайнів та макетів), найкраще проводити його тоді, коли ви хочете зробити на сторінці ледве вловимі зміни, зрозуміти як визначені елементи взаємодіють один з одним та поступово вдосконалити існуючий дизайн».
6. Чи правда, що A/B тестування негативно впливає на SEO?
Існує міф, що А/В-тести знижують рейтинг сайту в пошукових системах, оскільки можуть класифікуватися як дубльований контент (а на нього пошуковики, як відомо, реагують не дуже доброзичливо). Однак це зовсім не так - за правильного підходу до тестування. Насправді Метт Каттс (Matt Cutts) із Google радить запускати спліт-тестування для покращення функціональності вашого сайту. Website Optimizer також має хороше спростування цього міфу, наприклад.
Якщо ви все ще переконані у зворотному, ви завжди можете додати тег noindex на один із варіантів сторінки. Ознайомтеся з докладною інструкцією щодо додавання такого тега.
7. Як і коли мені можнаінтерпретувати результати спліт-тесту?
Тест запускається. Починають накопичуватись дані. І ви хочете з'ясувати, хто стає переможцем. Але ранні стадії - невідповідний час для інтерпретації результатів тестування. Зачекайте, поки ваш тест досягне статистичної значущості (див. п. 4) і потім поверніться до початкової гіпотези. Чи остаточно тест підтвердив чи спростував ваші припущення? Якщо так, ви можете зробити деякі висновки. Аналізуючи тестування, не поспішайте приписувати його результати конкретним змінам. Переконайтеся, що між змінами та результатом простежується чіткий зв'язок і що тут не додається вплив будь-яких факторів.
8. Скільки елементів, що змінюються, слід тестувати?
Вам потрібен тест із переконливими результатами, ви витрачаєте на нього свій час і тому, напевно, хочете отримати чітку відповідь. Проблема одночасного тестування кількох змін у тому, що ви не зможете точно визначити, яке з них принесло більше користі. Тобто ви, звичайно, можете сказати, яка зі сторінок в цілому працює краще, але якщо на кожній з них тестуються три або чотири елементи, що змінюються, ви не дізнаєтеся, який саме елемент шкодить сторінці, і не зможете впровадити корисні елементи на інші сторінки. Наша порада: проведіть серію базових тестів, щоразу вносячи якусь одну зміну, щоб шляхом перебору поступово дійти найефективнішого варіанту сторінки.
9. Що слід тестувати?
- Заклики до дії. Навіть розглядаючи цей елемент, можна протестувати кілька різних речей. Просто переконайтеся, що ви розумієте, який конкретно аспект заклику до дії хочете перевірити. Можна тестувати сам текст заклику: чого він підштовхує того, хто йогопереглядає? Чи можна тестувати розташування: де на сторінці найкраще розмістити заклик? Можна тестувати також форму та стиль: як це виглядає?
- Заголовок. Це зазвичай перше, що відвідувач читає на вашому сайті, тому потенціал для впливу тут значний. Спробуйте різні стилі заголовків у вашому A/B тестуванні. Переконайтеся в тому, що різниця між кожним заголовком ясна, і що це не просто бездумна переробка одного й того самого. Це потрібно для того, щоб достеменно знати, що саме викликало зміни.
- Зображення. Що ефективніше? Зображення людини, яка використовує ваш продукт, або продукту самої по собі? Спробуйте різні варіанти сторінок з різними допоміжними зображеннями та погляньте, чи буде різниця в дії.
- Довжина тексту. Чи допоможе його скорочення зробити повідомлення ясніше? Чи, навпаки, потрібно більше тексту, щоб пояснити суть пропозиції? Пробуючи різні версії основного тексту, можна визначити, яка кількість роз'яснень необхідна читачеві перед конверсією. Щоб цей тест працював, намагайтеся використовувати тексти приблизно однакового змісту, змінюючи лише їх обсяг.
10. Чи можна за допомогою A/B тестування перевіряти щось крім веб-сторінок?
Звичайно! На додачу до посадкових сторінок та веб-сторінок багато маркетологів застосовують А/В-тести для електронних поштових скриньок, PPC-кампаній (pay per click) та закликів до дії.
11. Як знайти приклади A/B-тестування від аналогічних компаній?
Є низка сайтів, на яких зібрані приклади та результати А/В-тестування. Деякі дають змогу виконувати пошук за типом компанії і більшість надають докладну інформацію про те, як компанія інтерпретувала результати тесту. Якщо ви тільки починаєтезайматися A/B-тестами, вам буде корисно почитати інформацію на деяких із цих сайтів, щоб зрозуміти, що необхідно протестувати саме вашій компанії.
- WhichTestWon.com. На цьому сайті є кілька прикладів, а також проводяться деякі щорічні конкурси, на яких ви можете подати свої тестування.
- Visual Website Optimizer пропонує програмне забезпечення для тестування А/В. У блозі компанії є кілька прикладів, на яких ви могли б повчитися.
- ABTests.com. Цей сайт більше не оновлюється, але є хороший архів A/B-тестів.
12. Що робити, якщо я не довіряю результатам?
Якщо ви справді не довіряєте підсумкам і виключили будь-які помилки або проблеми, пов'язані з валідністю тесту, найкраще, що можна зробити, - запустити той же тест знову. Ставтеся до нього як окремого тестування і поспостерігайте, чи зможете ви повторити результат. Якщо він повторюється знову і знову, можливо, йому можна довіряти.
13. Як часто слід запускати A/B тестування?
На вашому сайті завжди є можливість тестувати щось. Просто переконайтеся, що кожен тест має чітку мету та призводить до появи більш функціонального сайту для ваших відвідувачів та компанії. Якщо ви запускаєте багато тестів, а в результаті маєте мінімальний ефект та незначні перемоги, перегляньте свою стратегію тестування.
14. Що потрібно, щоб розпочати A/B-тестування на сайті?
Найкращий спосіб запустити A/B-тестування – використовувати спеціальне програмне забезпечення: наприклад, Visual Website Optimizer, HubSpot, Unbounce. Якщо ви не проти повозитися з кодом, у Google також є безкоштовний інструмент під назвою Content Experiments в Google Analytics. Це трохи відрізняєтьсявід традиційного A/B-тестування, але якщо ви технічно просунуті, варто спробувати цей інструмент.
15. Які існують пастки щодо валідності крім розміру вибірки?
- У зовнішньому світі відбувається щось, що викликає негативні усунення в результатах тесту.
- Помилка програмного забезпечення для тестування підриває його результати.
16. Чи потрібно проводити А/В тестування головної сторінки сайту?
Завдання розробки ефективного тесту для випробування головної сторінки може виявитися дуже важким. Трафік на цій сторінці дуже мінливий, адже туди заходять усі — від випадкових відвідувачів до потенційних клієнтів та реальних покупців. Крім того, на головній сторінці зазвичай є величезна кількість контенту, так що може бути складно протягом одного тесту визначити, що змушує відвідувачів діяти або не діяти.
Нарешті, через те, що на вашу домашню сторінку заходять зовсім різні відвідувачі, визначити конкретну мету тесту і сторінки може бути проблематично. Ви можете, припустимо, поставити собі за мету протестувати конверсії, але якщо тестовий варіант сторінки більше відвідуватимуть не потенційні, а реальні покупці, ваші цілі для цієї групи можуть змінитися.
Якщо ви хочете тестувати домашню сторінку, займіться тестами закликів до дії.
17. Що якщо я не маю контрольної версії сторінки?
Контрольна версія — це існуючий варіант веб-сторінки, на противагу якому ви зазвичай висуваєте нові варіанти. Можливо, ви також захочете протестувати дві версії сторінки, які раніше не існували. І це цілком нормально. Просто назвіть одну з них контрольною. Постарайтеся вибрати ту, яка за дизайном найбільше схожа на вженаявну сторінку, а іншу використовуйте як варіант.
18. Чому результат A/B тестування не завжди дорівнює 50/50?
Іноді під час проведення А/В-тесту можна помітити, що у різних версіях сторінок неоднаковий трафік. Не означає, що з тестом щось негаразд, просто випадкові відхилення виявляються випадково. Згадайте про підкидання монети. Шанси орла і решки дорівнюють 50/50, але іноді решка, наприклад, випадає 3 рази поспіль. Однак, чим вище відвідуваність вашої сторінки, тим ближчими повинні бути результати тесту до 50/50.