Як просто реалізувати А

Тривалий час необхідний випуск нової версії мобільного додатка сильно ускладнює завдання експериментувати, пробувати щось нове чи оптимізувати ряд заздалегідь невідомих змінних у додатку (наприклад, баланс у грі). На відміну від Інтернету, де зміни викочуються в лічені секунди, у випадку з мобільними додатками вам необхідно пройти тривалий цикл від сабміта в стор, до того часу, поки ваші користувачі оновлюватимуться до нової версії.

Описану проблему вирішує можливість тестування А/Б у вашому мобільному додатку. Для А/Б тестування існують спеціальні сервіси (Swrve, Arise та інші), але вони коштують чималих грошей і потребують часу додавання їх SDK, налаштування та вивчення.

Я хочу розповісти про простий спосіб, як можна реалізувати А/Б тестування у вашому мобільному додатку (а заодно і можливість налаштовувати вашу програму під певні групи користувачів), всього за кілька годин без грошових витрат і необхідності вкручувати сторонні SDK.

просто

Що вам знадобиться для реалізації А/Б тестування в мобільному додатку

  1. гнучка система аналітики всередині програми (Mixpanel, Kissmetriks)
  2. чіткий список змінних, з якими ви хочете експериментувати (кольори кнопок, кількість результатів пошуку на одній сторінці, змінні балансу у грі)
  3. спеціальний xml файл на сервері, в якому зберігатимуться налаштування А/Б тесту
  4. пару годин вашого часу

Тепер необхідно реалізувати наступну логіку на клієнті:

  1. кожному новому користувачеві надається випадкове число від 0 до 9
  2. кожному новому користувачеві надається номер дня (унікальне значення длякожного дня), коли він прийшов у додаток
  3. після присвоєння цих значень програма повинна звернутися на сервер і перевірити чи є для отриманої пари значень (випадкове число та день) спеціальні налаштування
  4. якщо налаштування є, то встановити їх, якщо ні (або немає інтернету), то використовувати дефолтні

Залишилося налаштувати систему нашої мобільної аналітики, щоб для кожного користувача до кожного його івенту додатково передавалися два параметри: день приходу в додаток та його випадкове число (Mixpanel це реалізується через глобальні параметри).

Тепер настав час створити xml файл на сервері, до якого буде звертатися програма.

У цьому файлі ми для конкретних груп користувачів (група користувачів визначається днем ​​приходу в додаток і випадковим числом) задає спеціальні настройки програми.

Тепер ми можемо проводити експерименти на невеликій частині аудиторії та за необхідності розкочувати їх на всіх наших користувачів. Результати ми миттєво бачимо в системі статистики (Mixpanel, наприклад, працює в real time). Важливо: не забудьте перед прийняттям рішень на основі даних, перевірити статистичну значущість отриманих результатів.

За бажання описаний підхід можна поглибити. Наприклад, ви можете передавати інші змінні при зверненні на сервер (джерело трафіку, операційну систему, країну користувача) і налаштовувати окремі експерименти для кожної з груп користувачів.