AB-тестування може допомогти поліпшити дизайн вашого веб-сайту. Навіть мінімальна зміна вашої кнопки призову до дії (call-to-action) може збільшити продажі на 35,6%. Проведення AB-тестування дозволить вам переконатися, що зроблені вами зміни дизайну ведуть до поліпшення результатів.

Як веб-розробник, який намагається створювати високопродуктивні веб-сайти, ви можливо вже знаєте про AB-тестування. Але якщо ви почули про AB-тестуванні (яке також називають спліт-тестуванням) вперше, спершу прочитайте цю вступну статтю: Введення в спліт-тестування веб-сайту.

Хоча AB-тестування може здатися незаслуживающим уваги – особливо при наявності величезної кількості таких зручних інструментів, як Optimizely, Google Analytics Content Experiments або Visual Website Optimizer – є декілька найпоширеніших помилок, які можуть привести вас до небажаних результатів.

Ці помилки AB-тестування можуть призвести до катастрофи, тому що вони потенційно знижують конверсію веб-сайту.

Якщо ви допустите помилки в AB-тестуванні, про які я розповім нижче, це як мінімум призведе до того, що ви не отримаєте найбільш повних даних, які ви могли б отримати, для прийняття обґрунтованого рішення по дизайну.

Помилка №1: Використання AB-тестування, коли воно насправді не вимагається

AB-тестування краще всього використовувати, коли вам потрібно протестувати різницю двох версій однієї змінної.

Наприклад, якщо ви хочете дізнатися, натискають частіше на ваші гіперпосилання, коли вони підкреслені або коли ні, ви можете створити дві версії веб-сторінки: одна версія з підкресленими посиланнями (версія A), а інша версія, де посилання не підкреслені (версія B). Досліджувана змінна – оформлення тексту гіперпосилання (підкреслений або неподчеркнутый).

5 помилок, яких слід уникати при AB-тестуванні вашого дизайну

У цьому випадку ви можете ефективно використовувати AB-тестування, щоб перевірити, яка з версій краще.

Але для тестування більш ніж однієї змінної, ви повинні використовувати багатовимірне тестування (MVT).

Продовжуючи приклад з гіперпосиланнями, вам слід використовувати багатовимірне тестування, якщо ви хочете знайти кращу комбінацію наступних трьох змінних:

  • Оформлення тексту: Підкреслений або неподчеркнутый;
  • Колір тексту: Синій, помаранчевий або зелений;
  • Стиль тексту: Жирний, курсив або звичайний.

У наведеному вище прикладі 18 (2х3х3) різних версій, які вам треба протестувати, щоб отримати кращий результат.

Навіщо вам 18 різних версій? Справа в тому, що на конверсію сайту може вплинути взаємодія всіх трьох змінних.

Наприклад, зелені посилання можуть показати результат краще, ніж сині, тільки якщо зелені посилання напівжирні і неподчеркнутые. Однак зелені посилання покажуть гірший результат, ніж сині, коли зелені посилання курсивні і підкреслені.

Однак багатовимірне тестування передбачає розподіл трафіку між досліджуваними версіями, тому я рекомендую використовувати цей метод тестування тільки коли веб-сторінка, яку ви тестуєте, вже досить добре відвідується. В іншому випадку, тест займе дуже багато часу до отримання достовірних результатів.

Веб-сайти з низьким трафіком повинні використовувати AB-тестування. Воно буде найбільш практичним вибором при невеликій кількості переглядів сторінок.

Помилка №2: Ігнорування обсягу вибірки

Отже, ви запустили AB-тест на вашому сайті.

Двома годинами пізніше ви отримали статистично достовірні результати, що показують, що версія дизайну з синьою кнопкою призову до дії показала 300% приріст числа зареєстрованих користувачів.

Ви радісно стрибати від нового відкриття та збираєтеся затвердити зміни на веб-сайті.

Притримайте коней!

З-за того, що період тестування занадто короткий, наведений вище результат отримано при недостатньому обсязі вибірки відвідувачів.

Для тих з вас, хто не сильний в статистиці, варто пояснити, що обсяг вибірки в даному випадку – це кількість відвідувачів, що взяли участь в тестуванні.

Недостатній обсяг вибірки означає, що обсяг вибірки статистично занадто малий, щоб дати точне уявлення про всієї популяції (під популяцією тут розуміються відвідувачі веб-сайту).

Коли ваш сайт в місяць відвідують 50000 чоловік, тест, проведений на обсязі вибірки в 30 відвідувачів (що становить усього 0,06% від місячного кількості), не дасть вам достовірних результатів.

Позитивний результат у таких випадках можна списати на випадковість чи збіг.

Коли ви робите зміна на вашому сайті, грунтуючись на недостатньому обсязі вибірки, незабаром ви можете усвідомити, що конверсія вашого сайту не підвищується, всупереч вашим очікуванням.

Навіть гірше: в окремих випадках вона може знизитися. Чому? Якщо обсяг вибірки був достатньо великим, покращення, яке ви виявили в результаті тестового періоду, могло бути випадковим, і є ймовірність, що версія, яка виявила поліпшення, насправді гірше при достатньому обсязі вибірки.

Щоб уникнути цієї помилки, вам треба визначити відповідний обсяг вибірки для вашого тесту. Для цього ви можете використовувати безкоштовний калькулятор тривалості тестування з пакету Visual Website Optimizer.

5 помилок, яких слід уникати при AB-тестуванні вашого дизайну

Цей інструмент підкаже, скільки днів тестування вам знадобиться для отримання достовірних результатів. При розрахунках враховується кількість версій, які ви хочете протестувати, обсяг трафіку вашого веб-сайту, поточна конверсія вашого сайту і т. д.

Помилка №3: Зациклення на одному параметрі метрики веб-сайту

Існує кілька цілей підвищення конверсії, які ви можете використовувати для вимірювання успішності кампанії, наприклад, клікабельність (CTR), кількість нових користувачів вашого веб-додатки, рівень відмов у вашому кошику для покупок та інші.

Часто ви будете помічати, що є залежність між різними вашими цілями і показниками, і, отже, використання даних AB-тестування, щоб покращити один з показників, що може негативно позначитися на інших важливих показниках.

Наприклад, використання версії дизайну, яка збільшує CTR вашої кнопки заклику до дії, може в той же час вплинути на кількість нових користувачів.

Іноді можна змиритися зі зміною дизайну, знижує один з показників метрики, якщо воно істотно підвищує інший важливий показник, наприклад, зниження CTR не так погано, якщо кількість нових користувачів при цьому суттєво зросла.

Ви повинні мати повне розуміння кожного показника метрики, яке може бути порушено вашими змінами, щоб приймати обґрунтованого рішення по дизайну в залежності від пріоритетів вашого проекту.

Помилка №4: Відсутність сегментації ваших тестів

Один з користувачів нашого продукту Visual Website Optimizer виробляв тест, щоб перевірити, як зміниться конверсія сайту, якщо прибрати деякі навігаційні елементи.

5 помилок, яких слід уникати при AB-тестуванні вашого дизайну

Він сегментировал тест таким чином, що тестувалися тільки нові відвідувачі веб-сайту.

Подібний підхід цілком виправданий, тому що це був сайт потокового відео, схожий на Netflix. Тому велике число поверталися відвідувачів сайту вже були його клієнтами.

Оскільки власник сайту був найбільш зацікавлений у тому, щоб конвертувати нових відвідувачів сайту в клієнтів, це була відмінна ідея сегментації AB-тестування.

В даному випадку тестування всіх відвідувачів сайту було б помилкою.

Це б спотворило результати, так як тестування всіх відвідувачів означало б одержання даних, які б включали відвідувачів, що вже пройшли через «воронку» конверсії та є клієнтами.

Сегментируйте ваше AB-тестування, якщо це поліпшить результати конкретного тесту, який ви проводите.

Помилка №5: Вибір естетичності на шкоду результатами

З цим вибором дизайнери стикаються в першу чергу, коли починають AB-тестування своєї роботи.

Ось гіпотетичний сценарій (перебільшений для цілей дискусії): дизайнер вважає, що фотографія товару, яку вона обрала, чудово поєднується з дизайном. Вона проводить AB-тестування, щоб упевнитися, що це правильне дизайнерське рішення.

Вона створює 2 версії для тіста: одну з фотографією товару (версія A), іншу – без фотографії (версія B).

5 помилок, яких слід уникати при AB-тестуванні вашого дизайну

Дизайнер з’ясовує, що більше кліків отримує кнопка «Купити» у версії B, версії без фотографії.

Однак версія B виглядає «потворно» на думку дизайнера.

Що їй тепер робити? Ігнорувати результати і залишити фотографію квітки, використовувати іншу фотографію або прийняти обґрунтованого дизайнерське рішення і переглянути дизайн, щоб він виглядав краще без фотографії?

Коли ви наб’єте руку в тестуванні, ви навчитеся знаходити баланс між естетичністю дизайну і даними тестів.

Іноді сайт може виглядати не так красиво, як вам би хотілося, але якщо він не виглядає зовсім вже жахливо, вибирайте дизайн, який показав найкращі результати.

Зрештою, веб-сайт – це інструмент. Мета веб-сайту не в тому, щоб виглядати красиво, а в тому, щоб досягати певних цілей, наприклад, збільшення онлайн продажів або кількості переглядів сторінок.

Незалежно від того, як дизайн виглядає, повинна використовуватися та його версія, яка найкращим чином сприяє досягненню цілей веб-сайту.

Переклад статті «5 Mistakes You Should Avoid When A/B Testing Your Designs» був підготовлений дружною командою проекту Сайтостроение від А до Я.