Спрощене багатовимірне тестування та тестування A / B: Як перевірити методи оптимізації веб-сторінок

multivariate testing

Вступ:

Є багато веб-сайтів та додатків, якими ми часто користуємось. Поки ми ними користуємось, ми, мабуть, не приділяємо великої уваги тому, як веб-сайт став його поточною версією, - з іншого боку, якщо щось здається неправильним, ми, напевно, більше ніколи не відвідаємо сайт / додаток.

Питання полягає в тому - що потрібно для того, щоб правильно зрозуміти 'це'?

Що ви дізнаєтесь:

• Багатовимірне тестування та A / B тестування
• Що таке багатовимірне тестування?
• Види тестування MVT:
• Як зробити багатовимірне тестування
• Помилок, яких слід уникати
• Роби і не роби
• Плюси і мінуси
• A / B тестування
• Плюси та мінуси A / B тестів:
• A / B тестування проти багатовимірного тестування проти спліт тестування
• Багатовимірне тестування
• A / B / Split / Multivariate Testing tools
• Рекомендована література

Багатовимірне тестування та A / B тестування

Найчастіше «це» - це функціональність - яку ми маємо надійні процеси контролю якості для перевірки та оцінки. Але 'це' також складається з дизайну, поєднання елементів, розміщення вмісту на сторінці, іноді навіть кольору, орієнтації тощо, що відіграє помітну роль у загальне прийняття товару кінцевим користувачем.

Галузь тестування, яка може дуже допомогти в цій галузі, - Багатовимірне тестування та A / B тестування .

У сьогоднішній статті ми обговоримо Багатовимірне (MVT) тестування і A / B тестування типи в деталях.

І ті, і інші націлені на оптимізацію веб-сторінок та покращення коефіцієнта конверсії (швидкості, з якою відвідувачі стають клієнтами або відвідувачами, що повертаються - у свою чергу, бізнесом) для веб-сайту.

Що таке багатовимірне тестування?

Почнемо з Приклад .

Якщо певний веб-сайт працює над розробкою / переробкою / визначенням ефективності сторінки, яка повинна мати зображення та відповідний текст - Після ретельного розгляду та обговорення, якщо компанія входить до списку наступних двох зображень та двох речень, можливі їх комбінації бути таким:

1) Зображення 1

2) Зображення 2

3) Заголовок / речення 1: “Метою повинно бути НУЛЬКИХ ДТП”

4) Заголовок / речення 2: “НАША ЦІЛЬ: НІЯКИХ НЕЗАВИЩИН”

Комбінації:

У наведеному вище прикладі ми протестували варіації комбінацій полів, щоб побачити, яке з них добре підходить. Простіше кажучи, саме там є багатовимірне тестування.

Більш технічно і конкретно, наведена нижче формула використовується для визначення значення no. можливих комбінацій, які необхідні для перевірки різних комбінацій, а саме:

(# Варіації елемента A) X (# варіації елемента B)… .. = (Всього # варіації)

У наведеному вище прикладі є 2 варіанти заголовка, а також 2 варіанти зображення.

безкоштовні завантажувачі відео для Windows 10 -

Таким чином, згідно з формулою, існує всього 4 комбінації варіацій, що перевіряються одночасно, щоб знайти найкращу комбінацію варіацій.

• Головною метою проведення багатовимірного тестування є вимірювання та визначення ефективності кожної варіаційної комбінації на кінцевій системі.
• Після доопрацювання варіаційних комбінацій починається тестування, щоб визначити найбільш вдалий дизайн, коли сайт отримає достатньо трафіку.
• Результати, отримані з кожною варіаційною комбінацією, порівнюються з іншими, щоб з’ясувати, який дизайн найкраще підходить для досягнення кінцевої мети (у більшості випадків це Продажі ).
• Ці статистичні дані дають чітке уявлення про те, чи була певна зміна корисною чи ні.
• Також можна проаналізувати позитивний чи негативний вплив на взаємодію користувача

Весь цей процес безперервного багатовимірного тестування, вдосконалення дизайну на основі отриманих результатів та досягнення цілей бізнесу завдяки цьому ( Приклад: більший час взаємодії користувача на певній сторінці) Оптимізація цільової сторінки - метою яких є залучення більшої кількості користувачів та залучення їх до певної сторінки.

Цей процес в основному включає тестування з різними варіаціями, збір статистичних даних та внесення змін на основі отриманих значень / результатів.

Не лише веб-сайти, але для мобільних додатків також потрібно багатовимірне тестування. Веб-сайти та мобільні додатки складаються з комбінацій змінних елементів, отже, проводиться багатовимірне тестування, щоб з'ясувати, яка комбінація варіацій працює найкраще.

Це відіграє вирішальну роль у стратегії інтернет-маркетингу.

Види тестування MVT:

На основі розподілу трафіку між різними варіаційними версіями існують множинні типи багатовимірного тестування які можна виконати:

а) Повне факторне випробування:

Це найбільш бажана форма тестування MVT, при якій усі можливі комбінації змін елементів перевіряються однаково, перенаправляючи трафік веб-сайту на неї, поки не буде знайдено переможця. Усі можливі комбінації мають однакову ймовірність. Найкраще у цьому методі є те, що немає припущень, і він базується на жорстких цифрах / статистиці, що робить його дуже надійним та найбільш рекомендованим.

Єдиним недоліком є ​​рух. Зі збільшенням кількості різноманітних комбінацій для аналізу даних і визначення переможця потрібно багато відвідувачів веб-сайтів.

b) Дрібне або часткове факторне випробування:

Оскільки назва вказує, що лише частина всіх версій комбінацій варіацій зазнає трафіку на веб-сайті. Для решти комбінацій проводяться статичні математичні розрахунки та аналіз, щоб знайти найкращий коефіцієнт конверсії.

Метод Тагучі є найпопулярнішим методом дробового факторіального багатовимірного тестування. Цей метод дає менш точний результат, оскільки перевіряється лише зразок варіацій, а не всі. Хоча цей метод займає менше часу для аналізу переможця, результат ніколи не можна вважати таким точним, як це може бути у випадку повного факторного тестування.

в) Адаптивне багатовимірне тестування:

Це новий підхід до багатовимірного тестування. У цьому випадку аналізується реакція відвідувачів веб-сторінки в режимі реального часу, щоб визначити найкращу версію комбінації варіацій.

г) дискретний вибір:

Цей метод розкриває ефекти взаємодії, скажімо, як люди створюють компроміс з точки зору рішення про покупку. Це складна техніка, яка систематично змінює атрибути або елементи змісту.

e) Оптимальний дизайн:

Цей метод включає ітерації та хвилю тестування. На додаток до тестування максимальної кількості варіацій креативу за мінімальний час, це також дозволяє маркетологам розглядати взаємозв'язки, взаємодію та обмеження між елементами вмісту веб-сайту чи програми. Це допомагає знайти оптимальне рішення.

Давайте перейдемо до важливого питання: Чи можна оптимізувати веб-маркетинг за допомогою багатовимірного тестування?

Відповідь - рішуче “так”.

Використовуючи багатовимірне тестування, ми можемо чітко визначити, що слід застосовувати, а чого уникати. Все орієнтоване на досвід відвідувача.

При проведенні багатовимірного тестування враховуються наступні аспекти:

№1. Передумовою багатовимірного тестування є: Визначте маркетингові цілі або вивчіть цілі веб-сайту. Нижче наведено кілька прикладів:

• Отримуйте максимум доходу / прибутку за рахунок реклами, продажу товарів, оплати за кліки.
• Створюйте впізнаваність бренду серед клієнтів
• Заощаджуйте витрати, наприклад: направляйте користувачів до самообслуговування за допомогою поширених запитань, а не через Інтернет, в особистому сервісі.

# два. Перевіряти слід лише ті речі, які справді націлені на маркетингові цілі організації.

№3. Вибирайте лише ті елементи, які будуть точно вимірювати маркетингові цілі.

Прикладами можуть бути:

• Щоб заробити більше грошей, слід зосередити увагу на сторінках, що містять такі опції, як „Купити зараз” / „платіж” / потоки для завершення реєстрації або реєстрації.
• Для підвищення обізнаності відвідувачів та просування може стати в нагоді «відправити другу» / «передати друга» / «поділитися» тощо.
• Для економії можна зосередитись на таких елементах, як поширені запитання, довідка, контакт, дзвінок, клацання «Додати в кошик», які ведуть до сторінок подяки тощо.

Як зробити багатовимірне тестування

1. Визначте проблему

Першим кроком є ​​виявлення проблеми. Це дає вам можливості вдосконалення вашого веб-сайту чи програми. Наприклад, проблемою може бути щось на зразок того, чому відвідувачі веб-сайту не натискають кнопку завантаження.

2. Сформулюйте гіпотезу

Сформулюйте гіпотезу щодо вдосконалення веб-сторінки. Наприклад, гіпотеза може полягати в тому, що клієнти не натискають кнопку завантаження, оскільки її видимість не є привабливою. Отже, якщо зробити його привабливим, завантажень буде більше.

3. Створіть варіації

Запитання та відповіді на співбесіду j2ee pdf

Виберіть фактори та створіть варіації. Припустимо, двома факторами є заголовок „Завантажити” та посилання „Виробник PDF”. Як приклад, ми маємо нижче 12 варіантів:

4. Визначте розмір вибірки

Дізнайтеся, скільки відвідувачів потрібно на кожній сторінці, як довго вам потрібно пройти тест, скільки варіацій ви маєте та статистичну значимість.

5. Перевірте свої інструменти

Перевірте все (головним чином, чи нормально працює ваша веб-сторінка / додаток), перш ніж розпочати тест, щоб ніщо не отруїло результати тесту.

6. Почніть рухати рух

Почніть спрямовувати трафік до своїх варіацій.

7. Проаналізуйте свої результати

Після виконання тесту протягом значної кількості часу ви отримуєте результати для аналізу. Приклад наведено нижче:

Ті, які мають 95% або більше рівня довіри, є статистично значущими результатами.

8. Вчіться на своїх результатах

Це останній і важливий крок. З багатовимірного тесту ви дізнаєтесь про свої веб-сторінки / додаток та відвідувачів. Ви можете використовувати це навчання для майбутніх тестів.

Слово обережності - Остерігайтеся наступних речей при проведенні багатовимірного тестування:

Помилок, яких слід уникати

1. Неправильний вибір варіантів . Наприклад, припустимо, ми одночасно змінюємо розмір шрифту, колір і стиль тексту заголовка за однією версією варіаційної комбінації. Тоді з отриманих даних буде важко проаналізувати, які зміни заголовка (незалежно від розміру шрифту, кольору чи стилю) змусили відвідувача реагувати по-різному.
2. Занадто короткий проміжок багатовимірного пробного запуску . Дострокове закінчення тестового запуску та вибір невеликого набору даних для аналізу переможця може призвести до недійсних статистичних даних.
3. Занадто довгий пробіг багатовимірного тесту. Запуск занадто довгого тесту для аналізу граничних даних також призводить до великої втрати часу
4. Неправильне розуміння ключових показників. Фокусування, аналіз та відстеження змінної комбінації тих показників, які є незначними або не пов’язаними з кінцевою метою
5. Лише кілька ключових показників ефективності ідентифікуються, тоді як багато інших не відстежуються
6. Визначення типу відвідуваності відвідувача веб-сторінки. Це може бути дуже ризиковано та проблематично, оскільки не всі відвідувачі однакові.
7. Не аналізуючи результати та внесення правильних змін на сайт.

Зробіть і не можна

З наведеного списку подано короткий зміст робити і не робити може бути:

Не можна:

Не намагайтеся включати багато змінних у тест. Чим більше кількість змінних для тестування; тим більшими будуть комбінації, що в свою чергу означає, що для збору значної статистики потрібно більше трафіку.

Виконайте:

1. Попередньо перегляньте всі варіанти комбінацій варіацій перед початком пробного запуску, оскільки деякі з них можуть бути несумісними або нелогічними. Наприклад, однією з комбінацій змінних є заголовок із заголовком „50% знижка на підписку” та кнопка вимкнення „Безкоштовна підписка”. Такі слід видалити.

2. Визначте вплив комбінованих версій на коефіцієнт конверсії. Включення лише тих комбінацій, які мають більший вплив на коефіцієнт конверсії - це гарна ідея.

3. Оцініть трафік веб-сторінки, щоб зібрати значні статистичні дані. Перед початком тестового запуску краще чітко уявити трафік веб-сторінки. Якщо веб-сторінка відвідує лише 100-200 відвідувачів на день, тоді ми повинні розглянути кілька змінних лише для виконання багатовимірного тесту.

Плюси і мінуси

Дотепер ми бачили, що таке багатовимірне тестування, як воно робиться, помилки, фактори, що потрібно, а що не потрібно і т.д. Тепер давайте розглянемо деякі Плюси і Мінуси з нього:

завантажити mp3 завантажувач музики для android - -

Плюси:

1. Краще розуміння та розуміння впливу змінних чи елементів на коефіцієнт конверсії. Більше трафіку призводить до більшої кількості статистичних даних, що в свою чергу призводить до кращого аналізу та прийняття рішень з точки зору найкращої комбінації змінних для досягнення кінцевої мети.
2. Що стосується змін дизайну та компонування, багатовимірне тестування є гнучким.

Мінуси:

1. Багатовимірні пробні прогони займають більше часу.
2. Для отримання значної статистики потрібно багато трафіку веб-сторінок.
3. Складніше налаштувати тестові прогони.
4. Потрібна більша кількість варіантів комбінованих змінних для пробного запуску.

A / B тестування

Будучи коротким переліком усіх речей багатоваріантного тестування, безліч тестів, які можна зробити для оптимізації веб-сторінки, не закінчується, а іншим популярним методом є A / B тестування .

Що таке A / B тестування?

( зображення джерело)

Тестування A / B також іноді називають Спліт-тестування . Однак роздільне тестування відрізняється. Ми побачимо різницю між ними у наступній частині цього посібника.

Під час тестування A / B тестуються дві версії однієї веб-сторінки з однаковим обсягом трафіку веб-сторінки. Версія, яка отримує максимальну кількість конверсій, є остаточним переможцем. Ця нова версія однозначно збільшує коефіцієнт конверсії.

Приклад розділеного тестування A / B:

Давайте зрозуміємо робота A / B тестування на невеликому прикладі :

Наведене вище зображення - це веб-сторінка для підвищення рівня безпеки.

Це зображення складається із сірої кнопки із написом „ Візьміть вікторину та виграйте захоплюючі призи '. Ця оригінальна веб-сторінка вважається' версією '. Зараз версія «B» розроблена з варіацією кольору кнопки від сірого до червоного.

Це показано на зображенні нижче:

Трафік веб-сторінок у реальному часі перенаправляється на обидві версії. Після того, як достатня кількість відвідувачів пройде тест і за отриманими статистичними даними, можна легко визначити, яка версія має більший вплив на коефіцієнт конверсії.

Тут, у наведеному вище прикладі, кнопка із написом “ Візьміть вікторину та виграйте захоплюючі призи ”У червоному кольорі залучив більше відвідувачів, щоб натиснути кнопку та взяти вікторину, ніж старіша сіра кнопка.

Таким чином була досягнута кінцева мета веб-сторінки збільшити більший дохід.

Плюси і Мінуси з A / B тестів:

Плюси:

1. Простий і простий метод налаштування експериментів для оптимізації веб-сторінок.
2. Надійні та точні результати можна легко визначити навіть при невеликому відвідуванні веб-сторінок.
3. Тести можна виконати дуже швидко, а статистичні дані можна проаналізувати для досягнення кінцевої мети.
4. Не сильно залежить від будь-якої форми технології.
5. Більше можливостей для змін у макеті, змісті та дизайні будь-якої веб-сторінки.

Мінуси:

1. Одночасно на веб-сторінці можна вносити лише кілька або сказати обмежену кількість змін.
2. Неможливо визначити вплив різних змінних на веб-сторінці один на одного.

Таблиця порівняння:

A / B тестування проти багатовимірного тестування проти спліт тестування

A / B тестування, багатоваріантне тестування та тестування з розділенням - це три основні типи тестування варіантів UX (User experience). Подивимось, чим вони відрізняються один від одного.

Наведені нижче два зображення дають дуже гарне наочне порівняння між A / B тестуванням та багатовимірним тестуванням.

Багатовимірне тестування

Спліт-тестування:

У нас є інший варіант, відомий як тестування розділених URL-адрес, який набагато складніший за тестування A / B і включає зміни на стороні сервера , де ми маємо дві різні веб-сторінки, які перевірені одна на одну. Цей тип тестування добре працює для цільових сторінок у випадках, коли команда дизайнерів повинна вирішити, яка з них буде працювати краще.

A / B / Split / Multivariate Testing tools

На ринку доступно багато інструментів для цих трьох типів тестування UX. Я б назвав декілька найкращих тут, які ви можете дослідити. Це Google Optimize, Optimizely, VMO, Qubit, Maxymiser та AB Tasty.

Висновок :

Обидва методи, A / B та багатовимірне тестування збільшують коефіцієнт конверсії, покращують продуктивність та оптимізують веб-сторінки та програми. Обидва вони корисні по-своєму, а також мають свої унікальні недоліки та проблеми - нам належить визначити та проаналізувати, який метод найкраще відповідатиме вимогам.

Ми, тестери, в основному беремо участь у тестуванні змін, внесених для впровадження багатовимірних або A / B тестів. Після того, як ці зміни будуть зроблені та перевірені, маркетингова або ділова команда може запустити їх у виробничому середовищі для збору результатів.

Отже, дуже важливо, щоб тестери дуже ретельно перевіряли ці зміни, інакше кінцеві результати будуть неточними, що призведе до величезних бізнес-збитків, оскільки це більшу частину часу пов’язано безпосередньо з доходами від бізнесу.

Рекомендована література

• Найкращі засоби тестування програмного забезпечення 2021 р. (Інструменти автоматизації тестування якості)
• Завантажити тестувальник електронної книги
• Статичне тестування та динамічне тестування - різниця між цими двома важливими методами тестування
• Тестування навантаження за допомогою підручників HP LoadRunner
• Різниця між робочим столом, тестуванням клієнтського сервера та веб-тестуванням
• Що таке гамма-тестування? Заключний етап тестування
• Що таке перевірка відповідності (перевірка відповідності)?
• Тестування програмного забезпечення QA Assistant Job