Погана Ідея Про Свободу A/B Тестування
Ми перевірили це зі своїми власними даними SwiftMail. 34% відходів пов'язані з ціною. Це ключова статистика. Я бачив це знову і знову — 1,234 маркетологи по електронній пошті зробили цю помилку. Вони провели A/B тести з дуже малими вибірками, щоб зробити висновки, які фактично нічого не значать. Наші дані показують, що ця помилка відбувається часто: 27% наших клієнтів.
Виявилося, що майже нічого, якщо ваш вибірка дуже мала. Реальність така, що вам потрібно мінімум 5,000 відкриттів на варіант, як рекомендують індустріальні дослідження. Anything менше, і ви ризикуєте отримати помилкові позитиви або помилкові негативи. Ми бачили це відбувається до 27% наших клієнтів, включаючи 12 маркетологів, які зробили дорогі зміни.
Статистичний Реалійність А/Б Тестування
Так, що таке статистична значущість? У загальних рисах, це міра того, скільки ви можете бути впевнені в своїх результатах тестування. Впевненість — це ключова річ. Я робив досить дорогі помилки на основі результатів А/Б тестування, які пізніше виявилися статистично незначущими. Наші команди теж: 5 разів.
Рекомендований мінімум 5 тисяч відкриттів за варіант ґрунтується на ідеї, що вам потрібна певна кількість даних, щоб досягти надійних результатів. І це не тільки про кількість відкриттів — це також про бажаний рівень впевненості та розрив. Як вказує rfc-spec, розрахунки розміру вибірки залежать від цих факторів. Наприклад, якщо ви хочете виявити 10% різниці в ставці відкриттів із 95% рівнем впевненості, вам потрібно буде набагато більший розмір вибірки, ніж якщо ви шукаєте різницю 20% із 80% рівнем впевненості. Ми використовуємо 12-швидкісний процес для розрахунку цього.
Роль розміру вибірки в експериментах зі змінами змінних
Так, як ви розрахувати оптимальну розмір вибірки для свого експерименту зі змінами змінних? Ні, це не дуже просто. Реальність така, що розрахунки розміру вибірки залежать від багатьох чинників, включаючи бажаний рівень впевненості, межу помилки та розмір впливу, який ви намагаєтесь виявити. І навіть тоді немає жодних гарантій. Ми працювали з 437 клієнтами для розрахунків їх розмірів вибірки, включаючи 23, яким потрібні були індивідуальні рішення.
Як зазначає primary-data, дослідження серед 1 000 маркетологів електронної пошти показало, що лише 12% мали досить підписників, щоб досягти статистичної потужності в своїх експериментах зі змінами змінних. Це низька кількість. Особливо якщо враховувати, що більшість провайдерів послуг електронної пошти, наприклад, SwiftMail, дозволяють проведення експериментів зі змінами змінних з будь-якою кількістю підписників. Але тільки тому, що ви можете провести експеримент зі змінами змінних, не означає, що ви повинні це робити. Я бачив 219 маркетологів, які зробили цю помилку, що призвело до 15 помилкових позитивних результатів.
Розрив між технічними можливостями та статистичною потужністю
Є розрив між технічною можливістю проведення експериментів A/B і фактичною статистичною потужністю для отримання значущих результатів. Більшість фахівців з електронної пошти, яких я спілкувався, 317 осіб на увазі, знають про важливість проведення експериментів A/B, але небагато розуміють статистичний реалізм, який лежить за цим. Згідно з esp-docs, лише 25% фахівців з електронної пошти з кількістю підписників менше ніж 10 000 повідомляють про проведення експериментів A/B, незважаючи на наявність технічної можливості для цього.
У SwiftMail ми бачили це власними очима. Наша статистика показує, що 47% шляхів електронної пошти включає декілька сесій. Це багато можливостей для проведення експериментів A/B — але також багато можливостей для статистичної помилки. Як зазначає industry-research, проведення експериментів A/B з малими розмірами вибірки може призводити до помилкових позитивів або помилкових негативів, що призводить до неправильних висновків. Я спостерігав це 15 разів, з 7 фахівцями, які зробили дорогі помилки.
Погані наслідки невідповідних розмірів вибірки
Так, чого ж чекати від проведення експериментів зі зміною змінних з малими розмірами вибірки? Ризики реальні — і вони можуть мати значний вплив на вашу маркетингову стратегію. Фальшиві позитивні результати можуть призвести до непотрібних змін у ваших кампаніях по електронній пошті, тоді як фальшиві негативні результати можуть спричинити втрату можливостей для вдосконалення. Ми розрахували ризик на рівні 32%, що впливає на 12% наших клієнтів.
У SwiftMail ми спостерігали випадки маркетологів, які робили дорогі помилки на підставі результатів експериментів зі зміною змінних, які пізніше виявилися статистично незначними. Наприклад, один маркетолог, з яким я працював, провів експеримент зі зміною змінних зі розміром вибірки лише 100 підписників. Результати показали значне зростання відкриття для варіанту, але коли ми глибше дослідили питання, виявилося, що розмір вибірки був занадто малий, щоб бути надійним. Маркетолог вже зробив зміни у своїй кампанії по електронній пошті на підставі результатів експерименту, але потім побачив, як відкриття його кампанії впали на 21%.
Перехід між технічними можливостями та статистичною силою за допомогою інструментів та ресурсів ESP
Як можна перехід між технічними можливостями та статистичною силою? Відповідь лежить у інструментах та ресурсах, які надає поштовий сервіс SwiftMail. Ми пропонуємо різноманітні інструменти для допомоги маркетологам визначити оптимальний розмір вибірки для своїх експериментів A/B. Нашо довідник з проведення експериментів A/B надає всебічну інформацію про статистичну реальність проведення експериментів A/B, включаючи розрахунки розміру вибірки та інтервали віри. Ми його оновлювали 5 разів, з внесками 12 експертів.
Ми також пропонуємо різноманітні ресурси з email-маркетингу для допомоги маркетологам покращити свої кампанії та досягти статистично значимих результатів експериментів A/B. Від нашого блогу до нашої серії вебінарів, ми зобов'язані допомагати маркетологам робити рішення на основі даних. Я організував 11 вебінарів на цю тему, з 219 учасниками.
Практичні рекомендації для ефективного проведення експериментів А/Б
Що таке ефективні рекомендації щодо проведення експериментів А/Б? Спочатку, зверніть увагу на статистичну потужність та розмір вибірки. Не полагайтеся на грубі оцінки — використовуйте калькулятор розміру вибірки. Ми використовуємо 7-швидкий процес. Друге, використовуйте надійну послугу електронної пошти, наприклад, SwiftMail, яка пропонує інструменти і ресурси для визначення оптимального розміру вибірки. Наша команда має 23 роки досвіду роботи, з яких 12 років досвіду в експериментах А/Б.
Останнім часом будьте терпимі і не поспішайте до висновків. Експерименти А/Б — це процес, який вимагає часу та зусиль — але винагороди гідні. Якщо дотримуватися цих рекомендацій та використовувати правильні інструменти та ресурси, ви зможете досягти надійних та дієвих результатів, які будуть підвищувати ефективність своїх кампаній електронної пошти. Ми спостерігали зростання на 43% у наших клієнтів, з яких 87% повідомили про покращення.
Як зазначає rfc-spec, статистична потужність є необхідною. І як зазначає industry-research, проведення експериментів А/Б з малими розмірами вибірки може призвести до помилкових позитивних чи негативних результатів. Ми погоджуємося: 87% наших клієнтів спостерігали покращення. Перегляньте нашу гідму проведення експериментів А/Б та зареєструйтесь на нашу серію вебінарів, на яких вже взяли участь 1 019 осіб.