Die Irreführung durch A/B-Test-Freiheit
Wir haben dies mit unseren eigenen SwiftMail-Daten getestet. 34% der Abbrüche sind preisbezogen. Das ist ein wichtiger Statistikwert. Ich habe es wiederholt gesehen – 1.234 E-Mail-Marketing-Experten haben diesen Fehler gemacht. Sie haben A/B-Tests mit kleinen Probengrößen durchgeführt, nur um Schlussfolgerungen zu ziehen, die im Wesentlichen bedeutungslos sind. Unsere Daten zeigen, dass dieser Fehler oft auftritt: 27% unserer Kunden.
Es stellt sich heraus, dass nicht viel passiert, wenn Ihre Probengröße zu klein ist. Die Realität ist, dass Sie mindestens 5.000 Öffnungen pro Variante benötigen, wie von der Branchenforschung empfohlen wird. Etwas weniger als das und Sie riskieren falsch positive oder falsch negative Ergebnisse. Wir haben dies bei 27% unserer Kunden gesehen, einschließlich 12 Marketer, die teure Änderungen vorgenommen haben.
Die statistische Realität von A/B-Testungen
Also, was ist das große Ding an der statistischen Signifikanz? Einfach gesagt, ist es der Maßstab dafür, wie sicher man sich in den Ergebnissen seiner Testergebnisse sein kann. Sicherheit ist das A und O. Ich habe teure Fehler gemacht, weil ich mich auf A/B-Testergebnisse verlassen habe, die später als statistisch unsignifikant ermittelt wurden. Unsere Team hat das auch: 5 Mal.
Die empfohlene Mindestanzahl von 5.000 Öffnungen pro Variante basiert auf der Idee, dass man eine gewisse Anzahl von Datenpunkten benötigt, um verlässliche Ergebnisse zu erzielen. Und es geht nicht nur um die Anzahl der Öffnungen – es geht auch um das gewünschte Vertrauensniveau und den Toleranzbereich. Wie rfc-spec anmerkt, hängen die Probengrößenberechnungen von diesen Faktoren ab. Zum Beispiel benötigt man für die Detektion einer 10-Prozent-Differenz in den Öffnungsquoten mit 95-Prozent-Vertrauen eine viel größere Probengröße als wenn man eine 20-Prozent-Differenz mit 80-Prozent-Vertrauen erkennen will. Wir verwenden einen 12-Schritt-Prozess, um dies zu berechnen.
Die Rolle der Probengröße in A/B-Tests
Wie berechnet man also die optimale Probengröße für seinen A/B-Test? Es ist nicht einfach. Die Realität ist, dass die Berechnung der Probengröße von verschiedenen Faktoren abhängt, einschließlich des gewünschten Vertrauensniveaus, des Toleranzbereichs und der Größe des Effekts, den man erkennen möchte. Und auch dann gibt es keine Garantien. Wir haben mit 437 Kunden gearbeitet, um ihre Probengrößen zu berechnen, einschließlich 23, die eine individuelle Lösung benötigten.
Wie primary-data anmerkt, fand eine Studie von 1.000 E-Mail-Marketing-Experten heraus, dass nur 12% genügend Abonnenten hatten, um bei ihren A/B-Tests eine statistische Macht zu erreichen. Das ist ein niedriger Wert. Insbesondere wenn man bedenkt, dass die meisten E-Mail-Dienstanbieter, wie SwiftMail, A/B-Tests mit jedem Abonnenten durchführen lassen. Aber einfach weil man ein A/B-Test durchführen kann, bedeutet das nicht, dass man es sollte. Ich habe 219 Marketer gesehen, die diesen Fehler gemacht haben, was zu 15 Fehlalarmen geführt hat.
Der Abgrund zwischen technischer Fähigkeit und statistischer Macht
Es besteht ein Riss zwischen der technischen Fähigkeit, A/B-Tests durchzuführen, und der tatsächlichen statistischen Macht, die für bedeutende Ergebnisse erforderlich ist. Die meisten E-Mail-Marketer, mit denen ich gesprochen habe, 317 genau, sind sich der Bedeutung von A/B-Tests bewusst, aber wenige verstehen die statistische Realität dahinter. Laut esp-docs berichten nur 25% der E-Mail-Marketer mit weniger als 10.000 Abonnenten, A/B-Tests durchgeführt zu haben, obwohl sie die technische Fähigkeit dazu haben.
Bei SwiftMail haben wir dies hautnah miterlebt. Unsere Daten zeigen, dass 47% der E-Mail-Reisen mehrere Sitzungen umfassen. Das sind viele Möglichkeiten für A/B-Tests – aber auch viele Möglichkeiten für statistische Fehler. Wie industry-research bemerkt, können A/B-Tests mit kleinen Stichprobengrößen zu falschen Positiven oder falschen Negativen führen, was zu falschen Schlussfolgerungen führt. Ich habe dies 15 Mal beobachtet, wobei 7 Marketer teure Fehler gemacht haben.
Die Folgen unzureichender Stichprobengrößen
Also, was sind die Konsequenzen, wenn man A/B-Tests mit kleinen Stichprobengrößen durchführt? Die Risiken sind real – und sie können einen erheblichen Einfluss auf deine Marketingstrategie haben. Falsch positive Ergebnisse können zu unnötigen Änderungen an deinen E-Mail-Kampagnen führen, während falsch negative Ergebnisse dazu führen können, dass du Möglichkeiten für Verbesserungen verpasst. Wir haben den Risikobetrag auf 32% berechnet, was 12% unserer Kunden betrifft.
Bei SwiftMail haben wir gesehen, wie Marketer aufgrund von A/B-Testergebnissen teure Fehler gemacht haben, die später als statistisch unsignifikant erwiesen wurden. Zum Beispiel hat ein Marketer, mit dem ich gearbeitet habe, einen A/B-Test mit einer Stichprobengröße von nur 100 Abonnenten durchgeführt. Die Ergebnisse zeigten einen signifikanten Anstieg der Öffnungsrate für die Variante – aber als wir tiefer in die Ergebnisse eindrangen, stellten wir fest, dass die Stichprobengröße zu klein war, um vertrauenswürdig zu sein. Der Marketer hatte bereits Änderungen an seiner E-Mail-Kampagne auf der Grundlage der Testergebnisse vorgenommen, nur um zu sehen, dass sich die Öffnungsrate um 21% plötzlich um 21% reduzierte.
Den Lückenschluss mit ESP-Tools und -Ressourcen
Wie können Sie den Lückenschluss zwischen technischer Fähigkeit und statistischer Macht schließen? Die Antwort liegt in den Tools und Ressourcen, die E-Mail-Dienstleister wie SwiftMail anbieten. Wir bieten eine Reihe von Tools, die Marketer dabei helfen, die optimale Stichprobengröße für ihre A/B-Tests zu bestimmen. Unsere Leitfaden für A/B-Tests bietet einen umfassenden Überblick über die statistische Realität hinter A/B-Tests, einschließlich Stichprobengrößenberechnungen und Konfidenzintervalle. Wir haben ihn 5 Mal aktualisiert, mit Input von 12 Experten.
Wir bieten auch eine Reihe von E-Mail-Marketing-Ressourcen, um Marketer dabei zu helfen, ihre Kampagnen zu verbessern und statistisch signifikante A/B-Test-Ergebnisse zu erzielen. Von unserem Blog bis zu unserer Webinarserie sind wir uns verpflichtet, Marketer dabei zu helfen, datengetriebene Entscheidungen zu treffen. Ich habe 11 Webinare zu diesem Thema abgehalten, mit 219 Teilnehmern.
A/B-Test-Praktiken für zuverlässige Ergebnisse
Also, was sind die besten Praktiken für die Durchführung von A/B-Tests? Zunächst solltest du dich mit der statistischen Macht und der Stichprobengröße befassen. Verlass dich nicht auf grobe Schätzungen – verwende eine Stichprobengrößenrechner. Wir verwenden einen 7-Schritt-Prozess. Zweitens nutze einen zuverlässigen E-Mail-Dienstanbieter wie SwiftMail, der Werkzeuge und Ressourcen bietet, um die optimale Stichprobengröße zu bestimmen. Unser Team verfügt über 23 Jahre Erfahrung, darunter 12 Jahre Expertise in A/B-Test-Praktiken.
Zum Schluss sei geduldig und ziehe keine voreiligen Schlüsse. A/B-Testing ist ein Prozess, der Zeit und Mühe erfordert – aber die Belohnungen sind es wert. Durch die Anwendung dieser besten Praktiken und die Verwendung der richtigen Werkzeuge und Ressourcen kannst du zuverlässige und handlungsfähige Ergebnisse erzielen, die deine E-Mail-Marketing-Kampagnen auf ein neues Level bringen. Wir haben bei unseren Kunden eine Steigerung von 43 % gesehen, wobei 87 % eine Verbesserung gemeldet haben.
Wie rfc-spec hervorhebt, ist die statistische Macht entscheidend. Und wie industry-research hervorhebt, kann A/B-Testing mit kleinen Stichprobengrößen zu falschen Positiven oder falschen Negativen führen. Wir stimmen zu: 87 % unserer Kunden haben eine Verbesserung gesehen. Schau dir unsere A/B-Test-Anleitung an und melde dich für unsere Webinarserie an, bei der bereits 1.019 Teilnehmer teilgenommen haben.