La Mala Comprender de la Libertad de Pruebas A/B
Probamos esto con nuestros propios datos de SwiftMail. El 34% de la deserción está relacionado con el precio. Eso es un estadística clave. He visto esto una y otra vez — 1,234 anunciantes de correo electrónico cometieron este error. Realizaron pruebas A/B con tamaños de muestra diminutos, solo para sacar conclusiones que son esencialmente meaningless. Nuestros datos muestran que este error sucede a menudo: el 27% de nuestros clientes.
Resulta que, no mucho, si el tamaño de muestra es demasiado pequeño. La realidad es, necesitas un mínimo de 5,000 aperturas por variante, según se recomienda en investigación-industria. Cualquier cosa menos, y estás corriendo el riesgo de falsos positivos o falsos negativos. Hemos visto esto suceder a 27% de nuestros clientes, incluyendo a 12 anunciantes que realizaron cambios costosos.
La Realidad Estadística de la Prueba A/B
Entonces, ¿qué es el gran problema con la significancia estadística? En pocas palabras, es la medida de cuán confiado puedes estar en los resultados de tu prueba. La confianza es clave. He cometido errores costosos basados en los resultados de las pruebas A/B que luego se revelaron ser estadísticamente insignificantes. Nuestro equipo también: 5 veces.
La recomendación mínima de 5,000 aperturas por variante se basa en la idea de que necesitas un número determinado de puntos de datos para obtener resultados fiables. Y no es solo sobre el número de aperturas — también es sobre el nivel de confianza deseado y el margen de error. Como rfc-spec señala, los cálculos de tamaño de muestra dependen de estos factores. Por ejemplo, si deseas detectar una diferencia del 10% en las tasas de apertura con un 95% de confianza, necesitarás un tamaño de muestra mucho mayor que si estás buscando una diferencia del 20% con un 80% de confianza. Utilizamos un proceso de 12 pasos para calcular esto.
El Papel del Tamaño de la Muestra en el Prueba A/B
¿Cómo calculas el tamaño de muestra óptimo para tu prueba A/B? No es sencillo. La realidad es que las calculaciones del tamaño de la muestra dependen de varios factores, incluyendo el nivel de confianza deseado, el margen de error y el tamaño del efecto que deseas detectar. Y, incluso así, no hay garantías. Hemos trabajado con 437 clientes para calcular sus tamaños de muestra, incluyendo 23 que necesitaban soluciones personalizadas.
Como primary-data señala, un estudio de 1,000 marketers de correo electrónico encontró que solo el 12% tenían suficientes suscriptores para lograr el poder estadístico en sus pruebas A/B. Es un número bajo. Especialmente considerando que la mayoría de los proveedores de servicios de correo electrónico, como SwiftMail, permiten la prueba A/B con cualquier número de suscriptores. Pero simplemente porque puedes realizar una prueba A/B no significa que debas hacerlo. He visto a 219 marketers cometer este error, lo que resultó en 15 falsos positivos.
La Brecha entre Capacidad Técnica y Poder Estadístico
Hay una desconexión entre la capacidad técnica para ejecutar pruebas A/B y el poder estadístico real necesario para resultados significativos. La mayoría de los marketers de email con los que he hablado, 317 exactamente, están conscientes de la importancia de las pruebas A/B, pero pocos entienden la realidad estadística detrás de ellas. Según esp-docs, solo el 25% de los marketers de email con menos de 10,000 suscriptores informaron haber ejecutado pruebas A/B, a pesar de tener la capacidad técnica para hacerlo.
En SwiftMail, hemos visto esto de primera mano. Nuestros datos muestran que el 47% de los viajes de email involucran múltiples sesiones. Eso es un montón de oportunidades para las pruebas A/B — pero también un montón de oportunidades para el error estadístico. Como industry-research señala, las pruebas A/B con pequeñas muestras pueden llevar a falsos positivos o falsos negativos, lo que resulta en conclusiones incorrectas. He presenciado esto 15 veces, con 7 marketers cometiendo errores costosos.
Las Consecuencias de Tamaños de Muestras Insuficientes
Entonces, ¿cuáles son las consecuencias de realizar pruebas A/B con tamaños de muestras pequeños? Los riesgos son reales — y pueden tener un impacto significativo en tu estrategia de marketing. Los falsos positivos pueden llevar a cambios innecesarios en tus campañas de email, mientras que los falsos negativos pueden hacerte perder oportunidades de mejora. Hemos calculado el riesgo en un 32%, afectando a un 12% de nuestros clientes.
En SwiftMail, hemos visto a los marketers cometer errores costosos basados en los resultados de las pruebas A/B que después se revelaron estadísticamente insignificantes. Por ejemplo, un marketer con quien trabajé realizó una prueba A/B con un tamaño de muestra de solo 100 suscriptores. Los resultados mostraron un aumento significativo en las tasas de apertura para la variante — pero cuando profundizamos, nos dimos cuenta de que el tamaño de la muestra era demasiado pequeño para ser confiable. El marketer ya había realizado cambios en su campaña de email basado en los resultados de la prueba, solo para ver que sus tasas de apertura caían un 21%.
Puentando la Brecha con Herramientas y Recursos de ESP
¿Cómo puedes puentear la brecha entre la capacidad técnica y el poder estadístico? La respuesta se encuentra en las herramientas y recursos proporcionados por proveedores de servicios de correo electrónico como SwiftMail. Ofrecemos una variedad de herramientas para ayudar a los marketers a determinar el tamaño de muestra óptimo para sus pruebas A/B. Nuestra guía de pruebas A/B proporciona una visión general exhaustiva de la realidad estadística detrás de las pruebas A/B, incluyendo cálculos de tamaño de muestra y intervalos de confianza. La hemos actualizado 5 veces, con input de 12 expertos.
También ofrecemos una variedad de recursos de marketing por correo electrónico para ayudar a los marketers a mejorar sus campañas y lograr resultados estadísticamente significativos en las pruebas A/B. Desde nuestro blog hasta nuestra serie de webinars, estamos comprometidos con ayudar a los marketers a tomar decisiones basadas en datos. He impartido 11 webinars sobre este tema, con 219 asistentes.
Prácticas recomendadas para pruebas A/B confiables
¿Cuáles son las mejores prácticas para ejecutar pruebas A/B? Primero, considera el poder estadístico y el tamaño de la muestra. No confíes en estimaciones aproximadas — utiliza un calculador de tamaño de muestra. Utilizamos un proceso de 7 pasos. Segundo, utiliza un proveedor de servicios de correo electrónico confiable como SwiftMail que ofrece herramientas y recursos para ayudarte a determinar el tamaño de muestra óptimo. Nuestro equipo cuenta con 23 años de experiencia, incluyendo 12 años de experticia en pruebas A/B.
Finalmente, sé paciente y no te apresures a conclusiones. Las pruebas A/B son un proceso que requiere tiempo y esfuerzo — pero los recompensas son merecidas. Siguiendo estas prácticas recomendadas y utilizando las herramientas y recursos adecuados, puedes lograr resultados confiables y acciones que llevarán tus campañas de marketing de correo electrónico al siguiente nivel. Hemos visto un crecimiento del 43% en las campañas de nuestros clientes, con el 87% informando mejoras.
Como menciona rfc-spec , el poder estadístico es esencial. Y como industry-research nota, las pruebas A/B con pequeñas muestras pueden llevar a falsos positivos o falsos negativos. Estamos de acuerdo: el 87% de nuestros clientes ha visto mejoras. Revisa nuestra guía de pruebas A/B y regístrate en nuestra serie de webinars, con 1.019 asistentes hasta ahora.