Antes de estudiar qué es un test A/B veamos por qué hacer este tipo de análisis y los beneficios que aporta a una empresa o negocio online.
Todo sitio web tiene un motivo para existir, una meta de conversión que alcanzar. El objetivo de los tests A/B es mostrar dos versiones diferentes de un mismo sitio web y medir cuál variación (A o B) convierte más. O sea, cuál versión del sitio web mejora la meta de conversión.
¿Qué es un test A/B?
Una definición de test A/B simplificada y aplicable al marketing digital podría ser la siguiente:
Un test A/B consiste en mostrar dos versiones de una misma página web o email a un grupo de usuarios aleatorios (muestra) y medir cuál convierte mejor. La versión A del test muestra la página original mientras que la versión B muestra la misma página pero con algunos cambios. Al finalizar el período de estudio se sabrá cuál de las dos versiones convierte mejor.
- Conversiones: en marketing digital es el objetivo que tiene una web o emailing. Por ejemplo: vender algo, descargar de una app, darse de alta en un boletín, reservar un cuarto de hotel, consultas previas a la compra, etc.
- ¿Convertir más o mejor? A veces es preferible captar 100 usuarios que compren más que 1000 que sólo nos dejen sus correos y nunca compren. Todo depende de la estrategia de marketing de la empresa.
- Control y variaciones: la muestra de control (baseline) son las métricas que podemos obtener de herramientas como Google Analytics sobre nuestra web antes de correr un test A/B. Las variaciones son las diferentes versiones (A/B/C/D…) que probaremos con el test para ver cuál funciona mejor que la otra y lógicamente por encima de muestra de “control”.
Duración. ¿Cuándo detener un test A/B?
Un test A/B no depende de la cantidad de tiempo que permanezca en circulación (período de estudio) sino de la cantidad de usuarios (muestra) que visitan la web en dicho período. Necesitamos cierta cantidad de personas que visiten las dos versiones de nuestra web para poder sacar conclusiones.
¿Qué hacer si no se consiguen visitas de forma orgánica para el test A/B?
Dependiendo del tipo de estudio y producto se puede:
- Contratar testers.
- Hace el test A/B en páginas específicas y con mucho tráfico (fuente: Google).
- Realizar campañas PPC (Ej. AdWords, Facebook).
¿Qué sucede si a lanzar el test A/B vemos que una de las dos versiones convierte demasiado poco y la otra muy por encima?
En ese caso es conveniente detener el test A/B al cabo de unos días para no perder el tiempo probando una versión que salta a la vista que no convierte. Existen muchos motivos para que una versión del test A/B convierta por debajo de lo esperado, desde problemas técnicos en el código de la web hasta imágenes demasiado pesadas que imposibilitan una carga rápida en dispositivos móviles. Son sólo dos ejemplos de una multitud de factores.
Visitas. ¿Cuántos usuarios únicos son necesarios?
La cantidad de usuarios, o mejor dicho, el tamaño de la muestra de un test A/B, depende de algunos factores.
- Por regla general: cuanto mayor sea la tasa de conversión, menor podrá ser la muestra.
¿Cómo calcular la cantidad de usuarios necesarios para un test A/B?
- Tasa de conversión actual: conversiones (ej: ventas) dividido el total de visitas. Tanto las conversiones como las visitas son las actuales, antes de correr el test. (control/baseline). Ejemplo: Tasa de conversión = 100 ventas / 10000 visitas * 100 = 1%.
- Minimum detectable effect (MDE): es el cambio mínimo que queremos detectar en la tasa de conversión actual. Ejemplo: si la tasa de conversión es del 10% y esperamos que las variaciones del test A/B arrojen una nueva tasa de conversión del 10,5% entonces el MDE será del 5%. (10% * 5% = 0,1 * 1,05 * 100 = 10,5%).
- Nivel de confianza: es el nivel de certeza que esperamos del resultado de un test A/B. Suele configurarse en 95%. Ej: para una muestra es de 20 usuarios, los resultados del test serán confiables para 19 de ellos. Por el contrario existe una posibilidad de error del 5% (95 – 5) o sea de 1 usuario.
En el blog de Optimizely podemos ver una fórmula para calcular el tamaño de la muestra y cuánto debe durar un test A/B:
Ahora sí podemos pasar a analizar cuántos cambios hacer por cada variación en un test A/B.
Variaciones. ¿Cuántos cambios? ¿Grandes o pequeños?
¿Cuántos cambios realizar por variación en un test A/B?
- Todo especialista en tests A/B recomienda realizar un único cambio por variación para luego medir los resultados. Una vez hecho esto volver a analizar otra variación del test que incluya una nueva modificación.Si por ejemplo realizamos 10 modificaciones en la versión B y esta convierte mejor que la versión A nunca sabremos cuál cambio produjo la mejora.
¿Grandes o pequeños cambios?
- Por regla general: cuanto mayor sea el cambio, menos visitas se necesitarán para medir su efecto. Por el contrario, se necesitarán más visitas para probar pequeños cambios en una web. El mismo Google (Analytics) nos recomienda realizar cambios notables ya que los cambios pequeños pueden pasar desapercibidos y los resultados pueden no ser concluyentes.
Herramientas para hacer un Test A/B
- Nelio AB Testing (Plugin para WordPress)
- Test A/B con Google Analytics
- Optimizely
- Otras