A/B testing
Experimento controlado que muestra dos (o más) versiones a grupos aleatorios de usuarios para medir cuál funciona mejor según una métrica definida de antemano.
Cuándo usarlo: Cuando hay tráfico suficiente y una decisión concreta que se puede medir: textos, flujos, precios, onboarding.
Cómo se hace
- Formular la hipótesis: “Si cambiamos X, la métrica Y subirá porque Z”.
- Elegir la métrica principal y las de control (que no deben empeorar).
- Calcular el tamaño de muestra necesario y la duración (mínimo una o dos semanas completas).
- Repartir usuarios al azar entre las versiones.
- No mirar ni parar el test antes de tiempo.
- Analizar significancia estadística y decidir; documentar el resultado aunque sea negativo.
Ejemplo práctico
Hipótesis: mostrar el precio anual con descuento aumenta las suscripciones anuales. Versión B: +18 % de anuales con un 95 % de confianza y sin caída de conversión total. Se aplica a todos.
Consejos
- Con poco tráfico, prueba cambios grandes; los pequeños no se podrán detectar.
- Un test sin hipótesis es una lotería.
Errores comunes
- Parar el test en cuanto “gana” una versión (peeking): da falsos positivos.
- Cambiar varias cosas a la vez sin saber cuál produjo el efecto.