A/B testing es una técnica que se utiliza en el desarrollo de productos para medir el impacto de diferentes versiones o variantes de un producto en un grupo de usuarios. Esta técnica se utiliza comúnmente en el desarrollo de software, marketing y diseño de productos.
Creamos dos o más versiones de un producto y se presentan a un grupo de usuarios elegidos al azar. Cada grupo de usuarios recibe una versión diferente del producto, y luego se mide la respuesta de los usuarios a cada versión.
El objetivo es comparar dos o más versiones de un producto, y poder identificar qué versión tiene el mejor rendimiento y la mejor respuesta de los usuarios. Esto nos permite tomar decisiones sobre qué características incluir o no en el producto final.
¿Por dónde empezamos?
Software A/B
Google Optimize era la referencia pero el 30 de septiembre dejará de funcionar, no obstante será parte en un futuro de GA4. Además se integrará con Optimizely, A/B Tasty y Visual Website Optimizer. Podemos escoger una de estas o cualquier otra herramienta del mercado.
Definir la prueba
Es un proceso que requiere de una planificación cuidadosa y un seguimiento constante de los resultados. A continuación, se detallan los pasos a seguir para llevar a cabo una prueba de A/B efectiva:
- Segmentación: Antes de comenzar la prueba, se debe identificar el segmento de usuarios que se utilizará para la prueba. Por ejemplo, si se está probando un nuevo diseño de una página de inicio, se puede seleccionar un grupo de usuarios que hayan visitado la página en el último mes.
- Definir objetivos: Es importante tener objetivos claros y medibles para la prueba. Una vez que se han establecido los objetivos, se pueden medir los resultados de la prueba en función de ellos.
- Realizar las diferentes variables: Se debe definir qué variables se van a probar. Por ejemplo, si se está probando el texto de un botón, se pueden crear dos versiones diferentes del botón con diferentes textos.
- QA probar antes de lanzar: Es importante realizar pruebas de calidad en todas las versiones antes de lanzar la prueba. Asegurarse de que no haya errores o problemas de funcionalidad.
- Lanzar el test: Una vez que se han definido los objetivos, segmentado los usuarios, definido las variables y probado las versiones, se puede lanzar la prueba.
- Tiempo de la prueba: Es importante definir el tiempo que durará la prueba. Generalmente se recomienda una prueba de dos a cuatro semanas para obtener resultados significativos.
- Volumen aceptable: Se debe definir el volumen de usuarios necesarios para obtener resultados significativos. No es recomendable realizar pruebas con un número de usuarios insuficiente, ya que esto puede generar resultados inexactos.
- Nivel de confianza: Es importante definir el nivel de confianza necesario para tomar una decisión basada en los resultados de la prueba. Generalmente, un nivel de confianza del 95% se considera aceptable.
- Solo implementar los cambios positivos: Si una de las versiones tiene un mejor rendimiento que la otra, se debe implementar esa versión. No se deben implementar cambios que no hayan demostrado un mejor rendimiento.
- Estudiar los negativos: Es importante analizar las versiones que no tuvieron un mejor rendimiento para identificar áreas de mejora y aprender de la prueba para aplicar esos aprendizajes en futuras pruebas.
Ejemplo
Una vez tenemos definida la url sobre la que vamos a hacer la prueba, nos toca crear las variantes. Para ello le indicamos que queremos una nueva variante, en este caso cambiaremos el color de un botón.
