A/B Testing más a fondo
Posted on 25 April 2008 by Eduard Barredo
Mejorar los ratios de conversión no es tarea fácil. El método del A/B Testing nos proporciona la oportunidad de mejorar esos resultados pero no es ni mucho menos un sistema tan sencillo como parece.
El mejorar el ratio de conversión de nuestro sitio, landing page, creatividad, e-mail, etc, no se trata solamente de lanzar 2 propuestas y determinar cual “funciona mejor”. En realidad, debemos ser muy metódicos y precisos para dar exactamente con lo que los usuarios esperan de nosotros.
Para empezar lo más importante es saber que vamos a testear y con que finalidad. ¿Modificamos el tamaño de un banner para ver como funciona su conversión? ¿Rediseñamos un formulario para comprobar su usabilidad? No tenemos límites y podemos proponer tantos experimentos como pensemos, pero tenemos que tener claro que sólo debemos hacer un cambio cada vez. En caso contrario, si realizamos muchos cambios podríamos perder de vista que elemento nos esta dando rendimiento y con él nuestro tiempo y dinero.
Algunos ejemplos de A/B Testing:
- Podemos utilizar el A/B Testing para comprender mejor el comportamiento y preferencias de nuestros usuarios en nuestro site.
- Podemos utilizar el A/B Testing para detectar problemas de navegación o de comprensión.
- Podemos utilizar el A/B Testing para comprobar la reacción de los usuarios a un nuevo diseño.
- Podemos utilizar el A/B Testing para mejorar cualquier tasa de conversión.
La siguiente pregunta que debemos plantearnos antes de empezar el testeo es: ¿Qué métricas voy a utilizar para medir e interpretar los cambios? Este es un punto determinante y es donde la figura del analista toma importante relevancia. ¿Tasa de clicks? ¿Tasa de rebote? ¿Conversiones? Cada experimento tendrá su métrica más apropiada.
También es importante apuntar que para extraer información estadística fiable, sería recomendable escoger grupos de testeo de similar tamaño. Pongamos por ejemplo el test del asunto de una Newsletter o mail a nuestros usuarios… realizaremos un envío a la mitad de nuestros subscriptores y enviaremos una copia exacta del contenido del e-mail pero con el asunto alternativo a la otra mitad. No obstante, el testeo con grupos de distinto tamaño también puede ser interesante según sea el caso… como lanzar una nueva release de un site a base de “mini testeos” realizados a pequeños grupos de usuarios, hacer pruebas según segmentación de tráfico… Barra libre
Con todo el experimento bien definido, ya podremos empezar a lanzar distintas versiones y a recoger datos. Aún así, el testeo no termina aquí… no ha hecho nada más que empezar. Si somos constantes y realizamos pruebas de forma continuada teniendo en cuenta el contexto de cada una, es cuando empezaremos a recibir información valiosa que luego podremos utilizar en la mejora de la experiencia y rendimiento de nuestro site.
A modo de resumen tenemos que:
- Tenemos que tener claro que elemento queremos testear.
- Hay que conocer con que propósito u objetivo vamos a realizar cambios.
- Saber que métricas vamos a utilizar para determinar el éxito o fracaso del cambio.
- Implementar solamente un cambio cada vez.
- Medir antes y después de los cambios y saber en que contexto hemos realizado el experimento.
- Ser constantes en la realización de pruebas ya que nos darán más y mejor información.
Tags | A/B Testing






April 25th, 2008 at 6:42 pm
Si Eduard, el A/B testing debería ser obligatorio antes de lanzar cualquier nuevo diseño o funcionalidad, como control de calidad…
Poner en manos de los usuarios cual es el mejor diseño o funcionalidad es la mejor forma de conseguir mejorar el ROI…
No sea que el nuevo diseño nos conlleve menos conversiones y tengamos que arrepentirnos de no haber realizado un A/B testing…
Mi pregunta es….¿Qué tiene que pasar para que las grandes empresas vean que el A/B y luego el Multivariate, no solo es importante sino imprescindible como parte esencial en la toma de decisiones a nivel de web, marketing online, etc..?
April 29th, 2008 at 1:24 pm
Hola ex colegas ejeje Felicidades por el blog. Os pido una cosa. Porque no montais un experimento en directo con alguno de vuestros sites para ver como hacer todo esto a nivel tecnico? Me parece genial lo que se dice pero seria bueno ver a nivel real como se implementa todo esto teniendo un script como por ej. Joomla o Pligg o yo que sé.
April 29th, 2008 at 1:35 pm
Hola Fran,
Me parece genial tu idea y me la apunto para el futuro. Al decir “en directo” me he imaginado un videotutorial… Que te parece? Veremos como voy de tiempo, aunque en cualquier caso un tutorial paso a paso “estandard” si que realizaremos.
Saludos!
April 29th, 2008 at 2:19 pm
Un experimento muy bueno en Pligg podría ser por ejemplo cambiar el color de fondo del contador de meneos o de la acción a hacer un “Meneo”….
Y ver si sube el ratio de clics….con una opción u otra.
Se podría usar tu portal rankalo como conejillo de indias…¿no?
April 29th, 2008 at 5:15 pm
Ofrezco mi Rankalo para el testeo ejeje quiero intentar hacer algo pero con cuidadin… ;-))
April 30th, 2008 at 2:28 pm
Te tomamos la palabra… jeje