A/B Testing más a fondo
Publicado el 25 abril 2008 por Eduard Barredo.
Mejorar los ratios de conversión no es tarea fácil. El método del A/B Testing nos proporciona la oportunidad de mejorar esos resultados pero no es ni mucho menos un sistema tan sencillo como parece.
El mejorar el ratio de conversión de nuestro sitio, landing page, creatividad, e-mail, etc, no se trata solamente de lanzar 2 propuestas y determinar cual “funciona mejor”. En realidad, debemos ser muy metódicos y precisos para dar exactamente con lo que los usuarios esperan de nosotros.
Para empezar lo más importante es saber que vamos a testear y con que finalidad. ¿Modificamos el tamaño de un banner para ver como funciona su conversión? ¿Rediseñamos un formulario para comprobar su usabilidad? No tenemos límites y podemos proponer tantos experimentos como pensemos, pero tenemos que tener claro que sólo debemos hacer un cambio cada vez. En caso contrario, si realizamos muchos cambios podríamos perder de vista que elemento nos esta dando rendimiento y con él nuestro tiempo y dinero.
Algunos ejemplos de A/B Testing:
- Podemos utilizar el A/B Testing para comprender mejor el comportamiento y preferencias de nuestros usuarios en nuestro site.
- Podemos utilizar el A/B Testing para detectar problemas de navegación o de comprensión.
- Podemos utilizar el A/B Testing para comprobar la reacción de los usuarios a un nuevo diseño.
- Podemos utilizar el A/B Testing para mejorar cualquier tasa de conversión.
La siguiente pregunta que debemos plantearnos antes de empezar el testeo es: ¿Qué métricas voy a utilizar para medir e interpretar los cambios? Este es un punto determinante y es donde la figura del analista toma importante relevancia. ¿Tasa de clicks? ¿Tasa de rebote? ¿Conversiones? Cada experimento tendrá su métrica más apropiada.
También es importante apuntar que para extraer información estadística fiable, sería recomendable escoger grupos de testeo de similar tamaño. Pongamos por ejemplo el test del asunto de una Newsletter o mail a nuestros usuarios… realizaremos un envío a la mitad de nuestros subscriptores y enviaremos una copia exacta del contenido del e-mail pero con el asunto alternativo a la otra mitad. No obstante, el testeo con grupos de distinto tamaño también puede ser interesante según sea el caso… como lanzar una nueva release de un site a base de “mini testeos” realizados a pequeños grupos de usuarios, hacer pruebas según segmentación de tráfico… Barra libre 
Con todo el experimento bien definido, ya podremos empezar a lanzar distintas versiones y a recoger datos. Aún así, el testeo no termina aquí… no ha hecho nada más que empezar. Si somos constantes y realizamos pruebas de forma continuada teniendo en cuenta el contexto de cada una, es cuando empezaremos a recibir información valiosa que luego podremos utilizar en la mejora de la experiencia y rendimiento de nuestro site.
A modo de resumen tenemos que:
- Tenemos que tener claro que elemento queremos testear.
- Hay que conocer con que propósito u objetivo vamos a realizar cambios.
- Saber que métricas vamos a utilizar para determinar el éxito o fracaso del cambio.
- Implementar solamente un cambio cada vez.
- Medir antes y después de los cambios y saber en que contexto hemos realizado el experimento.
- Ser constantes en la realización de pruebas ya que nos darán más y mejor información.
Tags: A/B Testing
Si te interesa la analítica web y deseas aprender más, no deberías perderte nuestras próximas sesiones del curso Analítica Web - Habilidades para analistas que impartirán nuestros especialistas en Analítica Web en Madrid y Barcelona durante el mes de Noviembre.
Síguenos en Twitter
abril 25th, 2008 at 18:42
Si Eduard, el A/B testing debería ser obligatorio antes de lanzar cualquier nuevo diseño o funcionalidad, como control de calidad…
Poner en manos de los usuarios cual es el mejor diseño o funcionalidad es la mejor forma de conseguir mejorar el ROI…
No sea que el nuevo diseño nos conlleve menos conversiones y tengamos que arrepentirnos de no haber realizado un A/B testing…
Mi pregunta es….¿Qué tiene que pasar para que las grandes empresas vean que el A/B y luego el Multivariate, no solo es importante sino imprescindible como parte esencial en la toma de decisiones a nivel de web, marketing online, etc..?
abril 29th, 2008 at 13:24
Hola ex colegas ejeje Felicidades por el blog. Os pido una cosa. Porque no montais un experimento en directo con alguno de vuestros sites para ver como hacer todo esto a nivel tecnico? Me parece genial lo que se dice pero seria bueno ver a nivel real como se implementa todo esto teniendo un script como por ej. Joomla o Pligg o yo que sé.
abril 29th, 2008 at 13:35
Hola Fran,
Me parece genial tu idea y me la apunto para el futuro. Al decir “en directo” me he imaginado un videotutorial… Que te parece? Veremos como voy de tiempo, aunque en cualquier caso un tutorial paso a paso “estandard” si que realizaremos.
Saludos!
abril 29th, 2008 at 14:19
Un experimento muy bueno en Pligg podría ser por ejemplo cambiar el color de fondo del contador de meneos o de la acción a hacer un “Meneo”….
Y ver si sube el ratio de clics….con una opción u otra.
Se podría usar tu portal rankalo como conejillo de indias…¿no?
abril 29th, 2008 at 17:15
Ofrezco mi Rankalo para el testeo ejeje quiero intentar hacer algo pero con cuidadin…
)
abril 30th, 2008 at 14:28
Te tomamos la palabra… jeje
julio 1st, 2011 at 22:27
muy buenos los consejos sobre A/B testing
una solución muy buena para hacer A/B testing es utilizar los comentarios de Google Analytics para fijar los cambios que has realizado en ciertas partes de la web. Por regla general, si tu página web tiene un tráfico estable, podrás comparar datos de la semana anterior a implementar los cambios y podrás ver en tiempo real cómo funcionan ciertas funcionalidades nuevas que vas realizando en tu web.
saludos!
agosto 1st, 2011 at 4:08
Las pruebas a/b es una herramienta indispensable en cada sitio web, por lo general no son tomadas tan en serio como se debiera, en especial porque muchos viven en el mundo de las web de antaño, donde los cambios eran tan lentos, y el publico tenia muy poco para elegir, pero en el mundo actual de la Internet donde nacen competidores a montones, y la competencia es más ruda que nunca la actualización es esencial para sobrevivir.
Es como la evolución, si no te adaptas estas destinado a morir, ahora un cambio no es sinónimo de excito, podemos hacer un análisis muy complejo y completo de mercadeo, pero eso no es garantía de excito, el mejor ejemplo es la Coca Cola en los 80s y su cambio radical que fue un fracaso para retorna al mismo producto.
Con una buena herramientas que permita probar los pequeños a los grandes cambios en sitio web nos permite ahorrar tanto dolores de cabeza como tiempo y dinero, en especial dinero… En nuestro caso usamos Kuxme test a/b para realizar todas las pruebas, en especial por contar con una versión gratuita que genera un análisis muy completo y fácil de leer. véalo en http://kuxme.com/testab
Tan importante como la prueba es poder realizar el análisis de las estadísticas de la mejor manera, para tener la certeza adecuada de la veracidad de los resultados. No es tan fácil como contar más visita, más clicks, o mas dinero, porque estos datos por encima pueden ser engañosos a largo tiempo si no están justificados.