Categorías: A/B Testing, Multivariate Testing, Técnicas

¿Qué me dicen los resultados de un experimento web?

Publicado el 12 noviembre 2012 por .

Hay un dicho que aplica perfectamente a los experimentos en las webs y que dice:

“Experiencia es lo que ganas cuando no recibes lo que quieres”

Y sí, los que habéis lanzado alguna vez un test, sabréis que los resultados no son siempre como esperamos.

Entonces la pregunta que nos surge es: ¿Qué hago con esto? ¿Es un fracaso total? ¿Qué puedo aprender de esta situación?

¿Cómo acaban los experiementos?

Pues hay 3 posibles escenarios:

  1. Hay un ganador que ha incrementado la conversión (u otra métrica) y el resultado es válido estadísticamente (con confianza de míninmo 80%)
  2. No hay un ganador claro
  3. El experimento no se ha ejecutado correctamente

La situación 1 es la mejor :) Y me gustaría encontrarme con ella cada vez cuando se lance un test. Pero ojo con los test multivariante. Aquí hay una trampa que se llama Taguchi method y que consiste en hacer un “sampling” de las versiones que se enseñan al usuario para llegar lo antes posible a los resultados significativos. Por lo tanto, no es un método 100% fiable. Antes de poner live la versión ganadora, hace falta hacer un simple test A/B contrastando el ganador con la página original y ver si los resultados son los mismos.

La situación 3 se debe quizás a una mala implementación del test, falta de marcaje, una métrica mal elegida como conversión, etc. Deberíais también probar si la herramienta que utilizáis es fiable y da resultados correctos haciendo un test A/A. Simplemente comparando una página con su copia. Si os devuelve que no hay diferencias entre las dos, entonces significa que herramienta funciona bien.

La situación más difícil es la 2.

¿Por qué no tengo resultados significativos?

¿Por qué pasa esto? Simplemente porque las diferencias en cuanto a la métrica definida (conversión, tiempo de visita, ratio de rebote) no son suficiente grandes entre las variaciones.

Os propongo hacer una prueba para que entendáis cómo funciona la validación del test. Entrad en A/B Split and Multivariate Test Duration Calculator de Visual Website Optimizer. Por defecto ya deberían apareceros datos para conversión, mejora esperada, tráfico, etc. Si le dais al botón “Calculate test duration”, os dice que tardará 28 días en dar resultados significativos. Ahora, si cambiais la mejora esperada para, digamos 5%, ¿qué duración os enseña? 448 días!!! Obviamente no es el único elemento que influye sobre la duración del experimento. Lo mismo puede pasar si tenemos poco tráfico y pocas conversiones.

Y hay aún más factores que pueden contribuir a un test inconcluyente, por ejemplo:

  • Falta de experiencia. Sobre todo al principio de la “aventura” con testing. Si es vuestro caso, es una buena idea contratar consultores externos para aprender con ellos a lanzar los test en la web.
  • No se ha hecho un buen trabajo de análisis previo – tanto cuantitativo como cualitativo
  • No se ha testeado elementos que influyen sobre la métrica que queríamos mejorar
  • El diseño no era óptimo. Esto significa que a lo mejor la idea era buena, pero el diseño no.

¿Cómo hago para aprender?

Primero lo que tenemos que averiguar es  ¿qué ha pasado? ¿por qué ha fallado el test? No siempre es fácil porque testeamos diferentes elementos, imágenes, textos, etc. Entonces suele pasar que para entender lo que hemos hecho mal hay que lanzar otro test, cambiando lo que “nos parece” que haya fallado.

Pero desde el punto de vista de un analista web, hay otra salida: Ssegmentar datos. Quizás nuestro test no ha funcionado para el total de usuarios, pero para un grupo determinado sí. De hecho, antes de lanzar la versión ganadora (si la tenemos), también hay que comprobar en qué grupo de usuarios ha funcionado mejor y enseñarla sólo a este segmento.

Una buena práctica para el análisis del experimento es examinar otras métricas, no sólo la conversión. Esto significa que tenemos que comparar como han rendido las diferentes versiones a nivel de microconversiones, a nivel de ingresos totales, precio medio de venta, ratio de rebote, tiempo en la página, etc. El conjunto es a veces más importante que un resultado sólo.

Y al final, lo que os recomiendo es hacer test iterativo. Pocas empresas lo hacen y es donde podéis ganar una ventaja competitiva. ¿Qué es exactamente? Consiste en “pulir” la versión ganadora. No dejar de testearla porque en realidad todavía podéis sacar más rendimiento de ella. Si analizáis bien los resultados, comparáis métricas, aplicais otras herramientas de mapas de calor, encuestas, etc., podéis aprender muchísimo y “exprimir” las ideas hasta la última gota :)

En los próximos artículos os enseñaremos cómo hacerlo, cuáles son los trucos para plantear test de follow-up. ¡Seguid con nosotros!

Tags: , , ,

4 Comentarios

  1. 7 A/B Test Dice:

    El punto más importante que te da los resultados de un experimentos no son los datos si hay o no una versión ganadora, es todo lo que puedas inferir cualitativa mente de la variaciones, pues toda esa información es la que te va ayudar en una nueva optimización.

  2. Jonatha Baldovino Dice:

    Hola, hace bastante sigo el feed del blog y los artículos me resultan muy interesantes.

    Estoy con un inconveniente que es el siguiente: necesito poder marcar objetivos con Google Analytics pero no encuentro una guia que me lleve “paso a paso” o algo así como un tutorial con el actual Google Analytics para poder implementarlo.

    Podrían enviarme algún link o guia si tienen a mano para poder hacerlo.

    Desde ya muchas gracias!

    Saludos

    @jbaldovino

  3. Adrenalina Dice:

    Los datos cualitativos son los más difíciles de explotar y poder analizar en cualquier experimento de A/B test, que son los que te dan la información de valor suficiente como para poder sacar conclusiones a las hipótesis generadas para optimizar el sitio web en base a los objetivos marcados.

  4. Juan Carlos Pell - Consultor Marketing Dice:

    Creo que tal y como mencionáis la segmentación a nivel de micro conversiones es fundamental a la hora de sacar buenas conclusiones de nuestros experimentos webs.

    Saludos

1 Trackbacks

  1. ¿Qué aprendo con un experimento web? - Trucos Optimización | Trucos Optimización Dice:

    [...] en las cuales os podéis encontrar testeando las páginas web. Si no habéis leído el artículo ¿Qué me dicen los resultados de un experimento web?_kmq.push(["trackClickOnOutboundLink","link_510b87ab85ad5","Article link [...]

Deja tu comentario