Esta simple tradición me ha hecho pensar en un símil con el mundo online. ¿Regalas rosas a todos? o dicho de otra manera para aquellos más obsesionados con la pasta… ¿Les vendes rosas a quien toca?

Haciendo experimentos A/B o multivariados conseguiremos averiguar cuales son aquellos detalles que consiguen mejorar el rendimiento de nuestro sitio, pero siempre desde una prespectiva general y agregada de toda nuestra audiencia. Genial, hemos mejorado nuestra tasa de conversión. ¿Significa eso que a nuestros usuarios les gusta más la web o que por contra sólo uno de nuestros segmentos realmente entiende lo que les proponemos?

Los experimentos según perfiles de usuario són sin duda el camino. Si soy una web que vende flores, sería genial hacer un test multivariado sobre aquella gente que viene en busca de tulipanes y otro para los que llegan para comprar rosas. ¿Tienen que comprar o entender los mensajes de la misma manera los que quieren un producto u otro?

Con Google Website Optimizer aún no es posible. para ello tendríamos que utilizar herramientas como BTBuckets e integrarlas, o utilizar recursos internos para crear y evaluar cookies. Seguiremos esperando segmentación para Website Optimizer…

Para los que se quieran adelantar al resto, Test&Target es su solución.

¡Feliz Sant Jordi!

Básicamente existen 2 maneras o metodologías para calcular la receta ganadora en nuestros experimentos multivariantes: el fractorial factorial y el full factorial. Al hablar de este tema nos metemos de lleno en temas matemáticos y de estadística, así que para no aburriros mejor os cuento las diferencias entre las dos técnicas y cuales son sus puntos fuertes y débiles.

Fractorial fatorial

Esta técnica viene derivada del método Taguchi y a grandes rasgos lo que propone es realizar una gran cantidad de tests reduciendo mucho el coste. En la ayuda de Website Optimizer se pone un buen ejemplo para entender esto. ¿Que pasaría si en lugar de testear páginas web testearamos que combinación de elementos de un coche proporiona más seguridad en una colisión? Por variables tendríamos tipos de ruedas, airbags, chasis, lugar donde se coloca el motor… y todas aquellas que os ocurran. Rápidamente nos damos cuenta que para probar todas las combinaciones necesitaríamos destruir unos cuantos (muchos) coches… De ahí nace la idea del método. ¿Porque no utilizar solo unos 4 o 5 coches y aproximar los resultados? Nos ahorramos una pasta… Más o menos esto es lo que se aplica al testeo multivariado.

Optimost o Test&Target son ejemplos de herramientas basadas en esta metodología.

Lo bueno

• El fractorial factorial nos permite realizar experimentos con muuuuuchas combinaciones (aunque en realidad no todas ellas son testeadas).
• Obtenemos resultados más rápidamente, algo bastante importante en según que modelos de negocio. Siempre con las prisas en internet…

Lo malo

• Dado que no se prueban todas las combinaciones posibles, perdemos de vista el contexto y la interacción entre elementos. Hay ejemplos en los que experimentos realizados on esta técnica fracasan, entendiendo como fracaso que se deje de testear una combinaión mejor que el resto (a veces mucho mejor).

Full Factorial

Por otro lado, en el full factorial si que utilizamos todas las combinaciones posibles para determinar un ganador y dado el gran volumen de posibles combinaciones, nos hace falta mas usuarios, conversiones y tiempo para realizarlo. Nos hace falta mas de todo

Google Website Optimizer utiliza full factorial.

Lo bueno

• La confianza en los resultados. Todas las combinaciones son probadas y el ganador sale exclusivamente de las acciones de los usuarios. No le hemos  metido mano diciendo que elementos son importantes y cuales no. La combinación ganadora es realmente la que nos mejora el ROI.

Lo malo

• Otra vez volvemos a lo de antes, la velocidad. No tendremos resultados de un test en una semana, y normalmente un experimento durará un mes o más.

Tim dice que el siempre trabaja en full factorial, pero en este tema me encuentro con diversidad de opiniones. ¿Tu con cuál te quedas?