Fractorial vs Full Factorial
Publicado el 02 Febrero 2009 por Eduard Barredo
El pasado miércoles en el workshop de Tim Ash se comentó el tema de las técnicas que utilizan las diferentes herramientas de test y me pareció una buena idea comentarlas un poco para quien no esté familiarizado con el tema.
Básicamente existen 2 maneras o metodologías para calcular la receta ganadora en nuestros experimentos multivariantes: el fractorial factorial y el full factorial. Al hablar de este tema nos metemos de lleno en temas matemáticos y de estadística, así que para no aburriros mejor os cuento las diferencias entre las dos técnicas y cuales son sus puntos fuertes y débiles.
Fractorial fatorial
Esta técnica viene derivada del método Taguchi y a grandes rasgos lo que propone es realizar una gran cantidad de tests reduciendo mucho el coste. En la ayuda de Website Optimizer se pone un buen ejemplo para entender esto. ¿Que pasaría si en lugar de testear páginas web testearamos que combinación de elementos de un coche proporiona más seguridad en una colisión? Por variables tendríamos tipos de ruedas, airbags, chasis, lugar donde se coloca el motor… y todas aquellas que os ocurran. Rápidamente nos damos cuenta que para probar todas las combinaciones necesitaríamos destruir unos cuantos (muchos) coches… De ahí nace la idea del método. ¿Porque no utilizar solo unos 4 o 5 coches y aproximar los resultados? Nos ahorramos una pasta… Más o menos esto es lo que se aplica al testeo multivariado.
Optimost o Test&Target son ejemplos de herramientas basadas en esta metodología.
Lo bueno 
- El fractorial factorial nos permite realizar experimentos con muuuuuchas combinaciones (aunque en realidad no todas ellas son testeadas).
- Obtenemos resultados más rápidamente, algo bastante importante en según que modelos de negocio. Siempre con las prisas en internet…
Lo malo 
- Dado que no se prueban todas las combinaciones posibles, perdemos de vista el contexto y la interacción entre elementos. Hay ejemplos en los que experimentos realizados on esta técnica fracasan, entendiendo como fracaso que se deje de testear una combinaión mejor que el resto (a veces mucho mejor).
Full Factorial
Por otro lado, en el full factorial si que utilizamos todas las combinaciones posibles para determinar un ganador y dado el gran volumen de posibles combinaciones, nos hace falta mas usuarios, conversiones y tiempo para realizarlo. Nos hace falta mas de todo 
Google Website Optimizer utiliza full factorial.
Lo bueno
- La confianza en los resultados. Todas las combinaciones son probadas y el ganador sale exclusivamente de las acciones de los usuarios. No le hemos metido mano diciendo que elementos son importantes y cuales no. La combinación ganadora es realmente la que nos mejora el ROI.
Lo malo
- Otra vez volvemos a lo de antes, la velocidad. No tendremos resultados de un test en una semana, y normalmente un experimento durará un mes o más.
Tim dice que el siempre trabaja en full factorial, pero en este tema me encuentro con diversidad de opiniones. ¿Tu con cuál te quedas?
Tags: Fractorial factorial, Full factorial, Google Website Optimizer, método Taguchi, Multivariate Testing, Optimost, Test&Target, Tim Ash
Febrero 3rd, 2009 at 2:56 am
Creo que va a depender de cada caso, con las condiciones que marcás.
Si necesito una respuesta rápida, utilizaria el fractorial. Ahora si necesito la mejor respuesta sin importar el costo, utilizo el full factorial.
Es una cuestión de costo beneficio en cada caso. Cuanto más gano con el full factorial? y cuando me cuesta conseguir esa diferencia?
Febrero 3rd, 2009 at 12:53 pm
Gracias por tu comentario Jose Luis, personalmente no lo veo como cuanto más gano con el full factorial sino cuantas combinaciones dejo de perder. La gran ventaja de los sistemas aproximados es su rapidez para sacar conclusiones ¿pero a que precio?
Siempre que sea posible yo usaría full factorial para conseguir datos y informes realmente buenos de los que poder aprender.
Un saludo!
Febrero 3rd, 2009 at 1:47 pm
Queda claro pues que a veces lo ideal es hacer testeos de pocas combinaciones cuando tengamos poco tráfico, sino los resultados serán a muy largo plazo.
Genial explicación…a veces esto es uno de los factores esenciales por los cuales uno se puede lanzar a utilizar una herramienta u otra.
Lo genial podría ser hacer un experimento utilizando un sistema vs el otro, con las mismas combinaciones y ver cual da mayor conversión.
Ojalá pronto optimizer pueda ya incluir una mayor segmentación de combinaciones por origen de tráfico de forma natural…
Febrero 4th, 2009 at 1:36 pm
ferriol, no veo por qué segmentar por origen de tráfico puede ayudarte a utilizar un método u otro… ¿cuál es la relación? entiendo que cuanto más segmentas tu experimento, menos tráfico tienes, por lo que utilizar fractorial puede convertirse en una necesidad, pero eso no implica que sigas perdiendo combinaciones que podrían ser válidas.
tampoco veo la ventaja de usar los dos sistemas a la vez, de todos modos, el full ya incluye al fractorial, y cada experimento es un mundo, por lo que si en un experimento concluimos que no era necesario utilizar el full, yo no me atrevo a decir que en el próximo tampoco vaya a necesitar el full.