El test A/B va directo al grano

Con el testeo A/B siempre iremos al grano. A diferencia del testeo multivariado, con el testeo A/B no nos vamos a entretener viendo si el botón rojo funciona mejor que el verde y además este botón rojo funciona mejor si a su lado ponemos la imagen de una cara femenina en lugar de una masculina. Es verdad que la cantidad de información que nos aporta un testeo multivariado supera con creces la información que nos aporta un testeo A/B.
Pero ¿Es realmente necesaria tanta información? No, ya que en realidad el objetivo del test es conseguir una página que genere más conversiones que la original. Y saber que según el color de un botón es más oportuno utilizar un tipo de creatividad u otra, es pura anécdota.
Dicho de otro modo, quizá estos hallazgos son relevantes desde un punto de vista teórico o científico. Pero la relevancia que puedan tener estos hallazgos para el cliente que nos pide incrementar las conversiones de su web, es más bien poca.

El test A/B es fácil de implementar

En el test A/B tenemos una página original (A) contra la que compiten páginas alternativas (B, C, D, etc.), y cada una de las páginas del test A/B se trata como un todo. Así que la implementación únicamente consiste en:

1. Maquetar y subir al servidor las versiones B, C, D, etc.
2. Insertar el código en la página original que dirige a usuarios hacia cada versión.
3. Insertar el código que registra visitas en cada versión.
4. Fijar el objetivo de conversión asociado al test. Por ejemplo, clic en un botón.

Este procedimiento es bastante trivial y herramientas como Google Website Optimizer nos lo ponen fácil. Sin embargo, más fácil todavía nos lo ponen herramientas como Optimizely o Visual Website Optimizer, puesto que nos permiten editar visualmente (WYSIWYG) la página que queremos testear

En el escenario del testeo MVT, en cambio, las páginas no son vistas como un todo, sino como un conjunto de secciones (botones, texto, imágenes, enlaces, etc.). Así que es necesario añadir códigos de seguimiento específicos para cada sección que variamos respecto la original. Un procedimiento no tan trivial como la implementación A/B.

El test A/B tiene una fácil interpretación de resultados

¿Qué versión funciona mejor?. ¿A?, ¿B? o ¿C?. ¿Cuantos ingresos de más proporciona C respecto A? A priori, estas son las únicas preguntas que nos hacemos cuando vemos un informe de resultados para un test A/B.

De todas maneras, si fuimos rigurosos con el planteamiento de hipótesis, la interpretación de resultados del test A/B también debe contrastarse con estas. En la fase de análisis de resultados es importante hacer un ejercicio de retrospectiva, valorando el impacto de los cambios realizados en base al trabajo de investigación cualitativa (análisis de comportamiento de usuarios, heurístico, voice of customer, etc.) hecho semanas o meses anteriores al testeo.

El test A/B obtiene resultados más rápidamente

Una de las principales lacras del testeo es el tiempo de espera mientras tiene lugar la recogida de muestras. En buena parte esto es así puesto que los informes generados por las herramientas de test necesitan un mínimo de datos para extraer conclusiones estadísticamente significativas.
Tardar más o menos en obtener datos fiables depende de una combinación de las siguientes variables:

• Número de visitantes diarios
• Ratio de conversión
• Número de variaciones
• Ratio de mejora estimado
• Cuota de visitantes sobre los que se aplica el experimento

Precisamente el número de variaciones es el que normalmente hace que un test MVT lleve más tiempo que un test A/B para obtener resultados significativos. Esto es así ya que en el test MVT habrá tantas variaciones como versiones alternativas para cada sección que hayamos escogido. Contrariamente (y paradójicamente) la libertad de edición que tolera un test A/B hace que planteemos testeos en los que normalmente se dan un número de versiones alternativas menor que el número de combinaciones de secciones de un test MVT.

En cualquier caso, antes de empezar un test o incluso antes de decidir que página testear, es imprescindible utilizar la calculadora de Google Website Optimizer. Nos dice cuanto tiempo necesitará nuestro experimento para obtener resultados significativos

El test A/B evita caer en un máximo local

En el campo del testeo es importante ser consciente del problema del máximo local. El máximo local es testear y obtener ratios de mejora significativos pero situados muy por debajo del ratio de mejora al que la página que testeamos puede aspirar, el máximo global. Este fenómeno es habitual cuando se realizan tests que giran alrededor de pequeñas variaciones en la página que se testea. Algo habitual cuando se plantean testeos multivariados.

Un test A/B podría involucrar pequeñas variaciones, pero debe ser tomado como una oportunidad para cambiar radicalmente la página que se testea. A nivel de estructura, diseño, contenido, desde los grandes cambios hasta los pequeños detalles. De este modo, para bien o para mal, saltaremos de una zona de máximos locales a una zona de máximos (o mínimos) globales. Es decir, conoceremos numéricamente a que puede llegar a aspirar nuestra página en cuanto a ratio de conversión se refiere.

Un genial artículo sobre los máximos locales es este: The Local Maximum

¿Crees que el test A/B es mejor que el MVT?

¿Qué opinas? Deja tu comentario y hablamos

Concretamente se trata de un experimento en la home page de Youtube en inglés, y su principal meta consistía en aumentar el número de usuarios registrados.

De la mano de VKI Studios, como WebAnalytics.es consultor autorizado de Google Website Optimizer (WOAC), realizaron un macro test de 1.024 combinaciones resultantes de 3 secciones distintas.

Según dicen, encontraron una versión ganadora que rendía un 15.7% mejor que la original.

Página original:

Versión ganadora:

Si os interesa saber más detalles como por ejemplo el conjunto de variaciones que testearon, os dejo el link original aquí:

http://youtube-global.blogspot.com/2009/08/look-inside-1024-recipe-multivariate.html

Paradógicamente, hoy estaba pensando en todos estos temas de los que hemos do hablando y me he dado cuenta que quizá hemos pasado por alto los temas más básicos (que no menos interesantes). Es por eso que iremos recuperando el tiempo perdido y veremos cosillas que para algunos serán pan comido y que para los que se inician en la materia espero que les sea de gran ayuda.

Dicho esto, hoy con nosotros: Los tipos de landing pages

¿Pero que es una landing page?

Una landing page es lo que conocemos como “página de aterrizaje”, o lo que es lo mismo la página a la que dirigimos nuestras campañas de Adwords, Overture o acciones de mailing, aunque también pueden ser aquellas páginas por las que estamos bien posicionados orgánicamente y suelen ser puerta de entrada a nuestro site.

¿Cómo son estas landing pages?

Básicamente, tenemos 2 tipos de landing pages en función de su propósito y arquitectura:

• Página aislada / Microsite
  Estas son páginas que diseñamos especificamente para una campaña o acción puntual. Son excelentes candidatas para ser optimizadas, ya que sobre ellas tenemos un control muy preciso sobre el tráfio que reciben y podemos enfocar muy bien el mensaje en función del segmento de usuarios a los que nos dirigimos. Por otro lado, al ser páginas estáticas independientes de la estructura de toda la web, plantear cambios no suele ser ningún drama.
  
  
• Página del sitio principal
  Las páginas de nuestro website principal también son candidatas a ser testeadas. Tendremos que consultar datos de nuestra herramienta de medición, pero las páginas mas “clásicas” son la ficha de producto, la/las paginas de contacto… etc. En este escenario nuestro control será menor y el tráfico que recibamos mucho más diversificado.

Antes de plantear un experimento debemos pensar que página estamos testeando, asi como cual será nuestro objetivo y que métrica usaremos para determinarlo. Esto es lo que veremos próximamente… Del mismo modo que tenemos distintos tipos de landing pages, también podemos tener distintos tipos de conversiones que hay que tener en cuenta.

Básicamente existen 2 maneras o metodologías para calcular la receta ganadora en nuestros experimentos multivariantes: el fractorial factorial y el full factorial. Al hablar de este tema nos metemos de lleno en temas matemáticos y de estadística, así que para no aburriros mejor os cuento las diferencias entre las dos técnicas y cuales son sus puntos fuertes y débiles.

Fractorial fatorial

Esta técnica viene derivada del método Taguchi y a grandes rasgos lo que propone es realizar una gran cantidad de tests reduciendo mucho el coste. En la ayuda de Website Optimizer se pone un buen ejemplo para entender esto. ¿Que pasaría si en lugar de testear páginas web testearamos que combinación de elementos de un coche proporiona más seguridad en una colisión? Por variables tendríamos tipos de ruedas, airbags, chasis, lugar donde se coloca el motor… y todas aquellas que os ocurran. Rápidamente nos damos cuenta que para probar todas las combinaciones necesitaríamos destruir unos cuantos (muchos) coches… De ahí nace la idea del método. ¿Porque no utilizar solo unos 4 o 5 coches y aproximar los resultados? Nos ahorramos una pasta… Más o menos esto es lo que se aplica al testeo multivariado.

Optimost o Test&Target son ejemplos de herramientas basadas en esta metodología.

Lo bueno

• El fractorial factorial nos permite realizar experimentos con muuuuuchas combinaciones (aunque en realidad no todas ellas son testeadas).
• Obtenemos resultados más rápidamente, algo bastante importante en según que modelos de negocio. Siempre con las prisas en internet…

Lo malo

• Dado que no se prueban todas las combinaciones posibles, perdemos de vista el contexto y la interacción entre elementos. Hay ejemplos en los que experimentos realizados on esta técnica fracasan, entendiendo como fracaso que se deje de testear una combinaión mejor que el resto (a veces mucho mejor).

Full Factorial

Por otro lado, en el full factorial si que utilizamos todas las combinaciones posibles para determinar un ganador y dado el gran volumen de posibles combinaciones, nos hace falta mas usuarios, conversiones y tiempo para realizarlo. Nos hace falta mas de todo

Google Website Optimizer utiliza full factorial.

Lo bueno

• La confianza en los resultados. Todas las combinaciones son probadas y el ganador sale exclusivamente de las acciones de los usuarios. No le hemos  metido mano diciendo que elementos son importantes y cuales no. La combinación ganadora es realmente la que nos mejora el ROI.

Lo malo

• Otra vez volvemos a lo de antes, la velocidad. No tendremos resultados de un test en una semana, y normalmente un experimento durará un mes o más.

Tim dice que el siempre trabaja en full factorial, pero en este tema me encuentro con diversidad de opiniones. ¿Tu con cuál te quedas?

Hay veces que el ímpetu y las ganas de testear (o simplemente la inexperiencia) nos llevan a realizar test y test probando todo aquello que nos pasa por la cabeza. Los más avanzados en la materia deben estar sonriendo al recordar ese momento inicial dominados por la excitación… colores, copys, tamaños, posiciones, logos… ¡miles de posibilidades!

En el testing, al igual que en cualquier otra disciplina, es necesario establecer una planificación y unos objetivos previos.

Define tu objetivo

Antes de empezar cualquier tipo de experimento tenemos que tener muy claro que queremos conseguir con el. ¿Queremos más ventas? ¿Más clics? ¿Reducir el abandono en el checkout? ¿Aumentar la media de tiempo que los usuarios pasan en mi página? Estos son sólo unos ejemplos, cada experimento busca una finalidad y esta debe estar clara.

Cuantifica tu objetivo

Vale, sabemos lo que queremos conseguir, ahora nos falta especificar en que grado. No será igual el experimento que busque un aumento de conversión del 5% a uno que el 10 o 20. Hay que saber donde esta la meta y preparar la carrera en consecuencia. ¿Qué pasaría si metiéramos a Uassain Bolt en una carrera de 3000 metros o en una maratón? Aun siendo un súper atleta, toda su preparación está en base a otra disciplina por lo que lo tendría jodido…

Concreta como vas a conseguir lo que te propones

Para futuras consultas y referencias, define cuales son tu o tus páginas de test y cual es tu página de conversión. También deja muy claro que cosas o diferencias vas a poner a prueba y no te líes o vayas por las ramas. Define con rigor tus variables y sus variaciones. Si decides que vas a probar entre diferentes tipos de manzanas, no metas una pera J

¡Haz apuestas!

Pilla a un par de amigotes del departamento y apostaros una birras a ver quien adivina la combinación ganadora. Anota tus hipótesis. Además de un lúdico y divertido juego, luego podrás saber si aciertas o no, y como de cerca o lejos tienes tu visión del usuario.

Llegó el momento

Pon en marcha tu experimento. Involucra a todos aquellos actores que sea necesario e intenta que se sientan interesados y partícipes del experimento. Si no eres técnico necesitaras a alguien con conocimientos para que te lo prepare. ¡Genera las variaciones y dale al play!

Espera y analiza

Si espera, si. No tendrás resultados en 2 días. Tampoco en una semana. Usa herramientas como la calculadora de ratios de conversión y tiempos de duración de un experimento o espera a que GWO te diga que ya tiene datos fiables. Contrapone los resultados con tus expectativas e hipótesis. ¿Lo conseguiste? ¿Diste con una receta ganadora? ¿Es la que esperabas? Lo bueno del testing es que si aciertas te sientes lleno y feliz y si no… pues también Seguimos en el camino para entender a nuestro usuario y dimos otro paso más ¡bien!

Resumiendo

Planifica tus experimentos. Incluso puedes hacerte un planning anual con los que llevaras a cabo durante el año siguiente. En estas épocas nos prestamos a hacer planes J

Y recuerda:

1. Define tu objetivo
2. Cuantifica tu objetico
3. Define al detalle tu experimento
4. Anota tu resultado esperado
5. Crea tu test
6. Espera y analiza

Y luego… ¡Vuelta a empezar!

¿Podemos utilizar Google Website Optimizer para realizar experimentos entre ellos?

Esta suele ser una pregunta bastante recurrente y la respuesta es sí, sin ningún problema.

Para ello deberemos realizar unas pequeñas modificaciones en los códigos de GWO de nuestras páginas:

1. Deberemos añadir _udn=”nuestrodominio.es”; en el tracking script (el que se coloca justo antes de la etiqueta </body>) de las páginas de prueba y conversión, de modo que el código nos quede de la siguiente manera:
   <script>
   _uacct='UA-XXXXXX-X';
   _udn="nuestrodominio.es"
   urchinTracker("/xxxxxxxxxx/xxxx")
   </script>

2. En la página en la que realizamos el testeo deberemos añadir estas líneas justo antes del control script (el que se coloca en el header)
   <script>
_udn="nuestrodomino.es"
</script>
<script>
function utmx_section(){}function utmx(){}
(function(){var k=’0151221625',d=document,l=d.location,c=d.cookie;function f(n){
if(c){var i=c.indexOf(n+’=');if(i>-1){var j=c.indexOf(’;',i);return c.substring(i+n.
length+1,j<0?c.length:j)}}}var x=f(’__utmx’),xx=f(’__utmxx’),h=l.hash;
d.write(’<sc’+'ript src=”‘+
‘http’+(l.protocol==’https:’?’s://ssl’:'://www’)+’.google-analytics.com’
+’/siteopt.js?v=1&utmxkey=’+k+’&utmx=’+(x?x:”)+’&utmxx=’+(xx?xx:”)+’&utmxtime=’
+new Date().valueOf()+(h?’&utmxhash=’+escape(h.substr(1)):”)+
‘” type=”text/javascript” charset=”utf-8?></sc’+'ript>’)})();
</script>

Añadiendo estas pequeñas modificaciones permitiremos a GWO que compruebe que el formato de las secuencias de comandos sea la correcta y poder testear normalmente.

En esta página simplemente se nos muestra información referente a las páginas de testeo y conversión (urls y vista previa de las combinaciones) y se nos permite definir la cantidad de tráfico que se dirigirá a la prueba.

Podemos escoger el % de tráfico que creamos oportuno, aunque el 10%, 25%, 50%, 75% y 100% ya vienen predefinidos. El volumen de tráfico deberemos escogerlo según nuestro modelo de negocio, el tráfico que llega a nuestra web, el revenue que generamos, la agresividad de nuestros cambios, etc… Cada sitio web tiene sus particularidades aunque por norma general, y siempre que tu sitio web tenga un volumen de tráfico elevado, podemos aplicar cambios alrededor del 20% de la gente que nos visita siendo ésta una buena muestra para el total de nuestros usuarios. Aún así, insisto en que cada web y sus cambios planteados son escenarios distintos.

Después de esto ya lo tendremos todo listo. Guardamos los cambios y el testeo pasará a ejecutar-se y a recopilar datos… y un poco de paciencia! Que a los dos días aún no tendremos resultados

Ir a:

< Anterior paso

A aquellos que al ver una línea de código os coge urticaria deciros que calma, es fácilisimo Google Optimizer nos presenta una página donde nos da los codigos a inserir y explica paso a paso que tenemos que hacer:

1. En la página donde realizaremos las pruebas: Tenemos que colocar el código de control en cualquier lugar entre las etiquetas <head>…</head>. Este código se encarga de conectar con los servidores de Google, recoger las variaciones creadas y servir una (si, aún no hemos creado las variaciones, ya llegaremos ahi jeje). Os tiene que quedar algo parecido a esto:

   <head>
   ...
   <script>

   function utmx_section(){}function utmx(){}

   (function(){var k='0151221625',d=document,l=d.location,c=d.cookie;function f(n){

   if(c){var i=c.indexOf(n+'=');if(i>-1){var j=c.indexOf(';',i);return c.substring(i+n.

   length+1,j<0?c.length:j)}}}var x=f('__utmx'),xx=f('__utmxx'),h=l.hash;

   d.write('<sc'+'ript src="'+

   'http'+(l.protocol=='https:'?'s://ssl':'://www')+'.google-analytics.com'

   +'/siteopt.js?v=1&utmxkey='+k+'&utmx='+(x?x:'')+'&utmxx='+(xx?xx:'')+'&utmxtime='

   +new Date().valueOf()+(h?'&utmxhash='+escape(h.substr(1)):'')+

   '" type="text/javascript" charset="utf-8"></sc'+'ript>')})();

   </script>
   </head>

   También es necesario un codigo de seguimiento para trackear los resultados del experimento. En este caso debemos colocarlo justo antes de la etiqueta </body>.

   ...
   <script>

   if(typeof(urchinTracker)!='function')document.write('<sc'+'ript src="'+

   'http'+(document.location.protocol=='https:'?'s://ssl':'://www')+

   '.google-analytics.com/urchin.js'+'"></sc'+'ript>')

   </script>

   <script>

   _uacct = 'XX-XXXXXXX-X';

   urchinTracker("/0151221625/test");

   </script>
   </body>

   Sólo nos falta detectar las zonas a modificar. Para ello las encerraremos dentro del siguiente tag, <script>utmx_section(“Nombre del elemento”)</script>CODIGO</noscript>. En nuestro ejemplo nos quedaría el código de la siguiente manera:

   <script>utmx_section("Pestaña About")</script>
   <a title="About" href="http://www.trucosoptimizacion.com/index.php/about/">About</a>
   </noscript>

   La idea consiste en “marcar” todas aquellas zonas de las que luego queremos realizar modificaciones. Ahora no realizamos ningún tipo de cambio, simplemente le estamos diciendo a Google Optimizer que elementos luego modificaremos

2. En la página de conversión: Aquí debemos colocar otro tracker que se nos proporciona a fin de hacer seguimiento de cuales son las versiones que han derivado en una conversión o consecución de objetivo. Del mismo modo que el tracker de la página de testeo, debemos colocarlo justo antes de la etiqueta </body>

   ...

   <script>

   if(typeof(urchinTracker)!='function')document.write('<sc'+'ript src="'+

   'http'+(document.location.protocol=='https:'?'s://ssl':'://www')+

   '.google-analytics.com/urchin.js'+'"></sc'+'ript>')

   </script>

   <script>

   _uacct = 'XX-XXXXXXX-X';

   urchinTracker("/0151221625/goal");

   </script>

   </body>

   Ya tenemos el experimento configurado… Empecemos a crear variaciones!

   < Anterior paso
   
   Siguiente paso >

En este pequeño test, intentaremos averiguar que copy nos genera un mejor click throught hacia la página about del blog. Empecemos:

Realizaremos el experimento con la herramienta gratuita Google Website Optimizer, así que el primer paso consistirá en conseguir una cuenta de google, si es que aún no la tenemos, jeje.

Paso a paso:

1. Acceder a Google Website Optimizer.
2. En la primera página nos encontraremos con un listado de todos nuestros expermientos, así como el estado en el que se encuentran.
   Haremos clic en:
3. Google Optimizer nos permite realizar 2 tipos de pruebas: AB Testing y Multivariate Testing. En anteriores artículos hablamos acerca del testeo de diferentes versiones de página con el método AB. En Google Optimizer es extremadamente fácil preparar un experimento de este tipo y nos evita tener que programar una herramienta “in house”. Hoy realizaremos un testeo multivariado, que consiste en realizar pequeñas modificaciones en diferentes partes de la página y comprobar que combinación de ellas es la que nos convierte mejor.Haremos click en “Crear” en el apartado de test multivariado:
4. En la siguiente página veremos los pasos a seguir para realizar nuestro experimento.Haremos click en:
   
5. El primer paso importante es identificar las páginas dónde realizaremos el experimento. La página con variaciones y la página de conversión u objetivo.Daremos un nombre al test:
   
   Identifiacaremos la página donde de la que se servirán combinaciones:
   
   Finalmente introduciremos nuestra página de conversión y haremos click en “Continuar”
   
6. A continuación nos aparecerá una pantalla que nos dará algunos consejos para la planificación del experimento. Pulsamos el botón “Continuar” y nos dirigimos a la siguiente página.
7. En este punto, Google Optimizer nos preguntará si vamos a realizar nosotros mismos las modificaciones en el código fuente o si tenemos a un equipo de desarrollo para ello. En nuestro ejemplo continuaremos modificando el código pero si se prefiere dejar ese trabajo para los programadores, o si simplemente no se tiene acceso al código, en este punto Google Optimizer nos brinda la oportunidad de enviar un correo electrónico con una URL a nuestro responsable de desarrollo para que prosiga con el proceso y nos lo notifique cuando esté listo.
   

Siguiente paso >

Demos la llave a los usuarios, olvidémonos de nuestras preferencias personales y dejemos que sean nuestros usuarios/clientes quien decida que funciona y que no.

Dejemos impresionados a lo que Avinash bautiza como HiPPOs (Highest Paid Person Opinion)… Convence a tu jefe para realizar un pequeño experimento (ni que sea un mínusulo cambio de copy). Hay que ser arriesgados. Probar, fastidiarla, volver a probar, encontrar una mejora, volver a probar… Muéstrale luego los incrementos en el ROI y dejad seduciros por la toma de decisiones basada en datos.

“Es que vamos hasta arriba de trabajo y el pull de proyectos que hay en IT es interminable…”

Ok, estamos deacuerdo, el trabajo nos abruma… Pero quien dijo que empezar ya mismo a testear fuera una gran carga? Puedes empezar a testear con Google Website Optimizer en menos de 5 minutos y seguir con tu trabajo a la espera de resultados.

Sin duda los sites que aposten por estas técnicas ganarán en ventaja competitiva y liderarán sus mercados.