Categorías: A/B Testing, Herramientas

Optimizely A/B testing para Apps

Publicado el 06 mayo 2014 por .

El testing está entrando en un nuevo terreno – las aplicaciones móviles. Las herramientas para experimentos en webs propias, en mails o en anuncios llevan ya bastante tiempo en el mercado, pero faltaba la pieza más reciente. Las aplicaciones móviles no son tan triviales para testear sobre todo por las limitaciones que supone la actualización del código a través de App Store.

Sin embargo, desde hace más de un año existen empresas que se dedican a proporcionar soluciones de este tipo. Hace poco también la herramienta Optimizely de la cuál hemos hablado bastante en nuestro blog, se ha unido al grupo de los que ofrecen testing en las apps. Hemos asistido a su webinar disponible en este enlace y ahora os contaremos un poco más sobre las posibilidades y promesas de Optimizely A/B Testing para Apps

¿Cómo funciona?

Optimizely en su web dice que configurar un test en una app es más rápido que decir “Optimization” :) En realidad es un poco más complicado que esto.

Primero necesitamos descargar SDK, integrarlo en la aplicación e incluir el código del proyecto de Optimizely que hemos creado para esta aplicación. Un proyecto corresponde a una sola aplicación.

Optimizely App test configuracion

Una vez tengamos esto hecho tenemos que hacer una reflexión sobre los tests que queremos hacer. ¿Por qué? Porque existen tres maneras de configurar un experimento:

  1. Optimizely Visual Editor – es el mismo editor que utilizamos para la web. Permite mover los elementos, editar el texto, cambiar estilos, esconder algunas partes de la app, etc. En teoría con el SDK y el código del proyecto insertado en la app ya debería funcionar. Sirve sobre todo para cambios “cosméticos” a nivel visual y es rápido en cuanto a configuración y lanzamiento.
  2. Code blocks – son trozos del código que se pueden activar o desactivar desde la interfaz de Optimizely. En este caso sí que requiere una intervención previa del equipo de IT. Los code blocks sirven principalmente para activar o desactivar diferentes funcionalidades de la aplicación o para alternar la navegación de los usuarios (flujos de checkout, por ejemplo).
  3. Live variables – corresponden a variables cuyos parámetros se pueden modificar. Por ejemplo, para aplicaciones de juegos las variables pueden controlar la dificultad de cada nivel y testear el cansacio / engagement de los jugadores. También requieren de una implementación previa.

En cuánto a los objetivos del tests, la herramienta nos deja seleccionar dos tipos por defecto: “tap” y “transition”. Existen también los “Custom Goals” que funcionan como los objetivos de la web y se tienen que implementar.

 

¿Qué ventajas tiene?

Principalmente una – utilizamos la misma herramienta para el testing de las webs y de las apps. Pagamos sólo una vez por dos cosas :) Y la otra, es la curva de aprendizaje. Si ya hemos utilizado Optimizely para nuestro site, nos será más fácil comprender cómo funciona en caso de las aplicaciones.

 

¿Limitaciones?

De momento está en versión beta (os podéis apuntar aquí https://www.optimizely.com/mobile) y sólo para iOS. Esto seguramente va a cambiar en un futuro próximo, ya que Optimizely últimamente está introduciendo bastantes cambios y se ve que su equipo ha estado trabajando duro. Los participantes del webinar también mencionaban mejoras tipo geotargeting integración con herramientas de analytics y la respuesta de Optimizely fue que quieren incorporar estas sugerencias en su producto (sin especificar la fecha).

En cuanto a los tests que se puede hacer actualmente, la única queja que tenemos es que se dice que son “real-time”. En realidad sí que exigen cierta disciplina y planificación sobre todo si involucran las opciones que se basan en el código (code blocks y live variables). Somos consientes que es una limitación presente en varias herramientas, pero eso sí, nos gustaría tener un poco más de flexibilidad.

 

¿Alternativas?

La alternativa número uno para nosotros es Adobe Target. Ahora mismo, junto con Adobe Analytics, se ha convertido en una herramienta muy potente en cuanto a testing y personalización. Además, Adobe está apostando por la parte de mobile con sus nuevos Mobile Services y la posibilidad de conectar el uso de iBeacons con el móvil, hacer el targeting basado en localización del usuario, etc.

Adobe Target es una opción bastante cara, pero hay muchas más. Nosotros hemos encontrado herramientas como Appiterate, Apptimize, Taplytics, Leanplum y la lista sigue…  ¿Cuál es la mejor? Todavía no se sabe. La cuestión es probarlas, comparar los precios y observar cómo desarrollan sus servicios. Hay que tener en cuenta que muchas de estas empresas son startups y todavía son bastante vulnerables pudiendo no persistir mucho tiempo en el mercado. Por lo cual, optar por  herramientas conocidas como Optimizely no nos parece una mala idea.

¿Y vosotros? ¿Hacéis tests en vuestras aplicaciones? ¿Qué herramienta utilizáis y por qué?

Tags: , , , , ,

Deja tu comentario