Categorías: Analítica web, Diseño, Usabilidad

¿Por qué la grabación remota de usuarios no sirve para nada?

Publicado el 22 septiembre 2010 por .

Dentro del gran abanico de herramientas para el estudio remoto del comportamiento de los usuarios en un sitio web (tales como ClickTale, Mouseflow, Userfly, etc.), las hay que incluyen la grabación del movimiento del ratón en su lista de funcionalidades.
Esta funcionalidad es a priori de aquellas que impactan, de aquellas que cuando ves por primera vez dices: “¡Que bueno!”. Pero en realidad, hasta el día que intentas utilizar esta funcionalidad no te das cuenta de que no aporta ninguna utilidad real. Veamos porque…

Problema de base

Pensemos en el test con usuarios clásico llevado a cabo en un laboratorio de usabilidad. El escenario está formado por el usuario sujeto participante al cual se grabará su expresión facial, voz y acciones que vaya realizando sobre la interfaz que se evalúa y mientras trate de completar una determinada tarea. Una tarea que está preestablecida por el moderador del estudio.
Saltando al método de análisis remoto, encontramos un escenario en el que prácticamente podemos recoger toda la información que conseguimos mediante el método clásico o presencial a diferenceia de que en esta ocasión el sujeto participante está en su casa mientras su navegación está siendo silenciosamente grabada. Sin embargo, la gran diferencia radica en que ahora no hay una tarea preestablecida y el usuario tratará de realizar aquella tarea que tenga en su mente y que la web que se está evaluando, en principio, le permitirá completar.
Este matiz es en realidad el gran handicap de las grabaciones remotas respecto al test presencial y con moderador.

Intentando entrar en detalle, vamos a ver la gran diferencia en la forma de proceder con un análisis después de grabar el movimiento del cursor en un test presencial y en un test remoto.

Análisis de un test presencial

A grandes rasgos…

  • Primer paso: identificar la tarea que se pidió completar al sujeto participante. Para esta tarea, el evaluador conoce el camino o los múltiples caminos que permiten completarla y que ofrece el sistema que se evalúa.
  • Segundo paso: revisar simultáneamente la grabación de voz, video facial y el rastro del movimiento y acciones del ratón o teclado. Esta grabación, idealmente deberá estar etiquetada con comentarios en aquellos puntos considerados determinantes para la buena, o mala, consecución de la tarea. La observación del audio y video complementan con información cualitativa la grabación del ratón y sus acciones asociadas a lo largo de la interfaz.
  • Tercer paso: anotar incidencias en los elementos de diseño o navegación que hayan resultado de trascendencia en el paso anterior.

Análisis de un test remoto

  • Primer paso: reproducir las grabaciones del rastro del ratón y clics para cada usuario que visitó el sitio web.
  • Segundo paso: confiar en la casualidad para encontrar algo curioso. Y curioso puesto que se trata de un análisis que se realiza totalmente a ciegas. A ciegas porque que no sabemos que buscamos, ya que al no haber una tarea preestablecida no se puede evaluar el éxito o fracaso de la misma. Por  lo tanto quedamos en manos del azar y dado que normalmente la cantidad de grabaciones recogidas es enorme se suele desistir después de haber repasado la primera decena.

Precisamente de este último punto surge otra de las grandes características que hacen poco práctico este método de análisis. Se trata de que, tal como está concebido, tanto la recogida como el análisis de las muestras se realiza de forma individual y no agregada. De este modo, además de no poder extraer conclusiones a través de patrones de comportamiento, tampoco es posible realizar el análisis de una forma ágil y rápida.

¿Está todo perdido?

No del todo. Hay casos en los que realmente si tiene sentido analizar la grabación del movimiento del ratón.
Por ejemplo, es realmente interesante observar como se comportan los usuarios a lo largo de un formulario. En estas pantallas el objetivo está bien definido: rellenar los campos del formulario. Precisamente, la mayoría de los problemas en estas pantallas surgen a raíz de problemas de interacción que se solucionan con pequeñas mejoras en el diseño o disposición de los elementos. Con las grabaciones del cursor del ratón, estos conflictos de interacción suelen saltar a la vista.
Otro de los casos en los que es interesante utilizar está técnica, tiene que ver con todos aquellos sitios web en los que haya poca variedad de opciones. Dicho de otra manera, un sitio web o pantalla que tenga un único objetivo. Por ejemplo: el objetivo de la home de Google es realizar una búsqueda, el objetivo de cualquier shopping cart es completar la compra, etc. La gracia es que este objetivo normalmente coincide con la tarea que el usuario tiene en mente realizar, por lo que en estos casos podemos realizar un análisis coherente con la situación real.

Entonces, ¿grabación si o grabación no?

Por norma y sin haber impuesto una tarea concreta al usuario, analizar la grabación del rastro del ratón sólo será útil en aquellos casos en los que queramos analizar problemas al uso para una pantalla que tenga un cometido y que este coincida con la tarea que el usuario quiere realizar.

Espero que os sea útil.
Hablamos en Twitter @drodriguezlopez ;)

Tags: , , ,

6 Comentarios

  1. pere rovira Dice:

    interesante reflexión, contra las modas! :)
    hay herramientas de grabación remota que moderan la tarea del usuario, como loop11. ¿qué opinión te merece?

  2. Daniel Rodríguez Dice:

    Opciones como Loop11 solucionan el problema, ya que se impone una tarea a completar por los participantes. Aunque el factor delicado con estas soluciones es depender de un banco de usuarios que esten dispuestos a participar.

  3. David Amorós Dice:

    Hola,

    después de leer tu artículo, ya veo porqué probé estas herramientas un tiempo y después me olvidé de ellas… ;)

    Me has llevado a una reflexión… qué pasaria si pudieras definir las tareas, y la herramienta agrupara las visitas en función de ello?

    Evidentemente, solo tendríamos información de los usuarios que “empiezan” una tarea como pensamos nosotros, pero seria un avance.

    Pensemos que tenemos, en una página, diferentes acciones: enviar feedback a través de un botón, realizar una compra a través de un enlace… Podríamos agregar estas visitas que realizan la misma acciòn y _suponemos_ realizan la misma tarea.

    A partir de ahí sí se podría realizar un estudio más focalizado, no creéis?

    A ver si alguien saca esta herramienta ;)

    Saludos!

  4. Daniel Rodríguez Dice:

    Hola David, con la solución que propones seguro que se podría hacer un análisis mucho más ajustado a la realidad. Agrupar las grabaciones de pantalla según acciones comunes realizadas por los usuarios si permitiría focalizar el estudio. Aunque en realidad, esto ya se contempla de algún modo con los embudos de conversión que se pueden programar en ClickTale y permiten ver las grabaciones a lo largo de las N pantallas involucradas en un proceso.
    Pero eso sigue sin resolver el problema de base: no sabemos si el usuario que observamos realmente quería hacer la tarea que nosotros como meros observadores creemos que quiere hacer. Este problema se minimiza cuando se observan grandes volumenes de datos, como es el caso, pero el hecho de que la observación sea individual (video a video) convierte la tarea en casi inviable.

  5. Juano Dice:

    Tenía cierta sospecha, pero se acaba de demostrar que no tienes ni idea.

  6. Daniel Rodríguez Dice:

    Hola Juano, por algún motivo tu comentario estaba pendiente de moderación.
    Los comentarios son para intercambiar opiniones así que te animo a que expreses la tuya sobre este artículo. En detalle.
    Un saludo ;)

1 Trackbacks

  1. Tweets that mention ¿Por qué las grabaciones de usuario remotas no sirven para nada? | Trucos Optimización -- Topsy.com Dice:

    [...] This post was mentioned on Twitter by Oriol Farré, AranchaC, Laura Sánchez, Germán Munuera, Cristina Mataix and others. Cristina Mataix said: ¿Por qué la grabación remota de usuarios no sirve para nada? http://t.co/tYCuNJi via @drodriguezlopez [...]

Deja tu comentario