Categorías: Herramientas, Usabilidad

Test remoto de usuarios. 3 herramientas que cambiarán para siempre la usabilidad

Publicado el 02 febrero 2011 por .

El test de usabilidad está saltando del laboratorio a nuestra casa. No es una opinión, es una evidencia. Cada día hay más herramientas que permiten conducir tests de usabilidad remotos.

Personalmente, estoy muy a favor del test de usabilidad remoto. Por estos dos motivos:

  • El despliegue logístico que comporta un laboratorio de usabilidad es elevado. Eso convierte a los laboratorios de usabilidad en caros y poco accesibles.
  • El entorno de laboratorio poco tiene que ver con el lugar habitual donde utilizaremos esa aplicación que se testea. Esa incomodidad puede desviar los resultados.

Si la tecnología lo hubiese permitido antes, ¿crees que los laboratorio de usabilidad hubiesen llegado a existir alguna vez?

Por ahora, 3 herramientas que logran poner al alcance de muchos los tests de usabilidad. Precios, funcionamiento, participantes, ventajas, inconvenientes, y algún que otro detalle más ;)

UserTesting

UserTesting

Usertesting cuesta $39 y su Twitter es @usertesting.

Creación test: Para configurar un test cabe especificar la URL y describir el escenario que se le planteará al participante. A continuación se especifica el listado de tareas que deberán realizarse.

Selección de participantes: Los participantes forman parte de un panel. Este se localiza, en su mayor parte, en Estados Unidos (85%), también en Canada y Reino Unido.
Dentro del panel, se ofrece la posibilidad de seleccionar algunos aspectos demográficos como la edad, sexo, país, salario, experiencia web y otros (como “propietario de un negocio” o “usuario de Facebook con más de 200 amigos”).

Análisis resultados: Video de grabación del rastro del ratón durante la sesión de test acompañado por el think aloud del usuarios. También resumen de sugerencias que los usuarios proponen para cada sitio web y tarea.

Ventajas:

  • La configuración de un test es rápida.
  • Precio.

Pseudo-ventaja: Una vez Steve Krug dijo: “UserTesting.com is perfect for quick-and-dirty usability testing. It’s inexpensive, requires almost no effort, and gets you results incredibly quickly (often in just a few hours).” ;)

Inconvenientes:

  • Los participantes se limitan al panel. Y este sólo está localizado en Estados Unidos, Canada y Reino Unido.

Userlytics

Userlytics

Userlytics cuesta $229 :o

Creación test: Userlytics ofrece la posibilidad de testear páginas web en funcionamiento, pero también prototipos UI de web u otras aplicaciones. Según se trate, el servicio dirige a los participantes hacia la tarea que se evalúa en una página web, o bien permite subir a un servidor el prototipo que se quiera testear.

Selección de participantes: Los participantes de Userlytics forman parte de un panel, pero la herramienta da como opción que el propio creador del test invite a usuarios. Para esto último tan sólo es necesario proporcionar el e-mail de los participantes que se quiera invitar, y Userlytics gestionará el proceso de participación así como la correspondiente recompensa al completar el test.

Análisis resultados: Userlytics graba la pantalla durante la sesión completa del usuario. También recoge la narración del participante y su expresión facial.
Además, los usuarios podrán dejar su feedback contestando una serie de preguntas relacionadas con cada una de las pantallas que se evalúan.

Ventajas:

  • La opción que intenta ser lo más fiel posible al test de usabilidad en laboratorio. Pues obtenemos grabación de voz, de expresión facial y de sesión en pantalla.
  • Permite testear software, no sólo web, a partir de prototipos.
  • Permite escoger participantes más allá de un panel.

Inconvenientes:

  • Precio

Loop11

Loop11

Loop11 cuesta $350 y su Twitter es @Loop11

Creación test: El proceso para crear un test permite la introducción de tareas o preguntas a modo de cuestionario.
Las tareas están orientadas a la medición de objetivos cumplidos, así que uno de los requisitos a la hora de introducir una tarea es el de especificar la URL inicial y la URL objetivo.

Selección de participantes: Loop11 ofrece hasta 4 fórmulas diferentes en cuanto a invitación de participantes. Desde la creación de una URL para distribuir a quien nos interese, hasta la posibilidad de pago por participantes de un panel on-line. También ofrece la opción de crear una invitación en forma de pop-up que se abrirá en la web a testear.

Análisis resultados: El sistema de reporting de Loop11 difiere del resto de herramientas.
Loop11 presenta los resultados de manera agregada, utilizando métricas de usabilidad y dejando a un lado las grabaciones de video, voz o rastro del mouse en pantalla. Algunas de las métricas definidas en Loop11 son: ratio de compleción de una tarea, número de clics necesarios, tiempo requerido o grado de satisfacción entre otros.
Por otro lado, los resultados que se presentan de manera agregada por defecto, también se pueden analizar de manera individual. Viendo las particularidades para cada uno de los participantes.

Ventajas:

  • Interpretación rápida de datos ya que estos se agregan en métricas.
  • La selección de participantes no se limita a un panel. Puede participar todo el mundo.

Inconvenientes:

  • Las métricas cuantitativas tratan de explicar información cualitativa. Sin embargo, estas nunca darán todos los matices que si proporciona la información cualitativa (sea un video de expresión facial, o un think aloud). Además, acumular resultados en métricas significa necesitar un alto número de participantes para extraer conclusiones significativas.
  • Precio.

¿Que opinas?

Y tu, ¿cual eliges?, ¿prefieres las herramientas al laboratorio?, ¿crees que los laboratorios de usabilidad tienen los días contados?

Tags: , ,

11 Comentarios

  1. pere rovira Dice:

    personalmente, me da la sensación que todavía no tenemos el software definitivo de testeo en remoto. me gusta que señales pros y contras de cada uno, pues pone de manifiesto que la solución ideal combinaría los puntos fuertes de las tres herramientas mencionadas. ¿para cuándo una empresa española que se anime a desarrollarlo?

  2. julien Dice:

    Me gusta mas userlytics

  3. Alfonso de la Nuez Dice:

    Pere, “¿para cuándo una empresa española que se anime a desarrollarlo?”

    Es curioso que nosotros que llevamos ya casi 10 años en el sector, con oficinas en Barcelona, Silicon Valley y UK, con clientes como Google, Paypal, IBM, Amazon, etc, y aún no se nos conozca… :D

    Las herramientas mencionadas arriba tienen cada una un enfoque distinto, siendo Usertesting.com y Userlytics muy parecidas. Nosotros hemos elegido orientarnos más hacia la Gran Cuenta, con una estructura de precios distintos, con una capa de servicios añadida y, sobre todo, con una amplia gama de features y funcionalidades. Esto hace quizás que seamos menos populares…

    Definitivamente el remote usability testing está aquí para quedarse y cada vez tiene más adeptos.

    Para que conozcáis un poco más sobre el tema, os invito a leer los siguientes artículos:

    >> http://johnnyholland.org/2010/08/25/how-to-shop-for-unmoderated-usability-testing-tools/

    De nuestro blog tenéis de todo, desde artículos a Webinars, etc:

    >> http://www.userzoom.com/blog

    Además, tenéis varios libros que han salido recientemente:

    >> http://www.amazon.com/Beyond-Usability-Lab-Large-scale-ebook/dp/B003M5HTOK

    >> http://www.amazon.com/Remote-Research-Real-Users-Time/dp/1933820772/ref=sr_1_cc_3?ie=UTF8&qid=1296755369&sr=1-3-catcorr

    Finalmente, si os interesa conectar con nosotros aquí en UserZoom, ya tenéis mi email (alfonso@userzoom.com y @userzoom en Twitter)

    Un último favor: Que no pase como muchas otras cosas en España en el que no te reconocen tanto en tu propio país como fuera. Nuestro equipo de programadores están todos en Barcelona, creo que hemos llegado muy lejos y estamos muy orgullosos de ello. Cualquier ayuda a la hora de comentar este tema, bloguear, twitear, etc, será bienvenida…

    Saludos!
    Alfonso

  4. Alfonso de la Nuez Dice:

    Ah! Por cierto: Userlytics es semi-Spanish.

    http://www.userlytics.com/about-us;jsessionid=CC5B02E769707E0DCB3D1FAC7C3E5BEF

    Su I+D está en Madrid y tb tienen oficina aquí en Silicon Valley.

  5. Alfonso de la Nuez Dice:

    Veo que mi comentario previo no ha sido admitido. Si he dicho algo que no ha gustado, me lo podéis decir abiertamente. No hay problema, sólo intento añadir información…

  6. Daniel Rodríguez Dice:

    Gracias por vuestros comentarios.

    Añadiria a la lista de herramientas userzoom y whatsuersdo.

    Pere, es cierto que combinando las ventajas de cada herramienta tendriamos una solución bastante interesante. Aunque tal como está planteada cada una de ellas ahora mismo, permite escoger la que más interesa según necesidad y recursos. Por ejemplo, la recogida de datos y análisis de información de forma cuantitativa (Loop11) conlleva un esfuerzo diferente a la recogida de datos y análisis de información cualitativa (Userlytics).

    Un saludo.

  7. Dolors pou Dice:

    Alfonso creo que Pere se despisto, pues conoce userzoom pues aqui en Privalia tenemos este software y alguna vez que hemos coincidido hemos hablado de ella

  8. Alfonso de la Nuez Dice:

    “Alfonso creo que Pere se despisto, pues conoce userzoom pues aqui en Privalia tenemos este software y alguna vez que hemos coincidido hemos hablado de ella”

    En fin…

    Un beso, Dolors.

  9. Núria Dice:

    Hombre, quizás Pere no publicó la herramienta Userzoom por el precio, puesto que él hablaba de “3 herramientas que logran poner al alcance de muchos los tests de usabilidad”. Y los 9000 anuales de la versión personal de Userzoom no parecen muy asequibles, la verdad.
    Saludos!

  10. victor Dice:

    En mi humilde opinión, estas webs muestran el primer paso de usabiliad que debería dar una empersa para darse cuenta que su presencia en internet tiene “errores” de bulto.

    Un segundo paso sería el análisis de usabilidad experto, que es lo que vengo desarrollando desde hace también unos cuantos años en mi página muchovictor.net.

    Y el tercer paso sería un análisis detallado de usabilidad con tests a usuarios. Y ahí es donde se enfocan otras compañías como ha comentado Alfonso de userzoom, algo asi como las “grandes cuentas” que están muy alejados de la primera “solucion” para usabilidad web que comenta este articulo.

    saludos y enhorabuena por el blog

  11. Aida Dice:

    Para test en remoto rápido, fácil y asequible en España, os presentamos uxline.com

3 Trackbacks

  1. Tweets that mention Test remoto de usuarios. 3 herramientas que cambiarán para siempre la usabilidad | Trucos Optimización -- Topsy.com Dice:

    [...] This post was mentioned on Twitter by Aleyda Solis, Enrique Conches, Marta Brazo, Edu Barredo, Daniel Rodríguez and others. Daniel Rodríguez said: Test remoto de usuarios. 3 herramientas que cambiarán para siempre la #usabilidad http://bit.ly/hnKdwW [...]

  2. El Emperador va desnudo | WebAnalytics.es Dice:

    [...] Test remoto de usuarios. 3 herramientas que cambiarán para siempre la usabilidad por Daniel Rodríguez en Trucos Optimización [...]

  3. 11 indicadores de usabilidad web « Lecturas de Marketing en Internet Dice:

    [...] métricas. La mayoría de ellas se pueden obtener gracias a un estudio de usabilidad presencial o remoto. Sólo 2 indicadores, los encontraremos en nuestras herramientas de analítica [...]

Deja tu comentario