Mtodos de evaluacin

1
Métodos de evaluación
2
Evaluación de los diseños

• Tipos de evaluaciones
• Estrategias de campo
• Estudio de los sistemas con tareas y en
• condiciones reales
• Estrategias experimentales
• Experimentos desarrollados en laboratorios
• Estrategias de inspección
• Verificación del cumplimiento de directivas,
  mediciones, etc.
• Estrategias teóricas
• Evaluaciones con base teórica

3
Métodos de Inspección de usabilidad

• Inspección de la interfaz utilizando métodos
  heurísticos (no experimentos)
• Evaluación Heurística
• Un conjunto pequeño de evaluadores examina la
  interfaz, y verifica si satisface los principios
  reconocidos de usabilidad
• Análisis de Acciones
• Análisis cuantitativo de las acciones, para
  predecir el tiempo requerido para determinadas
  tareas

4
Evaluación heurística

• Chequeo sistemático del diseño contra principios
  de usabilidad reconocidos (heurísticas)
• Realizado por un conjunto pequeño de evaluadores
• Algunas heurísticas
• Diseño minimalista (less is more)
• Utilizar el lenguaje del usuario
• Reconocer, no recordar
• Consistencia
• Proveer feedback
• Indicar claramente las salidas
• Proveer aceleradores
• Buenos mensajes de error
• Prevenir los errores
• Ayudas y documentaciones

5
Evaluación heurística

• Realización de una evaluación heurística
• El diseño puede ser una descripción textual, un
  bosquejo, prototipo o un sistema finalizado
• Pueden proveerse evaluadores con conocimiento
  específico del dominio
• Cada evaluador debiera trabajar individualmente
• La interfaz es analizada en 2 pasos
• 1. Centrada en el flujo general
• 2. Análisis de los elementos individuales del
  diálogo
• Las evaluaciones individuales posteriormente
  deben ser compuestas

6
Evaluación heurística

• Cuántos problemas son identificados?
• Las evaluaciones individuales encuentran
  relativamente pocos problemas

7
Evaluación Heurística

• Componer las evaluaciones individuales
• La composición de las evaluaciones individuales
  produce mejores resultados

8
Evaluación heurística
9
Evaluación heurística

• La experiencia de los evaluadores influencia la
  cantidad de problemas hallados
• Tipos de evaluadores
• Novatos (sin conocimiento de usabilidad ni del
  dominio)
• Expertos en usabilidad, pero no del dominio
• Especialistas en usabilidad y con conocimiento
  del dominio
• Hallar todos los errores requiere combinar
  evaluadores de distintos tipos

10
Evaluación heurística

• Ventajas y desventajas
• económico
• intuitivo
• utilizable en las primeras fases del proceso de
  desarrollo
• halla muchos problemas
• halla tanto problemas mayores como menores
• puede ignorar problemas específicos del dominio

11
Análisis de las acciones

• Análisis cuantitativo de las acciones para
  predecir el tiempo requerido por un usuario
  experimentado para completar las tareas
• Basado en las estimaciones de tiempos para
  acciones típicas
• Focalizado en la performance de usuarios
  experimentados(eficiencia)
• Niveles de detalle
• Formal (detallado)
• Informal

12
Análisis de las acciones

• Análisis detallado
• Análisis a nivel de tecla
• Basado en modelo GOMS (Goals, Operators,
  Methods, Selection)
• Muy detallado
• Predicción del tiempo de las tareas ? 20
• Muy tedioso de calcular
• Subdivide las tareas jerárquicamente en subtareas
• Utiliza tiempos promedios (tabulados) para los
  tiempos de cada acción
• Utilizado para optimizar la performance de
  sistemas de alto uso

13
Análisis de las acciones
14
Análisis de las acciones

• Análisis informal
• Alto nivel de detalle
• Lista las acciones requeridas para completar una
  tarea, pero con menos detalle que el método
  detallado
• Seleccionar Save en el menú
• Editar el archivo XXX
• Confirmar presionando Ok
• En este nivel de análisis, cada acción toma al
  menos 2 a 3 segundos
• Permite una estimación rápida de la performance
  para una tarea particular

15
Tests de Usabilidad

• Tests empíricos del diseño de la interfaz con
  usuarios representativos
• Tests con Lápiz y Papel
• Se muestra a los usuarios aspectos de la interfaz
  en papel, respondiendo a determinadas preguntas
• Thinking Aloud
• Los usuarios expresan sus pensamientos en voz
  alta, mientras realizan tareas típicas
• Experimentos formales
• Experimentos controlados y análisis estadísticos
• Técnicas de consulta
• Entrevistas y cuestionarios

16
Test en Lápiz y Papel

• Se muestra a los usuarios aspectos de la interfaz
  en papel
• Los usuarios responden a determinadas cuestiones
• El administrador del test toma notas, las colecta
  y construye tablas
• Ej. presentar bosquejos de una página Web, y
  preguntar a los usuarios que esperan encontrar
  bajo iconos particulares
• Rápido, efectivo y económico

17
Test en Lápiz y Papel

• Ejemplo organización de menúes
• En forma similar a un procesador de texto
  actual, escriba el nombre de la opción del menú
  bajo la cual esperaría encontrar la tarea
  deseada
• File Edit View Insert Format Utilities
  Macro Window
• 1. Search for a word __________
• 2. Create a header __________
• 3. Create an index entry __________
• 4. Set up your document preferences __________
• 5. Repeat an annotation __________
• 6. Paste another file into your current file
  __________
• 7. Use italics _______________
• 8. Show summary information about your document
  __________
• 9. Switch to another document __________
• 10. Show all annotations in the document
  __________
• 11. Repaginate the document __________
• 12. Set up your printer __________

18
Thinking Aloud

• Se les solicita a los usuarios pensar en voz
  alta, mientras realizan sus tareas
• Se obtiene una alta cantidad de comentarios
• Ventajas y desventajas
• Encuentra muchos problemas de usabilidad
• Encuentra las causas de los problemas
• Requiere un número pequeño de usuarios (3 - 5)
• Utilizable en las primeras fases del proceso de
  desarrollo
• Requiere poca experiencia del administrador de la
  evaluación
• El tener que pensar en voz alta puede influenciar
  la forma de trabajo del usuario
• Puede no proveer datos acerca de la performance

19
Experimentos formales

• Experimentos controlados con usuarios
• Análisis estadísticos
• Análisis de performance
• Proveen mediciones acerca de la performance, pero
  requieren muchos usuarios para estadísticas
  precisas (16-20)

20
Medición de la performance

• Recolección de datos cuantitativos y objetivos
• Tiempo para completar algunas tareas específicas
• Número de tareas completadas en un tiempo dado
• Número de errores
• Tiempo de recuperación de errores
• Número de comandos y características utilizadas
• Número de características que el usuario puede
  reconocer luego del test
• Frecuencia de uso de la ayuda del sistema
• Tiempo dedicado a leer la ayuda

21
Análisis Estadístico

• Existe alguna diferencia estadística significante
  entre los sistemas A y B?
• Test de Hipótesis
• Qué tamaño tiene esa diferencia?
• Media
• Que precisión tienen los resultados?
• Desviación estándar, certeza
• Ej.
• Tenemos un 95 de certeza que el tiempo para
  realizar la tarea X es 4.5 minutos

22
Experimentos formales

• Ventajas y desventajas
• Permite la comparación de diseños alternativos
• Recolecta datos cuantitativos y objetivos
• Necesita un número significativo de usuarios
  (16-20)
• Utilizable sólo en las etapas finales del proceso
  de desarrollo
• Requiere experiencia del administrador
• No proveen información acerca de las razones de
  un hecho

23
Técnicas de Consulta

• Preguntas a los usuarios, luego de haber
  utilizado el sistema para realizar tareas
  representativas
• Entrevistas
• Cuestionarios
• Provee datos subjetivos acerca de la visión del
  usuario del sistema
• Preferencias, impresiones, actitudes
• Simple, económico, y suplemento útil al thinking
  aloud o experimentos formales

24
Entrevistas

• Permitir al usuario expresar primeramente sus
  pensamientos
• Comenzar con aspectos de alto nivel, y luego con
  más detallados
• Aceptar preguntas de cualquier otro observador
• Consulte cualquier aspecto que surja de las notas
  de la entrevista
• Flexible, el administrador puede preguntar por
  cualquier aspecto de interés
• Consume mucho tiempo
• Difícil de analizar y comparar

25
Cuestionarios

• Formulario escrito, estructurado, completado por
  el usuario
• Datos cualitativos y cuantitativos
• Cuestionarios electrónicos (ej. GVU Web User
  Survey).
• puede alcanzar a muchos individuos (por correo,
  mail, Web)
• fácil de repetir
• consume menos tiempo que las entrevistas
• fácil de analizar y comparar
• menos flexible que las entrevistas

26
Técnicas de consulta

• Ventajas y desventajas
• recolección de datos acerca de la visión
  subjetiva del usuario del sistema
• datos cuantitativos y cualitativos
• información suplementaria útil
• simple
• económico
• los datos subjetivos pueden no ser muy confiables

27
Comparación de técnicas de evaluación
28
Evaluaciones en cada etapa

• Recolección de información
• Entrevistas y cuestionarios, observaciones lugar
  de trabajo
• Diseño conceptual
• Entrevistas, evaluación heurística
• Diseño de la funcionalidad y la interfaz
• Evaluación heurística, test de usabilidad,
  evaluaciones teóricas
• Implementación del prototipo
• Test de usabilidad, evaluación heurística
• Implementación del sistema final
• Test de usabilidad
• Evolución y ampliación del sistema
• Observaciones lugar de trabajo, entrevistas y
  cuestionarios, experimentos de campo

29
(No Transcript)
30
(No Transcript)
31
(No Transcript)
32
(No Transcript)