Como en todo proyecto, los objetivos han de ser seguidos para comprobar su grado de consecución. Este seguimiento se realiza mediante el empleo de métricas que han de estar definidas para que proporcionen información útil sobre los objetivos.
Los componentes de una métrica bien establecida son tres:
- Necesidad de información a cubrir.
- Datos a ser empleados en la métrica
- Modo de cálculo y análisis de la misma.
El primer elemento básicamente nos centra en el sentido de la métrica. Si queremos ver lo que tardamos en mejorar un punto en el ranking, mediremos la posición en el ranking, y el tiempo, y no nos centraremos en el número de miembros del proyecto, ya que no nos aporta información.
El segundo elemento es el que contiene la información en bruto, y que mediante un elemento llamado extractor nos proporcionará los datos iniciales (la materia prima) necesaria para poder calcular nuestra métrica.
El tercer elemento es el modo en el que hemos definido que se relacionan los datos para proporcionarnos la información necesaria para nuestro seguimiento. Estos métodos de cálculo pueden ser tan simples como la lectura directa (ver la temperatura), o requerir complejos cálculos. Además hemos de definir el modo en el que vamos a interpretar el resultado de modo que no acomodemos el dato a nuestro criterio más inmediato, sino que este sea coherente a lo largo del proyecto (o mientras la métrica nos sea útil).
En el proyecto, ya nos hemos encontrado con problemas para poder obtener información para el seguimiento de un objetivo. La métrica que estábamos definiendo buscaba ver las variaciones de la posición de una cuenta (cuan popular es), y nos hemos encontrado que los datos no son coherentes.
Como se puede ver en la imagen, las fluctuaciones de los resultados (sin modificaciones en otras variables que pudieran afectar) hacen que no podamos emplear la métrica que definimos inicialmente.
Actualmente estamos buscando una alternativa que nos proporcione la información que necesitamos, pero aunque no hemos tenido éxito aun, al menos hemos detectado el problema.