martes, 28 de agosto de 2012

Comparar datos entre herramientas distintas

Sé que es mi norma número uno: ¡no comparar el mismo dato en distintas herramientas! pero he vuelto a hacerlo y ya que lo he hecho, voy a compartir lo que he visto.

Debería cambiar la norma y que a partir de ahora fuera no implementar dos herramientas distintas para recoger la misma información.

El motivo de la comparación, ha sido un pico de tráfico un tanto extraño en julio y las herramientas que han sufrido mi ataque de locura, son Google Analytics y SiteCatalyst.

El primer paso del análisis tras ver un aumento significativo en el tráfico de julio ha sido detectar si el aumento es generalizado en toda la web o en una sección en particular.

GA: revisando los datos de los distintos perfiles, rápidamente he visto que más del 75% del incremento lo acapara una sola sección.(también lo hubiera podido obtener con segmentos)

SC: cada sección está totalmente diferenciada con una variable que la herramienta llama "canal" así que con la misma facilidad he llegado a la misma conclusión.

Una vez localizada la sección culpable he sacado los datos de tráfico básicos de las dos herramientas y esto es lo que he obtenido:
 
Al analizarlos, he visto que dentro de las diferencias que ya sabemos que existen entre herramientas, los datos tienen su lógica.

Visitas: la forma de contabilizar las visitas de GA y SC es distinta. GA considera distintas visitas siempre que se produzcan accesos a la web desde distinto origen siempre y cuando no sea tráfico directo. (Xavi Colomés lo explica genial en uno de sus  post ). SC considera la misma visita durante 30 minutos aunque se acceda al site desde fuentes de tráfico distintas. Si en SC desglosamos las visitas por la fuente de tráfico que las proporcionó, la suma de lo que ha aportado cada fuente es mayor que el total de las visitas. Para comparar en igualdad de condiciones, no debería haber utilizado en SC el total de visitas si no las visitas por la fuente de tráfico. Si tomo este dato, son 4.918,  ¡casi lo mismo!

Páginas vistas: la diferencia es sólo de 3%, puestos a comparar, puede que sea la métrica más fiable.

Usuarios únicos: GA tienen un 10% mas de usuarios únicos, esto si parece preocupante pero la explicación es también sencilla. SC dispone de un sistema de detección de usuarios para los dispositivos que no aceptan cookies. No soy capaz explicar muy bien como funciona este sistema, pero a priori, diría que SC nos da un dato mas fiable de usuarios únicos.

PV/visita: cuando empezamos a calcular índices, debemos tener en cuenta que éstos se verán influenciados por las diferencias entre las métricas base. En este caso, como GA da más visitas, el "engagement" de la sección parece peor que si miramos el dato de SC porque cada visita ve menos páginas de media. recordemos que con las visitas de SC corregidas para contarlas igual que GA, el índice baja a 2,38, casualmente lo mismo que obtenemos con GA.

Visitas/usuario: la recurrencia en esta sección es bastante baja y prácticamente igual calculándola con los datos de ambas herramientas.

Y ya está.

¿Verdad que no ha sido tan grave?  Puedo asumir un pequeño desajuste en las páginas vistas. He explicado la diferencia en visitas y en usuarios únicos de forma más o menos creíble y al final, resulta  que los datos de distintas herramientas si que pueden compararse.

Como conclusión, me parece que lo más grave de comparar entre herramientas, no es la herramienta en si misma si no que no sabemos que estamos comparando.