Búscalo aquí:

Diagramas de Diferencia Crítica

Cuando realizamos experimentos en cualquier campo de estudio, por ejemplo, después de un proceso de minería de datos (mi caso), surge la imperiosa necesidad de analizar los resultados que obtuvimos, resultados que generalmente son obtenidos de diferentes métodos y, por tanto, queremos saber cuál de ellos fue el que obtuvo un mejor rendimiento. Existen diferentes maneras de representar dicha información y, casi siempre, depende de lo que queremos resaltar. Particularmente uno de los gráficos estadísticos que estoy usando últimamente, y que me están sirviendo mucho, son los diagramas de diferencia crítica (Critical Difference Diagrams).


Janez Demšar fue quien introdujo el uso de este tipo de gráficos en [1] para ilustrar la diferencia estadística significativa de los rankings de desempeño obtenidos de diferentes clasificadores sobre diferentes bases de datos. Cabe destacar que este diagrama puede ser usado para diferentes propósitos asi como para la evaluación de diferentes algoritmos, y no únicamente para el caso de clasificadores.

El diagrama de diferencia crítica muestra en un único eje (eje X) en orden ascendente la posición (ranking) del algoritmo que obtiene la mejor posición. En la parte superior, se indica la faja en la que se encuentra la diferencia critica (significativa). Así mismo, sobre las 'marcas' de algunos algoritmos aparece una linea horizontal en 'negrita', eso indica que entre dichos algoritmos no existe una diferencia estadística significativa y que, por tanto, 'solo' se puede evaluar de acuerdo al ranking entre ellos.

Aquí les dejo el código fuente en Python para generar el diagrama de diferencia crítica presentado en la imagen principal de este post y que fue tomado de [2]:

#author: Jorge Valverde Rebaza
import orange, orngStat

names = ["WIC", "CN", "Jac", "AA", "RA", "PA" ]
avranks =  [2.0, 3.9, 3.35, 3.35, 3.6, 4.7]
cd = orngStat.compute_CD(avranks, 6)

orngStat.graph_ranks( "fscoreEC.png",  avranks,  names,  cd = cd,  width=4, textspace=1.5)

También pueden acceder al código en su versión en matlab desde aqui.

Saludos.



[1] Janez Demšar, "Statistical Comparisons of Classifiers over multiple datasets", Journal of Machine Learning Research, volume 7, pages 1-30, January 2006 [ver]

[2] Jorge Valverde-Rebaza and Alneu de Andrade Lopes, "Link Prediction in Complex Networks Based on Cluster Information". Advances in Artificial Intelligence - SBIA 2012, Lecture Notes in Computer Science, Springer Berlin Heidelberg, pp. 92-101, October 2012 [ver]

No hay comentarios.:

Publicar un comentario

Bienvenido a jcGeorge's Blog!!!

Por favor deja tu comentario, consulta o sugerencia, procura mantener habilitado tu perfil de Blogger o deja un enlace a tu blog o web.

Gracias por leer este blog!!!

Related Posts Plugin for WordPress, Blogger...