Tutorial: Uso básico de RapidMiner Parte II: Predicción de variables categóricas

Transcripción

1 Tutorial: Uso básico de RapidMiner Parte II: Predicción de variables categóricas En esta segunda parte del tutorial, se presentará un ejemplo que enseñe cómo predecir una variable categórica. Es altamente recomendable que se haya leído la Parte I antes de continuar, ya que las operaciones comunes no serán explicadas nuevamente. Contexto Siguiendo con la idea de construir modelos predictivos que permitan determinar la calidad de un colegio, puede ser interesante usar la información disponible acerca de los resultados de la prueba SIMCE. Para el ejemplo presentado en este tutorial, se usarán los datos de los resultados de la prueba SIMCE del 2009, que pueden descargarse gratuitamente de: Análisis Propuesto Los archivos descargables desde la dirección previamente citada son, en realidad, un paquete de planillas con resultados de la prueba en distintos niveles de agregación. En particular, en este ejemplo se usará el archivo ESTAB_4to.xls que contiene los resultados de la prueba aplicada a niños de cuarto básico, agregada al nivel de establecimiento educacional. El análisis que se propone para este ejemplo, es llegar a construir un modelo que permita predecir cuál será el nivel de aprendizaje logrado en matemáticas por los alumnos de un establecimiento, dadas algunas de sus características, tales como ubicación geográfica, dependencia administrativa y nivel de ruralidad. A partir de la planilla original, se construyó una modificación de la misma, que incluye transformaciones de variables categóricas a nominales, esto con el fin de poder utilizar una mayor variedad de modelos. El archivo que se utilizará se adjunta y se llama ESTAB_4TO_mod.xls Trabajo con RapidMiner En esta ocasión se asume que se tiene RapidMiner abierto y que no es la primera vez que se usa (si lo es, ver la Parte I de este tutorial). Luego, para construir el modelo se deben seguir los siguientes pasos: 1. Elegir la opción New para crear un nuevo archivo. 2. Darle un nombre (ejemplo Tutorial2) y ubicarlo en el repositorio local. Lo primero que se debe hacer es importar los datos desde la planilla al proyecto actual. En el tutorial anterior, esto se realizó mediante el operador Read Excel, sin embargo,

2 también se mencionó que existía otra forma de hacerlo: mediante la inclusión de los datos en el repositorio local, que es lo que se explicará a continuación. 3. En el panel de la izquierda ir a la pestaña Repositories y seleccionar la opción Import Excel Sheet (ver Screenshot 1: Selección de opción para importar datos). Screenshot 1: Selección de opción para importar datos Se abrirá un asistente idéntico al que aparece al usar el operador Read Excel, por lo que los pasos a seguir ya deberían ser conocidos: 4. Explorar los archivos del computador y seleccionar el archivo ESTAB_4TO_mod.xls, pulsar Next. 5. Cerciorarse de que todas las celdas estén seleccionadas y pulsar en Next. 6. Seleccionar la anotación Name para la primera fila de la planilla y pulsar en Next. 7. Dejar seleccionadas las casillas de las siguientes variables, con sus respectivos tipos, notados entre paréntesis: REGION (polynominal), RBD (integer), DDCIA (polynominal), RURALIDAD (binominal), GRUPO (polynominal), ALUM_MAT (integer), PROM_MAT (integer). 8. Asignarle el rol id a RBD y label a PROM_MAT, pulsar en Next. 9. Seleccionar el repositorio local y darle un nombre (ejemplo DatosSimce), pulsar en Finish. Con esto realizado, se habrá importado los datos elegidos al repositorio de trabajo. Para asegurarse de que todo esté bien, verificar que aparezca el nombre recién introducido en la lista de repositorios del panel izquierdo. Lo que resta a continuación es simplemente construir el modelo, siguiendo los siguientes pasos.

3 10. Arrastrar el set de datos recién creado desde el repositorio hasta el área de diseño del proceso, esto producirá que aparezca el operador Retrieve (ver Screenshot 2). Screenshot 2: Comienzo del diseño Luego, lo que se necesita hacer es categorizar la variable objetivo (PROM_MAT), puesto que inicialmente es un valor numérico y se quiere traducir en las categorías Bueno y Malo. Si bien esto podría haberse realizado en Excel, acá se mostrará una de las técnicas de preprocesamiento de datos que provee RapidMiner: la transformación Numerical to Binominal. 11. En el panel Operators, explorar, seleccionar el operador Data Transformation- >Type Conversion->Numerical to Binominal y arrastrarlo al área de trabajo. 12. Conectar la salida out de Retrieve con la entrada exa del operador recién agregado. 13. En el panel Parameters del operador Numerical to Binominal seleccionar la opción single en el campo attribute filter type, marcar la casilla include special attributes, seleccionar la opción PROM_MAT para el campo attribute y dar el valor 250 al campo max (ver Screenshot 3). Opcionalmente se puede conectar la salida exa de Numerical to Binominal con la salida res del proceso y ejecutarlo para ver el efecto que produce este operador. Al hacerlo, se puede notar que la variable PROM_MAT ahora es de tipo binominal y sus valores son false para los puntajes menores o iguales a 250 y true para el resto.

4 Screenshot 3: Operador Numerical to Binominal A continuación se procederá a construir un proceso con el operador Validation que use un árbol de decisión (Decision Tree) para entrenar el modelo y evalúe su rendimiento de la misma forma que en el tutorial anterior. 14. Agregar el operador Split Validation y conectar su entrada tra con la salida exa de Numerical to Binominal. 15. Ir al interior de Validation y agregar los operadores Apply Model y Performance en la zona Testing, conectándolos adecuadamente, al igual que se hizo en el tutorial anterior. 16. Explorar la lista de operadores en Modeling->Classification and Regression->Tree Induction->Decision Tree, seleccionarlo y arrastrarlo al área de Training. 17. Conectar su entrada tra con la entrada tra del área y su salida mod, con su correspondiente de esa zona (ver Screenshot 4). 18. Volver al área de diseño principal (subiendo un nivel) 19. Conectar las salidas mod y ave a salidas res del proceso completo (ver Screenshot 5). Con esto, el diseño del proceso ha quedado concluido y solo resta ejecutarlo para obtener los resultados. Para hacerlo, presionar el botón Play de la barra horizontal superior y cambiar a la perspectiva de resultados.

5 Screenshot 4: Composición del operador Validation Screenshot 5: Diseño completo del proceso Al ejecutar el proceso y observar los resultados del Performance Vector, en el criterio accuracy, se obtiene una tabla denominada matriz de confusión (ver Screenshot 6) y que se lee de la siguiente forma: Del total de establecimientos malos (valor false), 697 fueron clasificados como malos y 257 como buenos, lo que corresponde a una precisión del 73.06%. Análogamente, del total de establecimientos buenos (valor true), 187 fueron

6 clasificados como malos y 523 como buenos, lo que corresponde a una precisión del 73.66%. Screenshot 6: Resultados del rendimiento del modelo Por otro lado, está el resultado correspondiente al modelo en sí, que en este caso es un árbol de decisión. RapidMiner muestra este tipo de modelos de forma gráfica y se puede ver en la pestaña Tree (Decision Tree) (ver Screenshot 7). Para el caso de este ejemplo, se observa que la mejor manera de discriminar entre los establecimientos para poder predecir su rendimiento en el SIMCE de matemáticas es mediante su pertenencia a un grupo socioeconómico, notando que, por ejemplo, si un establecimiento pertenece al grupo E (el más alto), su rendimiento en el SIMCE será bueno con una probabilidad cercana a 1, mientras que si un establecimiento pertenece al grupo A (el más bajo), su rendimiento será malo con una alta probabilidad. En tanto, se observa que para establecimientos del grupo C, la probabilidad de un rendimiento bueno o malo es muy similar en ambos casos. Cabe señalar que el hecho de que este modelo solo use una variable para llevar a cabo la discriminación es una mera coincidencia del ejemplo y se explica debido a que el utilizar las otras variables no otorga una mayor precisión en la clasificación. Con esto, se da por concluida la segunda parte de este tutorial, ya que se ha mostrado cómo construir un proceso que permita predecir variables categóricas y, además, se explicó como importar datos al repositorio, para poder usarlos con cualquier proyecto.

7 Screenshot 7: Resultado del modelo Conclusiones e ideas propuestas A partir de lo realizado en este ejemplo, sería interesante realizar el mismo análisis con datos de otros años, para ver si alguna de las otras variables cobra relevancia y permiten una mejor clasificación del rendimiento. Por otro lado, se puede intentar realizar este mismo proceso, pero identificando 3 categorías distintas (Malo, Intermedio, Bueno) y ver cuál es el rendimiento del modelo. Asimismo se puede probar con otros modelos que permitan predecir variables categóricas, recordando que un operador puede ser fácilmente reemplazado mediante el menú contextual que aparece al ser seleccionado con el botón derecho del mouse. Por último, cabe destacar que tras dos ejemplos ya se ha podido establecer un cierto patrón en el diseño de procesos (leer datos, pasarlos por un proceso de validación, que entrena un modelo y luego lo evalúa y obtener resultados). Este esquema es el básico para cualquier proceso en RapidMiner y se puede utilizar como plantilla para otros ejemplos y actividades.