José Noel Caraballo Irmannette Torres Lugo Universidad de Puerto Rico en Cayey

Transcripción

1 José Noel Caraballo Irmannette Torres Lugo Universidad de Puerto Rico en Cayey

2 Importancia de la investigación institucional y las decisiones sustentadas por datos. Criterios de admisión a la UPR como objeto de estudio. Conceptos básicos de la división recursiva. Construcción de Árboles Predictores Podar Error de Clasificación Prediciendo i d el éxito de completar un grado Hallazgos Discusión y Preguntas

3 Cultura de Evaluación y Avalúo Institucional (Meta 2, Díez Década): Generar y recopilar de forma sistemática y sistematizada la información relevante al comportamiento institucional que permita a todas sus unidades una planificación eficiente y un procesos eficiente de toma de decisiones (Objetivo 2). Incentivar la investigación sobre los comportamientos institucionales tanto por los sectores administrativos gerencias, como por los académicos, en tanto la Universidad es también objeto de estudio (Objetivo 3). Auspiciar la discusión informada de los datos institucionales en los foros pertinentes del organigrama universitario y su utilización en la toma ponderada de decisiones institucionales (Objetivo 4). Las políticas respecto a las admisiones de estudiantes procedentes de escuela superior son de interés para la UPRC, particularmente cuando se han desarrollado criterios sistémicos uniformes de admisión a diversos recintos, cada uno con sus particulares y grupos de servicio.

4 Trece años después de la implantación de los criterios de admisión a la UPR, se plantea la necesidad de analizar la adecuacidad de los criterios i de admisión ió de la universidad id d en términos de su valor predictivo, así como para identificar posibles relaciones que puedan servir de modelos alternos. Frecuentemente, se utilizan los análisis cuantitativos multivariados que revelan las relaciones entre variables como un mecanismo para refinar las políticas institucionales (Toutkoushian, 2007). A tales efectos, se ha identificado la división recursiva (Recursive partitioning ) como el mecanismo para analizar las relaciones entre las variables recopiladas a través de la Solicitud de Admisión Uniforme de la UPR y los datos académicos de escuela superior de los estudiantes que ingresan a la UPR en Cayey procedentes de escuela superior.

5 Procedimiento mediante el cual un conjunto de datos se divide en subconjuntos cada vez más homogéneos. El resultado de este proceso típicamente es un dendograma, o un árbol de decisiones invertido. ál d l é d Este análisis puede utilizarse como un método alterno al de la regresión o el análisis discriminante.

6 Método No Paramétrico Provee flexibilidad d Clasificación Regresión Las predicciones generalmente son tan buenas o mejores que las que se obtienen mediante el análisis discriminante o la regresión múltiple. Identifica interacciones de primer orden.

7 Regla de división Node 1 PLASMAG <= N = 768 Nodo raíz Node 2 AGE <= N = 485 Node 6 Class = 2 BODYMASS <= N = 283 Terminal Node Node 3 BODYMASS <= Node 7 PLASMAG <= Terminal Node 8 Class = N = 271 N = 214 N = 76 N = 207 Terminal Node N=41 Node 4 Class = 2 PLASMAG <= N = 173 Terminal Node N=41 Terminal Node 7 Class = N = 173 N = 41 N=35 Terminal Node N = 55 Node 5 Class = 2 PEDIGREE <= N = 118 Predicción de pertenencia a clase Terminal Node N = 21 Terminal Node 5 Class = N = 97 Árbol de Decisiones (i.e., Dendograma) Nodos terminales

8 Regla de División GPA_ADM <= N = 4174

9 Predicción de pertencia a clase Terminal Node N = 21 Error de clasificación

10 Principio básico: dividir el conjunto de datos en subconjuntos homogéneos, con relación a la variable dependiente. El Nodo Raíz se divide en dos sub nodos. Cada sub nodo se divide a su vez en sub nodos. El proceso continúa hasta que algún criterio establecido se cumpla (ej., nodoeshomogéneo; n<=5) El árbol se poda hasta obtener el que cuente con el error de clasificación mínimo. El algoritmo de CART se distingue por sus divisiones binarias.

11 El algoritmo de CART prueba todas las divisiones posibles de la variable independiente,,y selecciona aquella con la mejor división (i.e., aquella que más reduce la heterogeneidad de los datos). Para una variable continua con n valores distintivos, existen n 1 divisiones posibles. Cada una de las n 1 divisiones se realizan en el punto x jn, que se encuentra en el punto medio entre dos valores consecutivos ordenados X (i) j and X (i+1) j. Para una variable discreta con J categorías, existen 2 (J 1) 1 divisiones posibles.

12 Construcción de un árbol de decisiones mediante un ejemplo de variable dependiente categórica, con las siguientes condiciones: Predicción: color (rojo, azul o amarillo) Predictores: tamaño (grande vs. pequeño) y figura (círculo, cuadrado o tríangulo). n = 15

13 ( color, tamaño, forma) Número de Divisiones 2 k-1-1 = = 1 Grande Pequeño Rojo= 1 Rojo= 1 Azul= 2 Amarillo= 1 Rojo = 3 Azul= 4 Amarillo= 4

14 Grande Pequeño Círculo Otro Tiá Triángulo Otro Cuadrado Triángulo Cuadrado Círculo

15 Número de Divisiones 2 k-1-1 = = 3 Triángulo Otra Rojo= 0 Azul= 1 Amarillo= 4 Círculo Rojo= 4 Azul= 5 Amarillo= 1 Cuadrado Rojo= 1 Azul= 4 Amarillo= 1 Rojo= 3 Azul= 1 Amarillo= 0

16 Número de Divisiones: 2 k-1-1 = = 3 Triángulo Otro Rojo= 0 Azul= 1 Amarillo= 4 Grande Rojo= 4 Azul= 5 Amarillo= 1 Pequeño Rojo= 1 Azul= 2 Amarillo= 0 Rojo= 3 Azul= 3 Amarillo= 1

17 Las divisiones ocurren por base de la reducción de la impureza de una función. Continúa hasta que los datas en el nodo son homegeneos, o hasta que existan muy pocos casos disponibles. áb l á dd h Este árbol máximo es a su vez podado hasta que se obtenga un árbol con tasa de error mínima.

18 Evaluando la heterogeneidad de una variable dependiente categórica : Se requiere una función Φ(p 1, p 2,, p k ) con las siguientes características: Si p 1 = p 2 = p k entonces Φ es el máximo. Si p j = 1 y p i =0, i j, entonces Φ = 0. CART ofrece diferentes reglas de división, dos de las más utilizadas son: GINI Twoing

19 Medida de heterogeneidad (impureza) en el nodo: i J ( 2 t) = 1 p ( j t ) j= 1 La variable de división seleccionada es la que minimiza: Δ i ( t ) p i ( 1 ) p i ( 2 ) i = 1 2 p(j t) es la proporción de la clase j en el nodo t

20 Tiempo a completar grado: 6.5 años o menos Más de 6.5 años Predictores: Índice de Escuela Superior Puntuaciones CEEB: Aptitud Matemática Aptitud Verbal Aprovechamiento en Inglés Aprovechamiento en Español Aprovechamiento Matemático Educación del Padre Educación de la Madre Ingreso Familiar Tipo de Escuela: Pública Privada Programa de Estudio de Admisión

21 VERBAL_APT <= N = 5 GRAD_DEPARTMENT = (2,6,8,9,11) VERBAL_APT <= N = 37 VERBAL_APT > N = 32 ENGLISH_ACH <= N = 23 GRAD_DEPARTMENT = (1,2,3,6,8,...) GRA D_DEPA RTMENT = (2,6,8,9,11) N = 857 GRA D_DEPARTMENT = (3) ENGLISH_ACH <= N = 182 GPA_ADM <= N = 323 ENGLISH_ACH > N = 159 GPA_ADM <= GRAD_DEPA RTMENT = (1,2,3,6,8,9,11) N = 943 GRA D_DEPA RTMENT = ( 1,3) GPA_ADM <= N = 820 MATH_ACH <= GRA D_DEPARTMENT = (3) N = 477 GPA_ADM > MATH_ACH <= N = 497 ENGLISH_ACH <= N = 279 GPA_ADM <= N = 71 MATH_ACH > N = 20 GRA D_DEPA RTMENT = ( 1) ENGLISH_ACH <= N = 295 GRAD_DEPARTMENT = (4,5,7,10) GPA_ADM <= N = 86 ENGLISH_ACH > N = 16 GPA_ADM > N = 15 VERBAL_APT <= N = 6 GRAD_DEPARTMENT = (2,4,11) VERBAL_APT <= N = 28 GPA_ADM <= GPA_ADM <= N = 2131 VERBAL_APT > N = 22 FATHER_EDU <= 4.50 GRAD_DEPARTMENT = (2,4,11) N = 561 MATH_ACH <= N = 90 VERBAL_APT <= N = 101 ENGLISH_ACH <= MATH_ACH <= N = 103 GRAD_DEPARTMENT = (1,3,10) VERBAL_APT <= N = 533 GRAD_DEPARTMENT = (3) N = 17 MATH_ACH > N = 13 VERBAL_APT > ENGLISH_ACH <= N = 432 VERBAL_APT <= GRAD_DEPARTMENT = (3) N = 67 GENDER = (0) N = 30 GRAD_DEPARTMENT = (5,6,8,9) N = 33 VERBAL_APT <= N = 325 VERBAL_APT <= VERBAL_APT <= N = 79 GRA D_DEPARTMENT = (1,10) GENDER = (0) N = 50 GPA_ADM > GRAD_DEPARTMENT = (5,6,8,9) N = 1188 GRAD_DEPARTMENT = (1,2,3,4,...) FATHER_EDU <= N = 1148 ENGLISH_ACH > VERBAL_APT <= N = 329 SCHOOL_TY PE = ( 0,3) VERBAL_APT <= N = 83 VERBAL_APT > N = 12 GENDER = (1) N = 20 GRAD_DEPARTMENT = (1,2,3,4,7,...) GRAD_DEPARTMENT = (1,2,3,4,10,11) N = 1155 VERBAL_APT > N = 4 FAMILY_INCOME <= 4.50 SCHOOL_TYPE = (0,3) N = 103 VERBAL_APT > N = 4 GRAD_DEPA RTMENT = (7) N = 7 SCHOOL_TYPE = (1) N = 20 SPANISH_ACH <= N = 44 SPANISH_ACH <= FAMILY_INCOME <= N = 272 ENGLISH_ACH <= SPANISH_ACH <= N = 284 SPANISH_ACH <= N = 16 GRAD_DEPARTMENT = (1,3,10) SPA NISH_ACH <= N = 524 SPA NISH_ACH > N = 12 FAMILY_INCOME > 4.50 SPA NISH_ACH <= N = 169 SPANISH_ACH > ENGLISH_ACH <= N = 480 FATHER_EDU > 4.50 GRAD_DEPARTMENT = (1,3,10) N = 587 SPANISH_ACH > N = 153 SPA NISH_ACH <= N = 192 SPANISH_ACH <= N = 35 GPA_ADM <= N = 4174 ENGLISH_ACH > SPANISH_ACH <= N = 196 GRAD_DEPARTMENT = (2,4,11) SPANISH_ACH <= N = 63 SPA NISH_ACH > N = 4 SPANISH_ACH > N = 28 SPA NISH_ACH <= N = 100 GRAD_DEPARTMENT = (3,6,9) SPANISH_ACH <= N = 259 SPANISH_ACH > N = 159 MATH_ACH <= GRA D_DEPARTMENT = (3,6,9) N = 928 SPA NISH_ACH <= N = 641 MATH_ACH > N = 66 GRAD_DEPARTMENT = (1,7) SPANISH_ACH <= N = 669 GPA_ADM <= GRAD_DEPARTMENT = (1,3,6,7,9) N = 1423 GRAD_DEPARTMENT = (1,3,6,7,9) GRAD_DEPARTMENT = (2,4,5,8,...) MATH_ACH <= MATH_ACH <= N = 994 N = 429 SPANISH_ACH > N = 28 MATH_ACH <= N = 214 SPANISH_ACH <= N = 50 GRAD_DEPARTMENT = (2,4,8,10) SPA NISH_ACH <= N = 192 FAMILY_INCOME <= N = 43 MATH_ACH > GRA D_DEPA RTMENT = (2,4,8,10) N = 215 SPANISH_ACH > FAMILY_INCOME <= N = 142 FATHER_EDU <= N = 27 GRAD_DEPARTMENT = (5,11) N = 23 FAMILY_INCOME > 2.50 FATHER_EDU <= N = 99 GRA D_DEPA RTMENT = ( 4,8) N = 13 GPA_ADM > GPA_ADM <= N = 2043 FATHER_EDU > 4.50 GRAD_DEPARTMENT = (4,8) N = 72 FAMILY_INCOME <= N = 37 GRAD_DEPARTMENT = (2,6,7,8,9) N = 8 GRA D_DEPARTMENT = (2,10) FAMILY_INCOME <= N = 59 MATH_ACH <= GRAD_DEPARTMENT = (2,6,7,8,9) N = 107 FATHER_EDU <= N = 49 FAMILY_INCOME > N = 22 GRA D_DEPARTMENT = (1,3,4) FATHER_EDU <= N = 99 FATHER_EDU > N = 50 GPA_ADM > GRAD_DEPARTMENT = (1,2,3,4,6,7,8,9) N = 620 GRAD_DEPARTMENT = (1,2,3,4,6,...) MATH_ACH <= N = 486 ENGLISH_ACH <= N = 90 VERBAL_APT <= N = 76 SPANISH_ACH <= ENGLISH_ACH <= N = 221 GRAD_DEPARTMENT = (1,6,7,8,9) VERBAL_APT <= N = 103 GRA D_DEPA RTMENT = ( 5,10,11) N = 134 GRAD_DEPARTMENT = (1,4,6,7,8,...) SPANISH_ACH <= N = 250 ENGLISH_ACH > GRAD_DEPARTMENT = (1,6,7,8,9) N = 131 VERBAL_APT > N = 27 MATH_ACH > GRA D_DEPA RTMENT = (1,4,6,7,8,9) N = 379 SPANISH_ACH > N = 29 GRAD_DEPARTMENT = (4) N = 28 GRA D_DEPA RTMENT = ( 2,3) N = 129 Error de Clasificación (muestra independiente) = 23.4%

22 Variable Puntuación DEPARTMENT GPA_ADM SPANISH_ACH MATH_ACHACH VERBAL_APT ENGLISH_ACH MATH_APT FATHER_EDU FAMILY_INCOME 8.80 SCHOOL_TYPE 5.73 GENDER 2.57 MOTHER_EDUEDU FIRST_GENERATION 2.06

23 GPA_ADM <= N = 4174 GPA_ADM <= GPA_ADM <= N = 2131 GPA_ADM > GPA_ADM <= N = 2043 GPA_ADM <= GRAD_DEPARTMENT = (1,2,3,6,8,9,11) N = 943 GPA_ADM > GRAD_DEPARTMENT DEPARTMENT =(5 (5,6,8,9) N = 1188 GPA_ADM <= GRAD_DEPARTMENT DEPARTMENT =(1 (1,3,6,7,9) N = 1423 GPA_ADM > N = 620 GRAD_DEPARTMENT = (1,2,3,6,8,...) GRAD_DEPARTMENT = (4,5,7,10) GRAD_DEPARTMENT = (5,6,8,9) GRAD_DEPARTMENT = (1,2,3,4,7,...) GRAD_DEPARTMENT = (1,3,6,7,9) GRAD_DEPARTMENT = (2,4,5,8,...) N = N = 86 Cases % Class N = N = 1155 MATH_ACH <= N = N = 429 MATH_ACH <= GRAD_DEPARTMENT = (3,6,9) N = 928 MATH_ACH > N = 66 GRAD_DEPARTMENT = (3,6,9) SPANISH_ACH <= N = 259 GRAD_DEPARTMENT = (1,7) SPANISH_ACH <= N = 669 SPANISH_ACH <= SPANISH_ACH > SPANISH_ACH <= SPANISH_ACH > N = 100 N = 159 N = 641 N = 28

24 GPA _ ADM <= N = 4174

25 GPA_ADM <= N = 4174 GPA_ADM <= GPA_ADM <= N = 2131 GPA_ADM <= GRAD_DEPARTMENT = (1,2,3,6,8,9,11) N = 943 GPA_ADM > GRAD_DEPARTMENT = (5,6,8,9) N = 1188 GRAD_DEPARTMENT DEPARTMENT = (1,2,3,6,8,...) GRAD_DEPARTMENT DEPARTMENT = (4,5,7,10) N = N = 86 GRAD_DEPARTMENT DEPARTMENT = (5,6,8,9) GRAD_DEPARTMENT DEPARTMENT = (1,2,3,4,7,...) N = N = 1155 MATH_ACH Class GRAD_DEPART Class Cases N = 9 GRAD_DEPARTMENT = (3,6,9) SPANISH_ACH <= N = 259 SPANISH_ACH <= SPANISH_ACH > N = 100 N = 159

26 GPA_ADM <= N = 4174 GPA_ADM > GPA_ADM <= N = 2043 GPA_ADM <= GRAD_DEPARTMENT = (1,3,6,7,9) N = 1423 GPA_ADM > N = 620 _DEPARTMENT = (1,2,3,4,7,...) Cases % N = 1155 GRAD_DEPARTMENT = (1,3,6,7,9) MATH_ACH <= N = 994 GRAD_DEPARTMENT = (2,4,5,8,...) N = 429 MATH_ACH ACH <= GRAD_DEPARTMENT = (3,6,9) N = 928 MATH_ACH > N = 66 GRAD_DEPARTMENT = (1,7) SPANISH_ACH <= N = 669 SPANISH_ACH > N = 159 SPANISH_ACH <= N = 641 SPANISH_ACH > N = 28

27 En general,,49% de los estudiantes completan el grado dentro del 150% del tiempo esperado (i.e., 6 años). Si el índice de escuela superior era > 3.80, 63% completan el grado en la UPRC. Si el índice de escuela superior está entre 3.37 y 3.80, 43.6% completan el grado; Si además ingresaron a los departamentos de Administración de Empresas, Ciencias Sociales, Estudios Hispánicos, Inglés y Matemáticas, 62.5% completan el grado.

28 Si el índice de escuela superior es < 3.37, 37, 71% no completarán el grado. Si el índice de escuela superior está entre 2.92 and 3.36, y el departamento de admisión es: Educación Física, Estudios tdi Hispánicos, i Inglésy Matemáticas, 100% (n = 33) completarán el grado. Otro departamento, 67% (n = 33) no completarán el grado. Si el índice de escuela superior es < 2.92, 9, 78.2% no completarán el grado.

29 Análisis de CART: Puedeutilizarse como una alternativa ti a la regresión, el análisis discriminante y otros métodos paramétricos para resolver problemas de predicción. Puedeutilizarse para complementar los análisis i antes mencionados, brindando una explicación más clara de la interaciión entre las variables. La Divisióni ió Recursiva nos permite obtener predicciones que son tan buenas, o mejores que aquellas arrojadas por el análisis discriminante o la regresiónmúltiple. l

30 Las interacciones de primer orden: Arrojan evidencia empírica más sólida para el desarrollo de políticas institucionales respecto a criterios de admisión. Le ofrecen a las oficinas de Investigación Institucional y Avalúo un modelo alterno para identificar las variables latentes y las interacciones que afectan el ambiente académico.

31 Las interacciones de primer ordenarrojanlos datos necesarios para diseñar planes de intervención de calidad dirigidos a aumentar la retención y las tasas de graduación, así como para fomentar el éxito académico. El Análisis de CART le permite a los/las investigadores identificar diferentes escenarios de riesgo, redundando en la identificación y recomendación para la adjudicación de responsabilidad a aquellas unidades institucionales cuya responsabilidad es brindarle servicio a estas poblaciones.

32 Le ofrece a la administración, la facultad, los/las consejeros/as profesionales y a otras partes interesadas (i.e., stakeholders) la información que sustenta el desarrollo de intervenciones, programas, servicios y políticas institucionales tuc que fomenten el desarrollo o integral de los diferentes grupos de estudiantes mediante la división recursiva. Provee una herramienta para que las partes interesadas (i.e., stakeholders ) en los desempeños universitarios desarrollen una apreciación mayor por la importancia que tiene la investigación institucional para el mejoramiento continuo de la universidad, particularmente cuando los hallazgos de los estudios institucionales generan información compleja sobre los comportamientos estudiantiles, tales como los que se obtienen a través de la División Recursiva.

33

34