Transferencia de conocimiento para el aprendizaje de Redes Bayesianas de Nodos Temporales Lindsey Fiedler Cameras, Dr. L. Enrique Sucar Dr. Eduardo F. Morales INAOE Junio, 2013
Contenido Motivación Aprendizaje por Transferencia Redes Bayesianas de Nodos Temporales Aprendizaje por Transferencia para RBNTs Experimentos y Resultados Conclusiones 2/19
Motivación Modelar dominios en los cuales se combinan dos aspectos: Incertidumbre Información de tiempo Por ejemplo: Seguimiento a un tratamiento médico. Aprendizaje de modelos para problemas en los cuales se tienen pocos datos 3/19
Aprendizaje por Transferencia Data Set Data Set Data Set VS. Tarea Tarea Tarea Conocimiento Reusable Tarea Aprendizaje de máquina tradicional Aprendizaje por transferencia de conocimiento 4/19
Cómo puede ayudar con datos escasos? Compensa por la falta de información reutilizando lo que ya se ha aprendido en situaciones similares. Dominio auxiliar Dominio auxiliar Dominio auxiliar Dominio objetivo 5/19
Redes Bayesianas de Nodos Temporales Colisión Severo Moderado Leve Son modelos dinámicos Verdadero Falso Herida Cabeza Heridas Internas Graves Ligeras Falso que permiten: [0 15] [15 30] [30 60] Default Pupilas Dilatadas Signos Vitales [0 10] [10 45] Default Incorporar información de tiempo Definir múltiples intervalos de longitud variable Razonar bajo incertidumbre 6/19
Colisión Severo Moderado Leve Verdadero Falso Herida Cabeza Heridas Internas Graves Ligeras Falso [0 15] [15 30] [30 60] Default Pupilas Dilatadas Signos Vitales [0 10] [10 45] Default Nodos Instantáneos Nodos Temporales 7/19
Aprendizaje por Transferencia para RBNTs 1. Aprendizaje de Intervalos 2. Aprendizaje Estructural [t i t f ][t i t f ] [t i t f ] 3. Refinamiento de Intervalos 4. Aprendizaje Paramétrico P(RBNT) + [t i t f ][t i t f ] [t i t f ] 8/19
Aprendizaje de Intervalos [t i t f ] µ σ.. Obj. Aux Datos combinados 1. Gaussiana característica de un intervalo 2. Generación de datos continuos Datos combinados k-means [t i t f ] [t i t f ] [t i t f ] 3. Aprendizaje de intervalos a partir del nuevo conjunto de datos 9/19
Aprendizaje Estructural Se aprende la estructura utilizando el algoritmo PC-TL (Luis et al. 2010) El grafo se aprende mediante pruebas de independencia condicional El espacio de búsqueda se reduce si incluimos un ordenamiento de los nodos 10/19
Algoritmo PC Colisión Herida Cabeza Heridas Internas Pupilas Dilatadas Signos Vitales Para todas Pares(X,Y) SI Independientes(X, Y S) Entonces Quita el arco Fin Para Orienta los arcos 11/19
Algoritmo PC Colisión Herida Cabeza Heridas Internas Pupilas Dilatadas Signos Vitales Para todas Pares(X,Y) SI Independientes(X, Y S) Entonces Quita el arco Fin Para Orienta los arcos 11/19
Algoritmo PC Colisión Herida Cabeza Heridas Internas Pupilas Dilatadas Signos Vitales Para todas Pares(X,Y) SI Independientes(X, Y S) Entonces Quita el arco Fin Para Orienta los arcos 11/19
Algoritmo PC Colisión Herida Cabeza Heridas Internas Pupilas Dilatadas Signos Vitales Para todas Pares(X,Y) SI Independientes(X, Y S) Entonces Quita el arco Fin Para Orienta los arcos 11/19
Algoritmo PC Colisión Herida Cabeza Heridas Internas Pupilas Dilatadas Signos Vitales Para todas Pares(X,Y) SI Independientes(X, Y S) Entonces Quita el arco Fin Para Orienta los arcos 11/19
Algoritmo PC-TL Colisión Combina las pruebas de independencia hechos para el dominio auxiliar más similar y el dominio objetivo. Pupilas Dilatadas Herida Cabeza Signos Vitales Heridas Internas Dominio auxiliar + Dominio objetivo 12/19
Refinamiento de Intervalos Se incorpora información de estructura para aprender nuevos intervalos Distintos posibles intervalos se obtienen con el modelo de mezcla de Gaussianas El mejor conjunto se elige mediante el índice de Dunn 13/19
Aprendizaje Paramétrico Nodos Instantáneos Se combinan las tablas con una función pesada HC C=S C=M C=F V 0.9 0.6 0.1 F 0.1 0.4 0.9 + HC C=S C=M C=F V 0.85 0.5 0.2 F 0.15 0.5 0.8 Nodos Temporales Se estiman a partir de los datos generados al refinar los intervalos. 14/19
Experimentos y Resultados 3 dominios auxiliares Colisión Severo Moderado Leve Escasos datos objetivo [0 15] [15 30] [30 60] Default Verdadero Falso Pupilas Dilatadas Herida Cabeza Signos Vitales Heridas Internas [0 10] [10 45] Default Graves Ligeras Falso Métricas Puntaje Relativo de Brier Diferencia Temporal Distancia de Edición PRB = 1 1 n r n j=1 i=1 E ij P ij 2 t e e Dif. Temp. = TN range Interval range 15/19
Transferencia vs. Sin Transferencia 10 44 100 Promedio Sin Transferencia Con Transferencia PRB (%) 71.18 76.44 Dif. Temporal 0.51 0.22 Dist. Edición 2.4 1.0 PRB (%) 75.24 76.77 Dif. Temporal 0.52 0.23 Dist. Edición 1.2 1.0 PRB (%) 76.47 77.55 Dif. Temporal 0.37 0.28 Dist. Edición 0.2 1.0 Comparativa de aprender modelos sin transferencia vs. con transferencia. Se usaron 3 dominios auxiliares con 480, 540 y 560 registros. 16/19
Modelo aprendido con transferencia Colisión Severo Moderado Leve Verdadero Falso Herida Cabeza Heridas Internas Graves Ligeras Falso [0 22] [22 48] [48 65] Default Pupilas Dilatadas Signos Vitales [0 26] [26 47] Default Modelo aprendido sin transferencia Colisión Severo Moderado Leve Verdadero Falso Herida Cabeza Heridas Internas Graves Ligeras Falso [2 9] [9 23] Default Pupilas Dilatadas Signos Vitales [2 5] [5 6] Default 17/19
Conclusiones Resultados experimentales muestran que es viable aprender una RBNT con transferencia de conocimiento cuando hay escasos datos. Trabajo Futuro Aprendizaje de vías mutacionales del VIH 18/19
Gracias por su atención! Preguntas? 19/19