Análisis de Datos en Física de Partículas

Transcripción

1 Análisis de Datos en Física de Partículas Sección de Posgrado Facultad de Ciencias Universidad Nacional de Ingeniería C. Javier Solano Página del curso: curso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 1

2 Análisis de Datos en Física de Partículas: Capítulo 5 1 Teorema de Probabilidad de Bayes, Variables aleatorias, y pdfs 2 Funciones de r.v.s, Valores de expectación, propagación de errores 3 Catálogo de pdfs 4 El método de Monte Carlo 5 Test estadísticos: conceptos generales 6 Test statistics, métodos multivariantes 7 Tests Bondad de ajuste (goodness-of-fit) 8 Parámetros de estimación, maximum likelihood 9 Mas de maximum likelihood 10 Método de mínimos cuadrados (least squares) 11 Intervalo de estimación, establecimiento de límites 12 Parámetros molestos (nuisance), incertidumbres sistemáticas 13 Ejemplos de aproximación Bayesiana J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 2

3 Límites de decisión lineal Una frontera de decisión lineal es sólo óptima cuando ambas clases siguen gaussianas multivariados con covarianzas equivalentes y diferentes medias. Para algunos casos un límite lineal es casi inútil. J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 3

4 Transformaciones no lineales de los inputs/entradas Tratemos de encontrar una transformación, 1,..., n -> 1 ( ),..., n ( ), de modo que las variables transformadas, de "características espaciales", se pueden separar mejor por una frontera lineal. Aquí, suponer funciones de base fija (no parámetros libres) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 4

5 Pruebas/Tests estadísticas no lineales La frontera de decisión óptima puede no ser un hiperplano, prueba estadística no lineal t(x) Métodos estadísticos multivariantes son una gran industria: redes neuronales, máquinas de vectores soporte, métodos de densidad kernel, Física de Partículas puede beneficiarse de los avances en Machine Learning (aprendizaje automático) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 5

6 Introducción a las redes neuronales Se usa en neurobiología, reconocimiento de patrones, previsión financiera,... Aquí, redes neuronales son sólo un tipo de prueba estadística. Supongamos que tomamos t(x) para tener la forma Logística sigmoide Esto se llama perceptrón de una sola capa s( ) es monotónica equivalente a lineal t(x) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 6

7 Introducción a las redes neuronales Generalizar a partir de una capa a perceptrón multicapa: Los valores de los nodos de la capa intermedia (oculta) son y la salida de la red está dada por pesos (fuerzas de conexión) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 7

8 Análisis de redes neuronales Fácil de generalizar a número arbitrario de capas. Red feed-forward: los valores de un nodo dependen sólo de las capas anteriores, por lo general sólo de capa anterior ("arquitectura de red"). Más nodos red neuronal se acerca a óptimo t(x), pero más parámetros necesitan ser determinados. Parámetros generalmente determinados minimizando función de error, donde t (0), t (1) son valores, por ej., 0 y 1 para sigmoide logística. Valores de expectación reemplazados por medias de datos entrenados (ej. MC). En general entrenamiento puede ser difícil; software estándar disponible. J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 8

9 Ejemplo de redes neuronales del LEP II Señal: e + e W + W (frecuente: 4 jets hadrónicos bien separados) Background: e + e qqgg (4 jets hadrónicos menos bien separados) variables de entrada/input basadas en la estructura del jet, forma del evento,... ninguna da sola mucha separación. output redes neuronales lo hace mejor... (Garrido, Juste and Martinez, ALEPH ) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 9

10 Algunos asuntos con redes neuronales En el ejemplo, con eventos WW, el objetivo era seleccionar a estos eventos con el fin de estudiar las propiedades del bosón W. Necesario evitar el uso de variables input variables correlacionadas con las propiedades que eventualmente queremos estudiar (no trivial) En principio, una sola capa oculta con un número suficientemente nodos puede aproximar arbitrariamente bien la prueba óptima de variables (likelihood ratio / razón de probabilidad). En general comenzamos con un número pequeño de nodos y aumentamos hasta que los errores de clasificación en la validación de datos de la muestra deja de disminuir. En general el entrenamiento MC de datos es barato -- problemas con quedar atrapado en mínimos locales, sobreentrenamiento, etc., menos importante q la preocupación por las diferencias sistemáticas entre los datos entrenados y la Naturaleza, y las preocupaciones por la facilidad de interpretación de los resultados (output). J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 10

11 Técnicas de estimación de densidad de probabilidad (PDE) Construir estimadores no paramétricos de los pdfs y usarlos para construir el likelihood ratio (histograma n-dimensional es un ejemplo de fuerza bruta de esto.) Técnicas de estimación más inteligentes pueden conseguir que esto funcione para dimensiones (un poco) mayores. Ver, ej. K. Cranmer, Kernel Estimation in High Energy Physics, CPC 136 (2001) 198; hep-ex/ ; T. Carli and B. Koblitz, A multi-variate discrimination technique based on range-searching, NIM A 501 (2003) 576; hep-ex/ J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 11

12 PDE basado en Kernel (KDE, ventana de Parzen) Considerar d dimensiones, N eventos de entramiento, x 1,..., x N, estimar f (x) con kernel ancho de banda (parámetro smoothing) Usar, x ej. Kernel Gausiano: términos para evaluar la función (lento); solo cuentan eventos en vecindad de x rcano, búsqueda por rango).en una distribución multivariante general p(x) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 12

13 Correlación vs independencia En una distribución multivariante general p(x) no factoriza en un; producto de distribuciones marginales para las variables individuales: Se mantiene solo si componentes de x son independientes Más importante, los componentes de x tendrán en general covariancia diferente de cero (es decir, están correlacionadas): J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 13

14 Decorrelación de variables de entrada Podemos definir un conjunto de variables de entrada no correlacionadas por una transformación lineal, es decir, hallar la matriz A tal que para y=a x las covariancias cov[ y i, y j ]=0 Para lo siguiente suponer que las variables son decorrelacionadas de esta manera para cada una de p(x H 0 ) y p(x H 1 ) separadamente (desde que en general sus correlaciones son diferentes) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 14

15 Decorrelación no es suficiente Porque aún con correlación cero, una pdf multivariante p(x) en general tendrá no linealidades y entonces las variables decorrelacionadas aún no son independientes. pdf con covariancia cero pero componentes todavía no son independientes, desde que y por lo tanto J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 15

16 Bayes sencillo (naive) Pero si las nolinealidades no son muy grandes, es razonable primero decorrelacionar las entradas/inputs y tomar como nuestro estimador para cada pdf Entonces esto al menos reduce el problema a uno de hallar estimados de pdfs 1-dim. El estimado resultante de likelihood ratio da el clasificador Naive Bayes (llamado algunas veces en HEP el método likelihood ) J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 16

17 Terminando Capítulo 6 Nos fijamos en tests estadísticos y asuntos relacionados: discriminar entre tipos de eventos (hipótesis), determinar la eficacia de la selección, pureza de la muestra, etc Hemos discutido algunos métodos modernos (y no tan modernos): discriminante de Fisher, redes neuronales, PDE, KDE, árboles de decisión,... A continuación hablaremos de tests de significancia (goodness-of-fit): p-value expresa el nivel de concordancia entre los datos y la hipótesis J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 6 página 17