Cómo medir la validez y fiabilidad de sistemas de análisis forense. Geoffrey-Stewart Morrison. p p(e H )

Transcripción

1 Cómo medir la validez y fiabilidad de sistemas de análisis forense Geoffrey-Stewart Morrison p(e H ) p p(e H ) d

2 Preocupaciones Marco lógicamente correcto para la evaluación de las evidencias - ENFSI Guideline for Evaluative Reporting 2015 Sin embargo, cuál es la justificación para la opinión? De dónde vienen los números? - Risinger a ICFIS 2011 Demostración de validez y fiabilidad - Daubert 1993; National Research Council 2009; Forensic Science Regulator Codes of Practice 2014 Transparencia - R v T 2010 Diminuir la influencia potencial de sesgo cognitivo - NIST/NIJ Human Factors in Latent Fingerprint Analysis 2012

3 Paradigma Uso del marco de relaciones de verosimilitud para la evaluación de las evidencias lógicamente correcta se adoptó para ADN a mediados de los años 90 Uso de mediciones cuantitativas, datos relevantes (datos representativas de la población relevante), y modelos estadísticos transparente y reproducible relativamente robusto al sesgo cognitivo Evaluación empírica de validez y fiabilidad bajo condiciones que reflejan las condiciones del caso bajo investigación, con datos de prueba seleccionados de la población relevante

4 Validez y Fiabilidad (Exactitud y Precisión)

5 no válido, fiable no válido, no fiable válido, fiable válido, no fiable

6 Validez y Fiabilidad en la Ciencia Forense El Informe al Congreso del National Research Council sobre Strengthening Forensic Science in the United States (2009) urgió la adopción de procedimientos que incluyen: quantifiable measures of the reliability and accuracy of forensic analyses (p. 23) the reporting of a measurement with an interval that has a high probability of containing the true value (p. 121) the conducting of validation studies of the performance of a forensic procedure (p. 121)

7 Validez y Fiabilidad en la Ciencia Forense Los Codes of Practice and Conduct (2014) del Forensic Science Regulator de Inglaterra y Gales requiere: all technical methods and procedures used by a provider shall be validated. ( ) Even where a method is considered standard and is in widespread use, validation will still need to be demonstrated. ( ) validation shall be carried out using simulated casework material... and... where appropriate, with actual casework material ( ) demonstrate that they can provide consistent, reproducible, valid and reliable results ( )

8 Cómo Medir Validez

9 Medir Validez El conjunto de prueba consiste de un gran número de pares de muestras, unos del mismo origen y otros de diferentes orígenes El conjunto de prueba debe representar la población relevante y las condiciones del caso bajo investigación Se usa el sistema de comparación forense para calcular una RV por cada par de muestras de prueba Para cada par de muestras de prueba, se compara la salida del sistema con el conocimiento que se tiene sobre la entrada

10 CAJA NEGRA 156

11 CAJA NEGRA 1 78

12 CAJA NEGRA En un lugar de la Mancha, de cuyo nombre no quiero acordarme

13 En un lugar de la Mancha, de cuyo nombre no quiero acordarme

14 x Frequency (khz) Time (s) 1,000, En un lugar de la Mancha

15 CAJA NEGRA 1024 CAJA NEGRA 1,000,000 CAJA NEGRA 42 CAJA NEGRA En un lugar de la Mancha

16 Medir Validez La tasa de clasificación correcta / la tasa de clasificación errónea no es apropiada se basa en probabilidades a posteriori se usa un umbral en vez de presentar un valor gradiente decisión hecho mismo diferente mismo aceptación rechazo correcta incorrecto diferente aceptación rechazo incorrecta correcto

17 Medir Validez La tasa de clasificación correcta / la tasa de clasificación errónea no es apropiada se basa en probabilidades a posteriori se usa un umbral en vez de presentar un valor gradiente decisión hecho mismo diferente mismo diferente falsa alarma fallo por omisión

18 Medir Validez La tasa de clasificación correcta / la tasa de clasificación errónea no es apropiada se basa en probabilidades a posteriori se usa un umbral en vez de presentar un valor gradiente decisión hecho mismo diferente mismo 0 1 diferente 1 0

19 fallo por omisión falsa alarma 9 tasa de clasificación errónea Log 10 Apuesta A Posteriori 3

20 Medir Validez La validez se indica por el grado hasta que los de pares de muestras del mismo origen tengan R V > 1, y los de diferentes orígenes tengan R V < 1 La validez se indica por el grado hasta que los pares de muestras del mismo origen tengan log(r V) > 0, y los de diferentes orígenes tengan log(r V) < 0 RV 1/1000 1/100 1/ log 10(R V)

21 Medir Validez Una medida continua que capta la validez de un conjunto de relaciones de verosimilitud procedentes de datos de prueba es el coste del logaritmo de la relación de verosimilitud, loglikelihood-ratio cost, Cllr C llr 1 2 N mo 1 1 N mo i RV 1 log N N mo do j 1 i do log 2 1 RV do j Brümmer N, du Preez J (2006). Application independent evaluation of speaker detection, Computer Speech & Language, 20, doi: /j.csl

22 C llr Log 10 Relación de Verosimilitud 3

23 Ejemplo de Evaluar la Validez de un Sistema de Comparación Forense

24 Sistema y Datos Morrison, G. S. (2013). Vowel inherent spectral change in forensic voice comparison. In Morrison, G. S., & Assmann, P. (Eds.), Vowel inherent spectral change (ch. 11 / pp ). doi: / _11 Sistema acústico-fonético: doble objetivo: valor del objetivo inicial y del objetivo final en ejemplos de trayectorias: valores de coeficientes de polinomios cúbicos ajustados a las trayectorias del los formantes en ejemplos de Aitken & Lucy (2004) MVKD calibración de regresión logística 2500 Base de datos: 25 locutores masculinos de inglés australiano 2 grabaciones no-contemporaneas (24 ejemplos / grabación) validación cruzada frequency (Hz) time (s)

25 Resultados doble objetivo C llr = 0.43 trayectoria C llr = 0.10 Proporción Cumulativa Log 10 Relación de Verosimilitud

26 Gráficos Tippett

27 Gráficos Tippett proporción cumulativa log 10(RV)

28 Gráficos Tippett proporción cumulativa log 10(RV)

29 Gráficos Tippett proporción cumulativa log 10(RV)

30 Cómo Medir Fiabilidad

31 Fuentes de imprecisión variabilidad en la técnica de medir (Zhang et al., 2013) variabilidad en tomar muestras de la población relevante (Curran et al., 2002; Curran, 2005) variabilidad intrínseca al nivel del fuente intra-fuente inter-muestra variabilidad (Morrison, 2011) variabilidad en la estimación de parámetros de modelos estadísticos (Morrison et al., 2014) (Stoel and Sjerps, 2012)

32 Medir Fiabilidad Imagia que en el conjunto de prueba tenemos tres grabaciones ( A, B, C) de cada locutor A tiene las mismas condiciones (estilo de habla, canal de transmisión, duración, etc.) como la grabación del delicuente B y C tienen las mismas condiciones como la grabación del sospechoso Usamos LRs calculados a base de pares A-By A-Cpara estimar un intervalo de credibilidad (IC) de 95%

33 Medir Fiabilidad Dos pares para cada comparación del mismo locutor grab. del sospech. grab. del delicuente 001 B 001 A 001 C 001 A 002 B 002 A 002 C 002 A : : : :

34 Medir Fiabilidad Cuatro pares para cada comparación de diferentes locutores grab. del sospech. grab. del delicuente 002 B 001 A 002 C 001 A 003 B 001 A 003 C 001 A : : : : 001 B 002 A 001 C 002 A : : : :

35 Medir Fiabilidad log(rv)

36 Medir Fiabilidad promedio promedio log(rv)

37 Medir Fiabilidad log(rv) desviación desde el promedio

38 Medir Fiabilidad desviación desde el promedio 95% 5% paramétrico (homocedástico) varianca agrupada distribución t suposición de probabilidad a priori uniforme

39 Medir Fiabilidad desviación desde el promedio no paramétrico (heterocedástico) 95% log(rv) 5%

40 Medir Fiabilidad no paramétrico (heterocedástico) 5% 95% log(rv) desviación desde el promedio

41 Medir Fiabilidad no paramétrico (heterocedástico) regresión local linear 3 absolute deviation from mean log (LR) mean log 10(LR)

42 Sumario Si fueran consistentes los datos de fondo, calibración, y prueba con las condiciones del caso bajo investigación, y si la comparación entre las grabaciones del delicuente y del sospechoso resultara en una relación de verosimilitud de 100 (log ( 10 RV ) de +2), y la estimación del IC 95% arrojara un valor de ±1 ordenes de magnitud (±1 en log ( RV)), el científico forense podría presentar 10 una declaración como la siguiente:

43 Basado en mi evaluación de las evidencias, he calculado que las propiedades acústicas de la grabación del delicuente sería 100 veces más probable si la grabación hubiera sido producido por el acusado en contraste de que si hubiera sido producido por otro locutor de la población relevante.

44 Lo anterior significa que cualquiera que haya sido su creencia previa sobre las probabilidad de que el locutor en la grabación del delicuente fuera el acusado relativa a la probabilidad de que fuera otro locutor, ahora su creencia en el valor de la probabilidad de que sea el acusado relativa a la de que sea otro locutor debe ser 100 veces más de lo que fuera antes.

45 Basado en mis calculaciones, tengo una certeza de 95% que obtener estas propiedades acústicas es a lo menos 10 veces más probable y no más que 1000 veces más probable si el locutor en la grabación del delicuente fuera el acusado contra de que fuera otro locutor.

46 Ejemplo de Evaluar la Validez y Fiabilidad de un Sistema de Comparación Forense

47 Sistema y datos Zhang, C., Morrison, G. S., Ochoa, F., & Enzinger, E. (2013). Reliability of human-supervised formant-trajectory measurement for forensic voice comparison. Journal of the Acoustical Society of America. 133, EL54 EL60. doi: / Datos: 60 locutores femeninas chinas, tarea de cambio de información a través de teléfono, 2 sesiones de grabación, audio de alta calidad 20 fondo, 20 desarrollo, 20 prueba Sistema: 16 MFCCs (20 ms ventana, traslapo de 10 ms) + deltas, cumulative density mapping, 1024 Gaussianas GMM-UBM TCDs ajustados a F2 & F3 trayectorias de /iau/, coeficientes TCD 0 4, MVKD fusión y calibración por regresión logística Mediciones: 4 supervisores humanos 3 juegos de mediciones de trayectorias de formantes por supervisor

48 Resultados C llr por las medias de los grupos IC 95% (paramétrico) en ordenes de magnitud C llr = IC 95% = ± 0.45 C llr = IC 95% = ± 2.18 CZ log Relación de Verosimilitud 10 GSM log Relación de Verosimilitud 10

49 Gracias