Reconocimiento del hablante empleando rasgos distintivos de largo plazo

Transcripción

1

2 Reconocimiento del hablante empleando rasgos distintivos de largo plazo Tesista: Pedro UNIVASO Directores:Dr. Juan M. ALE y Dr. Jorge A. GURLEKIAN Lugar de Trabajo:Laboratorio de Investigaciones Sensoriales, INIGEM, CONICET-UBA

3 Introducción Los sistemas de reconocimiento estándar permiten identificar características a nivel segmentalde la señal de voz del orden del período del ciclo glótico (5-20mseg). La hipótesis del presente trabajo es que si se logran encontrar características segmentalesde mayor orden (20-200mseg) y características suprasegmentales (>200mseg) que sean útiles para la discriminación de personas, el sistema compuesto tendráun mejor desempeño, dado que contarácon mayor información respecto al hablante.

4 Tipología Reconocimiento del Hablante Simples Compuestas Verificación Identificación Clasificación Segmentación Detección Rastreo

5 Modelo neurológico

6 Objetivos Incorporar información de largo plazo, tanto segmental como suprasegmental, a un sistema de reconocimiento automático de hablantes basado en parámetros segmentalesestándares, para ser empleado en aplicaciones forenses.

7 Identificación forense de hablantes Existe un sospechoso No existe un sospechoso Existe una grabación del hablante desconocido Identificación del hablante Determinación del perfil del hablante desconocido No existe grabación, pero sí un testigo Declaración del testigo (si el testigo conoce al sospechoso) Rueda de voces (si el testigo no conoce al sospechoso) Raramente se solicita la intervención de expertos.

8 Identificación forense de hablantes País Casos por año Lituania República Checa 100 España 100 Belarrús 100 USA 100 Alemania Holanda Bélgica Francia 10 Suiza 10 Reino Unido 0 Organismo Policía Federal Argentina Gendarmería Nacional Argentina Asesoría Pericial de SCJBA Facultad de Medicina - UBA CONICET - UBA ITBA Sector Gabinete de Identificación de la Voz División Sónica Laboratorio de Voz y Habla Carrera de Fonoaudiología Laboratorio de Investigaciones Sensoriales Departamento de Electrónica

9 Identificación forense de hablantes Metodologías Espectrográfico-auditivas Auditivo-perceptuales Automáticas Semi-automáticas Combinadas

10 Identificación forense de hablantes Distorsiones Debidas al sistema Reducción respuesta en frecuencia (canal telefónico, sistema grabación, micrófono, diferencias de canal/distancias al micrófono) Ruido (viento, motores, movimiento automóviles, fricción micrófono con la ropa, música, otros hablantes) Debidas al hablante Emociones (stress, cólera, tristeza, depresión, excitación, euforia, y alegría) Intoxicación (drogas, alcohol) Intencionales (engaño, falsedades, enmascaramiento, insolencia, prevención) Estados de salud (resfrío, gripe, fatiga) No contemporaneidad (diferentes sesiones, envejecimiento del hablante)

11 Sistema GMM-UBM Sospechoso Adaptación (MAP) GMM H0 - LL 0 + Evidencia LLR = LL 0 - LL Aceptación / Rechazo Universal de Referencia UBM + - LL 1 Límite de decisión θ GMM Entrenamiento (EM) H1 extracción de atributos Modelado Codificación Decisión

12 Sistema HMM-UBM Sospechoso Adaptación HMM H0 RAH LL 0 LLR = LL 0 - LL 1 Evidencia Transcripción + - Aceptación / Rechazo Universal de Referencia UBM H1 RAH LL 1 Límite de decisión θ HMM Entrenamiento extracción de atributos Modelado Codificación Decisión

13 Sistema GMM-UBM* Sospechoso Adaptación (MAP) GMM H0 RAH LL 0 Evidencia LLR = LL 0 - LL Aceptación / Rechazo Universal de Referencia UBM RAH LL 1 Límite de decisión θ GMM Entrenamiento (EM) H1 extracción de atributos Modelado Codificación Decisión

14 Fonema Amplificación Sistema DHMM-UBM /n/ /t/ 3,51 3,45 /o/ 3,33 Sospechoso Adaptación HMM H0 Amplificación Diferencial /s/ /m/ /N/ /k/ 2,47 2,17 2,15 2,15 RAH LL 0 resto 1,00 LLR = LL 0 - LL 1 Evidencia Transcripción Selección de fonemas + - Aceptación / Rechazo Universal de Referencia UBM H1 RAH LL 1 Límite de decisión θ HMM Entrenamiento Amplificación Diferencial extracción de atributos Modelado Codificación Decisión

15 Sistema Suprasegmental Sospechoso p s Función de similitud Función de similitud - L 0 LL 0 + Evidencia p e - + Aceptación / Rechazo Universal de Referencia UBM p UBM + - Función de similitud L 1 LL 1 Límite de decisión extracción de atributo Codificación Decisión

16 Sistema Suprasegmental Aspectos de los parámetros de largo plazo de nivel suprasegmental: a) Condicionados fonéticamente: características intrínsecas de los fonemas y co-articulación. b) Lingüísticos de la prosodia: sintaxis y ritmo. c) No-lingüísticos: sentimientos del locutor. d) Para-lingüísticos: diferencias fisiológicas y dialectales. e) Extra-lingüísticos: ruidos.

17 Sistema Suprasegmental Nº Parámetro acústico Parámetro Suprasegmental Duración Tono Acento Calidad de voz 1 varco C 2 V% 3 C 4 Dur. fonema 5 Dur. palabra 6 F0 Medio 7 F0 Mediana 8 F0 mín 9 F0 Espectro 10 F0 pendiente 11 F0 desvío 12 F0 máx 13 F0 máx-mín 14 Acento 15 HNR 16 Jitter 17 Shimmer 18 Grado

18 Sistema Combinado Transcripción Manual Selección de base de datos UBM Pre-procesamiento HTK GMM HMM DHMM Sistema Suprasegmental Praat Normalización Z-norm Impostores Selector WEKA Clasificador Decisión final

19 Etapa decisoria Clasificación Nº Denominación WEKA 1 J48 2 Decision Stump 3 LMT 4 REP Tree 5 Decision Table 6 PART 7 JRIP 8 Naive Bayes 9 Bayes Net Classification Via 10 Regression 11 Logistic 12 Simple Logistic 13 SGD 14 Voted Perceptron 15 SMO Multilayer 16 Perceptron 17 Ibk 18 K Star 19 LWL 20 AdaBoost 21 LogitBoost 22 Bagging 23 Random Forest 24 Random Tree 25 Random Sub Space 26 Random Committee 27 Vote 28 Stacking Clasificadores perezosos Clasificadores de Ensamble Tipo de clasificador Árboles de decisión Reglas Métodos Bayesianos Modelos Lineales Máquinas de Soporte Vectorial Redes Neuronales Clasificadores Ansiosos Combinación por aprendizaje Combinación por consenso

20 cisoria Tasa de igual error, EER (%) 20% 15% 10% 5% Selección de atributos SVM (puk) LWL MultilayerPerceptron LMT LogitBoost Bagging 0% Número de atributos (Tasa de Ganancia )

21 Conclusiones Se ha demostrado que un sistema de identificación de hablantes que incorpora tanto información de corto como de largo plazo, logra mejores resultados que el sistema de base, y aún de cada uno de los sistemas de largo plazo empleados en forma individual. El sistema podráser de ayuda a la justicia para determinar la identificación de criminales por su voz.

22