RECONOCIMIENTO DE LOCUTOR DEPENDIENTE DE TEXTO MEDIANTE ADAPTACIÓN DE MODELOS OCULTOS DE MARKOV FONÉTICOS

Transcripción

1 UNIVERSIDAD AUTÓNOMA DE MADRID ESCUELA POLITÉCNICA SUPERIOR RECONOCIMIENTO DE LOCUTOR DEPENDIENTE DE TEXTO MEDIANTE ADAPTACIÓN DE MODELOS OCULTOS DE MARKOV FONÉTICOS -PROYECTO FIN DE CARRERA- Crsna Eseve Elzalde Julo de 2007

2 ACTA DE EXAMEN NOMBRE DEL ESTUDIANTE: Crsna Eseve Elzalde TÍTULO DEL PROYECTO: Reconocmeno de locuor dependene de exo medane adapacón de modelos oculos de Markov fonécos. NOMBRE DEL TUTOR: Doroeo Torre Toledano NOMBRE DE LOS MIEMBROS DEL TRIBUNAL: Presdene: Joaquín González Rodríguez Vocal: Kosadn Korouchev Secrearo: Doroeo Torre Toledano Presdene suplene: Javer Orega García Vocal suplene: Alejandro Serra Urrecho FECHA DE LECTURA Y DEFENSA: Madrd, a de de 2007 CALIFICACIÓN OBTENIDA:

3 RECONOCIMIENTO DE LOCUTOR DEPENDIENTE DE TEXTO MEDIANTE ADAPTACIÓN DE MODELOS OCULTOS DE MARKOV FONÉTICOS AUTOR: Crsna Eseve Elzalde TUTOR: Doroeo Torre Toledano Área de Traameno de Voz y Señales Dpo. de Ingenería Informáca Escuela Polécnca Superor Unversdad Auónoma de Madrd Julo de 2007

4 PALABRAS CLAVE Reconocmeno locuor dependene de exo, Verfcacón de locuor, Modelos Oculos de Markov, adapacón al locuor MLLR, YOHO, BIOSEC Baselne. RESUMEN En ese proyeco se esudan los ssemas de reconocmeno de locuor dependene de exo, cenrándonos en aquellos ssemas basados en Modelos Oculos de Markov (HMMs). Se consruye desde cero un reconocedor de locuor dependene de exo medane Modelos Oculos de Markov sobre dos bases de daos. La prmera de ellas y sobre la que más expermenos realzamos, por ser la base de daos de referenca en reconocmeno de locuor dependene de exo, es la base de daos YOHO (nglés). Además, exporamos nuesro ssema a la base de daos BIOSEC Baselne (español). En la pare de pruebas, ensayamos dferenes confguracones de nuesro reconocedor de locuor. Prmero comparamos dos écncas de enrenameno para ver cuál de ellas obene mejores resulados, como son el méodo radconal de reenrenameno Baum- Welch de los modelos ndependenes de locuor con voz del conjuno de locuores y la adapacón de locuores MLLR (Maxmum Lkelhood Lnear Regresson). Esa prueba la realzamos para dferenes candades de daos de enrenameno (6, 24 y 96 locucones). Además, esudamos el efeco que produce en los resulados s varamos el número de Gaussanas por esado, así como las clases de regresón al realzar la adapacón MLLR. Por úlmo, se analzan dsnas formas de normalzar los resulados y se propone una normalzacón novedosa que fnalmene se aplca con éxo. Para fnalzar, se presenan las conclusones y se proponen líneas de rabajo fuuras. ABSTRACT In he presen projec, ex-dependen speaker recognon sysems have been suded, focusng on sysems mplemened by Hdden Markov Models. A HMM-based exdependen speaker recognser was bul from scrach and appled o wo daabases. The frs one, on whch we oban mos of our resuls, s he reference daabase n sysem assessmen, s he well known YOHO daabase (recorded n englsh). Moreover, we esed our sysem on he daabase called BIOSEC Baselne (n spansh). In he expermenal par of he projec, we ry ou varous confguraons for our recognon sysem. Frs of all, we make a comparson beween wo ranng echnques n order o deermne whch one acheves beer resuls, he common mehod of ndependen speaker models reranng known as Baum-Welch reesmaon and MLLR (Maxmum Lkelhood Lnear Regresson) speaker models adapaon. Ths es was performed for dfferen amouns of enrolmen speech (6, 24 and 96 uerances). Furhermore, we have esed he oucome obaned by changng he number of mxures per sae, as well as he number of regresson classes when we apply MLLR adapaon. Lasly, we analyse novel dfferen ways of score normalzaon and hese echnques are successfully mplemened. Fnally, conclusons are drawn, and fuure lnes of work are proposed.

5 Agradecmenos El presene proyeco de nvesgacón no hubera sdo posble sn la valosa cooperacón de las personas por las que seno un profundo agradecmeno. Qusera desacar en prmer lugar a m uor, el profesor Doroeo Torre Toledano por su dedcacón y su experenca profesonal, a Joaquín González y al reso de membros del grupo ATVS por su colaboracón y apoyo, a ms compañeros por su amsad, y fnalmene a ms padres por su carño. Crsna Eseve Elzalde Julo de 2007 Ese proyeco ha sdo realzado en el Área de Traameno de Voz y Señales (ATVS) en la Escuela Polécnca superor de la Unversdad Auónoma de Madrd. El proyeco ha sdo fnancado parcalmene por el Mnsero de Defensa y el Mnsero de Educacón y Cenca a ravés del proyeco TEC C02-01.

6 Índce Resumen... Absrac... 1 Inroduccón y Objevos Reconocmeno de locuor: varanes y aplcacones Objevos Organzacón de la memora Esudo del esado del are y ecnologías a ulzar Funconameno de un ssema de verfcacón de locuor Fase de enrenameno Fase de verfcacón Adquscón de voz Exraccón de parámeros Toma de decsones y evaluacón Marco genérco de la oma de decsón Meddas de los errores en la decsón Enrenameno y cálculo de punuacones Alneameno emporal dnámco (DTW) Modelos de Mezclas Gaussanas (GMM) Modelos Oculos de Markov (HMM) Dseño y Desarrollo Medos dsponbles Bases de daos Sofware Máqunas Dseño Expermenos realzados Expermenos sobre la base de daos YOHO Reesmacón Baum-Welch versus Adapacón MLLR Inroduccón Descrpcón de las pruebas y Resulados Reesmacón Baum-Welch con pocos daos de enrenameno Adapacón MLLR con pocos daos de enrenameno Adapacón MLLR y reesmacón Baum-Welch varando el número de locucones de enrenameno Conclusones Normalzacón de punuacones Inroduccón Descrpcón de las pruebas y resulados Conclusones Fusón HMM/GMM Inroduccón Descrpcón de las pruebas y resulados Conclusones Comparacón de nuesro ssema frene a oros Expermenos sobre la base de daos BIOSEC Adapacón MLLR vs Reesmacón Baum-Welch Inroduccón Descrpcón de la prueba y resulados...62

7 Conclusones Conclusones y Trabajo Fuuro Referencas...66 Anexo...69 v

8 Índce de Tablas Tabla 1. Resulados obendos sobre YOHO ulzando Reesmacón Baum-Welch de HMMs ndependenes del locuor de 3 esados en funcón del número de Gaussanas por esado y el número de pasadas de reesmacón Tabla 2. Resulados obendos sobre YOHO ulzando adapacón MLLR de HMMs ndependenes del locuor de 3 esados en funcón del número de Gaussanas por esado y el número de clases de regresón Tabla 3. Resulados sobre YOHO ulzando reesmacón Baum- Welch en funcón de los daos de enrenameno y del número de Gaussanas por esado Tabla 4. Resulados sobre YOHO ulzando reesmacón Baum- Welch y adapacón MLLR en funcón de los daos de enrenameno...48 Tabla 5. Resulados sobre YOHO anes y después de aplcar Tnorm Tabla 6.Resulados sobre YOHO anes y después de aplcar Tnorm por fonemas Tabla 7.Resulados sobre YOHO anes y después de aplcar Tnorm por esados...56 Tabla 8. Resulados obendos sobre YOHO anes y después de realzar la fusón de los ssemas ndvduales basados en GMMs y HMMs...59 Tabla 9.Comparacón del rendmeno de dsnos ssemas sobre YOHO...61 Tabla 10. Resulados sobre BIOSEC para reesmacón Baum-Welch y adapacón MLLR para locucones en español y adqurdas con un mcrófono cercano v

9 Índce de Fguras Fgura 1.Ssema genérco de Verfcacón Auomáca de Locuor [Campbell, 1999].. 5 Fgura 2.Ssema genérco de Verfcacón Auomáca de Locuor [Campbell, 1999]... 7 Fgura 3.Ssema genérco de Verfcacón Auomáca de Locuor [Campbell, 1999]..10 Fgura 4.Ssema genérco de Verfcacón Auomáca de Locuor [Campbell, 1999]..10 Fgura 5.Ejemplo de curva ROC y curva DET...11 Fgura 6.Prmer méodo de generacón de un UBM...14 Fgura 7.Segundo méodo de generacón de un UBM...15 Fgura 8.Ejemplo del prmer paso en la adapacón MAP, omada de [Reynolds e al.,2000]...16 Fgura 9.Segundo paso en la adapacón MAP, omada de [Reynolds e al.,2000]...17 Fgura 10.El modelo de generacón de Markov [The HTK Book,2005]...18 Fgura 11.La relacón enre α -1 y α y β -1 y β en el algormo Forward- Backward [X. Huang e al.,2001]...24 Fgura 12.Ilusracón de las operacones necesaras para el cálculo de γ (,j), [X. Huang e al.,2001]...25 Fgura 13.Ejemplo de árbol de regresón bnaro...29 Fgura 14.Aplcacón de HMMs a un ssema de verfcacón de locuo...32 Fgura 15.Curva DET con los resulados obendos sobre YOHO de realzar una pasada de reesmacón Baum-Welch en funcón del número de Gaussanas por esado Fgura 16.Curva DET con los resulados obendos sobre YOHO de aplcar 4 pasadas de reesmacón Baum-Welch en funcón del número de Gaussanas por esado...43 Fgura 17.Curvas DET con los resulados obendos sobre YOHO al realzar 4 pasadas de reesmacón Baum-Welch acualzando sólo las medas en modelos de una Gaussana por esado...44 Fgura 18.Curvas DET obenda sobre YOHO ras realzar reesmacón Baum-Welch con 24 locucones de enrenameno en funcón del número de Gaussanas por esado 47 Fgura 19.Curva DET obenda sobre YOHO ras realzar reesmacón Baum-Welch con 96 locucones de enrenameno en funcón del número de Gaussanas por esado 47 v

10 Fgura 20.Curva DET obenda sobre YOHO ulzando reesmacón Baum- Welch y adapacón MLLR en funcón de los daos de enrenameno...48 Fgura 21.Dagrama de bloques de Tnorm, [Surum e al., 2005]...50 Fgura 22.Curvas DET obendas sobre YOHO anes y después de aplcar Tnorm...52 Fgura 23.Curvas DET obendas sobre YOHO anes y después de aplcar Tnorm enrenando 4 modelos por cada locuor de la cohore...53 Fgura 24.Curvas DET obendas sobre YOHO anes y después de aplcar Tnorm por fonemas Fgura 25.Curvas DET obendas sobre YOHO anes y después de aplcar Tnorm por esados...55 Fgura 26.Dagrama de bloques que muesra el proceso de fusón Fgura 27.Curvas DET obendas sobre YOHO anes y después de realzar la fusón de los ssemas ndvduales basados en GMMs y HMMs Fgura 28.Resulados sobre BIOSEC para reesmacón Baum-Welch y adapacón MLLR para locucones en español y adqurdas con un mcrófono cercano Fgura 29.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con una clase de regresón en funcón del número de Gaussanas por esado...69 Fgura 30.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con dos clases de regresón en funcón del número de Gaussanas por esado...70 Fgura 31.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con cuaro clases de regresón en funcón del número de Gaussanas por esado Fgura 32.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con 8 clases de regresón en funcón del número de Gaussanas por esado...71 Fgura 33.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con 16 clases de regresón en funcón del número Gaussanas por esado Fgura 34.Curvas DET obendas sobre YOHO ras realzar Adapacón MLLR con 32 clases de regresón en funcón del número de Gaussanas por esado...72 Fgura 35.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con modelos de 5 Gaussanas por esado en funcón del número de clases de regresón Fgura 36.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con modelos de 10 Gaussanas por esado en funcón del número de clases de regresón..73 Fgura 37.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con modelos de 20 Gaussanas por esado en funcón del número de clases de regresón..73 v

11 Fgura 38.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con modelos de 40 Gaussanas por esado en funcón del número de clases de regresón..74 Fgura 39.Curvas DET obendas sobre YOHO ras realzar adapacón MLLR con modelos de 80 Gaussanas por esado en funcón del número de clases de regresón..74 v

12 Glosaro Auencar En Bomería, la palabra auencacón suele usarse como snónmo genérco de verfcacón. Base de daos Recoplacón de uno o más archvos compuarzados. En el caso de ssemas bomércos, esos archvos pueden ser lecuras del sensor bomérco, planllas, resulados de concdencas, nformacón sobre el usuaro fnal, ec. Bomería Pare de la bología que esuda cuanavamene la varabldad ndvdual de los seres vvos ulzando méodos esadíscos. Capura Proceso de recoplacón de una muesra bomérca de un ndvduo por medo de un sensor. Caraceríscas Caraceríscas maemácas dsnvas dervadas de una muesra bomérca, ulzadas para generar una referenca. Comparacón Proceso de comparacón de una referenca bomérca con una referenca o referencas almacenadas con anerordad, para omar una decsón sobre denfcacón o verfcacón. Curva DET (compensacón por error de deeccón) Trazo gráfco de las asas de error meddas. Por lo general, las curvas DET razan las asas de error de decsón (asa de falso rechazo vs. asa de falsa acepacón). Dependene de exo Un ssema de verfcacón de locuores en el que el exo que el locuor debe decr es conocdo por el ssema. Decsón Accón a segur (auomáca o manual) que resula de la comparacón de la punuacón obenda por el usuaro con la escala del ssema. DTW (Dynamc Tme Warpng) Alneameno Temporal Dnámco. Enfrenameno Proceso que ncluye la comparacón de una muesra bomérca con una planlla almacenada anerormene, y el cálculo del grado de semejanza. Los ssemas oman las decsones basándose en ese resulado y en la relacón (por encma o por debajo) con la escala predeermnada. Escala Mel La escala Mel es una aproxmacón a la escala percepual humana. Exraccón Proceso de conversón de una muesra bomérca capurada en daos bomércos para que puedan ser comparados con una referenca. GMM (Gaussan Mxure Model) Modelo de Mezclas Gaussanas HMM (Hdden Markov Model) Modelo oculo de Markov Idenfcacón Tarea en la cual el ssema bomérco busca en una base de daos una referenca que x

13 concda con la muesra bomérca sumnsrada y, de enconrarla, devuelve la dendad correspondene. Se recopla nformacón bomérca y se la compara con odas las referencas en la base de daos. Imposor Persona que somee una muesra bomérca con la nencón delberada o nvolunara de declarar la dendad de ora persona en el ssema bomérco. Independene de exo Un ssema de verfcacón de locuores en el que el ssema no conoce el exo que el locuor ha dcho. MAP (Maxmum a Poseror) Méodo de adapacón de modelos ndependenes de locuor a los dsnos locuores. MFCC (Mel Frequency Cepsral Coeffcens) Coefcenes cepsrales en escala de frecuencas Mel. MLLR (Maxmum Lkelhood Lnear Regresson) Méodo de adapacón de modelos ndependenes de locuor a los dsnos locuores medane ransformacones lneales. Modaldad Tpo o clase de ssema bomérco. Por ejemplo: reconocmeno de rosro, reconocmeno de huellas daclares, reconocmeno de rs, ec. Modelo Represenacón ulzada para caracerzar a un ndvduo. Los ssemas bomércos basados en caraceríscas de comporameno, debdo al dnamsmo nherene de esas caraceríscas, ulzan modelos en vez de planllas esácas Muesra bomérca Informacón o daos compuarzados, obendos por medo de un dsposvo con sensor bomérco. Por ejemplo, mágenes de rosros o de huellas daclares. NIST (Naonal Insue of Sandards and Technology) Organsmo federal, no regulador, perenecene a la Cámara de Comerco de los Esados Undos que desarrolla y promueve meddas, esándares y ecnología para aumenar la producvdad, faclar el comerco y mejorar la caldad de vda. PIN (Número de Idenfcacón Personal) Méodo de segurdad ulzado para mosrar lo que uno sabe. Según cada ssema, la clave PIN puede ser ulzada para declarar una dendad o para verfcar una dendad anes declarada. Planlla Represenacón dgal de las caraceríscas dsnvas de un ndvduo, que conene la nformacón exraída de una muesra bomérca. Las planllas se ulzan durane la auencacón bomérca como base de comparacón. Reconocmeno del habla Tecnología que perme que una máquna reconozca las palabras pronuncadas. El reconocmeno del habla no es una ecnología bomérca. Reconocmeno de locuor Modaldad bomérca que ulza el habla de una persona, una caracerísca nfluencada ano por la esrucura físca del raco vocal del ndvduo como por las caraceríscas de comporameno del ndvduo, para fnes de reconocmeno. Se dvde en denfcacón y verfcacón de locuor. Reesmacón Baum-Welch Méodo de enrenameno de un Modelo Oculo de Markov. Regsro x

14 Proceso de recoplacón de muesra bomérca de un usuaro fnal, conversón de la msma en referenca bomérca y almacenameno de la referenca en la base de daos del ssema bomérco para poseror comparacón. ROC (Caracerísca de funconameno del recepor) Méodo para mosrar el rendmeno de precsón medda de un ssema bomérco. La caracerísca ROC en una verfcacón compara la asa de falsa acepacón con la asa de verfcacón. Ssema bomérco Componenes ndvduales múlples (ales como sensor, algormo de concdenca y vsualzacón de resulado) que se combnan para crear un ssema oalmene funconal. Un ssema bomérco es un ssema auomazado capaz de: 1. capurar una muesra bomérca del usuaro fnal; 2. exraer y procesar los daos bomércos de dcha muesra; 3. almacenar la nformacón exraída en una base de daos; 4. comparar los daos bomércos con los daos con los modelos de referenca;y 5. decdr el grado de concdenca e ndcar s se ha logrado una denfcacón o verfcacón de dendad o no. Un ssema bomérco puede ser pare componene de un ssema mayor. Ssema bomérco mulmodal Ssema bomérco que emplea múlples rasgos bomércos. Ssema bomérco unmodal Ssema bomérco que emplea un únco rasgo bomérco. Tasa de falsa acepacón (FAR) Esadísca ulzada para medr el rendmeno bomérco durane la area de verfcacón. Porcenaje de veces que un ssema produce una falsa acepacón, lo cual ocurre cuando un ndvduo es erróneamene vnculado con la nformacón bomérca exsene de ora persona. Tasa de falso rechazo (FRR) Esadísca ulzada para medr el rendmeno bomérco durane la area de verfcacón. Porcenaje de veces que el ssema produce un falso rechazo. Ocurre un falso rechazo cuando un ndvduo no es vnculado con su propa planlla bomérca exsene. Tasa de gual error (EER) Esadísca ulzada para mosrar el rendmeno bomérco; por lo general, durane la area de verfcacón. La asa EER es la ubcacón en una curva ROC o DET donde la asa de falsa acepacón y la asa de falso rechazo son guales. Por lo general, cuáno más bajo sea el valor de la asa de gual error, mayor será la precsón del ssema bomérco. Observe, sn embargo, que la mayoría de los ssemas operavos no esán preparados para funconar con la asa de gual error, de modo que la verdadera uldad de esa medda esá lmada a la comparacón con el rendmeno del ssema bomérco. Umbral Valor predeermnado de un usuaro para las areas de verfcacón o denfcacón de grupo abero en los ssemas bomércos. La acepacón o el rechazo de los daos bomércos depende de s el resulado de concdenca se encuenra por encma o por debajo de la escala. La escala es ajusable de modo que el ssema bomérco puede ser más o menos esrco según los requsos de cada aplcacón bomérca. x

15 Verfcacón Tarea durane la cual el ssema bomérco nena confrmar la dendad declarada de un ndvduo, al comparar la muesra sumnsrada con una o más planllas regsradas con anerordad. x

16 1. Inroduccón y objevos Capíulo 1 Inroduccón y objevos 1 Inroduccón y objevos Tradconalmene, la verfcacón de la dendad se realzaba medane conraseñas o números personales. Sn embargo, dchos ssemas son muy vulnerables a aaques fraudulenos ya que sólo se requere conocer la conraseña para ener acceso al ssema. Para aumenar la segurdad de esos ssemas se han desarrollado écncas de reconocmeno de personas basadas en rasgos bomércos, ales como la huella daclar, el rs ocular o la voz humana, hacendo la suplanacón de la dendad una area dfícl. En ese proyeco se desea combnar un rasgo bomérco, la voz con el uso de números personales para desarrollar un reconocedor de locuor dependene de exo en español y en nglés. Esa aproxmacón asoca las venajas de las conraseñas con las de los rasgos bomércos para consegur un más elevado nvel de segurdad. 1.1 Reconocmeno de locuor: varanes y aplcacones El reconocmeno auomáco de locuor consse en reconocer a una persona a ravés de su voz sn supervsón humana. 1

17 1. Inroduccón y objevos Los ssemas de reconocmeno auomáco de locuor se pueden clasfcar en res pos: Idenfcacón de locuores Verfcacón de locuores Segumeno y agrupameno de locuores En la denfcacón de locuor el locuor no apora nformacón sobre su dendad y es el ssema el que deermna quén es a parr de su voz denro de un conjuno de posbles canddaos o, s se raa de denfcacón en conjuno abero, s el locuor es conocdo o no por el ssema. Por el conraro, la area de los ssemas de verfcacón de locuor es deermnar s el locuor es o no quén dce ser. Por úlmo, el segumeno y agrupameno consse en equear qué locuor esá hablando en un segmeno de voz y cuándo se producen cambos de locuores. De los res pos, el proyeco se va a realzar denro del marco de verfcacón de locuores. Sn embargo, cada uno de ésos poseen caraceríscas dsnas y aplcacones neresanes que cabe desacar: La denfcacón de locuores se puede ulzar para resrngr el acceso a nformacón a personas no auorzadas. Por oro lado, el segumeno y agrupameno de locuores ene su uldad en la rascrpcón de nocas o reunones, con el fn de aslar la voz de cada uno de los locuores en una grabacón. La verfcacón de locuores ene ambén numerosas aplcacones comercales mporanes, por ejemplo las ransaccones bancaras a ravés del eléfono. Además de ésa, exsen muchas oras aplcacones comercales, odas desnadas a aumenar la segurdad en la verfcacón de la dendad como podría ser la gesón de dendad en cenrales de aencón al clene, hacendo posble confrmar la dendad del usuaro que llama y cerfcar las operacones que realce como la conraacón o baja de nuevos servcos. Ora aplcacón podría ser el resrngr el acceso a personas no auorzados a bases de daos con nformacón confdencal de clenes. Muy mporane ambén son las aplcacones en el ámbo forense, pueso que se puede emplear en jucos para comprobar s la voz empleada como prueba concde con la del acusado. Por las múlples aplcacones poencales menconadas anerormene y el nerés por el ema, el proyeco se desarrollará en el ámbo de verfcacón de locuor. 2

18 1. Inroduccón y objevos Volvendo a la clasfcacón de ssemas, esa vez ya cenrándonos en los ssemas de verfcacón de locuor, oro crero mporane gra en orno a su dependenca con el exo pronuncado, dsnguendo enre: Ssemas dependenes de exo y Ssemas ndependenes de exo En los prmeros, la locucón de enrenameno y la de verfcacón suelen ser el msmo exo. Fundamenalmene consse en una palabra o frase clave (conraseña) que le perme el acceso al ssema al usuaro. En esos ssemas, la conraseña es conocda por el ssema y suele ser fja, requrendo un nuevo enrenameno cada vez que se desea cambar de conraseña. Un problema de esos ssemas es que son relavamene fácles de aacar en caso de que el mposor grabe la palabra clave pronuncada por el usuaro. Para evar ese po de aaques se nroducen los ssemas ex-promped o de exo solcado, en los que el ssema además de solcar la conraseña al usuaro solca reper un códgo o frase elegdo aleaoramene, y que por ano eva la posbldad de ulzar grabacones. Por el conraro, en los ssemas ndependenes de exo la locucón de enrenameno y la de es no concden, sendo la locucón de es desconocda por el ssema. En ese caso, el ssema no ulza nngún po de conraseña, sno úncamene el rasgo bomérco de la voz. Ambas areas son dsnas y emplean por ello dferenes écncas. En ssemas ndependenes de exo se ulzan radconalmene écncas basadas en GMMs (Gaussan Mxure Models), menras que en ssemas ndependenes de exo se suelen ulzar écncas de DTW (Dynamc Tme Warpng) o HMMs (Modelos Oculos de Markov). 1.2 Objevos El objevo de ese proyeco es consrur un ssema de verfcacón de locuor dependene de exo. Ése ssema se va a evaluar sobre dsnas bases de daos, una de ellas en nglés y ora en español. Se mplemena medane la écnca de modelado esadísco de los modelos oculos de Markov (HMMs). Además se ensayan dsnos méodos de enrenameno, ales como la reesmacón Baum-Welch o la adapacón 3

19 1. Inroduccón y objevos MLLR, para deermnar con cuál se alcanzan mejores resulados. Fnalmene se aplcan normalzacones novedosas a las punuacones. 1.3 Organzacón de la memora Esa memora esá organzada en 6 pares: la nroduccón, el esudo del esado del are y la descrpcón de las ecnologías a ulzar, el dseño y desarrollo, las pruebas y resulados, las conclusones y las referencas consuladas. 4

20 2. Esudo del esado del are y ecnologías a ulzar Capíulo 2 Esudo del esado del are y ecnologías a ulzar 2.1 Funconameno General de un ssema de verfcacón de locuor La esrucura común de odos los ssemas de verfcacón auomáca de locuor consa de 2 fases: 1. Fase de enrenameno 2. Fase de verfcacón Fgura 1. Ssema genérco de Verfcacón Auomáca de Locuor [Campbell, 1999]. 5

21 2. Esudo del esado del are y ecnologías a ulzar Fase de enrenameno La prmera fase corresponde a la fase de regsro, en la que, a parr de una sere de locucones pronuncadas por los fuuros usuaros del ssema, se generan los modelos de referenca para cada locuor conra los que comparar en la fase de verfcacón. Prevamene son necesaras las fases de adquscón dgal de los daos y de exraccón de parámeros, que se descrbrán en la seccón 2.2 y 2.3 respecvamene. El enrenameno de esos modelos se realza en los HMMs y GMMs medane dsnas écncas como la adapacón de modelos ndependenes del locuor a los dsnos locuores o ben reenrenando los modelos con las locucones dsponbles de cada locuor. En el caso de DTW, el enrenameno no es más que el almacenameno de las locucones (prevamene paramerzadas) para usarlas como planllas en la fase de verfcacón. Todo eso se verá más en dealle en el aparado Fase de verfcacón En la fase de verfcacón, ras la fase preva de adquscón de la voz y la exraccón de vecores de caraceríscas, que se realzan exacamene gual que en la fase de enrenameno, se realza el cálculo de punuacones, enfrenando la locucón a verfcar al modelo del locuor que dce ser. A parr de esa punuacón y en base a un umbral, fjo o calculado para cada locuor, se oma la decsón de acepar o rechazar al usuaro en el ssema, como se explcará más adelane en el aparado Adquscón de voz La adquscón de la voz se lleva a cabo medane un mcrófono o un aurcular elefónco, que converen la onda acúsca en una señal analógca. A esa señal analógca se le aplca enonces un flro analasng para lmar el ancho de banda de la señal a la frecuenca de Nyqus. La señal analógca se muesrea para converrla en una señal dgal con un converdor analógco/dgal. Hoy en día los converdores A/D para aplcacones de voz muesrean habualmene a una asa de 8000 hasa muesras por segundo con una resolucón de 12 a 16 bs por muesra. En aplcacones locales de verfcacón de locuor, el canal analógco es smplemene el mcrófono, el cable y el acondconameno de la señal analógca. Es por eso que la señal dgal resulane puede llegar a ser de ala caldad, sn las dsorsones que se producen al ransmrse las señales por las líneas elefóncas. 6

22 2. Esudo del esado del are y ecnologías a ulzar 2.3 Exraccón de parámeros Los Mel Frequency Cepsral Coeffcens (coefcenes cepsrales en escala de frecuencas Mel) son coefcenes para la represenacón del habla basados en la percepcón audva humana. Se dervan de la Transformada de Fourer (FT) y de la Transformada dscrea del coseno (DCT). La dferenca básca enre FT y MFCC es que en MFCC las bandas de frecuenca esán espacadas logarímcamene (según la escala Mel) para modelar la respuesa audva humana más apropadamene que las bandas espacadas lnealmene de la FT. Eso perme un procesado de daos más efcene, por ejemplo, en compresón de audo. La magen sguene represena el procesado de la señal que se realza en un ssema ípco para compuar los coefcenes MFCC. Fgura 2. Dagrama de bloques del proceso de cálculo de los MFCCs La señal acúsca, muesreada a 8 KHz en el caso de señales elefóncas, se dferenca (flro de preénfass) y se dvde en un número de segmenos solapados (envenanado), cada uno de 25 ms de longud solapados 15 ms enre sí. A connuacón la señal se flra medane un banco de flros de dferenes frecuencas y ampludes para dar más resolucón en las bajas frecuencas, como ocurre en el ssema audvo humano. Ese flrado se realza en el domno de la frecuenca al que se pasa calculando prevamene 7

23 2. Esudo del esado del are y ecnologías a ulzar la FFT. De la salda de cada flro se calcula la energía en promedo (para la venana de 25ms) y los valores obendos se pueden ver como una nueva señal de empo dscreo. Así por ejemplo, usando un banco de 40 flros se obene, para cada rama de voz de 25ms, un vecor de 40 coefcenes. Al rasformar esa señal a ravés de una DCT (Dscree Cosne Transform), se obenen unos parámeros (de los que se oman habualmene de 13 a 20) aproxmadamene ncorrelados enre ellos: esos son los coefcenes MFCC. En parcular, el prmer coefcene, C0 represena la energía de la señal y se usa o no dependendo de la aplcacón (en caso de usarlo habualmene se normalza para compensar varacones de energía debdas a proxmdad al mcrófono u oros efecos colaerales ndeseados). Apare de esos prmeros coefcenes se suelen usar ambén las velocdades y/o las aceleracones, que represenan la evolucón emporal de los fonemas al pasar de unos a oros (Dela-MFCC y Dela-Dela-MFCC). Los coefcenes Dela represenan la varacón de los coefcenes MFCC alrededor del nsane de empo consderado. Suelen, por eso, llamarse coefcenes de prmera dervada o velocdad. De modo smlar, los Dela-Dela se denomnan de aceleracón. 2.4 Toma de decsones y evaluacón En ese aparado, se descrbe prmero el proceso de decsón que ene lugar en los ssemas de verfcacón de locuor para deermnar s el locuor es acepado o rechazado por el ssema. A connuacón se explca la manera en que se evalúan los errores que se comeen en la decsón. Debemos desacar que en ese puno hemos decddo salar de modo nenconado la descrpcón deallada del enrenameno y el cálculo de punuacones. La razón es que esos dos aspecos, que se abordarán en el aparado 2.5 son muy dependenes de la écnca empleada (DTW, HMMs, GMMs), menras que la oma de decsones y la evaluacón es ndependene de la écnca empleada Marco genérco de la oma de decsón Dado un segmeno de voz X y un locuor S, el objevo de la verfcacón del locuor es deermnar s S generó la locucón X. Eso se puede formalzar como un es de hpóess básco enre las sguenes hpóess: H 0 : X fue pronuncado por el locuor S. H 1 : X no fue pronuncado por el locuor S. 8

24 2. Esudo del esado del are y ecnologías a ulzar La decsón, de acuerdo con el crero de máxma verosmlud (Maxmum Lkelhood, ML), se obene medane el cocene de verosmludes que vene dado por: P( X H P( X H 0 1 ) ) ϑ < ϑ acepar H 0 rechazar H 0 donde ( X ) P, =0,1 es la probabldad de la hpóess H evaluada para el segmeno H de voz Y. θ es el umbral de decsón para acepar o rechazar H 0. En prncpo debería ser 0, pero en aplcacones práccas neresa ajusar dcho umbral para conrolar la relacón enre las probabldades de comeer errores en los dos sendos posbles en la decsón. Habualmene se suele emplear el logarmo de ese cocene: Λ X ) = log P( X H ) log P( X ). ( 0 H1 Por ano, el objevo de los ssemas de reconocmeno de locuor es enconrar méodos para calcular ambas probabldades, P ( X ) y ( X ) H 0 P H 1. Un paso crucal en la mplemenacón del deecor es el cálculo de las probabldades P. La forma de esmar esas probabldades depende de la aplcacón. Para reconocmeno de locuor ndependene de exo no exse nformacón a pror de lo que el locuor ha dcho y en esas crcunsancas la eleccón más acerada es el uso de GMMs. Por el conraro, para reconocmeno de locuor dependene de exo donde sí que exse al nformacón, se suelen ulzar HMMs de manera que se puede nclur nformacón emporal adconal Meddas de los errores en la decsón En la verfcacón de locuores se pueden dar dos pos dsnos de errores: 1. Falso Rechazo (FR), que se produce cuando un usuaro auénco es rechazado por el ssema, y 2. Falsa Acepacón (FA), que aparece cuando un mposor es acepado por el ssema como s fuera un usuaro auénco. S se observa la dsrbucón de las punuacones de usuaros e mposores se puede observar que, de manera general, ambas dsrbucones se solapan, lo que supone un problema para selecconar el umbral, a parr del cual las punuacones serán nerpreadas como perenecenes a usuaros regsrados. 9

25 2. Esudo del esado del are y ecnologías a ulzar Fgura 3. Dsrbucón de usuaros e mposores, omada de BoID Por lo ano, el área bajo la curva de mposores que queda por encma del umbral es la probabldad de que un mposor sea acepado. Esa probabldad es la asa de falsa acepacón (FAR o False Accepance Rae). La probabldad de que un usuaro regsrado no sea acepado es el área bajo la curva de usuaros váldos que queda por debajo del umbral, lo que se denomna la asa de falso rechazo (FRR False Rejecon Rae). Fgura 4.Curva de asa de falsa acepacón frene a la asa de falso rechazo. Fgura omada de BoID. S la dsrbucón de punuacones de usuaros e mposores se solapan, la FAR y la FRR endrán un puno de nerseccón, en el cual la FAR y la FRR son guales. A ese puno se le denomna asa de equerror (Equal Error Rae ERR). Ese puno se ulza para comparar dsnos ssemas y es donde el error del ssema, dado como la suma de la FAR y la FRR, se suele mnmzar. Sn embargo, para poder comparar dos ssemas según el EER es necesaro que ése sea calculado sobre los msmos daos de es ulzando el msmo proocolo expermenal. 10

26 2. Esudo del esado del are y ecnologías a ulzar Como el EER no descrbe plenamene el rendmeno del ssema, ése se suele represenar medane las curvas ROC (Recever Operang Curve) y las curvas DET (Deecon Error Tradeoff). En ambas curvas se muesra la asa de falsa acepacón frene a la asa de falso rechazo para dsnos nveles de umbral. Las curvas DET se obenen a parr de las curvas ROC realzando una ransformacón no lneal en los ejes, de manera que las curvas no lneales de las ROC se converen cas en recas. Eso las hace más sencllas de analzar y comparar unas con oras, por lo que se suele opar por las curvas DET. 1 β (FA) β EER ROC Curve EER False Rejecon (or mss) probably (n %) α EER α (FR) False Accepance (or False Alarm) probably (n %) Fgura 5.Ejemplo de curva ROC y curva DET 2.5 Enrenameno y cálculo de punuacones Como ya se vo, la area de verfcacón de locuor se compone esencalmene de dos fases: la fase de enrenameno y la del cálculo de punuacones. Esa punuacón represena la medda de smlud enre los vecores de caraceríscas del segmeno de audo a verfcar y un modelo de locuor. A su vez, los modelos del locuor se consruyen a parr las caraceríscas exraídas de uno o varos segmenos de voz de cada locuor. Cuando se desea auencar a un usuaro, se compara la señal de enrada con el modelo del locuor que dce ser y que se ha creado en la fase de enrenameno. Exsen dos pos de modelos: los modelos esocáscos y los modelos de planllas (emplaes en nglés). En los modelos esocáscos la comparacón de parones se realza de manera probablísca obenendo una medda de la probabldad condconal de la observacón dado el modelo. Un ejemplo de modelado esocásco son los Modelos Oculos de Markov (HMMs) o los modelos de mezclas de Gaussanas (GMMs). 11

27 2. Esudo del esado del are y ecnologías a ulzar Por el conraro, el cómpuo de verosmludes ulzando modelos de planllas es un proceso de comparacón basado en cálculo de dsancas. Se asume que la observacón es una réplca no dénca de la planlla y se realza un alneameno de las secuencas observadas con las secuencas de referenca de manera que se mnmce la dsanca que exse enre ambas. Un ejemplo de ese méodo es el Alneameno Temporal Dnámco Alneameno Temporal Dnámco (DTW) El Alneameno Temporal Dnámco es un méodo empleado en reconocmeno de locuor dependene de exo. Esa écnca raa de compensar la varabldad que exse enre las duracones de los fonemas en las dsnas realzacones o pronuncacones de una msma frase. Consse en comparar la locucón de enrada con una sere de planllas que represenan a las undades a reconocer. El enrenameno consse úncamene en almacenar las dsnas planllas correspondenes a cada una de las undades a reconocer. Las planllas son por lo ano un conjuno de caraceríscas acúscas ordenadas en el empo. Para el cálculo de punuacones es necesaro un alneameno emporal con posbles deformacones eláscas y una medda de dsanca. Para ello se ulzan écncas de Programacón Dnámca. A connuacón se descrbe el algormo para calcular esa dsanca: El objevo es alnear de manera ópma la secuenca de vecores de parámeros de enrada T ={ 1, 2,..., N } con el modelo de referenca R={r 1,r 2,...,r M }, donde N es en general dsno a M debdo a la varabldad de la duracón ya comenada anes. Se necesa enonces una funcón que relacone las N muesras de la secuenca de enrada y las M de la planlla, mnmzando la dsorsón enre ambas. La funcón será de la forma m = W(n) y debe de cumplr además las sguenes resrccones: W(1) = 1 W(N) = M. Dadas dos secuencas cualesquera, la funcón W(n) es el camno de alneameno ópmo enre ambas y se obene resolvendo la sguene ecuacón: D * [, ] N = mn d n r W ( n ), donde d[ n, r W(n) ] es la dsanca (habualmene se n = 1 raa de la dsanca Eucldea) enre el nsane n de la secuenca de enrada y el nsane 12

28 2. Esudo del esado del are y ecnologías a ulzar W(n) de la planlla. Al fnal del alneameno, D * es la dsanca acumulada sobre el camno ópmo W(n) enre R y T y consuye la base para la punuacón resulane, en la que ambén pueden nclurse coses adconales que penalcen camnos que sean demasado no dagonales Modelos de Mezclas Gaussanas (GMM) En la úlma década, los modelos de mezclas Gaussanas han predomnado en los ssemas de reconocmeno de locuor ndependene de exo. Resulan apropados para esa area ya que no modelan el exo que se dce, sno que exploa las caraceríscas especrales de la voz para dscrmnar a los locuores. El uso de GMMs en reconocmeno de locuor ndependene de exo se descrbó por prmera vez en una sere de arículos publcados por Reynolds y Rose a parr de Desde enonces, han aparecdo en múlples publcacones de congresos y numerosos ssemas basados en GMMs han parcpado en las compecones anuales NIST (Naonal Insue of Sandards and Technology). Descrpcón de los GMMs: Los ssemas de reconocmeno de locuor basados en GMMs asumen que la probabldad condconada que defníamos en el aparado vene dada por una mezcla de dsrbucones Gaussanas. Por lo ano, para un vecor de caraceríscas x de dmensón D, la densdad mezcla de Gaussanas ulzada como funcón de verosmlud se defne como: M p( x λ ) = w p ( x). = 1 Como se puede observar analzando la fórmula, se raa de una suma ponderada de las M densdades componenes sendo w el peso de cada de una de ellas. Cada Gaussana vene dada a su vez por: donde covaranzas p = ( ) ( Σ ) ( ) ( x) exp x µ D x µ / 2 1/ 2, Σ 2 ( 2π ) µ es el vecor de medas de dmensón Dx1 y Σ es la marz DxD de 13

29 2. Esudo del esado del are y ecnologías a ulzar De esa manera, cada locuor esará represenado por un modelo de mezclas de Gaussanas que denoaremos = { w, µ, Σ } λ con =1...M. Enrenameno de un UBM Como veíamos en el aparado 2.4.1, es necesaro conar con un modelo ndependene de locuor para calcular la punuacón que se obene frene a ese modelo y ulzarla como referenca en el es de hpóess. El enfoque más exenddo para modelar esa hpóess alernava es reunr locucones de un conjuno grande de locuores que sean represenavos de la poblacón de locuores que se vayan a reconocer y enrenar con odas esas un modelo. A ese modelo se le conoce como modelo unversal o Unversal Background Model (UBM). No exse una medda objeva de deermnar el número apropado de usuaros o las horas de grabacón de voz para enrenar un UBM. Sn embargo, resulados empírcos demuesran, que no se expermena nngún empeorameno ulzando un UBM enrenado con una hora que uno enrenado con 6 horas de grabacón [Reynolds e al.,2000]. Dados los daos con los que enrenar el UBM, exsen varos enfoques que se pueden emplear para obener el modelo fnal. El más sencllo consse en junar odos los daos para enrenarlos poserormene medane el algormo EM. Es muy mporane que a la hora de junar los daos de los dos subconjunos de la poblacón ésos esén balanceados. Por ejemplo, s esamos generando un UBM ndependene de género, debe exsr un equlbro enre las grabacones de los hombres y de las mujeres. Fgura 6.Prmer méodo de generacón de un UBM. 14

30 2. Esudo del esado del are y ecnologías a ulzar Oro méodo de generar el UBM consse en enrenar de manera ndvdual un UBM sobre cada uno de los subconjunos, por ejemplo uno para los hombres y oro para las mujeres y después combnar los dos modelos. Ese méodo ene la venaja de que perme ulzar daos no balanceados s se ene en cuena y se conrola en el proceso fnal de composcón del UBM. Fgura 7. Segundo méodo de generacón de un UBM. Adapacón de los modelos del locuor El enrenameno de los GMMs se puede hacer de dsnas maneras. La manera radconal suele realzarse medane esmacones de máxma verosmlud (Maxmum Lkelhood) a ravés del algormo en dos pasos esmacón-maxmzacón (Expecaon Maxmzaon), en el que de manera erava se refnan los parámeros del GMM para que aumene la probabldad de generar el vecor de caraceríscas X dado el modelo, o lo que es lo msmo que para las eracones k y k+1 se cumpla que: p ( k + 1) ( k ) ( X λ ) p( X λ ). El oro méodo consse en acualzar los parámeros del UBM medane adapacón Bayesana o adapacón MAP (Maxmum A Poseror). Dado que el méodo preferdo en la acualdad es el segundo, gracas a su mayor rendmeno, es el que se va a descrbr en ese aparado. Al gual que el algormo EM, la adapacón MAP es un proceso de esmacón en dos pasos. En el prmer paso se esman los esadíscos de los daos de enrenameno para cada mezcla del UBM. En el segundo paso, se combnan esos nuevos esadíscos con los esadíscos de los parámeros del UBM. De manera más especfca: Dado un UBM y un vecor de enrenameno perenecene al locuor que se desea adapar, X = {x 1,x 2,...,x T }, es necesaro prmero deermnar el alneameno 15

31 2. Esudo del esado del are y ecnologías a ulzar probablísco que exse enre el vecor de enrenameno y las mezclas que componen el UBM. Fgura 8.Ejemplo del prmer paso en la adapacón MAP, omada de [Reynolds e al.,2000]. Eso es, para la mezcla del UBM, se calcula: P ( x ) w p = M j = 1 w ( x ) p ( x ) j j A parr de ese érmno y de x se calculan los esadíscos necesaros para calcular a su vez los pesos, medas y varanzas: n = T ( ) P x = 1 E E 1 n T ( x) = P( x ) x = 1 T 2 1 {( x µ ) } = P( x ) x 2 n = 1 Fnalmene, con esos nuevos esadíscos calculados de los daos de enrenameno se acualzan los esadíscos anguos del UBM para cada mezcla para obener los parámeros adapados: w w wˆ = [ α n T + ( 1 α ) w ]γ m m ( x) + ( α ) 2 v ( x ) + ( 1 α )( σ + µ ) ˆ ˆ µ = α E 1 µ v ˆ σ = α E µ 2 16

32 2. Esudo del esado del are y ecnologías a ulzar w m { α α, α v }, son los coefcenes que conrolan el balance enre las esmacones anguas y nuevas de los pesos, medas y varanzas respecvamene. Esos coefcenes se defnen como sgue: α n w m { α, α, α v } ρ =, ρ ρ, n + r sendo ρ r un facor fjo de relevanca para el parámero ρ. Además, γ es un facor de escala que se calcula sobre odos los pesos adapados para asegurar que ésos suman uno. Ese proceso se observa mejor en la fgura que vene a connuacón. Fgura 9. Segundo paso en la adapacón MAP, omada de [Reynolds e al.,2000]. Cálculo de punuacones S volvemos al decsor del aparado 2.4.1, veíamos que la punuacón se puede calcular como el logarmo del cocene de verosmludes, quedando en el caso de un ssema GMM-UBM de la sguene manera: Λ X ) = log P( X λ ) log P( X λ ), ( hyp ubm donde λhyp es el GMM del locuor y λubm es el GMM del UBM. Exse una manera de aglzar el proceso de punuacón (fas-scorng): 1. Para cada vecor de caraceríscas se deermnan las C mezclas que más conrbuyen a la punuacón en el UBM 2. Se enfrena el vecor frene a esas C mezclas más pesadas del modelo del locuor. Un valor habual para C es ulzar las 5 mezclas más pesadas. 17

33 2. Esudo del esado del are y ecnologías a ulzar Modelos Oculos de Markov Una écnca de modelado esocásco muy ulzada son los modelos oculos de Markov. La eoría básca de los modelos oculos de Markov fue nroducda por prmera vez por Baum y sus colaboradores en una sere de arículos enre los años 1966 y 1972.La comparacón de parones en reconocmeno de locuor dependene de exo se realza mdendo la verosmlud de una observacón con el modelo del locuor que dce ser. Un HMM es una máquna de esados fna, en la que las observacones son una funcón probablísca del esado, es decr, el modelo es un proceso doblemene esocásco formado por un proceso esocásco oculo no observable drecamene, que corresponde a la ranscones enre esados y un proceso esocásco observable cuya salda es la secuenca de vecores especrales. Fgura 10. El modelo de generacón de Markov [The HTK Book,2005] En la Fgura 10 se pueden observar los elemenos que defnen un HMM: N: el número de esados del modelo, donde q denoa el esado en el nsane de empo. Los HMMs que vamos a ulzar esán compuesos por 5 esados. Sn embargo en HTK, ano el esado 1 como el esado 5 no generan nnguna salda. S={s 1,s 2,...,s N } 18

34 2. Esudo del esado del are y ecnologías a ulzar La dmensón del conjuno de observacones dsnas de salda M, es decr el amaño del alfabeo V={v 1,v 2,...,v M } La dsrbucón de probabldad de ranscón enre esados A={a j }: aj=p(q =s j q -1 =s ) 1,j N La dsrbucón de probabldades de emsón de símbolos enre esados B = {b j (k)}: b j (O k )=P(O k q = s j ) 1 j N, 1 k M, donde O k es un símbolo perenecene a V. Dsrbucón del esado ncal π = {π }: π = P(q 0 = s ) 1 N Con odo eso, un HMM se descrbe como λ = {A, B, π }. Dada esa defncón surgen 3 problemas que es necesaro resolver para que los HMMs engan uldad en aplcacones reales. 1. Problema de evaluacón de la probabldad 2. Problema de enconrar la secuenca de esados ópma 3. El problema de enrenameno de un modelo Problema 1: Problema de evaluacón de la probabldad Dada una secuenca de observacón O = {O 1, O 2,..., O T } y un modelo λ = {A,B,π}, cómo calculamos P(O λ), la probabldad de la secuenca de observacón? S es posble calcular esa probabldad, enonces se podría calcular para odos los modelos y escoger aquel para el cual la probabldad sea mayor. La manera más dreca de soluconarlo sería enumerando odas las posbles secuencas de esados de longud T que generen la secuenca de observacón O y sumando sus probabldades según el eorema de la Probabldad Toal: P( O λ) = P( O Q, λ) P( Q λ) (1) Q 19

35 2. Esudo del esado del are y ecnologías a ulzar Para ello consderemos una deermnada secuenca de esados: Q=(q 1,q 2,...,q T ) donde q 1 es el esado ncal. La probabldad de la secuenca de observacón O dada la secuenca de esados Q es: T P( O Q, λ ) = P( O q, λ), donde se asume ndependenca esadísca de las = 1 observacones. Por lo ano se obene: P O Q, λ ) = b ( O ) b ( O ) b ( O ). ( q1 1 q2 2 qt T Por ora pare la probabldad de la secuenca de esados Q se puede expresar como: P( Q ) = π q1 aq 1q2 aq2q3 aqt 1qT λ, que se nerprea como la probabldad del esado ncal, mulplcada por las probabldades de ranscón de un esado a oro. Susuyendo los dos érmnos anerores en el sumaoro ncal (Ecuacón 1)se obene la probabldad de la secuenca de observacón: P( O λ ) = P( O Q, λ) P( Q λ) = π q bq 1( O1 ) aq 1q2 bq2 ( O2 ) aqt 1 Q b ( O 1 qt qt T q1, q2,..., qt La nerpreacón del resulado obendo es la sguene: Incalmene en el empo =1 nos enconramos en el esado q 1 con probabldad π q1 y generamos el símbolo O 1 con probabldad b q1 (O 1 ).Al avanzar el reloj al nsane =2 se produce una ranscón al esado q 2 con probabldad a q1q2 y generamos el símbolo O 2 con probabldad b q2 (O 2 ). Ese proceso se repe hasa que se produce la úlma ranscón del esado q T-1 al esado q T con probabldad a qt-1qt y generamos el símbolo O T con probabldad b qt (O T ). A pesar de haber llegado al resulado deseado se puede ver fáclmene que no es una manera muy efcene de calcular la probabldad ya que requere realzar 2T N T operacones lo que por su complejdad que esá en el orden de O(N T ) resula compuaconalmene nraable. Aforunadamene exse una manera más efcene de llegar al msmo resulado. La clave esá en guardar los resulados nermedos y ulzarlos para los poserores cálculos de la secuenca de esados. A ese algormo se le denomna el Algormo de Avance. El prmer paso es defnr la varable haca delane como α ()=P(O 1,O 2,...,O, q = S λ). Esa varable corresponde con la probabldad de que el modelo λ se encuenre en el esado habendo generado la secuenca parcal O 1,O 2,...,O hasa el nsane de empo. α () se puede calcular por nduccón sguendo los sguenes pasos: ) 20

36 2. Esudo del esado del are y ecnologías a ulzar 1. Incalzacón: α 1 ()=π b (O 1 ), 1 N En ese paso se ncalzan las probabldades haca delane como la probabldad conjuna del esado S y la observacón ncal O Induccón: N α + 1 ( j) = α ( ) aj b j ( O + 1), 1 T-1, 1 j N = 1 La expresón enre corchees represena la probabldad de alcanzar el esado S j en el nsane de empo +1 parendo de odos los esados posbles S en el nsane habendo observado hasa el nsane la secuenca parcal O 1,O 2,...,O. S mulplcamos ahora dcho érmno por la probabldad de observar O +1 se obene α +1 (j). 3. Fnalzacón: P( O λ ) = α ( ) N = 1 T El cálculo de P(O λ) fnal se realza sumando odas las varables haca delane α T () en el nsane fnal T. Eso es así ya que por defncón α T () es gual a la probabldad conjuna de haber observado la secuenca O 1,O 2,...,O T y enconrarnos en el esado S: α T ()= P(O 1,O 2,...,O T, q T = S λ), con lo que s sumamos dcha probabldad para odos los esados posbles obenemos la probabldad esperada P(O λ). La complejdad de ese algormo comparado con la manera dreca de calcular P(O λ) es mucho menor y se encuenra en el orden de O(N 2 T), con lo que se el ahorro compuaconal es claro. Problema 2: Problema de enconrar la secuenca de esados ópma Decodfcar un HMM consse en enconrar la secuenca de esados ópma, dada una secuenca de observacón. La resolucón de ese problema resula muy mporane para areas de segmenacón y reconocmeno de voz. 21

37 2. Esudo del esado del are y ecnologías a ulzar A dferenca del problema 1 para el que se puede dar una solucón exaca, exsen dferenes maneras de resolver ese problema. La razón es que la defncón de secuenca ópma no es únca, sno que exsen varos creros de opmzacón. El crero más exenddo es el que ulza el algormo de Verb, que lo que raa es de enconrar la mejor secuenca de esados, es decr, maxmzar la probabldad P(q O,λ) o lo que es equvalene, maxmzar P(O, q λ). En la prácca ese méodo ambén se puede ulzar para evaluar HMMs. Para enconrar la mejor secuenca de esados Q={q 1,q 2,...q T } para una secuenca de observacón dada O={O 1,O 2,...O T } defnmos la varable: [ q... q, O O... O λ] δ ) = max P q = ( q1, q2,..., q 1, que represena la secuenca de esados con mayor probabldad en el nsane que acaba en el esado S y que ha generado las prmeras observacones. A connuacón se sgue un proceso de nduccón smlar al algormo Forward- Backward,con la excepcón de que en vez de omar la suma las probabldades de los dferenes camnos que acaban en un msmo esado, el algormo de Verb seleccona y recuerda el mejor camno. 1. Incalzacón: δ ) = b ( ),1 N 1( π O1 φ 1 ( ) = 0 Incalmene se defne la probabldad δ 1 () como la probabldad de enconrarse en el esado S en el nsane =1 mulplcada por la probabldad de generar el símbolo O 1. El vecor φ, en el que se va a almacenar el argumeno que maxmza δ (j) para cada valor de y de j, oma ncalmene el valor Recursón: δ ( j) = max [ δ 1 ( ) aj 1 N ] b φ ( j) = arg max[ δ 1 ( ) aj 1 N j ( O ), 2 T, 1 j N ], 2 T, 1 j N 22

38 2. Esudo del esado del are y ecnologías a ulzar 3. Fnalzacón: P * = max 1 N [ δ ( ) ] T q * T = arg max[ δ ( )] 1 N T Las eracón del puno 3 se ermna cuando se han generado las T observacones. 4. Backrackng: * q ( * ) = φ + 1 q+ 1, = T 1, T 2,, 1 En ese úlmo paso se reconsruye la secuenca de esados parendo desde el esado fnal hasa llegar al prncpo. Problema 3: Enrenameno de un modelo El úlmo y más complcado de los 3 problemas planea cómo se deben ajusar los parámeros del modelo {A, B, π } para maxmzar la probabldad de la secuenca de observacón dado el modelo P(O λ). El prncpal nconvenene es que no exse nngún méodo analíco conocdo que maxmce el conjuno de parámeros a parr de los daos de enrenameno. Se puede resolver, sn embargo, ulzando un procedmeno eravo como el algormo de Baum-Welch, ambén conocdo como el algormo de avance-reroceso. Ese algormo usa los msmos prncpos que el algormo EM( Expecaon Maxmzaon).El procedmeno consse en acualzar los pesos de forma erava para poder explcar mejor las secuencas de enrenameno observadas. Anes de descrbr formalmene el algormo de Baum- Welch es necesaro defnr la probabldad haca arás de manera smlar a como se defnó la probabldad haca delane: β ()=P(O +1,O +2,...,O T, q = S λ). β () es en ese caso la probabldad de general la observacón parcal O={O +1,O +2,...,O T } desde el nsane +1 hasa el nsane fnal T dado que el modelo se encuenra en el esado S en el nsane de empo. β () se puede calcular por nduccón como sgue: 1. Incalzacón: β T ()=1, 1 N 23

39 2. Esudo del esado del are y ecnologías a ulzar 2. Recursón: N ( j j j j= 1 β ) = a b ( O ) β ( ), = T 1, T 2,..., 1, 1 N La relacón enre α y β adyacenes se puede observar mejor en la sguene fgura. α se calcula recursvamene de zquerda a derecha menras β se calcula recursvamene de derecha a zquerda. Fgura 11. La relacón enre α -1 y α y β -1 y β en el algormo Forward- Backward [X. Huang e al.,2001] A connuacón defnmos la varable γ (, j), que represena la probabldad de realzar una ranscón del esado S al esado Sj en el nsane de empo dado el modelo y dada la secuenca de observacón, es decr: 24

40 2. Esudo del esado del are y ecnologías a ulzar 25 = = = = = = = = N k T j j j j k j O b a O P O S q S q P O S q S q P j ) ( ) ( ) ( ) ( ) ( ),, ( ),, ( ), ( α β α λ λ λ γ Ese resulado se puede lusrar mejor con la sguene fgura: Fgura 12. Ilusracón de las operacones necesaras para el cálculo de γ (,j), [X. Huang e al.,2001] Es posble refnar eravamene el vecor de parámeros del HMM λ = {A, B, π } s se maxmza la probabldad de la observacón,p(o λ), en cada eracón. Para ello denoamos como λˆ al nuevo vecor de parámeros calculado a parr del vecor de parámeros λ, obendo en la eracón aneror. De acuerdo con el algormo EM, eso es equvalene a maxmzar la sguene funcón Q: = SN S S S O P O P S O P Q 2,..., 1, ˆ), ( log ) ( ), ( ˆ), ( λ λ λ λ λ donde P(O,S λ) y log P(O,S λˆ ) se defnen como sgue:

41 2. Esudo del esado del are y ecnologías a ulzar 26 = = T O b a S O P 1 1 ) ( ), ( λ = = + = T T O b a S O P ) ( log log ˆ), ( log λ Por lo ano la ecuacón ncal se puede rescrbr de la sguene manera: ) ˆ, ( ) ˆ, ( ˆ), ( j bj a b Q a Q Q λ λ λ λ + =, donde ) ( ˆ log ) ( ), ( ) ˆ, ( ˆ log ) ( ),, ( ) ˆ, ( 1 k j j k V o j bj j j a V b O P j q O P b Q a O P j q q O P a Q K = = = = = = λ λ λ λ λ λ Como hemos separado la funcón en res érmnos ndependenes, se puede maxmzar Q( λ λ ˆ ) maxmzando cada uno de los érmnos por separado, sujeo a las sguenes resrccones: = = = = M k k j N j j V b a ) ( 1 Además, los érmnos en las ecuacones 1 y 2 enen odos las sguene forma: y x x F log ) ( = donde = x 1. Hacendo uso de los mulplcadores de Lagrange, se demuesra que la funcón F(x) oma su valor máxmo en = y y x. A parr de odo eso, se obenen las esmacones de los parámeros del modelo HMM: = = = = = = = = = = T N k T T T j k j q O P O P j q q O P O P a ), ( ), ( ), ( ) ( 1 ),, ( ) ( 1 ˆ γ γ λ λ λ λ (1) (2)

42 2. Esudo del esado del are y ecnologías a ulzar bˆ ( V ) = j k T 1 P( O, q = j λ) δ ( O, Vk P( O λ) = 1 T 1 P( O, q = j λ) P( O λ) = 1 ) = O = Vk T = 1 γ (, j) γ (, j) La probabldad ncal ranscón. Sn embargo, ejemplo ˆ π = 1para el esado ncal. πˆ se puede dervar como un caso especal de la probabldad de πˆ se suele fjar para la mayoría de aplcacones de voz, por Al observar las ecuacones anerores,se puede ver que la prmera corresponde con el cocene enre el número medo de ranscones del esado al esado j y el número medo de ranscones desde el esado. La segunda ecuacón se puede nerprear ambén como el cocene enre el número medo de veces que el símbolo V k se eme desde el esado j y el número medo de veces que se eme un símbolo desde el esado j. De acuerdo con el algormo EM, el algormo de reesmacón de Baum-Welch garanza una mejora monóona en la probabldad en cada eracón hasa que ésa converge en un máxmo local. El algormo se puede resumr en los sguenes pasos: 1. Incalzacón: Se escoge una esmacón ncal del modelo λ. 2. Paso E: Se calcula la funcón auxlar Q( λ, ˆ λ ) a parr de λ. 3. Paso M: Se calcula λˆ de acuerdo con las ecuacones de reesmacón para maxmzar la funcón auxlar Q. 4. Ieracón: λ pasa a omar el valor de λˆ y se repe el algormo desde el paso 2 hasa que converge. Adapacón MLLR (Maxmum Lkelhood Lnear Regresson) La adapacón MLLR [The HTK Book, 2005] es un po de adapacón lneal que realza una sere de ransformacones para reducr las dferencas enre el modelo ndependene del locuor ncal y las locucones de cada locuor que se van a emplear 27

43 2. Esudo del esado del are y ecnologías a ulzar en la adapacón. El efeco de esas ransformacones es desplazar las medas y modfcar las varanzas del ssema ncal de manera que la probabldad de que cada esado del ssema HMM ncal genere las locucones de adapacón sea mayor. Las marces de ransformacón se obenen medane la écnca EM (Expecaon- Maxmsaon). El nuevo vecor de medas vene dado por: ˆ µ = Wξ,donde W es la marz de ransformacón de dmensones nx(n+1) (n es la dmensón de los daos) y ξ es el vecor de medas exenddo [ µ µ ] T ξ = µ n Por lo ano, W se puede descomponer en: W = [ b A] ransformacón nxn y b un vecor de bas., sendo A una marz de Exsen dos formas de realzar la adapacón de las varanzas. La prmera es: Σˆ = B H B, m T m donde H m es la ransformacón lneal a esmar y B m es la nversa del facor de Cholesk de 1 Σ m, de manera que: m m Σ 1 m = C m C T m B 1 m = C m Esa forma de ransformacón resula en una marz de covaranzas complea efecva, sempre que la marz de ransformacón H m esé complea a su vez. Eso hace que el cálculo de punuacones sea alamene nefcene. La segunda manera y más efcene de realzar la ransformacón de la marz de covaranzas. Ésa se obene de la sguene manera: Σˆ = HΣH, donde H es la marz de ransformacón de covaranzas nxn. Ese po de ransformacón, se puede mplemenar de manera efcene como una ransformacón de las medas y del vecor de caraceríscas: N ( o; µ, HΣH ) = N( H o; H µ, Σ) = A N( Ao; Aµ, Σ), 2 H sendo 1 A = H. Ulzando esa forma es posble esmar y aplcar ransformacones compleas efcenemene. 28

44 2. Esudo del esado del are y ecnologías a ulzar Árboles de clases de regresón Con el fn de aumenar la flexbldad del proceso de adapacón es posble deermnar un conjuno apropado de clases prncpales dependendo de la candad de daos de adapacón que engamos. S sólo dsponemos de una pequeña candad de daos, se generaría enonces úncamene una ransformacón global. Ésa se aplca a odas las Gaussanas que componen el modelo. Sn embargo, según aumena la candad de daos se puede mejorar la adapacón ncremenando el número de ransformacones a realzar. Cada una de esas ransformacones es más específca y se aplca a un deermnado agrupameno de Gaussanas. Por ejemplo, las Gaussanas se podrían agrupar según las clases de fonemas: slenco, vocales, nasales, frcavas, ec. Los daos de adapacón se ulzarían ahora para consrur ransformacones más específcas para aplcarlas a esos grupos. MLLR hace uso de un árbol de clases de regresón para agrupar las Gaussanas en el modelo, de manera que el conjuno de ransformacones a esmar se puede elegr de manera dnámca de acuerdo con la candad de daos de adapacón dsponbles. Ese árbol se consruye para agrupar componenes que se encuenran próxmas enre sí en el espaco acúsco y se consruye parendo del modelo orgnal ndependene de locuor. Los nodos ermnales del árbol especfcan las agrupacones fnales y se les denomna clases de regresón prncpales. Cada Gaussana presene en el modelo perenece a una de esas clases. La fgura muesra un ejemplo de arbol de regresón con 4 clases ermnales {C 4,C 5,C 6,C 7 }. Fgura 13. Ejemplo de árbol de regresón bnaro 29

45 2. Esudo del esado del are y ecnologías a ulzar Las flechas y nodos connuos ndcan que hay sufcenes daos para que se genere una marz de ransformacón ulzando los daos asocados a esa clase, menras que las flechas y nodos dsconnuos sgnfcan que no hay sufcenes daos. Para deermnar en que nodos se va a realzar la ransformacón, se recorre el árbol desde la raíz y se genera una ransformacón para aquellos nodos que cumplen que: 1. Tenen daos sufcenes y 2. Son nodos ermnales o enen algún hjo sn daos sufcenes. En el ejemplo aneror se generan enonces ransformacones para los nodos 2, 3 y 4 que llamamos W 2, W 3, W 4. Por lo ano, a las componenes Gaussanas de cada clase prncpal de regresón se le aplca las marces de ransformacón (medas y varanzas) de la sguene manera: W W W { C5} { C6, C7} { } C4 Es mporane desacar por úlmo que, una adapacón global corresponde al caso en que se ene un árbol sólo con el nodo raíz. Adapacón de modelos MAP La adapacón de modelos oculos de Markov ambén puede hacerse, como en el caso de los GMMs, con adapacón MAP (Maxmm A Poseror). La adapacón MAP, como ya se comenó en el aparado dedcado a la adapacón a los locuores en GMMs, consse en el uso de nformacón a pror sobre la dsrbucón de los parámeros del modelo. Esa nformacón a pror que se suele usar para realzar la adapacón se obene de los parámeros del modelo ndependene de locuor. La fórmula de acualzacón de las medas para el esado j y la mezcla m es: ˆ µ jm N = N jm jm µ + τ jm + N τ µ + τ jm jm, donde τ es el peso de la nformacón a pror, N la probabldad de ocupacón de los daos de adapacón, µ la meda del modelo ndependene de locuor y µ jm la meda de los daos de adapacón. Como se puede ver por la fórmula, s la probabldad de ocupacón de una componene Gaussana N jm es pequeña, enonces la esmacón de la meda se manendrá cercana a la meda de la componene ndependene de locuor. jm 30

46 2. Esudo del esado del are y ecnologías a ulzar Una desvenaja de la adapacón MAP es que requere más daos que la adapacón MLLR para ser efecva. Eso se debe a que la adapacón MAP se realza a nvel de las Gaussanas componenes del modelo. Sn embargo, cuando dsponemos de candades mayores de daos de adapacón, la adapacón MAP empeza a funconar mejor que MLLR, debdo a esa acualzacón deallada de cada componene. De hecho, se podrían combnar ambos procesos para consegur mejores resulados, s susumos las medas prevamene acualzadas con MLLR en adapacón MAP. µ jm y procedemos enonces a realzar la Aplcacón de HMMs en Reconocmeno de Locuor dependene de Texo: En ese subaparado se aborda el problema de cómo, a parr de lo vso anerormene en los 3 problemas báscos de los HMMs (evaluar la probabldad, enrenar un modelo, decodfcar la secuenca de esados), cómo se aplca la eoría y se consruye en la prácca un ssema de verfcador de locuor. Lo prmero es parr de un conjuno de modelos acúscos (HMMs) ndependenes del locuor. Las undades que se modelan pueden ser ben palabras eneras o fonemas. Para la fase de enrenameno es necesaro reunr locucones de los dsnos locuores. Como ya se verá en los expermenos, ano en la fase de enrenameno como en la de verfcacón exse un compromso enre la duracón de las locucones de enrenameno y verfcacón y la precsón del reconocedor. El número de sesones de enrenameno ambén es deermnane en el funconameno del ssema. Parendo del modelo ndependene de locuor (λ I ) y con la nformacón que nos aporan las grabacones de los locuores se acualzan los parámeros del modelo ndependene de locuor generándose unos nuevos modelos acúscos dependenes de cada locuor (λ D ). Ese proceso de enrenameno se puede llevar a cabo a ravés del méodo de reesmacón Baum-Welch o medane adapacón MLLR o MAP. Úncamene cuando se ha fnalzado la fase de enrenameno es posble pasar a la de verfcacón. En ésa, el objevo es obener una punuacón para deermnar, en funcón de un umbral, s la persona es acepada o rechazada por el ssema. Para ello se enfrena la frase a reconocer al modelo dependene (λ D ) e ndependene (λ I ) de locuor. La punuacón fnal se obene como el cocene de las punuacones acúscas obendas por el mejor camno (Qbes) en el reconocmeno de voz, 31

47 2. Esudo del esado del are y ecnologías a ulzar P(O, Qbes λ D ) / P(O, Qbes λ I ), y se compara con el umbral para omar la decsón. Cuando se realza reconocmeno de locuor dependene de exo es posble mponer resrccones a la gramáca, de manera que adma úncamene una deermnada secuenca de dígos, por ejemplo, que corresponderían con la conraseña del usuaro. Sn embargo, luego habrá que comprobar que realmene se ha reconocdo lo que se esperaba. La Fgura 14 descrbe odo el proceso. Indep. Locuor Adapacón / Reenrenameno Verb P(O,Q bes λ I ) Verb Dep. Locuor Enrenameno P(O,Q bes λ D ) Verfcacón P(O,Q bes λ D ) / P(O,Q bes λ I ) > Threshold? Fgura 14. Aplcacón de HMMs a un ssema de verfcacón de locuor 32

48 4. Expermenos realzados Capíulo 3 Dseño y Desarrollo 3 Dseño y Desarrollo En ese capíulo, dedcado al dseño y desarrollo, se va a descrbr los pasos segudos para consrur el reconocedor de locuor dependene de exo, así como los medos que fueron necesaros. 3.1 Medos dsponbles Ese proyeco requere una sere de medos que me fueron faclados en su oaldad por el grupo ATVS para su realzacón. Esos medos necesaros se pueden resumr en bases de daos, sofware y máqunas Bases de daos Las bases de daos son una pare esencal en el proyeco. A dferenca de lo que sucede en reconocmeno de locuor ndependene de exo, campo en el que se organzan compecones anuales promovdas por la organzacón NIST, no exse un equvalene en reconocmeno de locuor dependene de exo. Eso, juno con el hecho de que muchas veces cada grupo de nvesgacón ulza sus propas bases de daos, dfcula la comparacón de un ssema con oro. Sn embargo, con el fn de que se ulzara como marco de comparacón enre ssemas surgó la base de daos YOHO. 33

49 4. Expermenos realzados YOHO Surge con el objevo de que srva como marco de comparacón enre ssemas de verfcacón de locuor y alenar la compecón enre grupos de nvesgacón. En un arículo [Campbell, 1995] se sugere ncluso un proocolo de pruebas a segur. La base de daos fue adqurda en un enorno de ofcna, en condcones muy conroladas y bajo rudo. Se ulzo un aurcular elefónco de ala caldad para capurar la voz. Esá compuesa por 138 locuores, de los cuales 106 son hombres y 32 mujeres. El doma de la base de daos es nglés amercano, sendo la mayoría de locuores de la zona de Nueva York. Sn embargo, ambén se ncluyen algunos locuores no navos. La base de daos se compone de daos de enrenameno y de verfcacón. El enrenameno se dvde a su vez en 4 sesones de 24 frases cada una. Los daos de verfcacón se adqureron en 10 sesones espacadas una meda de 3 días enre ellas y con 4 frases por sesón. En un escenaro dependene de exo, las frases son conocdas por el ssema, es decr, al usuaro se le pde que las dga. El po de frases que componen la base de daos. La snaxs ulzada en la base de daos es úncamene secuencas de res pares de dígos, a modo de conraseña de un candado de combnacón. Un ejemplo de frase podría ser: weny-sx, eghy-one, ffy-seven. TIMIT La base de daos TIMIT fue dseñada para proporconar habla acúsco-fonéca para el desarrollo y evaluacón de ssemas de reconocmeno de habla auomácos. Se raa de habla capurada a ravés de un mcrófono. La base de daos consa de 630 locuores que represenan a los dalecos más mporanes de nglés amercano. De los 630 locuores, el 70% son hombres (438) y el 30% resane son mujeres(192). Cada locuor lee un oal de 10 frases fonécamene balanceadas, dvddas en enrenameno y es. Para el es se reservan 24 locuores, 2 hombres y una mujer de cada regón dalecal, en el conjuno básco de es y 168 locuores en el conjuno exenddo de es. BIOSEC-Baselne Se raa de una base de daos bomérca mulmodal compuesa por 200 personas. Los rasgos bomércos que componen la base de daos son: huellas daclares capuradas con 3 sensores dferenes, mágenes fronales de la cara, mágenes del rs y locucones de voz grabadas ano por un mcrófono cercano como por el mcrófono de una cámara web. Esos rasgos fueron adqurdos en 2 sesones dferenes, separadas en el empo 34

50 4. Expermenos realzados enre una y cuaro semanas. Las condcones ambenales, ales como lumnacón o rudo de fondo, no fueron conroladas para smular suacones reales. S nos cenramos en las grabacones de voz, cada locuor repó cuaro veces un número específco de 8 dígos que le fue asgnado, así como 3 veces el número de oro usuaro para smular suacones en las que el mposor ene acceso al número personal de un clene. Los 8 dígos se pronuncaron sempre dígo a dígo de manera connua y fluda. Esos fueron grabados ano en español como en nglés. El número oal de locucones de voz presenes en la base de daos es por ano: 2 sesones x 200 usuaros x (4+3) x 2 sensores x 2 domas = ALBAYZIN La base de daos ALBAYZIN fue concebda con el objevo fundamenal de fomenar el desarrollo de las ecnologías del habla en español. Esá compuesa por 304 locuores, sendo la mad hombres y la mad mujeres. Todos ellos son hablanes de la varedad cenral del casellano y no presenan rasgos específcos de una zona geográfca o de un grupo socal resrngdo. La base de daos se encuenra dvdda en res subcorpus: un corpus fonéco, un corpus de aplcacón formado por frases de una area de consula a una base de daos geográfca y por úlmo un corpus grabado en suacones adversas. Vamos a ulzar el prmero de ellos, que se basa en 200 frases fonécamene balanceadas y que conene un oal de 6800 locucones Sofware El sofware del que dsponíamos nos permó y facló la realzacón del proyeco, por lo que ambén supuso un papel mporane. Los paquees de sofware que se ulzaron fueron: HTK: Es una herramena para consrur Modelos Oculos de Markov. Los HMMs se pueden ulzar para modelar cualquer sere emporal y el núcleo es de propóso general. Sn embargo, HTK fue dseñado prncpalmene para crear herramenas para el procesado de la voz medane HMMs, en parcular reconocedores, por lo que la mayor pare de la nfraesrucura de HTK esá dedcada a esá area. 35

51 4. Expermenos realzados SPHINX: Es un reconocedor de voz ndependene de locuor y de amplo vocabularo. Además, esá formado por una coleccón de herramenas de códgo abero que perme consrur ssemas de reconocmeno de voz. Sofware de evaluacón de NIST: Programas faclados por la organzacón NIST para el cálculo y represenacón de curvas DET en MATLAB. Núcleo GMMs ATVS: Conjuno de funcones y lbrerías desarrolladas por el grupo para crear reconocedores basados en GMMs Máqunas Para la realzacón del proyeco fue necesaro un ordenador funconando con Lnux (dsrbucón Deban). Ese ordenador enía nsalado odos los paquees de sofware menconados anerormene. Se dsponía además de una red nerna que ncluía a odos los ordenadores del grupo de rabajo, ano los de uso personal como los de pruebas. De esa forma fue posble aglzar el proceso de enrenameno y reconocmeno de modelos. 3.2 Dseño Pasos segudos para la consruccón del reconocedor: El dseño del reconocedor se puede resumr en los sguenes pasos: 1. Enrenameno de los HMMs ndependenes de locuor: Reunendo odas las locucones presenes en la base de daos TIMIT, se enrena un modelo ndependene de locuor en nglés. Se enrenaron modelos ndependenes de locuor cuya complejdad va en aumeno, desde una Gaussana por esado hasa 80 Gaussanas por esado. De manera smlar, se ulzó la oaldad de la base de daos ALBAYZIN para enrenar los HMMs ndependenes de locuor en español. 2. Elaboracón de un dcconaro fonéco con las palabras permdas por el ssema. 36

52 4. Expermenos realzados 3. Creacón de la gramáca de las frases: Por ejemplo, secuencas de 8 dígos encadenados en la base de daos BIOSEC o secuencas de res pares de dígos en nglés encadenados con slencos nermedos opconales en el caso de la base de daos YOHO. 4. Enrenameno de los modelos dependenes de locuor: Prmero es necesaro selecconar una sere de locucones de cada locuor. Con ésas y parendo del modelo ndependene de locuor se enrenan los modelos dependenes de cada locuor. 5. Verfcacón de los locuores: Se reúnen frases de los dsnos locuores a verfcar y se comparan con los modelos de esos locuores y con el modelo ndependene de locuor obenendo una punuacón. En base a la punuacón obenda se oma la decsón de acepar o rechazar al locuor. 6. Normalzacón de las punuacones: Es posble aplcar dsnas normalzacones a las punuacones obendas. Proocolo de Pruebas Como no es posble hacer unas pruebas exhausvas comparando cada modelo de locuor frene odas las locucones de es de los dsnos locuores, ben para el esablecmeno de umbrales o para la evaluacón del ssema, es necesaro selecconar mnucosamene un conjuno reducdo de locucones de es que nos den sn embargo una dea del funconameno del ssema. Para ello se elaboran los proocolos de pruebas para cada una de las bases de daos con las que vamos a rabajar. Proocolo de pruebas para YOHO Se ulzan 6 archvos de enrenameno (1 únca sesón) para la prueba prncpal. (En oras pruebas se han ulzado, sn embargo, 24 y 96 archvos de enrenameno, perenecenes a 1 y a 4 sesones respecvamene). 40 fcheros de es de cada locuor (odos) 1 fchero de es de cada uno de los locuores resanes (137) elegdo aleaoramene Por cada modelo del locuor = =177 rals 37

53 4. Expermenos realzados En oal 138*177 rals= rals, de los cuales: o Enfrenamenos de usuaro:138*40=5520 o Enfrenamenos de mposor:138*137=18906 Proocolo de pruebas para BIOSEC El corpus esá formado por 200 locuores. Los 25 prmeros y úlmos corresponden al conjuno de desarrollo y los 150 resanes al conjuno de evaluacón. Por lo ano, se ulzan úncamene los 150 locuores perenecenes al conjuno de evaluacón. Se enrenan los modelos con una sola locucón. Se enrenan 4 modelos por locuor. Enfrenamenos de es: o Usuaros: Las 4 muesras de la prmera sesón frene a las 4 muesras de la segunda sesón: 150 locuores x 4 muesras x 4 muesras = 2400 comparacones o Imposores: La prmera muesra de la prmera sesón frene a la msma muesra del reso de usuaros, evando comparacones smércas: 150 locuores x 1 muesra x 149/2 locuores = o En oal: = enfrenamenos. Técncas a comparar Los expermenos que hemos realzado y que se presenan en el sguene capíulo, enían como objevo observar el efeco que supone en los resulados el emplear dsnas écncas. Una de las prmeras pruebas que se realzaron fue comparar dos méodos de enrenameno: la adapacón de modelos MLLR con la reesmacón Baum-Welch. Oro expermeno esudaba la confguracón ópma de los modelos, varando el número de Gaussanas por esado así como la candad de daos con los que fueron enrenados. Además, analzamos la nfluenca del número de clases de regresón al realzar la adapacón MLLR y el número de pasadas de reesmacón en el méodo de reesmacón Baum-Welch. Por úlmo, se aplcaron dsnas normalzacones a los resulados. 38

54 4. Expermenos realzados Capíulo 4 Expermenos realzados 4 Expermenos realzados Esa seccón esá dvdda en dos aparados. El prmero de ellos y más exenso, lo componen los expermenos realzados en la base de daos YOHO (nglés amercano). El segundo aparado esá formado por los expermenos llevados a cabo sobre la base de daos mulmodal Bosec (español). 4.1 Expermenos sobre la base de daos YOHO En ese aparado se presenan los expermenos realzados sobre la base de daos YOHO, que, por el ema de los msmos, se pueden dvdr en res seccones a su vez: comparar la reesmacón Baum-Welch con la adapacón MLLR, aplcar una normalzacón a las punuacones y realzar fusón de dos ssemas Reesmacón Baum-Welch versus Adapacón MLLR Inroduccón Esa prmera seccón de expermenos se realzó para verfcar que se podían obener mejores resulados adapando los HMMs a las caraceríscas de un deermnado locuor medane adapacón MLLR (Maxmum Lkelhood Lnear Regresson) que con la reesmacón de los modelos fonécos de cada locuor. La reesmacón Baum Welch, como ya se vo en el capíulo 2, se basa en el algormo de maxmzacón de la expecacón para la esmacón de los parámeros de un HMM, 39

55 4. Expermenos realzados sendo ése el méodo más ulzado para enrenar un HMM y ambén en verfacón de locuor dependene de exo. Se raa de un algormo eravo donde en cada eracón se calcula la probabldad de ocupacón de odos los esados de un HMM para poserormene acualzar sus parámeros. En su forma más general, se reesman odos los parámeros de un HMM (probabldades de ranscón, pesos de las Gaussanas, medas y varanzas), aunque es posble lmar la reesmacón a sólo alguno de esos parámeros, como por ejemplo las medas. En ambos casos, el número de parámeros a esmar depende lnealmene del número de Gaussanas del HMM. Ese hecho nos mpone una lmacón en la complejdad de los HMMs a ulzar, sendo habual en reconocmeno de locuor dependene de exo el uso de HMMs con un número de Gaussanas por esado que ronda enre una y cnco. Eso ambén repercue en la capacdad de los HMMs para modelar la acúsca de la voz. En los expermenos hemos ulzado HMMs de una a cnco Gaussanas por esado, llevando a cabo una y cuaro eracones en la reesmacón en cada caso. Tambén se han realzado expermenos en los que úncamene se han reesmado las medas. Por oro lado, medane la adapacón MLLR se realzan una sere de ransformacones para reducr las dferencas enre el modelo ndependene del locuor ncal y las locucones de cada locuor que se van a emplear en la adapacón. El efeco de esas ransformacones es desplazar las medas y modfcar las varanzas del ssema ncal de manera que la probabldad de que cada esado del ssema HMM ncal genere las locucones de adapacón sea mayor. La adapacón MLLR es una écnca especalmene desarrollada para la adapacón de HMMs ndependenes del locuor a la voz de un locuor en parcular a parr de un número lmado de locucones y por lo ano se puede aplcar al problema de reconocmeno de locuor dependene de exo. Además, en los casos en los que se cuena con pocas locucones para realzar la adapacón, la adapacón MLLR consgue mejores resulados s ésas se agrupan en clases y se ransforman las medas de oda la clase ulzando para ello la msma ransformacón lneal. De esa manera, la adapacón MLLR reduce el número de parámeros a enrenar, pasando de depender lnealmene con el número de Gaussanas a depender lnealmene con el número de clases. La venaja adconal que posee la écnca MLLR es que es capaz de agrupar a su vez varas clases s no hay sufcenes daos de adapacón. Eso, la convere en una écnca 40

56 4. Expermenos realzados muy robusa de adapacón de HMMs a un locuor, ncluso cuando se ulzan HMMs muy complejos. Para los expermenos hemos realzado adapacón MLLR con 1 a 32 clases de regresón y HMMs fonécos de 5 a 80 Gaussanas por esado Descrpcón de las pruebas y Resulados Para comprobar cuál de los méodos obene mejores resulados nos hemos cenrado en un escenaro resrcvo en el que ano para la adapacón MLLR o la reesmacón Baum-Welch se ulzan úncamene 6 locucones de la prmera sesón de enrenameno. Además, hemos comparado el rendmeno de ambos ssemas cuando se dsponen de más locucones de enrenameno. Sn embargo, hemos realzado un mayor número de pruebas sobre el prmer escenaro ya que nos parecó que ése represenaba más felmene las condcones que endría un ssema real Reesmacón Baum-Welch con pocos daos de enrenameno Los expermenos ulzando reesmacón Baum-Welch se realzaron varando res parámeros mporanes: el número de Gaussanas por esado, el número de pasadas de reesmacón y el número de locucones de enrenameno. Se paró de modelos fonécos ndependenes del locuor enrenados con la base de daos TIMIT, los cuales enían desde una hasa ochena Gaussanas por esado. El enrenameno se realzó con 6 locucones, odas ellas de la prmera sesón, realzándose ano una como cuaro pasadas de reesmacón. Se realzó un alneameno cas forzado, es decr, ulzando una gramáca que sólo permía una pronuncacón pero que ncluía slencos nermedos opconales. Por ejemplo: ( weny sx [slence] eghy one [slence] ffy seven ). Para la fase de verfcacón se ulzaron 40 fcheros de es de cada locuor y un fchero de cada uno de los resanes locuores (137) elegdo de manera aleaora. Se realzan, por lo ano, para cada modelo de locuor: = 177 enfrenamenos, sendo el número oal de enfrenamenos 138*177 =

57 4. Expermenos realzados Con odo eso, los resulados obendos se resumen en la sguene abla. Gaussanas por esado número de eracones Tabla 1. Resulados obendos sobre YOHO ulzando Reesmacón Baum-Welch de HMMs ndependenes del locuor de 3 esados en funcón del número de Gaussanas por esado y el número de pasadas de reesmacón. La sguene fgura muesra las curvas DET para una pasada de reesmacón. Fgura 15. Curva DET con los resulados obendos sobre YOHO de realzar una pasada de reesmacón Baum-Welch en funcón del número de Gaussanas por esado. 42

58 4. Expermenos realzados En la sguene gráfca se pueden observar los resulados para 4 pasadas de reesmacón. Fgura 16. Curva DET con los resulados obendos sobre YOHO de aplcar 4 pasadas de reesmacón Baum-Welch en funcón del número de Gaussanas por esado. Se puede aprecar a la vsa de las dos gráfcas, que los resulados enden a empeorar según aumena el número de Gaussanas por esado, debdo al lmado número de daos de enrenameno y al ncremeno en los parámeros que es necesaro esmar. Eso se puede ver claramene en el caso en que se realzan 4 pasadas de reesmacón, en el que los resulados empeoran más rápdamene según aumena el número de Gaussanas por esado. La razón es que s se realzan cuaro pasadas de reesmacón con nsufcenes daos de enrenameno los modelos se degradan más. Oro expermeno conssía en ver el efeco que enía el reesmar sólo las medas. Ese expermeno se realzó de manera smlar a los anerores, pero parendo úncamene del modelo ndependene de locuor de una Gaussana por esado y se realzaron cuaro pasadas de reesmacón. Sn embargo, el rendmeno que se obuvo fue basane 43

59 4. Expermenos realzados nferor, alcanzando un EER del 9.65%. A connuacón se muesra la curva resulado obenda. Fgura 17. Curvas DET con los resulados obendos sobre YOHO al realzar 4 pasadas de reesmacón Baum-Welch acualzando sólo las medas en modelos de una Gaussana por esado Adapacón MLLR con pocos daos de enrenameno Una vez realzados los expermenos reesmando los HMMs con el algormo de Baum- Welch, se realzaron una sere de pruebas smlares ulzando esa vez adapacón MLLR. En la adapacón MLLR hemos varado el número de clases de regresón y el número de Gaussanas por esado. En esos prmeros expermenos nos vamos a cenrar, como en los anerores, en el escenaro más resrcvo de 6 locucones de enrenameno capuradas en una sola sesón. El proocolo de pruebas es el msmo que el ulzado en reesmacón Baum-Welch. Es decr, para un modelo de locuor dado, ése se va a enfrenar a las 40 locucones de es del msmo locuor y a una locucón de los resanes locuores elegda aleaoramene. 44

60 4. Expermenos realzados El número de Gaussanas por esado omó en los expermenos los valores 5, 10, 20, 40 y 80, menras que al número de clases de regresón le asgnamos los valores 1, 2, 4, 8, 16 y 32. Fjando odos esos parámeros, los resulados de los expermenos en érmnos del EER se muesran en la sguene abla. Gaussanas por esado clases de regresón Tabla 2. Resulados obendos sobre YOHO ulzando adapacón MLLR de HMMs ndependenes del locuor de 3 esados en funcón del número de Gaussanas por esado y el número de clases de regresón. Observando los daos de la Tabla 2 y las gráfcas que se muesran en el anexo (Fgura 29 a Fgura 34 ), se puede ver claramene que los resulados mejoran al aumenar el número de Gaussanas, al conraro que los resulados obendos con reesmacón Baum-Welch, resumdos en la Tabla 1. Esa es precsamene una de las prncpales venajas de ulzar adapacón MLLR en reconocmeno de locuor dependene de exo, la posbldad de emplear HMMs fonécos más complejos y de mayor precsón. Las gráfcas anerores nos confrman que manenendo consane el número de clases de regresón, se produce una mejoría al ncremenar el número de Gaussanas por esado. S por el conraro, fjamos en cada gráfca el número de Gaussanas por esado y varamos el número de clases de regresón es posble analzar la nfluenca de las clases de regresón sobre los resulados (véase ANEXO, Fgura 35 a Fgura 39). A la vsa de las gráfcas, se observa que el rendmeno ende a mejorar cuando se pasa de una a dos clases de regresón y a parr de ahí se esablza con un número crecene de clases. Ese comporameno se puede deber al lmado número de daos de adapacón, que resula nsufcene para enrenar más de dos ransformacones lneales. De hecho, a parr de dos clases, parece que la adapacón MLLR agrupa las dsnas clases reducendo el número efecvo de clases de regresón, con lo que el efeco que se consgue es cas el msmo que con sólo dos clases. 45

61 4. Expermenos realzados Adapacón MLLR y reesmacón Baum-Welch varando el número de locucones de enrenameno Para asegurarnos de la fabldad de los resulados obendos anerormene, se reperon las pruebas sobre escenaros menos resrcvos. En el prmero de ellos se ulzaron 24 locucones de enrenameno de la prmera sesón y en el segundo 24 locucones capuradas en cuaro sesones de enrenameno dsnas, hacendo un oal de 96 locucones de enrenameno. Con adapacón MLLR los resulados que se obenen son smlares a los del prmer escenaro: según aumena el número de Gaussanas mejora el rendmeno. En el caso de reesmacón Baum-Welch, los expermenos demosraron que, al conraro que con 6 locucones de enrenameno, el rendmeno mejora según aumena el número de Gaussanas por esado. [En el caso de 24 locucones de enrenameno y 4 Gaussanas por esado el EER es menor, sn embargo, para valores pequeños de falsa acepacón (zona de mayor nerés) la curva de 5 Gaussanas por esado se haya por debajo de la de 4 ]. Eso se puede comprobar a la vsa de la sguene abla resumen y de las gráfcas con las curvas obendas. Num. de locucones enrenameno Gaussanas por esado (Num. de sesones) (1) (4) Tabla 3. Resulados sobre YOHO ulzando reesmacón Baum- Welch en funcón de los daos de enrenameno y del número de Gaussanas por esado. 46

62 4. Expermenos realzados Fgura 18.Curvas DET obenda sobre YOHO ras realzar reesmacón Baum-Welch con 24 locucones de enrenameno en funcón del número de Gaussanas por esado Fgura 19. Curva DET obenda sobre YOHO ras realzar reesmacón Baum-Welch con 96 locucones de enrenameno en funcón del número de Gaussanas por esado 47

63 4. Expermenos realzados Selecconando en cada caso la combnacón (número de Gaussanas, pasadas de reesmacón o clases de regresón) con mayor rendmeno, e ncorporando los resulados que se obuveron para el prmer escenaro (6 locucones de la prmera sesón), se muesran de manera esquemáca en la sguene abla y fgura los resulados ópmos en funcón del número de locucones de enrenameno y de las sesones a las que perenecen. Num. de locucones enrenameno Adapacón Reesmacón (Num. de sesones) MLLR Baum-Welch 6 (1) (1) (4) Tabla 4. Resulados sobre YOHO ulzando reesmacón Baum- Welch y adapacón MLLR en funcón de los daos de enrenameno. Fgura 20. Curva DET obenda sobre YOHO ulzando reesmacón Baum- Welch y adapacón MLLR en funcón de los daos de enrenameno. 48

64 4. Expermenos realzados Conclusones Comparando los resulados obendos con reesmacón Baum-Welch y adapacón MLLR, Tabla 1 y Tabla 2 respecvamene, queda demosrado que se obene un mayor rendmeno ulzando adapacón MLLR para ssemas de reconocmeno de locuor dependene de exo. Eso queda de manfeso en especal cuando se emplean HMMs más complejos, es decr, con un mayor número de Gaussanas por esado. En esas crcunsancas, la reesmacón Baum-Welch no es capaz de comper con la adapacón MLLR, ya que para con an sólo 6 locucones de enrenameno, según aumena el número de Gaussanas por esado el rendmeno se degrada rápdamene. Por el conraro, MLLR puede rabajar con HMMs de un gran número de Gaussanas por esado, aún cuando sólo se ulzan pocas frases de enrenameno y de esa manera aprovechar las venajas que supone el uso de HMMs más complejos y deallados. Cuando se ulzan más daos de enrenameno, 24 y 96 locucones, la conclusón aneror se sgue cumplendo, eso es, que el méodo de adapacón MLLR funcona mejor que el de reesmacón Baum-Welch. De hecho, según aumenan los daos de enrenameno parece que las dferencas de rendmeno se ncremenan, a favor de la adapacón MLLR como queda de manfeso en la Fgura Normalzacón de punuacones Inroduccón Una cuesón clave en la verfcacón auomáca de locuor realzada medane méodos de modelado esadíscos como los GMMs o los HMMs es la normalzacón de las punuacones (score normalzaon), que cubre aspecos como la normalzacón de las verosmludes o normalzacón dependene del po de aurcular elefónco ulzado [Auckenhaler e al.,2000]. La normalzacón de las dsrbucones de verosmludes de dferenes locuores se ulza para enconrar umbrales globales ndependenes de locuor para el proceso de decsón menras que la normalzacón dependene del po de aurcular raa de reducr los efecos de las dferenes condcones ambenales. El objeo de nuesro esudo va a ser la normalzacón de las verosmludes. Esas écncas realzan una ransformacón de las punuacones de salda de un ssema de verfcacón de locuor con el objevo de compensar las posbles dferencas que puedan exsr en el rango de punuacones del conjuno de locuores debdas a varacones en 49

65 4. Expermenos realzados las condcones de cada uno de los enfrenamenos. Más concreamene TNorm o Tes- Normalzaon es una écnca que raa de compensar la varabldad en la verfcacón ulzando una cohore fja de mposor. El funconameno es el sguene: Supongamos que enemos una secuenca de vecores de caraceríscas O = {o 1,o 2,...,o N } exraídos de una locucón de es y un modelo de un locuor λ. Al comparar la locucón de es con el modelo se obene una punuacón: s( O λ ),. Además esa msma locucón de es se enfrena a un conjuno de modelos de oros locuores, es decr, a un conjuno de mposores al que denomnamos cohore para obener una sere de punuacones. A parr de esas punuacones de mposor se esman la meda y la varanza y se normalza la punuacón ncal de la sguene manera: s TNORM ( O, λ ) = s ( O, λ ) σ µ TNORM TNORM Cohor Models TEST NORMALIZATION (Tnorm) Background Daa Tes speech feaures Non-Targe scores Dsrbuon Esmaon Mean and Varance Norm. Normalzed Score Unnormalzed score Fgura 21. Dagrama de bloques de Tnorm, [Surum e al., 2005] Descrpcón de las pruebas y resulados Dado que en la leraura exsen muy pocas referencas al empleo de Tnorm en areas de reconocmeno de locuor dependene de exo, hemos realzado varas pruebas dsnas hasa enconrar el modo de llegar a resulados sasfacoros. Al conar con un número lmado de locuores, 138, el número de mposores de la cohore no podía ser demasado grande. Por lo ano, fjamos la cohore para los expermenos en 20 locuores, de los cuales 10 eran mujeres y 10 hombres. Al gual que en expermenos anerores, se enrenaron los modelos de los locuores con 6 locucones de la prmera sesón, parendo de modelos fonécos ndependenes del locuor de 40 Gaussanas por esado. El proocolo de pruebas para la fase de 50