Diseño e Implementación de una Calculadora con dos modos de Operación: Activada por Voz y Manual

Transcripción

1 Diseño e Implementación de una Calculadora con dos modos de Operación: Activada por Voz y Manual Luz E. Maldonado Alviarez, Luciano Maldonado Resumen Se presenta el diseño, la construcción y pruebas de una calculadora que tiene la particularidad de operar en dos modos distintos: en uno de los modos puede recibir, a través de la voz, tanto los comandos indicadores de las operaciones a realizar como los operandos; y en el otro modo, el modo manual, recibe los comandos y los operandos a través de su teclado. En cualquier momento puede pasar del modo activada por voz al modo manual y viceversa, al pronunciársele la palabra correspondiente, dependiendo del modo en que se encuentre. En el modo activada por voz es sensible al ruido, es decir, en ambientes ruidosos su capacidad de reconocimiento se ve afectada, mientras que trabaja muy bien en ambientes libres de ruido. En su modo manual no presenta ningún inconveniente en su funcionamiento. Palabras claves Calculadora activada por voz, modo manual, programa supervisor, reconocedor automático de voz. I. INTRODUCCIÓN En el mundo actual, se sabe que desde la aparición en forma consistente de las tecnologías del habla, conjuntamente con el desarrollo sostenido de la electrónica, las telecomunicaciones y las tecnologías del software, investigadores interdisciplinarios han formado diferentes grupos de trabajo para diseñar y desarrollar sistemas con la capacidad de escuchar, desencadenar acciones en función de lo escuchado y producir información, incluso en forma hablada [1]. De hecho, existen reconocedores automáticos del habla comerciales como el Dragon NaturallySpeaking y el ViaVoice que son sistemas de software que permiten hacer del computador una secretaria automática [-]. Por esa razón, y pensando en las ventajas que puede tener controlar cualquier máquina a través del lenguaje natural de la gente, se planteó Artículo elaborado el de Febrero de 01. L.E.M.A. estudia en la Universidad de Los Andes, Sector La Hechicera, Facultad de Ingeniería, Escuela de Ingeniería Eléctrica, Mérida, Estado Mérida, Venezuela, Tlf , luzelena01@hotmail.com, L.M. está con la Universidad de Los Andes, Núcleo La Liria, Facultad de Ciencias Económicas y Sociales, Instituto de Estadística y Computación, Mérida, Estado Mérida, Venezuela, Tlf , maldonaj@ula.ve este trabajo en el que se recurre al uso de hardware electrónico y software para construir una calculadora cuya función principal es que permitiera ser utilizada por medio de la voz. II. DESCRIPCIÓN GENERAL DE LA CALCULADORA Las características más resaltantes de la calculadora diseñada e implementada son las siguientes: 1. Tiene dos modos de operación: el modo activado por voz y el modo manual.. Puede cambiar de un modo de operación a otro al pronunciársele la orden requerida, vale decir, si está trabajando en modo activado por voz, para pasar al modo manual se pronuncia la palabra manual; y si está en modo manual, para pasar al modo activado por voz se pronuncia la palabra automático. Por otro lado, si está en el modo activada por voz y se le pronuncia la palabra automático no cambia de estado, lo mismo sucede si se encuentra en el modo manual y se pronuncia la palabra manual.. En el modo activada por voz funciona, básicamente, como un reconocedor dependiente del hablante [1].. En el modo activada por voz es sensible al ruido presente en el ambiente de operación. En la Fig. 1 se destacan, de manera gráfica, las principales características de la calculadora implementada. Se puede apreciar que los modos de operación son controlados a través de un programa supervisor que decide cuándo activar uno u otro modo. III. ETAPAS DE DESARROLLO DE LA CALCULADORA Para el diseño y para la implementación, tanto del hardware como del software de este sistema, se abordaron cuatro etapas en las que se desarrollaron, por separado, dos tipos de calculadoras: una que trabajaba en forma manual y la otra que trabajaba activada por voz; posteriormente esos dos tipos se integraron para constituir una calculadora con los dos modos de operación.

2 VSS VEE RS RW E D0 D1 D D D D D D Diseño e Implementación de una Calculadora con dos modos de Operación: Activada por Voz y Manual Modo Activado por voz Modo Manual Supervisor/Activador de Modos FIG.1 Esquema funcional de la calculadora A. Etapa de desarrollo de la calculadora en modo manual Inicialmente se construyó la calculadora para que trabajara en modo manual solamente. Esta calculadora estaba basada, desde el punto de vista del hardware, en un PIC 1F8a, un teclado de X teclas, una pantalla LCD de dos líneas de caracteres, 8 caracteres por línea, un pulsador, resistencias y fuentes. El diseño de este modo de operación, que se muestra en la Fig., se realizó y probó utilizando PROTEUS y el PIC C Compiler [-]. Posteriormente, se grabó el programa depurado en el PIC y se montó la circuitería en un protoboard tal como se muestra en la Fig. El programa correspondiente a esta etapa monitorea el teclado y controla la pantalla LCD. Las operaciones aritméticas que puede llevar a cabo esta calculadora son suma, resta, multiplicación y división de números enteros de hasta cuatro dígitos por operando. Otras órdenes que puede cumplir esta calculadora son limpiar la pantalla, retroceder para corregir operaciones u operandos, producir mensajes de error y de resultados. El mensaje típico de error que se produce es cuando se pretende la división por cero. B. Etapa de entrenamiento del reconocedor de palabras aisladas Se recurrió al uso de la tarjeta SR-0 que implementa un reconocedor automático de pronunciaciones de palabras aisladas dependiente del hablante []. En la Fig. se puede apreciar la circuitería general de esa tarjeta. A 8 9 LCD1 LM01L B C ON D C 1 0 = + FIG.. Tarjeta SR-0 (fuente: R1 10k U1 1 OSC1/CLKIN RB0/INT 1 OSC/CLKOUT RB1 RB RA0/AN0 RB/PGM RA1/AN1 RB 8 RA/AN/VREF-/CVREF RB 9 RA/AN/VREF+ RB/PGC 0 RA/T0CKI/C1OUT RB/PGD RA/AN/SS/COUT 1 RC0/T1OSO/T1CKI 8 1 RE0/AN/RD RC1/T1OSI/CCP 9 1 RE1/AN/WR RC/CCP RE/AN/CS RC/SCK/SCL RC/SDI/SDA 1 MCLR/Vpp/THV RC/SDO RC/TX/CK RC/RX/DT 19 RD0/PSP0 0 RD1/PSP1 1 RD/PSP RD/PSP RD/PSP 8 RD/PSP 9 RD/PSP 0 RD/PSP PIC1F8A FIG. Diseño de la calculadora manual La tarjeta SR-0 está constituida por el dispositivo HM00 que es el reconocedor de palabras aisladas propiamente dicho, un teclado a través del cual se pueden enumerar las palabras a ser entrenadas, iniciar el entrenamiento o eliminar una palabra entrenada. Dos display -segmentos a través de los cuales se puede visualizar el número de la palabra que está siendo entrenada en un momento dado o qué palabra está siendo reconocida cuando se están probando las palabras entrenadas. Un micrófono a través del cual se reciben las palabras pronunciadas. Se pueden entrenar hasta 0 palabras debido a limitaciones de la SRAM de la que se dispone dicha tarjeta. En este trabajo, la tarjeta SR-0 fue empleada como el medio a través del cual se recibían los comandos y operandos que constituían el vocabulario utilizado por la calculadora en el modo Activada por Voz. El vocabulario utilizado en este modo estaba constituido por las 0 palabras siguientes: uno, dos, tres, cuatro, cinco, seis, siete, ocho, nueve, cero, más, menos, entre, por, igual, borrar, pausa, limpiar, manual y automático. FIG. Hardware de la calculadora manual

3 C. Etapa de desarrollo de la calculadora en modo activada por voz Una vez entrenada la tarjeta SR-0 con el vocabulario del cual iría a estar dotada la calculadora activada por voz, se procedió a medir los niveles de tensión de cada una de las entradas a los display -segmentos que producía dicha tarjeta para cada una de las palabras. Esto permitió determinar los códigos binarios que posteriormente fueron utilizados como entradas al PIC1F8a, sobre el cual se programó la operación del modo activado por voz, de la misma manera como se hizo para el modo manual. En la Fig. se puede observar la interface entre la SR-0, el PIC1F8a y la LCD. que debe realizar la operación aritmética que es seleccionada dependiendo de si en la orden aparece un más, menos, por o entre. D. Etapa de integración de los dos modos de operación Una vez probados, por separado, los dos modos de operación, se procedió a su integración en un solo sistema como se observa en la Fig.. Esta integración se realizó en dos sentidos: en primer lugar, desde el punto de vista del hardware y en segundo lugar, desde el punto de vista del software. FIG.. Hardware del modo activado por voz El programa encargado de controlar el modo activado por voz tenía la tarea de monitorear el reconocedor de voz (la SR- 0), almacenar las palabras que le iban llegando, determinar a qué comando correspondían, desencadenar las actividades necesarias para cumplir con esas órdenes, producir los mensajes necesarios sobre la pantalla LCD y volver al status de recepción de comandos hablados. De manera que si, por ejemplo, se deseaba realizar, en el modo Activado por Voz, la operación + 8, la secuencia de pronunciaciones era: cinco más ocho igual. Mientras que si se deseaba realizar la operación 8-0, la secuencia de pronunciaciones era: cinco ocho menos dos cero igual. El mismo procedimiento aplica para el resto de las operaciones aritméticas El comando borrar permitía eliminar y corregir una palabra que no era la deseada. Por ejemplo, si en un momento dado se esperaba el operando y por error se pronunciaba otro o por mal reconocimiento aparecía otro, entonces se podía retroceder pronunciando la palabra borrar. El comando limpiar permitía limpiar la pantalla LCD. El comando pausa se empleaba una vez obtenido el resultado de alguna operación aritmética, antes de regresar al estado de recepción de comandos por voz. Hubo la necesidad de utilizar este comando para evitar la recepción espuria de pronunciaciones. El comando igual, le indica a la calculadora el momento en FIG.. Hardware de la calculadora resultante Desde el punto del hardware, la integración consistió en cablear las salidas desde las entradas a los display -segmentos de la SR-0 hacia el puerto D del PIC para controlar el reconocimiento de voz. Mientras que el puerto C del PIC se empleó para controlar el teclado del modo manual y el puerto B del PIC se empleó para controlar la pantalla LCD. En cuanto al software, la integración no era tan directa como en el caso del hardware, por lo que se desarrolló un programa supervisor de los modos de operación y se realizaron algunas modificaciones a los programas que se habían desarrollado para el control de los modos en forma separada. 1. Programa supervisor de los modos de operación. Este programa desarrollado en PIC C Compiler, como todo el resto del software, tenía la tarea de scanear al reconocer de voz. Trabajaba de la siguiente manera: cuando se encendía o reseteaba la calculadora, se ponía en un estado al que se llamó selección de modo de operación. Básicamente, lo que hacía en ese estado era esperar a que se le pronunciara, a través del micrófono, la palabra manual para entrar en el modo de operación manual activando el programa asociado con este modo, o la palabra automático para entrar a trabajar en el modo de operación activada por voz, activando de la misma manera el programa respectivo. A cualquier otra palabra espuria, sencillamente, no le hacía caso.

4 Hay que resaltar que el comando manual cambia la calculadora a su modo manual, cuando se encuentra en modo activado por voz. Si se está en modo manual y se pronuncia el comando manual, sigue en dicho modo, y que el comando automático cambia la calculadora al modo activado por voz, cuando se encuentra en modo manual. Si se está en el modo activado por voz y se pronuncia el comando automático, sigue en dicho modo.. Modificaciones al programa encargado de la operación del modo manual Con respecto al programa original, en el que operaba la calculadora en modo manual en forma aislada, se le realizó una modificación que consistió en que cada vez que completaba la actividad requerida por un comando recibido por el teclado, revisaba si desde el reconocedor de voz había llegado la palabra automático, en cuyo caso le devolvía el control al programa supervisor para que arrancara el programa asociado al modo activada por voz, de no ser así continuaba en el modo manual.. Modificaciones al programa encargado de la operación del modo activado por voz Al programa que inicialmente se encargaba de la operación en forma aislada del modo activado por voz, básicamente se le realizó el mismo tipo de modificaciones realizados para el programa encargado del modo manual, sólo que en este caso, al completar cada operación, revisaba si había sido pronunciada la palabra manual, en cuyo caso le pasaba el control al programa supervisor para que activara el modo manual, de lo contrario seguía en su modo actual de operación. IV. PRUEBAS REALIZADAS Las pruebas realizadas fueron diseñadas de la forma siguiente: A. Pruebas de la calculadora en modo manual. El conjunto de pruebas consistió simplemente en realizar las operaciones de suma, resta, multiplicación y división de enteros, de a lo más cuatro dígitos por operando. Este procedimiento se repitió al menos diez veces por operación. De la misma manera se probaron los comandos de limpiar la pantalla LCD, retroceder para corregir un dato y de resetear la calculadora. B. Pruebas de la calculadora activada por voz. En este caso, el conjunto de pruebas consistió en realizar las mismas operaciones que en el modo manual, sólo que como se estaba utilizando el reconocimiento de voz el procedimiento se repitió al menos cuarenta veces por operación. De la misma manera se probaron los comandos adicionales pausa, igual y borrar. Por otro lado, las pruebas se realizaron, en unos casos, en ambientes libres de ruido, es decir, en un laboratorio en condiciones normales de trabajo, y en otros casos en presencia de ruido ambiente como música y conversaciones con umbrales un tanto fuera de lo normal. C. Pruebas de la calculadora en modo activada por voz y modo manual Los casos de pruebas utilizados en los modos de operación separados y otros adicionales fueron seleccionados para evaluar el desempeño de calculadora con los dos modos de operación integrados, con la particularidad de que se realizaron alternando los modos de operación para medir la eficacia, sobretodo, en el reconocimiento de los comandos de voz. También se realizaron pruebas en las que quien utilizaba la calculadora era una persona distinta a quien realizaba el entrenamiento de las palabras a reconocer, ésto con la finalidad de evaluar hasta qué punto la calculadora podía funcionar en forma independiente del hablante. V. DISCUSIÓN DE RESULTADOS En las pruebas realizadas a la calculadora manual en forma aislada se obtuvo un rendimiento del 100%. En las pruebas realizadas a la calculadora activada por voz en forma aislada se presentaron las siguientes situaciones: 1. El reconocimiento de las palabras pronunciadas resultó en aproximadamente el 9% en ambientes libres de ruido, mientras que el cálculo realizado era 100% correcto. Por ejemplo, si lo que se solicitaba en forma hablada era algo como cinco por ocho igual, el resultado era 0; pero si se equivocaba y escuchaba seis por ocho igual, el resultado era 8.. El reconocimiento de las palabras en ambientes con ruidos de música y conversaciones resultó en aproximadamente el %, mientras que el cálculo realizado era 100% correcto.. En cuanto al reconocimiento independiente del hablante, el resultado fue de aproximadamente el 8%, lo que supone una ventaja si se considera que se estaba trabajando en base a un reconocedor dependiente del hablante. En las pruebas con los modos de operación integrados, la situación resultó similar a los casos aislados, es decir, en los peores escenarios se logró aproximadamente el 98% de funcionamiento normal en modo manual y el % en el modo activado por voz. Mientras que en ambientes libres de

5 ruido, se alcanzó 100% en modo manual y hasta 9% en el modo activado por voz. Las fallas, en todo caso, se debieron a la aparición de pronunciaciones espurias, donde la calculadora indicaba la ocurrencia de una cierta palabra cuando en realidad no se había pronunciado ninguna, es decir, el programa reconocedor detectaba alguna mínima actividad en el micrófono y trataba de asociarla a una palabra que había sido entrenada. VI. CONCLUSIONES La computadora experimental desarrollada en esta investigación resulta altamente eficiente en ambientes libres de ruido, mientras que en ambientes ruidosos su rendimiento se puede considerar sólo como aceptable. Esto se debe a que el módulo reconocedor automático del habla utilizado, cuyas características principales es que se trata de un reconocedor de palabras aisladas y dependiente del hablante, presenta fallas en cuanto a que es sensible al ruido. Por otro lado, aún cuando está concebido como un reconocedor dependiente del hablante, las pruebas arrojaron un comportamiento con un grado de independencia suficientemente alto. REFERENCIAS BIBLIOGRÁFICAS [1] J. L. Maldonado. Tratamiento y reconocimiento automatico de señales de la voz venezolana. Tesis Doctoral, ULA, Mérida, Venezuela, 00. [] Dragon NaturallySpeaking. Disponible en: en.wikipedia.org/wiki/dragon_naturallyspeaking. Consultada en: enero 01. [] ViaVoice. Disponible en: es.wikipedia.org/wiki/viavoice. Consultada en: enero 01. [] CCS PIC C Compiler V.. CCS Inc. [] Proteus Professional. [] J. M. Angulo, S. Romero y I. Angulo. Microcontroladores <<PIC>>. Diseño práctico de aplicaciones. Segunda Parte: PIC 1F8X. McGraw-Hill/Interamericana de España, S.A.U., 000. [] SR-0 Speech Recognition Kit Construction Manual & User Guide. Staten Island NY 101, 00.