AVS MOTORES DE BÚSQUEDA SEMÁNTICOS: TU MOTOR DE BÚSQUEDA TE ENTIENDE? Madrid, Octubre de 2009

Transcripción

1 AVS Asistente Virtual Semántico MOTORES DE BÚSQUEDA SEMÁNTICOS: TU MOTOR DE BÚSQUEDA TE ENTIENDE? Madrid, Octubre de 2009

2 AGENDA Hay problemas en los motores de búsqueda actuales? Procesamiento del lenguaje natural: PLN Ontologías Precision vs. Recall Mejoras propuestas Preguntas

3 HAY PROBLEMAS? Algunos cifran en casi un 80% el porcentaje de usuarios no satisfechos con sus búsquedas Los interfaces de los motores de búsqueda nos obligan a utilizar un elemento que no solemos utilizar en el día a día: el keyword Si nuestro cerebro almacena sus ideas relacionando neuronas Por qué tenemos que hacer búsquedas en una caja de keywords

4 HAY PROBLEMAS? Y SOLUCIONES Necesitamos motores de búsqueda que: Nos permitan utilizar la expresividad habitual de los humanos: PLN Que entiendan los documentos que indizan y que entiendan nuestras necesidades de información: Ontologías Soporte a múltiples posibilidades en función de los resultados obtenidos por el motor clásico: Más documentos, muchos más, más precisión

5 HAY PROBLEMAS? Y SOLUCIONES Mejora de la experiencia de búsqueda Ontologías PLN Mayor expresividad Aumento de hits de búsqueda Motores de búsqueda tradicionales Más precisión Consultas estructuradas

6 PROCESAMIENTO DEL LENGUAJE NATURAL PLN pasa por entender el papel de cada término en la frase Localizando aquellos conceptos que no aportan semántica Desambiguando el papel de los términos en la mayoría de los casos: Mi empresa factura a la tuya : Factura como verbo Mándame la factura por favor Factura es sustantivo Apoyado en las ontologías, una factura no es una secuencia de 7 caracteres, sino la idea de factura

7 ONTOLOGÍAS Objetivo: Desarrollar un lenguaje común o semántica común que hace disminuir la ambigüedad en la comunicación y facilita el consenso, la interoperatividad y la integración Cómo se construyen?: utilizando técnicas basadas en Procesamiento de Lenguaje Natural con el objetivo de: Reducir tiempos Adecuarla al negocio concreto del cliente Fácil Preciso Rápido

8 ONTOLOGÍAS Control de explosiones Herramientas de seguridad Protocolos de actuación Incendios Legislación Ruido y vibración Vehículos Vehículos a motor Motores Motores diesel Seguridad y salud Motores de gasolina Motores híbridos Análisis de accidentes Motores eléctricos Emisión de contaminantes Evaluación de impacto ambiental Control de emisiones

9 PLN + ONTOLOGÍAS Cómo solicito mi nómina de Septiembre A quién tengo que solicitar la nomina de septiembre A quién le pido la nomina del pasado Septiembre Qué tengo que hacer para pedir mi nomina de septiembre Cómo puedo demandar la nómina de septiembre Nómina <<Solicitar>> Septiembre Cómo puedo borrar un pedido? Cómo se borra un pedido? Dime cómo puedo eliminar pedidos No sé borrar pedidos Cómo hago para eliminar comandas de la aplicación Cómo se dan de baja pedidos del sistema... <<Borrar>> Pedido?

10 PRECISION VS. RECALL Precision y Recall son dos variables ampliamente utilizadas para la medición de la calidad de motores de recuperación Precision nº documentosrelevantes recuperados nº totaldedocumentosrecuperado s Colección Documentos relevantes recuperados Recall nº documentosrelevantes recuperados nº totaldedocumentosrelevantes Total de documentos relevantes Total de documentos recuperados Habitualmente, mejorar una de las variables implica perjudicar la otra Las técnicas descritas a continuación permitirán aumentar enormemente el Recall sin afectar al Precision

11 INTEGRACIÓN La integración semántica con Exalead no tiene ninguna repercusión: No se indexan dos veces los documentos, no se busca en paralelo Es sencilla y transparente para el usuario

12 INTEGRACIÓN: A PROBLEMAS DIFERENTES Soluciones diferentes: El módulo semántico incorpora cuatro vistas basadas en PLN Dos de ellas se emplean para resolver el problema del silencio: ausencia de resultados En este momento se emplean las ontologías para propagar sinónimos, términos afines Otras dos se emplean para resolver el problema del ruido: exceso de resultados Inclusión automática de operadores de proximidad, inclusión de otros términos afines para dar más precisión al resultado Objetivo: localizar la información que precisa en cada momento el usuario

13 EXPANSIÓN DE TÉRMINOS Las relaciones que posee una ontología son una fuente excepcional para mejorar, de forma automática, las consultas de los usuarios Sinónimos y específicos serán las relaciones empleadas Empleado Trabajador Prestación Bonificación Subvención Empleado Prestación (Empleado OR Trabajador) AND (Prestación OR Bonificación OR Subvención)

14 NORMALIZACIÓN DE VERBOS La mayoría de motores ya incluye por defecto el tratamiento de singular/plural y masculino/femenino en sustantivos Sin embargo, las variantes morfológicas de los verbos son aún más numerosas que en el caso de los sustantivos Será ésta la razón por la cuál entre los términos más frecuentes de los motores de búsqueda no hay verbos? El sistema podrá detectar los verbos conjugados, e incluir sus correspondientes infinitivos Solicitará Nóminas (Solicitará OR Solicitar) AND (Nóminas OR Nómina)

15 EXPANSIÓN DE VERBOS A diferencia de las ontologías y tesauros clásicos, nuestras ontologías incluyen clusters semánticos de verbos Esto permite que, de forma automática, se puedan incluir en la consulta Solicitará Nóminas (Solicitará OR Solicitar OR Demandar OR Requerir OR Pedir) AND (Nóminas OR Nómina)

16 AUTOMATIZACIÓN DEL LEMATIZACIÓN VERBAL El concepto lematización implica la localización de la raíz de un determinado término o, en este caso, un verbo El sistema puede localizar automáticamente la raíz (lema) y utilizar el operador comodín (*) para dotar de mayor expresividad a la consulta Solicitará Nóminas (Solicit* OR Demand* OR Requer*) AND (Nóminas OR Nómina)

17 CONSULTAS EN LENGUAJE NATURAL Las técnicas PLN nos permiten consultar tal y como le preguntaríamos a un humano, y no con los mecanismos tradicionales basados en keywords De forma automática se eliminan las palabras vacías y se normalizan y expanden los términos involucrados El empleado solicita sus nóminas (Empleado OR Trabajador) NEAR (Solicit* OR Demand* OR Requer*) NEAR Nómina

18 CONSULTAS EN LENGUAJE NATURAL (II) Estas mismas técnicas PLN también permiten utilizar lenguaje natural para expresar restricciones de búsqueda Estoy interesado en documentos pdf escritos el mes pasado que hablen sobre alojamientos en Andalucía, pero no en Sevilla ni Jaén (Alojamiento OR Hotel OR casa rural ) NEAR (Andalucía OR Córdoba OR Granada ) (Sevilla OR Sevillano) -(Jaén OR Jienense) filetype:pdf after:01/04/2009 before:30/04/2009

19 CONSULTAS EN LENGUAJE NATURAL (III) Además de mejorar los resultados contra motores de búsqueda, también puede conectarse a cualquier base de datos Cada consulta en lenguaje natural se transforma automáticamente en una consulta contra su base de datos

20 CONSULTAS EN LENGUAJE NATURAL (III) Producto Coste Stock Xxx Xxx Respuesta en tiempo real Cuál es el seguro más barato? Busco un oftalmólogo en Madrid cerca de Atocha Consulta SQL Consulta SQL BD de su negocio Asistente Virtual Semántico -

21 MÁS SEMÁNTICA: SENTIMENT MINING La Web 2.0 está diseñada al servicio del consumidor, pero pueden las compañías también sacarle partido? El análisis automático de blogs y foros permite reducir drásticamente el coste de los antiguos estudios de mercado Saber qué se dice de nuestra compañía en la Web permite anticipar movimientos: optimización de recursos Las técnicas de análisis clásicas permiten identificar dónde se habla de nosotros: nubes de términos Gustó Lento Calidad Atención Caro Servicio Excelente Carísimo Lejano Expléndido Gustado Asistente Virtual Semántico -

22 MÁS SEMÁNTICA: SENTIMENT MINING Las técnicas semánticas permiten: Determinar qué conceptos/adjetivos acompañan con mayor frecuencia al nombre de nuestra compañía o marca (unificando los de forma múltiple) Comparar esta frecuencia con la misma en la documentación interna Entender el significado de cada entrada, decidiendo cuándo se habla bien o mal de nuestra compañía o marca El producto es de gran calidad Su calidad es impresionante Su calidad es decepcionante No me gustó su calidad El producto es fenomenal Producto es de lo peor Positivo Negativo Asistente Virtual Semántico -

23 MÁS SEMÁNTICA: ASISTENTES VIRTUALES SEMÁNTICOS Aparte del motor de búsqueda, se puede integrar un Asistente Virtual Semántico que responda las preguntas concretas de los usuarios del sistema Sus principales ventajas: Respuestas concretas ante cada pregunta Permiten que el usuario se exprese utilizando lenguaje natural Uso completo de la capacidad semántica del sistema Estadísticas de términos y consultas más frecuentes En caso de que el Asistente no tenga una respuesta concreta, puede invocarse automáticamente al motor de búsqueda +info: AVS Asistente Virtual Semántico

24 MÁS SEMÁNTICA: ASISTENTES VIRTUALES SEMÁNTICOS Aparte del motor de búsqueda, se puede integrar un Asistente Virtual Semántico que responda las preguntas concretas de los usuarios del sistema Sus principales ventajas: Respuestas concretas ante cada pregunta Permiten que el usuario se exprese utilizando lenguaje natural Uso completo de la capacidad semántica del sistema Estadísticas de términos y consultas más frecuentes En caso de que el Asistente no tenga una respuesta concreta, puede invocarse automáticamente al motor de búsqueda +info: AVS Asistente Virtual Semántico

25 PREGUNTAS Y COMENTARIOS The REUSE Company José Miguel Fuentes Josemiguel.fuentes@reusecompany.com