Guía del Módulo de Inteligencia Artificial. Versión 5.1.0

Transcripción

1 Guía del Módulo de Inteligencia Artificial Versión 5.1.0

2

3 1. Análisis de los Usuarios de un Portal Web: Módulo de Inteligencia Artificial de isum Una de las características más significativas de la plataforma isum es que permite monitorizar las acciones que los usuarios realizan en el portal y almacenar los datos más significativos en su capa de persistencia. El módulo de IA de isum contiene un conjunto de herramientas matemáticas que se utilizan para analizar esta información. A este tipo de análisis se les conoce normalmente como "ClickStream Analysis". El análisis de los datos se realiza mediante una serie de algoritmos matemáticos, que en la literatura científica se conocen genéricamente como Algoritmos de Inteligencia Artificial, y que engloban una gran variedad de técnicas, como por ejemplo Redes Neuronales Artificiales, los Clasificadores Estadísticos, las Herramientas de Análisis Probabilístico, etc. Estas técnicas permiten resolver una gran variedad de problemas de análisis de datos "Data Mining", como por ejemplo problemas de clasificación supervisada y no supervisada, de estimación de parámetros estadísticos, de predicción de secuencias de datos, etc. Cuando se aplican al análisis de datos web, estas técnicas se suelen denominar genéricamente "Web Mining". Estos análisis permiten extraer información muy interesante acerca del comportamiento de los usuarios en el portal, como por ejemplo los patrones de navegación, los grupos de usuarios con gustos similares, el nivel de experiencia de los usuarios del portal, su ciclo de vida en el portal, etc. Esta información permite establecer relaciones personalizadas con los usuarios del portal, mediante herramientas de alto nivel como por ejemplo los motores de Recomendaciones y Predicciones del módulo de IA de isum. En principio, estas herramientas se utilizan para analizar directamente los datos de navegación de los usuarios en los servicios de isum, aunque también pueden utilizarse para analizar datos adicionales procedentes de otras fuentes de información externas. En este sentido, la nueva versión del módulo de IA de isum permite aplicar estas herramientas a PATS. Por lo tanto, las acciones que los usuarios realicen sobre objetos y que sean registradas mediante PATS podrán ser analizadas con estas herramientas. En los siguientes apartados se describe brevemente el funcionamiento del módulo de IA de isum. En primer lugar se realiza una breve introducción en la que se describen algunos conceptos generales sobre la personalización de un portal, y sobre el análisis de los ficheros de logs. En los siguientes apartados de este capítulo se describe brevemente las características generales del módulo de IA de isum. En los demás capítulos de la guía se describirán con detalle las herramientas disponibles en este módulo. 1

4 Introducción Personalización de un Portal En este apartado se describen en primer lugar algunos conceptos generales sobre la "Personalización de un Portal Web" y sobre el "Análisis de Ficheros de Logs", ya que estos análisis son la base de cualquier sistema de personalización inteligente, ya que para poder establecer relaciones personalizadas con los usuarios de un portal es necesario, en primer lugar, analizar las acciones que éstos realizan en el mismo. En este apartado veremos que los ficheros de logs son bastante ruidosos, y su transformación en datos útiles es relativamente compleja, e incluso puede presentar ambigüedades. Como se describe a continuación, el módulo de IA de isum no trabaja directamente sobre ficheros de logs, ya que isum almacena en la capa de persistencia todos los datos significativos que se requieren para este tipo de estudios, y, además, lo hace de una forma completamente estructurada y sin ambigüedades. Este hecho supone una gran ventaja de isum frente a otros productos de Web Mining. Por último, en este apartado se describen también los posibles escenarios de utilización del módulo de IA de isum: con el resto de las funcionalidades de isum o independientemente. Veremos que el primer escenario es el más adecuado, por las ventajas que isum proporciona La personalización refleja la idea fundamental en mercadotecnia en la que los clientes quieren un producto o servicio que coincida exactamente con sus necesidades. Con el nacimiento de Internet, podemos tener un contacto más estrecho y permanente con el usuario, así como distribuir el producto o servicio adaptado. Pero necesitamos algo que nos permita conocer al usuario, identificar sus comportamientos, y poder llegar a él para ofrecerle los servicios o productos que pueda requerir. Ahí es donde aparece isum como el elemento de unión que descubre esta información personal y distribuye productos / servicios personalizados. Podríamos resumir brevemente la evolución de la oferta de productos / servicios a usuarios con el nacimiento de Internet en el siguiente esquema: Mercado de masas Diferenciación Personalización Relación Partiendo de un mercado de masas inicial, las compañías crearon diferentes líneas dentro de un mismo producto para un poder llegar a un sector especifico del mercado. Podemos considerar la personalización como una forma especial de diferenciación, en la que se transforma un producto / servicio estándar en una solución especializada para un individuo. La tendencia actual lleva a avanzar esa personalización a un estado de relación directa e individual entre el usuario y la compañía que ofrece el producto / servicio. Por lo tanto necesitamos alguna herramienta que simplifique a la empresa esta gestión individualizada de usuarios ofreciéndoles a la vez de forma transparente un trato individualizado. Para poder entender la personalización que ofrece isum vamos a utilizar un entorno desarrollado por Gilmore y Pine ( 1997) en el que aparecen los conceptos que se describen en el próximo apartado. 2

5 Tipos de Personalización: Adaptativa: se ofrece el mismo producto, con muchas opciones, entre las que el usuario elige las suyas para que le producto se comporte como él quiere. Cosmética: presenta el producto de forma diferente, con pequeños cambios para que identificarlo con ciertos individuos o grupos de usuarios. Transparente: observa necesidades de los usuarios, y comportamientos, y el producto / servicio cambia automáticamente de forma transparente para reflejar estos gustos. Colaborativa: se basa en un diálogo individual con el usuario para articular sus necesidades, identificar la oferta precisa que las satisface y crear productos personalizados para ellos. En la próxima figura se esquematizan los tipos de personalización: Ilustración 1: tipos de personalización Inicialmente isum nació ofreciendo una personalización cosmética y adaptativa, es decir, mediante simples cambios de aspecto podía ofrecer un entorno diferente para cada portal, y mediante un proceso algo más sofisticado podía adaptarse a cada usuario y / o grupos de usuarios. Pero siempre, en todo momento, podíamos estudiar el comportamiento de un usuario, de grupos o de la comunidad completa, así como estudiar un servicio desde diferentes puntos de vista. El motor estadístico de isum siempre ha sido una de sus ventajas competitivas más fuertes. En versiones posteriores la personalización ha evolucionado hasta el punto de ser adaptativa y transparente. De esta forma, además de poder adaptar todo el entorno de trabajo del usuario a sus propias necesidades, conseguimos mediante el estudio de su comportamiento, ofrecerle lo que realmente utiliza, sin requerir ninguna actuación por su parte. Continuo el desarrollo haciendo hincapié en la personalización transparente, logrando conseguir características de colaborativa. Esto quiere decir que se le esta añadiendo más inteligencia al sistema, tanto para el usuario como para el servicio, llegándose a conseguir una completa modificación del entorno de usuario de forma automática y en tiempo real. isum esta evolucionando continuamente para conseguir una personalización cada vez más colaborativa. 3

6 Personalización de estilo Podemos identificar los siguientes conceptos de personalización cosmética: Diseño de las interfaces de usuario Varias interfaces de usuario por dispositivo Diseño del escritorio virtual del usuario mediante el mecanismo de plantillas. Posibilidad de incluir skins CSS para ofrecer diferentes look & feel El usuario decide la interfaz y el skin que desea en el portal en el que se encuentra. Cada portal puede tener sus propias interfaces y skins. Personalización de contenido Como personalización adaptativa podemos distinguir estas características: Selección de los servicios. El propio usuario decide los servicios, grupos y el orden que quiere tener en su interfaz entre el conjunto de sus servicios asignados. Asignación de servicios a usuarios, de forma individual o mediante grupos / perfiles de usuarios. Los administradores del sistema pueden realizar esta preselección de servicios para ofrecer un mejor conjunto de servicios de interés para el usuario. Estadísticas avanzadas para administradores. Mediante su estudio se puede determinar el comportamiento de los usuarios en un determinado servicio con el fin de identificar nuevas necesidades o modificación de los servicios ofrecidos. Modificación del entorno de trabajo. El usuario puede cambiar en cualquier momento las características que definen su escritorio virtual: idioma, interfaz, clave, etc... Personalización inteligente, automática o involuntaria. Como personalización transparente identificamos las siguientes funcionalidades: Ordenación inteligente de servicios: el sistema es capaz de reconocer en tiempo real los servicios que más utiliza el usuario y se los presenta siempre en función de los que él más accede. Esta característica es fundamental para dispositivos como los móviles WAP donde dadas las dimensiones de la pantalla y la dificultad de selección de contenido es interesante poder acceder pronto y rápido a los servicios más utilizados. Identificación automática de interfaz. isum es capaz de detectar el navegador desde el que accede el usuario y, por tanto, ofrecerle la interfaz más adecuado para él. Análisis de Ficheros de Logs (ClickStream Analysis) En general, los servidores web almacenan datos con información sobre las peticiones que realizan los clientes (ficheros de logs). Estos ficheros se almacenan en los formatos del tipo CLF (Common Log Format) o XLF (Extended Format). Por ejemplo, el formato CLF contiene los siguientes campos: IP Address Logon Authenticated User Name Date Request Status Bits 4

7 Generalmente los servidores utilizan un fichero de configuración para establecer el formato del fichero de logs. Por ejemplo el servidor OrionServer utiliza un fichero XML en el que se describe el formato de cada entrada en el fichero de log de la siguiente forma: <access-log path="../log/default-web-access.log" format="$ip - $user - [$time] '$request' $status $size" split="none" /> Cada una de las peticiones realizadas al servidor web se almacenan en el fichero de logs como líneas del tipo: [05/Feb/2002:10:12: ] "GET /isum/weather.csv HTTP/1.1" [05/Feb/2002:10:12: ] "GET /isum/examplexi.jsp HTTP/1.1" etc. El análisis de los ficheros de logs es bastante complejo, ya que en primer lugar es necesario transformar esta información en datos que estén directamente relacionados con los conceptos que se requieren para el análisis del comportamiento de los usuarios en un portal: usuarios, sesiones, servicios, acciones sobre objetos, páginas visitadas, etc. Esta transformación de datos es bastante compleja de realizar por diversas razones: La existencia de proveedores de internet, balanceadores de carga, etc. dificulta, o incluso imposibilita, la realización de esta transformación de datos (no existe una relación unívoca entre la IP y la sesión que un usuario realiza en el portal). La presencia de diferentes niveles de caché, hace que ciertas acciones no sean registradas en el fichero de logs. Los ficheros de logs almacenan mucha información irrelevante para su análisis posterior. Los datos pueden estar parcialmente incompletos. Algunos de estos problemas no se pueden resolver posteriori, ya que están implícitos en los datos, y por lo tanto pueden introducir ambigüedades en la información. Otros problemas se podrían corregir, en gran medida, filtrando adecuadamente la información. El proceso de transformación de los datos es extremadamente importante, ya que los errores introducidos en esta etapa se arrastrarán durante todo el proceso de análisis posterior. En general, todas las herramientas de Web Mining disponen de un módulo de transformación (filtrado) de la información almacenada en los ficheros logs, y de su funcionamiento depende, en gran medida, la calidad del proceso de análisis de datos posterior. Posibles Escenarios de Utilización del módulo de IA de isum En principio se pueden distinguir varios escenarios a la hora de utilizar el módulo de IA de isum: Cuando se utiliza junto con el resto de las funcionalidades de isum. Cuando se utiliza únicamente el módulo de IA sin isum Cuando se utiliza con PATS En los próximos apartados se analizarán con más detalle estos escenarios de utilización: 5

8 Análisis de datos en isum isum dispone de una serie de funcionalidades que facilitan el funcionamiento del módulo de IA, y por lo tanto, este es el escenario de trabajo más adecuado para analizar la información con estas herramientas. En particular, una de las características de isum que facilitan el análisis de la información, es que los datos sobre las acciones de los usuarios en el portal se almacenan en la base de datos utilizando una serie de conceptos muy bien definidos en la propia estructura de isum (usuarios, sesiones, accesos a servicio, acciones sobre objetos, etc.). Los datos que proporciona isum directamente, no presentan las ambigüedades que se producen al analizar los datos contenidos en los ficheros de logs. Por ejemplo, en isum los servicios accedidos por los usuarios anónimos en una sesión se registran directamente en la Base de Datos, y por lo tanto existe una relación unívoca entre cada sesión y los servicios accedidos en la misma. Por esta razón, el módulo de IA de isum no trabaja directamente sobre los ficheros de logs, sino que analiza el comportamiento de los usuarios de un portal utilizando los datos almacenados en función de estos conceptos. En este escenario sería el propio isum el que haría el papel de módulo de transformación (filtrado) de los datos que se requiere en toda herramienta de Web Mining. Como se ha descrito anteriormente, este proceso es fundamental para obtener unos datos adecuados para su procesado posterior (sí los datos presentan errores se transmitirán a todas las etapas de procesado posteriores). En resumen, trabajando en la estructura de isum tenemos la garantía de que estos datos son correctos y sin ambigüedades. El módulo de IA de isum es el encargado de analizar los datos disponibles sobre los usuarios en un portal. En principio, la información básica que se utiliza son los datos sobre las sesiones en el portal, en las cuales los usuarios, identificados o no, realizan ciertas acciones sobre determinados objetos (por ejemplo acceden a ciertos servicios), durante un cierto tiempo, y después abandonan el portal. Esta información se puede representar en una estructura de datos del tipo: Sesiones {Id Usuario, Lista Acciones {{Id Acción, Id Objeto, Tiempo},...} } Cuando el módulo de IA se utiliza junto con el resto de las funcionalidades de isum, estos datos se pueden obtener directamente de la capa de persistencia de isum. Como se ha comentado anteriormente, debido a que estos conceptos están claramente definidos en el núcleo de isum, los datos que se obtienen de esta tabla no presentan ambigüedades. En el otro escenario, es decir, cuando se quieren utilizar las funcionalidades del módulo de IA sin isum (por ejemplo utilizándolo para procesar directamente ficheros de logs), sería necesario construir un módulo que transformara la información contenida en estos ficheros en datos basados en los conceptos que utiliza isum (sesión, usuario, servicio, etc.), que se almacenarían en esta tabla. Una de las razones por las cuales el módulo de IA de isum es bastante independiente del resto de la plataforma (modularidad), es que a la hora de obtener datos sobre las acciones de los usuarios en un portal, los únicos punto de contacto son la tabla CLOSED_SESSIONS y las tablas relacionadas con ésta (tablas de accesos realizados en cada sesión). 6

9 Análisis de datos sin isum El módulo de IA de isum podría utilizarse para analizar la información de cualquier fichero de logs, independientemente de isum, siempre y cuando se implementara, adicionalmente, el módulo que realizara la transformación de la información contenida en estos ficheros de logs (o en general en cualquier fuente de datos), en datos similares a los conceptos que utiliza el módulo de IA de isum. En principio, este escenario es bastante más complejo que el anterior y, además, podría ser menos preciso por las ambigüedades en los datos, tal y como se ha comentado anteriormente. Para implementar un módulo de transformación de la información contenida en los ficheros de logs en datos utilizables por el módulo de IA de isum se deberían tener en cuenta una serie de recomendaciones: Debido a que existen diferentes formatos de ficheros de logs, este módulo debería incorporar un procedimiento de configuración, que por ejemplo podría incluirse en un fichero xml (normalmente los servidores web utilizan este tipo de ficheros para configurar el formato del fichero de logs y se podría utilizar el mismo formato para realizar la transformación inversa). Este módulo deberá transformar los ficheros de logs en una serie de datos ordenados en función de los conceptos Usuarios-Sesiones- Servicios, que son los que utiliza isum, a partir de los cuales se realizará todo el análisis de datos por el módulo de IA. Esta transformación podría producir una pequeña incertidumbre, ya que la única información disponible para discriminar entre las sesiones correspondientes a diferentes usuarios que en un momento dado acceden al servidor es la IP, y podría darse el caso que varios usuarios estuvieran accediendo simultáneamente al servidor con la misma IP (proxy, firewall, loadbalancer, etc.). Se podría asumir que todas las IP que durante un determinado periodo de tiempo coinciden, corresponden al mismo usuario (cierta ambigüedad). Se podría establecer una condición temporal de forma que si las IP coinciden pero están separadas por un determinado periodo de tiempo (quizás una hora) corresponden a diferentes usuarios. Se podría generar información para cada una de las urls accedidas por el usuario. Sin embargo, hay que tener en cuenta que una url representa un recurso en general (un documento, una imagen, etc.), y por lo tanto, la transformación entre urls y servicios, que está implícita en la arquitectura de isum, no es evidente. En este contexto llamamos servicio al recurso o conjunto de recursos que el administrador haya decidido considerar como un determinado servicio. Para realizar la equivalencia entre urls y servicios debería generarse un fichero que indicase las distintas urls accedidas y el servicio al que correspondan (teniendo el administrador la posibilidad de indicar que urls o tipo de urls no son de interés para el análisis). Se podría incluso definir la pertenencia a un servicio en función del un patrón definido (por ejemplo Las urls que cuelguen del directorio X corresponden al servicio Y). También podría indicarse que el acceso a un recurso (imagen, vídeo, etc.) puede considerarse como un servicio. En general sería recomendable agrupar las urls accedidas en distintos grupos. Las urls que se introducen en cada grupo determinan los distintos servicios ofrecidos por la aplicación web. Las agrupaciones también pueden realizarse por temática o áreas de 7

10 interés. De esta forma se puede identificar que servicio esta siendo accedido por el usuario. Toda esta labor podría ser automatizada en parte, listando todos las url distintas que aparecen en el fichero de logs, ordenadas con algún criterio sencillo (orden alfabético, frecuencia de aparición), y permitir al administrador establecer las equivalencias con los servicios, así como definir cuales son las que no se desea analizar. Para cumplir las características anteriores, este proceso se podría implementar con dos módulos configurables de la siguiente forma: en primer lugar habría un Parser que transformaría el fichero de logs en una matriz de urls accedidas por el usuario en la sesión, y a continuación un Transformer que convertiría las urls en datos del tipo usuario-sesión- servicios, que son los que utiliza el módulo de IA de isum. Ilustración 2: utilización del módulo de IA sin isum (módulo de preparación) Como resumen, podemos decir que este escenario de utilización del módulo de IA sin el resto de las funcionalidades de isum es mucho más complejo, ya que requiere desarrollar los módulos que transformen la información de un fichero de logs (o cualquier otra fuente de datos), en datos de los que utiliza isum (usuarios, sesiones, servicios, etc.). Análisis de Datos con PATS Desde la versión de isum, el módulo de IA de isum puede analizar datos de PATS. Esta característica permite un nuevo escenario de utilización del módulo de IA de isum, que permite analizar cualquier tipo de datos, pero de una forma mucho más sencilla que la que se ha descrito en el apartado anterior: en lugar de analizar directamente ficheros de logs, desarrollando un módulo de transformación, se puede utilizar la funcionalidad de PATS que incorpora isum para notificar las acciones "externas" que se quieren analizar (para más información consultar los manuales de isum sobre PATS). De esta forma, la información significativa quedará registrada directamente en la capa de persistencia de isum, con todas las ventajas que esto supone, tal y como se ha descrito. Como resumen de este apartado podemos decir que el módulo de IA de isum tiene una estructura bastante independiente del resto de la plataforma, lo que permite diferentes escenarios posibles de utilización (isum, PATS, sin ISUM) para analizar datos. Esta característica facilita su aplicación a diferentes problemas que se pueden encontrar en la práctica. 8

11 Características generales del módulo de IA de isum Funcionamiento de las herramientas de IA El funcionamiento de las herramientas de IA de isum se podría resumir de la siguiente forma: las herramientas recuperan unos determinados datos del medio de persistencia, los procesan, obtienen unos resultados, y los almacenan en el medio de persistencia. Este esquema representa la arquitectura básica de las herramientas de IA: Ilustración 3: arquitectura básica de las herramientas de IA Esta estructura proporciona una serie de ventajas, ya que por ejemplo permite establecer una estructura jerárquica de las herramientas, reutilizar el código, pero también obliga a establecer controles sobre el estado de las herramientas. Jerarquía de las herramientas de IA En general, los resultados proporcionados por las herramientas de IA representan conceptos más elaborados que los correspondientes a los datos de entrada. Estos resultados pueden ser considerados, a su vez, datos de entrada para otras herramientas de más alto nivel. Es decir, podemos establecer una jerarquía de herramientas en la que las de más alto nivel son aquellas que utilizan los resultados obtenidos por otras de más bajo nivel (ver figura): Ilustración 4: jerarquía de las herramientas de IA 9

12 Reutilización de las herramientas de IA La arquitectura del módulo de IA de isum permite descomponer procesos de cálculo relativamente complejos (herramientas complejas) en conjuntos de procesos de cálculo más sencillos (conjuntos de herramientas más sencillas). Esta característica facilita el mantenimiento del código, pero, además, presenta otra ventaja muy importante, ya que las herramientas de bajo nivel pueden ser reutilizadas por diferentes herramientas de alto nivel. Ilustración 5: reutilización de las herramientas de IA En la versión actual ninguna herramienta de bajo nivel es reutilizada por otras herramientas de alto nivel, pero probablemente se hará en futuras versiones. Por ejemplo, el motor de recomendaciones de isum realiza una clasificación de los usuarios del portal en grupos de gustos similares. En la versión actual de isum el motor de recomendaciones es una herramienta de alto nivel que utiliza otra herramienta de más bajo nivel que hace los grupos de usuarios (herramienta de clustering). Con esta estructura la herramienta de clustering puede ser reutilizada por otras herramientas de alto nivel. Reutilización de los resultados de IA (no disponible) El diseño del módulo de IA de isum permitirá reutilizar no sólo la lógica de las herramientas sino también los resultados proporcionados por las mismas. Esta funcionalidad no está disponible en la versión actual ya que complica la gestión de las herramientas, pero se podría implementar en versiones futuras. De esta forma, aquellos procesos de cálculo que fueran comunes a diferentes herramientas se realizarían una sola vez, centralizando estos cálculos en una herramienta. Esta característica podría ser necesaria en sistemas en los que sea necesario optimizar mucho el tiempo de cálculo. 10

13 Modo de funcionamiento Ventana Temporal La versión actual del módulo de IA de isum se ha diseñado para que la mayoría de las herramientas de alto nivel (todas excepto estabilidad) funcionen en un modo que denominamos "ventana temporal", que básicamente consiste en indicar a la herramienta el intervalo temporal de procesado de los datos. En este modo de funcionamiento, siempre que se inicia el entrenamiento de una herramienta, se borran todos los resultados previos que se hubieran obtenido con la misma configuración, y se calculan de nuevo en la ventana temporal indicada. La ventana temporal se le indica a la herramienta por la línea de comandos al lanzar el proceso de entrenamiento, y se define mediante dos parámetros: Fecha de Finalización Ventana (días) y donde la fecha de inicio del intervalo temporal es la fecha de finalización menos la ventana seleccionada. De esta forma se puede fijar, para cada una de las herramientas de un determinado portal, el tamaño de esta ventana. Típicamente se utiliza como fecha de finalización la fecha actual que es cuando se lanza el proceso de entrenamiento, y se lanza el proceso de entrenamiento con una frecuencia fija en función del grado de actualización que se requiera en la herramienta. Fijados estos dos parámetros es sencillo automatizar el proceso de entrenamiento de las herramientas. En general, estos parámetros se deben fijar en función de las características de un determinado portal. Una de las características más significativas de los portales es que en general son sistemas dinámicos en los que con mucha frecuencia se cambian los servicios del portal, aparecen nuevos usuarios, hay usuarios que dejan de conectarse al portal, los comportamientos de los usuarios varían con el tiempo, etc. Este dinamismo hay que reflejarlo en la personalización del portal, ya que si el sistema de personalización no se adapta a esta variabilidad del entorno, no funcionará correctamente. El esquema de funcionamiento en modo "ventana temporal" permite que la información que se obtiene con las herramientas de IA de isum se adapte al dinamismo del sistema, ya que simplemente hay que estimar con que frecuencia hay que actualizar los resultados. Por ejemplo, supóngase que se desea utilizar el motor de predicciones para predecir secuencias de navegación en un periódico. Debido a que las "noticias" cambian a gran velocidad y caducan rápidamente, el entrenamiento se debería hacer, quizás, cada hora, y utilizar una ventana temporal de muy pocas horas. En la versión actual de isum la ventana temporal mínima que se puede utilizar es de 1 día, y por lo tanto el ejemplo anterior no sería abordable. La limitación no está en el módulo de IA de ISUM que puede trabajar con cualquier ventana temporal sino en el propio núcleo de isum. La razón es que los datos que se utilizan para entrenar las herramientas se obtienen de la tabla CLOSED_SESSIONS, y el proceso de cerrado de sesiones de isum se realiza con una periodicidad mínima de un día. En futuras versiones de isum, se modificará este proceso para permitir que el cerrado de sesiones se pudiera hacer con cualquier periodicidad. 11

14 Estructura de Árbol de las herramientas de IA Desde el punto de vista funcional, cualquier herramienta del módulo de IA de isum debe conocer que herramienta o herramientas de más bajo nivel utiliza. Esta característica se puede modelar fácilmente mediante una estructura de árbol en la que las herramientas de más alto nivel ocupan en lugar más alto de la jerarquía. En la versión actual de isum hay 4 herramientas de alto nivel: Análisis de la Estabilidad: es una herramienta de alto nivel que no utilizan ninguna herramienta de bajo nivel. Análisis de la Experiencia: es una herramienta de alto nivel que no utilizan ninguna herramienta de bajo nivel. Motor de Recomendaciones: es la herramienta más compleja de todas las implementadas en la versión actual de isum. Esta herramienta utiliza una herramienta de bajo nivel que es la de clustering. A su vez, la herramienta de clustering utiliza dos herramientas de más bajo nivel: la de clustering supervisado mediante bayes y la de clustering no supervisado. Por último, la herramienta de clustering no supervisado utiliza una herramienta de más bajo nivel que es el Mapa de Kohonen (red neuronal). Motor de Predicciones: utiliza una herramienta de bajo nivel que son los N-gramas. Arquitectura del Módulo de IA de isum El módulo de IA de isum está implementado en el package: package com.tissat.isum.ia; Al utilizar las herramientas de IA, hay un conjunto de funcionalidades que conviene separar claramente: Acceso a datos: recuperar/actualizar/almacenar información. Algoritmos: procesado matemático de bajo nivel. Se describen con más detalle en el capítulo "Algoritmos". Herramientas: procesado de información de más alto nivel. En la versión actual de isum hay 4 herramientas disponibles, Recomendaciones, Predicciones, Experiencia y Estabilidad, que se describen con detalle en diferentes capítulos de este manual. Beans: recuperación de la información proporcionada por las herramientas de alto nivel. Esta información se utiliza para personalizar el portal. Analisis: herramientas diseñadas para proporcionar aquella información que pueda ser útil al administrador del portal sobre los resultados proporcionados por las herramientas de alto nivel. Para diferenciar estos niveles de funcionalidad se han implementado cuatro packages en el módulo de IA de isum: package com.tissat.isum.ia.algorithms; package com.tissat.isum.ia.datasource; package com.tissat.isum.ia.tools; package com.tissat.isum.ia.beans; package com.tissat.isum.ia.analysis; A lo largo de esta guía, y en los capítulos en los que se describe cada herramienta, se dan detalles sobre la arquitectura. 12

15 Procesos Lógicos del Módulo de IA de isum El módulo de IA de isum se ha diseñado para separar los diferentes procesos lógicos que, en general, se requieren cuando se utilizan las herramientas de IA: Configuración de las herramientas Entrenamiento (proceso off-line) Utilización de los resultados (proceso on-line) En los próximos apartados se hace una descripción más detallada de todos estos procesos. Configuración de las herramientas de IA El proceso de configuración consiste en pasarle a la herramienta todos los parámetros de configuración necesarios para que se puedan realizar los cálculos de la herramienta. Estos parámetros pueden ser factores del proceso cálculo, indicaciones sobre el tipo de cálculos que se deben realizar, o sobre los resultados que se deben devolver, nombres de etiquetas, etc. Los parámetros de configuración son específicos de cada herramienta. En la arquitectura del módulo de IA de isum estos parámetros se encapsulan en clases que extienden de la clase abstracta AIAbstractConfiguration. Esta clase abstracta contiene todas las propiedades y lógica que son comunes a todas las herramientas: Identificadores generales: portalid, toolid, configid, actionid, etc. Parámetros de estado: state, code, name, current, etc. Parámetros del entrenamiento: ventana de entrenamiento, intervalo de sesiones, etc. Métodos de inicialización "init()" de los parámetros que permiten recuperarlos de la capa de persistencia de isum. Dentro de la estructura del módulo de IA una configuración de una herramienta consiste en especificar los parámetros de configuración de dicha herramienta. Esta configuración se identifica mediante el parámetro "configid", y se almacenan en la capa de persistencia de isum en dos tablas: TOOLS_CONFIG: Esta tabla permite almacenar información general sobre la configuración: identificador, código, nombre, portal, herramienta, estado, fecha del último entrenamiento, configuración por defecto, etc. TOOLS_CONFIG_DATA en la que se almacena, para cada identificador de una configuración, la lista con los nombres de los parámetros y su valor (string de caracteres). El proceso de configuración de una herramienta consiste en recuperar directamente los valores de los parámetros correspondientes a una determinada configuración de la base de datos. Este proceso se realiza llamando al método init() que encapsula la recuperación de los valores del medio de persistencia. En principio hay dos formas de inicializar una configuración de una herramienta: init(configid): de esta forma se indica exactamente el identificador de la configuración que se quiere inicializar. init(toolid, portalid): de esta forma se selecciona aquella configuración de la herramienta que es la "current" en el portal (es la configuración por defecto de esa herramienta en el portal). El proceso de configuración de las herramientas se realiza con la Herramientas de Administración de IA que se describe en el próximo apartado. 13

16 Herramienta de Administración de IA La herramienta de administración es un servicio específico del perfil de Administrador que se encuentra en Administración->Inteligencia, en la barra izquierda del menú de la pantalla inicial de isum. Esta utilidad permite configurar cada herramienta de IA. El aspecto de una de las herramientas de administración se muestra en la Ilustración 6. La parte superior del portlet muestra un listado con los portales disponibles. Una vez seleccionado el portal, se crea una nueva configuración de la herramienta en el sector izquierdo de la pantalla (Lista de configuraciones) pulsando Nuevo e introduciendo los valores deseados de los parámetros. No hay límite en el número de configuraciones que pueden ser creadas, aunque, no obstante, se puede borrar alguna de las configuraciones existentes haciendo un click sobre la configuración correspondiente en la Lista de configuraciones y pulsando el botón Borrar. Para editar una configuración existente se pulsa el icono correspondiente en el explorador de configuraciones (ver Ilustración 6). Por otra parte, es necesario seleccionar una configuración de entre todas las creadas como la Configuración actual. Esta configuración será la que la herramienta utilice durante su entrenamiento. Para ello, se selecciona Si en el parámetro Configuración actual. Sólo una de las configuraciones puede definirse como Configuración actual en un portal determinado. Si una configuración se selecciona como actual, todas las restantes configuraciones dejan de serlo (gestión interna). Ilustración 6: herramienta de Administración de IA (ejemplo correspondiente a predicciones). Finalmente, cuando se crea una nueva configuración, se generan automáticamante una o más configuraciones a partir de ésta, organizadas en una estructura de árbol. Estas configuraciones Hijas corresponden a las configuraciones de los algoritmos que utilizará cada herramienta de IA. Estos algoritmos se editan de la misma forma que la configuración de la herramienta padre (ver Ilustración 7). En cada capítulo correspondiente a cada utilidad de IA se detallará como configurar cada herramienta. 14

17 Ilustración 7: herramienta de Administración de N-Gramas, Hija de Predicciones. Utilidades de visulaización de los resultados de IA Los servicios de análisis de los entrenamientos permiten visualizar los resultados de los entrenamientos de las herramientas de IA. En esta versión se dispone exclusivamente de la utilidad de análisis de Estabilidad y la utilidad de análisis de la Experiencia. Estas utilidades se acceden bajo el perfil de administrador y se describen en los capítulos de Experiencia y Estabilidad. Trainers (cálculos off-line) En general, las herramientas de IA realizan cálculos que son muy costosos computacionalmente, y que por lo tanto no son susceptibles de realizarse enlinea. Por ejemplo, las redes neuronales artificiales son unos algoritmos matemáticos que permiten resolver diferentes problemas de clasificación, predicción, etc. Las redes neuronales aprenden a resolver estos problemas adaptando sus pesos (parámetros libres de la red) a los datos del problema (muestras) mediante algoritmos de aprendizaje (por ejemplo minimizando los errores que se comenten en la clasificación). Este proceso se suele denominar en la literatura científica proceso de entrenamiento de la red neuronal. Este proceso es muy costoso, y por lo tanto se debe realizar, necesariamente, offline. Sin embargo, una vez las redes neuronales han aprendido a resolver un determinado problema son unos algoritmos muy fiables y rápidos, que pueden utilizarse on-line. Este hecho se puede generalizar a la mayoría de las herramientas de IA. Normalmente, el número de datos que se deben analizar suele ser muy grande, y por esta razón, incluso aunque los cálculos sean relativamente sencillos, su coste computacional es alto. Por lo tanto, estos cálculos se deben realizar necesariamente off-line. En el módulo de IA de isum denominamos proceso de entrenamiento a todos los cálculos que, por su coste computacional, se deben realizar previamente (off-line) para que una determinada herramienta simplemente devuelva los resultados que se requieran en tiempo real (on-line). En algunos casos el entrenamiento es un proceso de aprendizaje de una red neuronal (por ejemplo cuando se hacen grupos de usuarios con el Mapa de 15

18 Kohonen). En otros casos, el entrenamiento es simplemente un proceso de cálculo off-line que permite obtener cierta información que se almacena en la base de datos (por ejemplo el cálculo de los patrones de navegación del motor de predicciones). En la arquitectura del módulo de IA de isum estos parámetros se encapsulan en clases que extienden de la clase abstracta AIAbstractTrainer. Esta clase abstracta contiene todas las propiedades y lógica que son comunes a todas las herramientas: Configuration: parámetros de configuración de la herramienta. Acceso a la tool: herramienta entrenada. Método train(): llama a los métodos de borrado de los datos Los "trainers" son las clases más importantes del módulo de IA, ya que encapsulan la lógica de cálculo de cada herramienta. Cada vez que se lanza este proceso, en primer lugar se genera un identificador del entrenamiento, que se utilizará para almacenar en el medio de persistencia los resultados proporcionados por la herramienta. Antes de realizar ningún cálculo es necesario llamar al método train() de AIAbstractTrainer para borrar los datos obtenidos con la misma configuración en entrenamientos previos de la herramienta. En la arquitectura de IA se han implementado diferentes métodos train(): train(configid): el trainer es el que se tiene que encargar de obtener los datos de la capa de persistencia de isum. Es el que utilizan las herramientas de alto nivel. train(dataset): los datos están almacenados en una tabla de la DB. El dataset permite que el trainer acceda a estos datos. train(collection): los datos están almacenados en la colección. Los dos últimos métodos son los que se suelen utilizar en herramientas de bajo nivel, que normalmente son simplemente algoritmos matemáticos que hacen unos determinados cálculos y devuelven los resultados. En general, los algoritmos son independientes del significado de los datos que procesan. Por ejemplo, el mapa de Kohonen agrupa vectores de datos de cualquier tipo. Si estos vectores representan a los accesos a los usuarios del portal entonces la herramienta agrupa usuarios. Es la herramienta de alto nivel, en este caso el motor de recomendaciones, la que tiene que conocer el significado de estos vectores. Para facilitar el lanzamiento de los procesos de entrenamiento de las herramientas de IA se han implementado los denominados Managers, que se describen con más detalle en el próximo apartado. Managers (lanzamiento de los procesos de entrenamiento) Para todas las herramientas de alto nivel del módulo de IA de isum se ha implementado un "Manager". Estas clases contienen el método estático main() que permite lanzar los procesos de entrenamiento off-line pasándole los parámetros del entrenamiento que se requieren por línea de comandos. Estas clases extienden de la clase "BasicManager", en la que se encapsula el proceso de inicialización y lanzamiento de todos los "trainers", que es común para todas las herramientas de alto nivel. El método launcher() de esta clase es el que se encarga de comprobar que los parámetros que se le pasan a las herramientas por la línea de comandos son los adecuados para lanzar el proceso. Estos parámetros son los siguientes: El identificador del Portal: este parámetro es obligatorio ya que todas las herramientas del módulo de IA se aplican siempre a un determinado portal (los análisis no son multiportal). Esta información es necesaria para que las herramientas recuperen los datos que tienen que procesar de la capa de persistencia de isum. 16

19 Fecha de finalización: Este parámetro es obligatorio ya que es necesario que la herramientas Time Frame: obligatorio (excepto para Estabilidad) Config ID: optativo (sino está se utiliza el current en el portal). Para facilitar el lanzamiento de los procesos de entrenamiento, hay una serie de ficheros de archivos por lotes (*.bat) para cada una de las herramientas disponibles, que permiten lanzar los Managers, introduciendo los parámetros requeridos por línea de comandos. Estos ficheros incorporan, además, todos los paths requeridos para que se puedan ejecutar dichas clases sin problemas. Estos ficheros se encuentran en el directorio: \allisum\contrib\background\*.bat Los detalles específicos sobre como se lanza cada herramienta se dan en los capítulos dedicados a las mismas. Es muy importante señalar que todas las herramientas del módulo de IA de isum utilizan datos de la tabla CLOSED_SESSIONS. Por esta razón, los procesos de cálculo de IA solamente utilizarán los datos hasta la última vez que se lanzó el proceso de Cerrar_Sesiones. Para lanzar este proceso, hay que lanzar el archivo por lotes SessionCloser.bat Nota: el funcionamiento del módulo de IA de isum depende de que el proceso de cerrado de sesiones se realice con la frecuencia requerida, ya que es la fuente de datos de análisis. Tools (cálculos on-line) En la arquitectura de IA de isum las herramientas son las clases que permiten obtener resultados on-line. Para ello, deben recuperar información de la base de datos, obtenida previamente durante el proceso de entrenamiento, realizar ciertos cálculos matemáticos con los datos, aplicar reglas lógicas, etc. y finalmente devolver los resultados. En general, el requisito que deben cumplir siempre es que deben poder funcionar on-line. Por esta razón, todos los cálculos que sean costosos computacionalmente se realizan en el proceso de entrenamiento. Las herramientas implementan la interfaz BasicTool, en la que hay una serie de métodos que permiten configurar/obtener la configuración de la herramienta, y un método calculate() que realiza los cálculos: Collection calculate(collection c) Los parámetros de entradada son la colección de parámetros requeridos para el cálculo, por ortra parte devuelve una colección de resultados. La descripción de estos procesos se realiza con más detalle en los capítulos específicos dedicados a cada una de las herramientas de IA de isum. Herramientas disponibles en el módulo de IA de isum Para finalizar este capítulo, simplemente indicar que en los próximos capítulos se analizan detalladamente las diferentes herramientas disponibles en el módulo de IA de isum. En la versión actual son las siguientes: Capítulo 2: Algoritmos Capítulo 3: Análisis de la Estabilidad Capítulo 4: Análisis de la Experiencia Capítulo 5: Motor de Recomendaciones Capítulo 6: Motor de Predicciones 17

20 2. Algoritmos de Inteligencia Artificial (Algorithms) Un algoritmo, en el contexto del módulo de IA de isum, es una secuencia definida de operaciones matemáticas que se realizan sobre unos datos. Desde este punto de vista, los algoritmos son independientes de los datos que procesan, y por lo tanto, pueden ser utilizados por diferentes herramientas. Los algoritmos del módulo de IA de isum están implementados en: com.tissat.isum.ia.algoritms; El objetivo que se pretende es que conforme se desarrollen nuevas herramientas de IA en isum, toda la parte algorítmica de las mismas esté implementada en este módulo, de forma que pueda ser reutilizada por otras herramientas (API de algoritmos matemáticos de Inteligencia Artificial). En la versión actual, los algoritmos disponibles son los siguientes: Redes Neuronales (Neuronal Networks): son unos sistemas de procesado de información que tiene ciertas características de funcionamiento en común con las redes neuronales biológicas (procesamiento paralelo, información distribuida, etc.). Las redes neuronales están en el módulo: com.tissat.isum.ia.algoritms.neuronalworks; Mapas de Kohonen (SOM): son unas redes neuronales que permiten resolver problemas de clasificación no supervisada. Los Mapas de Kohonen están implementados en el módulo: com....ia.algorithms.neuronalworks.kohonen; Algoritmos de Clasificación: los algoritmos de clasificación de isum están implementados en el módulo: com.tissat.isum.ia.algoritms.clustering; Algoritmos de Clustering "Supervisados" y "No Supervisados": son sub-tipos de algoritmos de clustering y están implementados dentro del mismo módulo. Conjuntos (Sets): operaciones básicas sobre conjuntos (unión, intersección, diferencia, similaridad, etc.). Estas operaciones se han implementado como métodos estáticos de las clases (similar a la clase Math de Java). Están implementados en el módulo: com.tissat.isum.ia.algoritms.sets; Estadística (Statistics): operaciones estadísticas básicas (media, desviación estándar, etc.). Estas operaciones se han implementado como métodos estáticos en una clase (similar a la clase Math de Java). están implementados en el módulo: com.tissat.isum.ia.algoritms.statistics; Relevancia (Relevance): la relevancia es una medida de la importancia de un determinado factor en una serie temporal. Estas operaciones se han implementado como métodos estáticos en una clase (similar a la clase Math de Java). están implementados en el módulo: com.tissat.isum.ia.algoritms.relevance; En los próximos apartados se describen con más detalle los algoritmos del módulo de IA de isum: 18

21 Redes Neuronales Artificiales Las Redes Neuronales Artificiales (Neuronal Networks, NN) son unas herramientas matemáticas cuya aplicación en diferentes problemas de Reconocimiento de Patrones e Inteligencia Artificial (clasificación supervisada y no supervisada, procesado de señales, predicción, estimación de parámetros, etc.) ha sido muy fructífera durante los últimos años. Las redes neuronales se desarrollaron basándose en las características del cerebro humano. Una definición de Red Neuronal es la siguiente (Haykin): Las Redes Neuronales son unos procesadores no lineales, paralelos y distribuidos, que permiten almacenar conocimiento, adquirido mediante un proceso de aprendizaje. Este conocimiento se guarda en los pesos sinápticos de la red. Las redes neuronales presentan algunas propiedades que las hacen muy interesantes en los problemas de IA: No lineales: las neuronas, que son las unidades de procesamiento básicas de las redes neuronales, son no lineales. Esta característica permite resolver muchos problemas reales, cuyas características son claramente no lineales. Adaptativas: las redes pueden adaptar sus pesos a los cambios que se producen en el ambiente mediante un proceso de reentrenamiento, y por lo tanto son herramientas que se pueden utilizar para resolver problemas de Reconocimiento de Patrones en entornos complejos. Tolerantes a fallos: las redes funcionan bien incluso cuando parte de la estructura se haya degradado parcialmente, ya que el conocimiento se distribuye por toda la estructura. Tolerantes al Ruido: las redes funcionan bien incluso cuando las muestras presenten un cierto grado de ruido ambiental, que en la práctica siempre existe en los problemas reales. Una de las propiedades más interesantes de las redes neuronales es que son capaces de aprender a resolver problemas a partir de ejemplos. Una definición de aprendizaje es la siguiente (Haykin): El aprendizaje es el proceso mediante el cual los parámetros libres de la red se adaptan al entorno mediante un proceso de estimulación continua con las muestras del problema. Las características del proceso de aprendizaje vienen determinadas por los algoritmos que se utilizan para adaptar los pesos de la red. En principio se pueden considerar únicamente dos tipos básicos de algoritmos: Algoritmos de aprendizaje supervisado: son aquellos permiten resolver problemas para los cuales se dispone de muestras cuya solución es conocida a priori. Un ejemplo es el Back Propagation que se utiliza en el Perceptron Multicapa. Algoritmos de aprendizaje no supervisado: son aquellos que permiten resolver problemas en los que se dispone de muestras, pero que a priori no se sabe su solución. Un ejemplo es el algoritmo que se utiliza en el Mapa de Kohonen. En el próximo apartado se describe el Mapa de Kohonen que es un tipo de red neuronal que utiliza un algoritmo de aprendizaje no supervisado. 19