Tema 3- Adquisición de Conocimiento

Transcripción

1 Tema 3- Adquisición de Conocimiento Vimos Cómo sabemos si el problema que queremos resolver compete a la Ingeniería de Conocimiento. Hoy: Cómo adquirimos conocimientos. Contenido del tema: Fuentes de conocimiento, Proceso de adquisición: extracción y educción, Técnicas de educción.

2 Cuándo? Viabilidad Conceptualización Formalización Implementación Mantenimiento

3 Fuentes de conocimiento Documentación formal: Libros y manuales, Revistas especializadas, etc. Documentación informal: Presentaciones, apuntes, registros internos. Visitas/entrevistas con expertos humanos

4 Etapas del proceso de adquisición de de Conocimiento PERSPECTIVAS Cómo del entorno Qué del entorno Entorno Usuarios FASES DEL PROCESO Educción Extracción Primeras reuniones PROFUNDIDAD DE LOS CONOCIMIENTOS

5 Extracción de conocimiento desde la documentación Estudio inicial de documentación: Buscar terminología, identificar conceptos básicos. Comprender la naturaleza de la tarea. No ocuparse de cómo se resuelven las tareas. Análisis estructural de textos: Buscar términos dependientes del dominio. Buscar estructuras textuales mediante la detección de patrones: Definiciones de conceptos (se usa para, es un, está compuesto por), afirmaciones sobre relaciones (es causa de, se relaciona con, es la finalidad de), principios básicos de funcionamiento, pasos.

6 NUEVA! Ejemplo de Extracción Texto: Te presentamos nuestro seguro HOGAR XXX para dar cobertura y defender tu patrimonio ante posibles daños y sucesos ocurridos en tu vivienda o sufridos por las personas que habitan en ella, bien mediante la reparación de los mismos o su indemnización directa. Conceptos: Seguro, cobertura, patrimonio, daño, sucesos, vivienda, habitante vivienda, objeto de cobertura, reparación, indemnización

7 NUEVA! Ejemplo de Extracción Relaciones: Propias del dominio: Seguro da cobertura patrimonio Genéricas: Reparación ES UN Cobertura Indemnización ES UN Cobertura Vivienda ES UN objeto cobertura Habitante vivienda ES UN objeto cobertura Patrimonio ES UN objeto cobertura

8 NUEVA! Ejemplo de Extracción Nuevo texto: Cubrimos las pérdidas ocasionadas por un atraco en la calle a cualquier miembro de tu familia. Responsabilidad civil en el caso de los daños ocasionados involuntariamente a terceros, hasta Nuevos Conceptos: Atraco a familiar, responsabilidad civil, terceros, valor de un daño

9 NUEVA! Ejemplo de Extracción Características o atributos de los conceptos: Valor de un daño tiene un máximo Una indemnización tiene un valor Nuevas Relaciones: Daño = Objeto Cobertura Atraco a familiar ES UN objeto cobertura Daño a Terceros ES UN objeto cobertura Responsabilidad civil ES UN daño a terceros

10 NUEVA! Ejemplo de Extracción Dudas a resolver en futuras sesiones: Existen daños a terceros distintos de responsabilidad civil? Existe algún nombre específico para determinar un objeto de cobertura? Hay valores mínimos para las indemnizaciones? Se cumple Vivienda ES UN patrimonio? Si es afirmativo, para qué otros conceptos se cumple esa relación?

11 MODIFICADA! Educción de conocimiento Psicológicamente un experto : Analiza lo que percibe. Asocia lo percibido con los conceptos del dominio. Encuentra causas en base a relaciones de conceptos. Infiere y verifica hipótesis. Problemas con el experto Paradoja de la experiencia: Los expertos más competentes son incapaces de describir los conocimientos que usan para resolver los problemas

12 NUEVA! Técnicas de educción Ayudan a adquirir y validar el conocimiento de los expertos Tres grupos: Técnicas naturales Tecnicas artificiosas Técnicas de modelado

13 Clasificación de técnicas Modelad o Conceptos Procesos Estados Artificios as Método triádico Clasificación de conceptos Emparrillado Tareas con restricciones 20 cuestiones Naturales Entrevista s Abiertas Semiestructurad as Estructurada s Cuestionarios NUEVA! Teach back Técnicas de observación Análisis de Protocolos Técnicas de grupo

14 NUEVA! Técnicas de educción del conocimiento Técnicas Naturales Ing. Conocimiento UC3M, 2006

15 NUEVA! Técnicas Naturales: Introducción Técnicas que implican al experto realizando tareas que haría normalmente como parte de su trabajo, ya sea mediante la observación o preguntando al experto acerca de esas tareas. Buenas para obtener conocimiento explícito pero malas para para obtener conocimiento tácito (implícito, pero sin que la persona sea consciente de poseer ese conocimiento) Técnicas más conocidas Entrevistas (abierta, semi-estructurada y estructurada) Técnicas de observación Ténicas de grupo Cuestionarios

16 Entrevista abierta Diálogo informal (permite divagar): Cómo resuelves este problema? Elementos que influyen...? Información necesaria...? Alentar a continuar hablando (pero no interrumpir): Y después...? Qué quieres decir con..? Por qué? Indagar un poco sobre: Parecidos y diferencias con otros del dominio. División en subproblemas/subtareas. Completitud de solución/datos de entrada. Justificación de razonamiento seguido.

17 NUEVA! Entrevista semi-estructurada Se utilizan preguntas preparadas previamente para focalizar y fijar los límites del problema abordado Incluye el uso de preguntas suplementarias no preparadas para clarificar y comprobar cosas Las preguntas se deben: Diseñar cuidadosamente Enviar al experto con anterioridad a la entrevista Ser preguntadas literalmente (tal y como están escritas) Consideraciones temporales: dar cierto tiempo para responder Técnica recomendada durante las primeras fases de análisis del problema

18 Entrevista estructurada Centrada en algunos (no todos) los conceptos, relaciones e inferencias del experto. Concretar: Buscar contestaciones cortas y concisas mediante preguntas cerradas. No cambiar de tema bruscamente. Agrupación de las cuestiones de forma lógica.

19 Problemas con las entrevistas Consumen mucho tiempo, confían en sinceridad y memoria de expertos, problemas con el lenguaje, habilidad entrevistadora del IC, capacidad docente del experto. Palabras ambiguas: proceso, sistema, sustancia, eso, etc. Frases incompletas: los factores A y B tienen una función de protección ( contra qué? por separado o juntos?). Comparaciones: Este es el mejor sistema ( más fácil, más rápido, más barato?). Conexiones causales: puede, debería, necesario, no quiere ( qué sucedería sí...? qué hace que no pueda ser así? Palabras absolutas usadas indebidamente: nunca, todos, etc..

20 Observación de tareas habituales Observar a un experto trabajar en un problema real habitual. Presente el I.C. o grabación? No se debe interferir en la actuación del experto. Dejar hacer. Pedirle qué diga lo que hace según lo va haciendo. Puede no servir para comprender cómo razona el experto, pero sí para detectar lagunas ocultas (conoc. implícito) en tareas a realizar. Puntos débiles: consumo de tiempo, alteración al ser observado, escaso interés por parte del experto. Alternativas: Uso de un novato corregido por experto. Plantear un caso inventado.

21 Incidentes críticos El experto describe cómo resolvió casos límite por su rareza, escasez de información de entrada, síntomas que confunden, etc. Información útil para completar conceptualización, puede llevar a futuras preguntas en entrevista estructurada. En los casos complejos se obtienen detalles que normalmente se pasan por alto. Casos críticos inventados no son tan útiles. Alternativa: Imponer restricciones sobre información de entrada conocida.

22 Cuestionarios Entrevista estructurada de forma indirecta. Facilidad para responder. Útiles para describir conceptos y revelar relaciones. Fichas para: Conceptos: Nombre / Descripción / Tipo de Valores / Clase de tamaño y valores / información de entrada? necesaria? / Dependencia de otros conceptos. Relaciones y secuencia de tareas/decisiones: Gráficos y diagramas. Escalas o etiquetas lingüísticas cuando no valores numéricos.

23 Educción en grupo Inconvenientes de la técnica individual: Disposición temporal del experto. Posibles sesgos. Limitación a una sola línea de razonamiento. Incompletitud de la experiencia del dominio. Ventajas de las técnicas en grupo: Asegura la completitud. Mejora la verosimilitud de conocimientos especializados. Mejora el entendimiento del dominio. Provoca interacciones entre los expertos.

24 Técnicas de educción en grupo Tormentas de ideas: se lanzan muchas ideas sin pensar, pensada para incrementar creatividad. Reunión desestructurada. Útil para aclarar conceptos y sacar conocimiento oculto. Técnica nominal del Grupo: Generación de escritos de ideas, Petición de ideas en círculo, Discusión secuencial de ideas y Votación. Entrevistas de Grupo: Establecer la relación con el grupo. Provocar discusiones. Intentar concluir a partir de las respuestas para ver el grado de acuerdo. Método Delphi: Diseño iterativo de cuestionario. Retroalimentación de respuestas.

25 NUEVA! Técnicas de educción del conocimiento Técnicas Artificiosas Ing. Conocimiento UC3M, 2006

26 NUEVA! Técnicas Artificiosas: Introducción Técnicas que implican al experto realizando tareas que no realizaría normalmente como parte de su trabajo Muchas de estas técnicas provienen de la psicología Son útiles para capturar el conocimiento tácito y para elaborar conceptualizaciones Técnicas más conocidas Clasificación de conceptos ( laddering ) Método triádico ( three card trick, triadic method ) Emparrillado ( repertory grid ) Tareas con restricciones 20 preguntas Generación de protocolos Teach back

27 MODIFICADA! Clasificación de conceptos (Laddering) Sirve para organizar conceptos y detectar relaciones. Pasos: Haber educido previamente una serie de conceptos. Representar cada concepto a un papel / una ficha. El experto los clasifica en grupos en función de varias características. Obtención de una jerarquía y de relaciones entre conceptos. Variantes: Agrupar varios conceptos al azar, quitar o añadir conceptos a un grupo, preguntar por completitud de listas de conceptos

28 NUEVA! Método triádico Consiste en la presentación de 3 conceptos aleatorios (de una lista) y preguntar al experto en qué se son 2 de ellos parecidos y en que se diferencian del resto Está pensando para descubrir como ve el experto el dominio Muy útil para obtener conocimiento tácito

29 Emparrillado Sesión de valoración y recuerdo. Permite establecer prioridades entre características diferenciadoras de elementos. Tabla de características (filas) y elementos (columnas). El experto establece graduación de características aplicables a elementos (de 1 a n). A menor valor, menor importancia de característica en elemento. Concluiremos una clasificación de las características y de los elementos (que el experto puede estar usando implícitamente en su árbol de búsqueda).

30 NUEVA! Resultado emparrillado Neptuno Urano Jupiter Saturno Plutón Marte Mercurio Tierra Tamaño Ausencia de Gravedad Distancia al sol Frío Lentitud velocidad orbital Num. anillos Num. lunas Venus

31 Etapas del emparrillado Identificación de los elementos. Identificación de las características. Diseño de la parrilla: Dicotómica (binaria), Clasificatoria (de 1 a n), Evaluativa (cualquier valor). Formalización: Clasificación de los elementos. Clasificación de las características. Análisis de resultados: contraste con conocimiento previamente adquirido. Examen y discusión de clasificaciones con el experto.

32 Ventajas e inconvenientes del emparrillado Ventajas: El experto piensa dos veces. Ayuda a clarificar las conclusiones o impresiones mentales de experto. Se encuentran patrones y asociaciones ocultas. Inconvenientes: Alto grado de subjetividad.

33 Tareas con restricciones El experto realiza una tarea habitual pero con limitaciones, bien en el tiempo, bien en los datos. Útil para focalizar al experto en los aspectos más importantes del conocimiento y establecer prioridades

34 NUEVA! 20-Cuestiones En esta técnica el IC piensa en un concepto/escenario, que el experto debe averiguar El experto hace preguntas de tipo SI/NO al IC para descubrir el escenario/concepto El ingeniero del conocimiento no necesita saber mucho sobre el dominio, simplemente responder SI o NO, a veces incluso aleatoriamente Las preguntas hechas por el experto son un buen medio de averiguar atributos con un orden de prioridad

35 Teach back NUEVA! En esta técnica el ingeniero del conocimiento explica parte del dominio al experto, y entonces el experto hace comentarios. Es útil para detectar aspectos mal comprendidos y clarificar la terminología

36 Análisis de protocolos Análisis de un protocolo o caso concreto de forma global. Tres profundidades: Análisis del Asunto o Materia (dependencias entre conceptos interrelacionados que se infieren en secuencia). Análisis de Tareas (pasos del procedimiento). Distinguir el caso dentro de la materia y la tarea asociada.

37 Análisis de protocolos Ejemplo: Reparto de espacio y muebles entre profesores del depto. Análisis del asunto: Categoría, antigüedad, Pertenencia a grupos de trabajo, etc. Análisis de tareas: preguntar preferencias, reunirse, medir despachos, observar luminosidad, establecer orden de elección, etc. Distinguir del caso: un catedrático que solo colabora con jóvenes becarios.

38 Etapas del análisis de protocolos Grabación del protocolo: El IC explica lo que espera del experto, propuesta de casos, solución de los casos por parte del experto. Transcripción del protocolo: segmentarlo en instrucciones, incluir silencios, gestos de dudas. Codificación del protocolo: Identificación de conceptos, características, valores y relaciones. Representación del árbol de búsqueda. Identificación de los operadores. Identificación de las inferencias. Detección de sinónimos, metacomentarios e incertidumbres. Interpretación del IC sobre reglas implícitas, planes y estrategias del experto.

39 NUEVA! Ventajas e inconvenientes del análisis de protocolos Ventajas: Mejor conocimiento aplicado que descrito. Ayuda a traducción desde lenguaje natural a codificación: Conceptos como marcos. La secuencia de aplicar los operadores como algoritmo. Inferencias como reglas de producción. Las heurísticas, estrategias, planes como metareglas. Limitaciones: Coste de utilización diez veces mayor que tiempo con experto. Incompletitud del método.

40 NUEVA! Ejemplo Análisis de Protocolos Protocolo correspondiente a un sistema experto para diagnosticar enfermedades exantemáticas (erupciones en la piel que se dan en la infancia) Únicamente diagnóstico, no tratamiento El experto es un médico.

41 NUEVA! Ejemplo Análisis de Protocolos Llegó un paciente a la consulta de 2 años, que tenía tos, irritabilidad, erupción, fiebre y estaba llorando. Le tomé la fiebre y tenía 37 8ºC, al existir fiebre pensé en varicela o exantema súbito. Me fijé en que la erupción tenía forma de mácula-pápulas, que aparecían en el tronco y miembros inferiores y le pregunté la madre desde cuándo tenía la erupción y dijo que desde hacía dos días. En la varicela además existen vesículas y costras, y el niño no las tenía por lo que no podía ser varicela. En conclusión, el juicio clínico es exantema súbito

42 NUEVA! Ejemplo Análisis de Protocolos: Segmentación 1.Llegó un paciente a la consulta 1.Me fijé en que 2.de 2 años 2.la erupción tenía forma de mácula-pápulas 3.Que tenía tos, 3.Que aparecían en el tronco 4.irritabilidad, 4.Y miembros inferiores 5.erupción, 6.fiebre 5.Le pregunté a la madre 7.y estaba llorando. 6.Desde cuándo tenía la erupción 8.Le tomé la fiebre 7.Y me dijo que desde hace dos días 9.Y tenía 37 8ºC 8.En la varicela existen además vesículas 10.Al existir fiebre 9.Y costras 11.pensé en varicela 10.El niño no las tenía 12.o exantema súbito 11.Por lo que no podía ser varicela 12.En conclusión, el paciente sufre de exantema súbito

43 NUEVA! Ejemplo Análisis de Protocolos: Codificación (a) Identificar el vocabulario utilizado por el experto para identificar los conceptos y su tipo, así como las características y las relaciones Concepto Características Valores Paciente Sexo Varón Edad 2 años Irritabilidad Sí Fiebre 37 8ºC / Sí Llanto Sí Tos Sí Erupción Lugar Tronco y miembros inferiores Periodo 2 días Forma Mácula-pápula, vesículas, costras Enfermedad Nombre Exántema súbito, varicela Paciente tiene erupción Paciente tiene enfermedad Enfermedad parte de erupción

44 NUEVA! Ejemplo Análisis de Protocolos: Codificación LÍNEA CONCEPTO/CARACTAR VALORES ÍSTICA 1 sexo varón 2 edad 2 años 3 tos si 4 irritabilidad si 5 erupción si 6 fiebre si 7 llanto si 8 fiebre 37 8 ºC - grado - 14 erupción mácula-pápula - nombre - 15,16 erupción - lugar - tronco y miembros inferiores 18 erupción 2 días - periodo - 24 juicio clínico exantema súbito

45 NUEVA! Ejemplo Análisis de Protocolos: Codificación (b)el razonamiento del experto Puede verse como una búsqueda en el espacio de estados posibles Trataremos de intuir la línea de búsqueda que sigue el experto, tratando de delimitar los distintos estados por los que pasa el experto hasta llegar al diagnóstico. Partiendo de los síntomas descritos por el paciente, lo primero que hace es determinar si tiene fiebre para reducir el espacio de búsqueda a dos posibles diagnósticos: exantema súbito varicela A continuación explora la erupción para discriminar entre las dos posibilidades

46 NUEVA! Ejemplo Análisis de Protocolos: Codificación (c)identificación de los operadores. Son los medios para asignar valores a características, con los que la búsqueda pasará de un estado a otro test_fiebre: asigna valor a característica y aumenta credibilidad de dos hipótesis reconocimiento_erupción: descarta una hipotesis y establece la otra

47 NUEVA! Ejemplo Análisis de Protocolos: Codificación (c)identificación de las inferencias Ceñirse a las inferencias que de forma explícita aparecen en el texto: Si fiebre=37 8ºC entonces otorga certeza a la relación el paciente tiene fiebre aumenta credibilidad de varicela y exantema súbito Si la erupción.forma costras y erupción.forma vesículas entonces descarta hipótesis varicela

48 NUEVA! Ejemplo Análisis de Protocolos: Codificación (d) Sinónimos, metacomentarios e incertidumbres incertidumbre: cuando aparece suele ser sinónimos: paciente y niño metacomentarios: el papel de la madre

49 Técnicas de educción del conocimiento NUEVA! Técnicas de modelado y otras técnicas Ing. Conocimiento UC3M, 2006

50 NUEVA! Técnicas de modelado Técnicas basadas en el uso de modelos que guían la adquisición, validación y modificación del conocimiento. Diferentes tipos de modelado Diagrama de procesos: bueno para adquirir conocimiento procedural y tácito Mapa conceptual: bueno para adquirir conocimiento declarativo Diagramas de estados: variación de los diagramas de procesos, buenos para todo tipo de conocimiento.

51 Modelado de procesos NUEVA! Implica la construcción, modificación y validación de modelos de proceso Método valioso para obtener conocimiento procedural y tácito

52 Modelado de procesos NUEVA! obj. investigación fuentes información T1 Revisión Precedentes profesor recursos dispon. estado del arte se requieren experimentos? sí no doctorandos T2 realizar experimentación resultados exps profesor T3 Escribir artículo artículo

53 NUEVA! Oliver Twist es un Libro más corto que escrito por escribió es un Mapa conceptual escribió Bleak House Charles Dickens es un admiraba escribió sobre Author es un Dostoevsky nacido en Rusia se compone de Página hecha de Papel

54 Diagrama de estados NUEVA! Colgado no suena Recibir Llamada Colgado suena Levantar auricular Levantar auricular Terminar llamada Descolgado - conversación Descolgado tono llamada Marcar número Colgar Descolgado marcando Colgar Descolgado llamando Llamada respondida Número completado

55 Herramientas de inducción automática Permite generar automáticamente reglas. Necesitan de: conjunto de ejemplos con valores numéricos. Clara definición de atributos y clases. Utilizan un algoritmo de inducción (ID3). Problemas: Encontrar un conjunto completo y adecuado de ejemplos. Educir correctamente clases y atributos

56 NUEVA! Ejemplo de inducción automática Conjunto de datos de entrenamiento material temp daño humedad grado cemento 65 moderado alta urgente cemento 62 moderado alta no urgente metal 60 leve baja no urgente metal 68 severo alta urgente metal 55 leve alta no urgente concrete 80 severo baja urgente concrete 73 leve baja no urgente metal 81 leve baja no urgente metal 40 moderado alta no urgente metal 58 leve alta no urgente metal 65 severo baja urgente

57 NUEVA! Ejemplo de inducción automática caso temp < 62 temp > 62 daño leve daño moderado daño severo no urgente no urgente urgente urgente

58 Técnicas de educción del conocimiento NUEVA! Guía práctica Ing. Conocimiento UC3M, 2006

59 NUEVA! Conocimiento procedural (el cómo) Mapeo de Procesos Observación Entrevistas Clasificación de conceptos Diagrama De estados & Teach Back Tareas con restricciones & 20-cuestiones Análisis de Protocolos Emparrillado Método triádico Conocimiento declarativo (el qué) Mapeo de conceptos Ordenación de conceptos Conocimiento explícito Conocimiento tácito

60 Reglas para una buena educción Conseguir la cooperación del experto. No imponer la visión del IC sobre la del experto. Limitar las sesiones en duración y contenido. Intentar comprobar la información. No limitarse al diálogo, usar textos. No espaciar demasiado las sesiones de educción. Elegir el lugar adecuadamente. No ser propio experto. No creer todo lo que dice que hace

61 Ciclo de educción El conocimiento se educe mediante la sucesiva aplicación de sesiones de educción. Para completar una sesión el ingeniero del conocimiento debe realizar los siguientes pasos Preparación de la sesión. Ejecución. Transcripción. Análisis de la sesión. Evaluación.

62 Preparación de una sesión Sesiones a distancia: Decidir la información a tratar: Amplitud, profundidad, etc. Decidir la técnica adecuada. Preparación formal (por escrito) de la sesión. Sesiones en directo: Repaso de lo que se trató en sesiones anteriores. Explicación al experto de los objetivos de la sesión. Educción propiamente dicha. Hacer resumen de lo hablado y esperar comentarios del experto. Transcripción (a distancia).

63 Análisis de una sesión (I) Análisis de la sesión: Lectura de la transcripción de la sesión para tener una visión global. Extracción de conocimientos concretos de la sesión. Lectura detallada de todas las sesiones para recuperar detalles olvidados que puedan estar relacionados. Dudas, lagunas o incoherencias detectadas por parte del IC.

64 Análisis de una sesión (II) Organización de la información: Diccionario de términos o conceptos: Nombre / tipo / sinónimos / características / valores posibles / importancia / prerequisitos / referencias cruzadas / comentarios. Librería de casos: Enunciado del caso / transcripción de la sesión / resultado de la solución / comentarios. Documento de Conocimientos: Conceptos / relaciones (clasificaciones, jerarquías, etc.) / los distintos procedimientos de resolución / la división en subproblemas. Actualización tras el análisis de cada sesión: Determinar comprensión del IC, y si es necesario preguntar más sobre el tema. Producir documentos para fases posteriores.

65 Análisis de una sesión (y III) Proceso de razonamiento de resolución : Búsqueda de inferencias: Identificación de conocimiento sobre definiciones, fórmulas o especificaciones del cálculo de valores numéricos y heurísticas que guían al experto. Analizar casos buscando: Qué pensaba el experto. Por qué era importante esa línea de razonamiento. Cómo llegaba el experto a cada conclusión. Cuándo llegaría el experto a la misma conclusión. Cuándo llegaría el experto a otra conclusión. Comprobación de suposiciones obvias. Analizar si es necesario el uso de la incertidumbre.

66 Evaluación de una sesión Se han conseguido los objetivos de la sesión? Conclusiones sobre futuras sesiones

67 Cuándo aplicar cada técnica de educción? MODIFICADA! Primeras reuniones: Entrevistas abiertas y semiestructuradas (en directo). Observación de tareas habituales (a distancia). Educir el conocimiento declarativo (el qué ): Entrevista estructurada (en directo), Incidentes críticos (en directo), Clasificación de conceptos (a distancia), Emparrillado (a distancia). Educir el conocimiento procedural del experto (el cómo ): Análisis de protocolos (a distancia), Entrevistas estructuradas (en directo). Validar: Cuestionarios (en directo), Entrevistas estructuradas (en directo).

68 NUEVA! Resumen de las principales técnicas y herramientas Técnica Entrevista abierta Entrevista estructurada Análisis de protocolos Clasificación de conceptos Ordenación de conceptos Emparrillado Utilización Familiarizarse con el dominio de aplicación Identificación del conocimiento; especificación inicial; completar BC. Comprobar una plantilla de tarea; especificar modelo de inferencias y tareas Trabajo preparatorio para especificar un modelo jerárquico del dominio Especificación del modelo del dominio Especificación del modelo del dominio Herramientas Herramientas de anotación y análisis de textos Herramientas de anotación; editores de reglas (para completar la BC) Herramientas de anotación de textos Herramientas gráficas para construir múltiples jerarquías Herramientas gráficas para generar pilas y nuevas características Herramientas gráficas específicas y análisis de clusters