La técnica del Análisis CHAID 1 Nota1

Transcripción

1 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -1- Fuente: Path: Herramientas para el investigador > Artículos técnicos > Consulta: 30 de abril de 2001 La técnica del Análisis CHAID 1 Nota1 I. Introducción Por Abraham Nadelsticher El CHAID es una técnica cuyo propósito primordial es el de obtener tipologías y perfiles de los consumidores o usuarios. En una frase, el CHAID sirve para realizar segmentación de mercado. Históricamente hablando, el CHAID tiene sus fundamentos en el Automatic Interaction Detection (AID) 2 Nota2, y el Classification and Regresión Trees (CART). Para desarrollar una mayor comprensión de los métodos para el análisis categórico de datos, podrían ver como se han desarrollado estos métodos durante este siglo. Sugiero la siguiente lista cronológica de 25 fuentes, las cuales trasmiten la manera en la que evolucionó la metodología. Pearson (1900) Caussinuos (1965) Yule (1912) Goodman (1968) Fisher (1922) Mosteller (1968) Bartlett (1935) Grizzle et al. (1969) Berkson (1944) Goodman (1970) Neyman (1949) Haberman (1970) Cochran (1954) McFadden (1974) Goodman and Krustkal (1954) Nelder and Wedderburn (1972) Roy and Mitra (1956) Bishop et al. (1975) Cox (1958a) Goodman (1979a) Mantel and Haenzel (1959) McCullagh (1980) Birch (1963) Goodman (1986) Birch (1964b) El CHAID, cuyas siglas significan Chi-Squared Automatic Interaction Detector, (Detector de Interacción Automática con Chi-Cuadrado) es una especie de regresión múltiple para variables categóricas/ discretas/ discontinuas; como por ejemplo, sexo, nivel socioeconómico, religión, ocupación, raza, ciudad, municipio, zona, etc.; en la que existe una variable dependiente (VD) y al menos una variable independiente (VI); y de lo que se trata es de predecir la VD a través de las VI s. Un análisis de regresión múltiple tradicional, a diferencia del CHAID, trabaja generalmente con variables continuas, métricas, tales como:

2 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -2- edad, número de hijos, ingreso, volumen, peso, estatura, dinero invertido en publicidad, número de toneladas embarcadas de producto, etc.; y su cálculo es relativamente sencillo usando prácticamente cualquier paquete estadístico tradicional. EL CHAID le puede ahorrar mucho tiempo al investigador, evitando que éste analice cientos de tablas ( tabulaciones cruzadas o banners ) ( banners cuadros bivariados yuxtapuestos. RJR), sin encontrar alguna relación importante entre las variables. El CHAID identificará rápida y fácilmente las relaciones significativas entre las variables. Le permite al usuario reconocer segmentos del mercado, explicar las diferencias en estudios de satisfacción del cliente, conocer el perfil de los que gustaron de un nuevo concepto, producto, empaque o publicidad. El CHAID construye diagramas de árbol cuyas ramas representan relaciones importantes con la variable dependiente. EL CHAID ES UNA TÉCNICA DE SEGMENTACIÓN Veamos el siguiente ejemplo de Gelatinas listas para comer, supongamos que se aplicaron 1000 entrevistas en tres ciudades: Variables metidas en el modelo Sexo Estado Civil Nivel Socioeconómico Ocupación Ciudad Ve T.V. Oye Radio Lee periódico Tiene hijos... etc. KNOWLEDGE SEEKER D.F. 20% ANALISIS CHAID DISPOSICION A COMPRAR UNA GELATINA LISTA PARA COMER 40% MONTERREYGUADALAJARA 60% HOMBRES 20% CON HIJOS 90% MUJERES 80% 20% SIN HIJOS 10% NO DISPOSICION A COMPRAR UNA GELATINA LISTA PARA COMER 60% Ciudad Sexo Tenencia de Hijos A/B 1% C 5% D 94% NES Esta gráfica representa el resultado que arrojaría, en forma de diagrama de árbol, el CHAID. (KNOWLEDGE SEEKER : Buscador de conocimientos) Interpretación: Después de que los entrevistados probaron las gelatinas, se obtuvo que un 40% estarían dispuestos a comprar la gelatina, mientras que un 60% no estarían dispuestos a

3 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -3- adquirirla. Si elegimos a esta variable como VD, queremos saber cual es el perfil (segmento) que SI estaría dispuesto a comprarla, es decir, quién forma el grupo del 40%?. Para esto, se meten muchas variables independientes VI en el modelo (Sexo, estado civil, ocupación, nivel socioeconómico, etc.), para que el CHAID encuentre las que significativamente se relacionan con la VD. El diagrama anterior nos dice que de todos los indicadores metidos al modelo, encontró principalmente cuatro variables que predicen de manera significativa la disposición de compra de la gelatina; y que estas cuatro características formarán el perfil de nuestro comprador: Ciudad, Sexo, Tener Hijos y Nivel Socioeconómico. Si analizamos con cuidado los porcentajes de cada rama del árbol, encontramos que la tipología o segmento de compradores que más están dispuestos a adquirir la gelatina lista para comer son los de Monterrey, Mujeres, Con Hijos de Clase Baja (D). Si nos detenemos por un momento a contemplar el resultado que arrojó el CHAID, nos habremos percatado de que se trata de una técnica con un potencial enorme para el análisis, la cual permite tomar decisiones estratégicas. Si ya sabemos que la gelatina la prefieren Mujeres con hijos de clase baja de la ciudad de Monterrey, todos los esfuerzos de comunicación se pueden enfocar a este segmento; dicho de otra manera, con el CHAID le tiramos con un rifle de alta precisión a nuestro grupo objetivo, en lugar de dispararle con una escopeta, a diestra y siniestra, a cualquier sujeto. FIGURA 1 Arbol para predecir admisiones a la escuela de medicina PORCENTAJE DE PUNTOS DE CALIFICACIÓN n=727 <_ 3.47 > MCAT VERBAL (MCTV) <_ 555 > MCAT VERBAL (MCTV) <_ 535 > RECHAZO 9* MCAT CUANTITATIVO (MCTC) RECHAZO 19* ENTREVISTA 49* <_ 555 > RECHAZO 45* ENTREVISTA 46*

4 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -4- II. El Modelo de Árbol La Figura 1 muestra un ejemplo de árbol para la predicción de toma de decisiones de un Comité de Admisiones para una Escuela de Medicina X. Supongamos una muestra de 727 solicitantes. Observe que los valores de la variable predecida (decisión del comité de reprobar/rechazar o aprobar/entrevistar) están en la parte inferior del árbol y los predictores (la Prueba de Admisión a la Escuela de Medicina y los Grados Escolares) entran al sistema en cada nodo del árbol. El nodo (rama) superior contiene la muestra completa (n=727). Cada una de las otras ramas (nodos) restantes contiene una subserie de la muestra (n=93; o n=249; etc.) en el nodo directamente por arriba de éste. Cada nodo se puede considerar un agrupamiento de objetos - casos -que debe dividirse en mayores ramificaciones en el árbol. El árbol de la Figura 1 es binario porque cada nodo está separado en solamente dos muestras. Los árboles de clasificación o regresión (CART : Classification and Regresión Tree) no necesitan ser binarios, aunque la mayoría lo son. Cada uno es una permutación del otro. La Figura 2 muestra esto. FIGURA 2 Árboles ternarios (izquierda) y binarios (derecha) El árbol a la izquierda de la figura 2 no es más parsimonioso que el de la derecha. Ambos árboles tienen el mismo número de parámetros, puntos de división, y cualquier estadística asociada con el árbol a la izquierda se puede convertir fácilmente para que se ajuste al de la

5 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -5- derecha. Para propósitos de despliegue a menudo es conveniente reducir los árboles binarios en árboles multirramales, pero esto no es necesario. Algunos programas que tienen divisiones multirramales no permiten una división mayor de un predictor hasta que se haya utilizado. Esta es una sencillez atractiva pero puede llevar árboles sin congruencia. Es innecesario hacer esta restricción antes de ajustar un árbol. La Figura 3 muestra un ejemplo de este problema. El árbol a la derecha superior clasifica objetos en base a un atributo dividiendo una vez por figura, luego por relleno, luego otra vez por figura. Esto permite que el algoritmo separe los objetos en únicamente cuatro nodos terminales que tienen valores comunes. El árbol a la izquierda superior se divide por figura y luego por relleno, al no permitir ningún tipo de división por forma adicional, el árbol requiere cinco nodos terminales para clasificar correctamente. Este problema no se puede resolver dividiendo por medio de relleno pues esto se ve en el árbol de la izquierda inferior. En cualquier caso la restricción de la división a sólo un predictor por rama resulta en más números de nodos terminales.

6 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -6- FIGURA 3 figura figura relleno relleno relleno figura relleno 3 4 figura figura Árboles Multirramales con solo una división por preeditor

7 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -7- II.a. PREDICTORES CUANTITATIVOS CATEGÓRICOS Las variables predictoras (VI s) en la Figura 1 son cuantitativos, por lo que las divisiones se crean determinando puntos de corte en una escala. Si las variables de un predictor son categóricas como en la figura 3, las divisiones se hacen entre valores de una típica escala nominal. No es necesario categorizar los predictores antes de calcular los árboles. III. Análisis de datos estructurados en árbol: AID, CHAID, Y CART Los árboles son gráficas dirigidas que comienzan con un nodo y se ramifican en varios. Son fundamentales para la ciencia de la computación (estructuras de datos), biología (clasificación), psicología (teoría de decisiones), y muchos otros campos. Los árboles de clasificación y de regresión se utilizan para la predicción. En las últimas dos décadas, se han vuelto populares como alternativas a la regresión, al análisis discriminante o discriminatorio y a otros procesos basados en modelos algebraicos. Los métodos para ajuste de árbol se han vuelto tan populares que varios programas comerciales en la actualidad compiten por la atención de investigadores de mercado y otras personas que buscan este tipo de programa informático. Empero, diferentes programas comerciales producen diferentes resultados con los mismos datos. Lo que es peor, algunos programas no proporcionan documentación o material de apoyo para explicar sus algoritmos. El resultado es un mercado de aseveraciones de competencia, y declaraciones falsas. La revisión de estos paquetes (por ejemplo, Levine 1991; Simón 1991) muestra que se han utilizado palabras como hechicero, magia o fórmula mágica para describir los algoritmos y se ha expresado frustración por la escasa documentación proporcionada por los paquetes. Sin embargo, por otro lado, algunos investigadores han declarado que los programas de árbol son PROCEDIMIENTOS DE INTELIGENCIA ARTIFICIAL (AI) en la punta de la tecnología que son capaces de descubrir relaciones escondidas y estructuras en bases de datos.

8 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -8- III.a. ÁRBOLES DE REGRESIÓN Morgan y Sonquist (1963) propusieron un método para ajustar árboles de manera que predijeran una variable cuantitativa. El método se llamó AID (Automatic Interaction Detection) Detección de Interacción Automática. 2 El algoritmo realiza una división a lo largo de varios pasos, los cuales terminan escogiendo al predictor. Los predictores categóricos requieren un enfoque diferente. Como las categorías no están ordenadas, todas las divisiones posibles entre categorías deben de ser consideradas. Para decidir en una división de categorías k en dos grupos, esto significa que 2 k -1 divisiones posibles deben ser analizadas. Una vez que se encuentra una clasificación, su adecuación se mide en la misma suma de cuadrados dentro del agrupamiento que para un predictor cuantitativo. Morgan y Sonquist llamaron a su algoritmo AID porque incorpora de manera natural una interacción entre los predictores. La interacción no es una correlación. Más bien tiene que ver con discrepancias condicionales. En el análisis de varianza, la interacción significa que una tendencia dentro de un nivel de una variable no es paralela a una tendencia dentro de otro nivel de la misma variable. En el modelo ANOVA (ANalysis Of VAriance) la interacción se representa por productos entre predictores. En el modelo de árbol se representa por ramificaciones del mismo nodo (rama) que tienen diferentes predictores más abajo en el árbol. La Figura 4 muestra un árbol sin interacciones en el lado izquierdo y con interacciones en el lado derecho. Como los árboles son un subproducto natural del algoritmo de división de AID, Morgan y Sonquist llamaron al procedimiento automático. De hecho los árboles de AID sin interacciones son bastante poco frecuentes para datos reales por lo que el procedimiento sin duda es automático. Para buscar interacciones utilizando una regresión por pasos o medición lineal ANOVA, tendríamos que generar 2 p interacciones entre p predictores y calcular las correlaciones parciales FIGURA para cada 4 una Arboles de ellas mostrando de manera que interacciones se pudiera decidir cuáles de todas se deben incluir en nuestro modelo final. A III.b. ÁRBOLES DE CLASIFICACIÓN El modelaje Bcon árboles de regresión B es paralelo Bal modelaje de regresión C /ANOVA, en donde la variable dependiente es cuantitativa. Los árboles de clasificación son paralelos al análisis discriminatorio y a los métodos de clasificación algebraica. Kass (1980) propuso una modificación C a CAID llamada C CHAID C para las variables categorizadas como dependientes e D E F G independientes. Su algoritmo incorporaba una fusión secuencial y un procedimiento de división basado en una estadística de prueba de chi cuadrada. Kass estaba preocupado por el tiempo de cálculo, por lo que decidió quedarse con una división cuasi-óptima en cada predictor, en vez de buscar todas las combinaciones posibles de las categorías. El algoritmo CHAID ahorra tiempo de computadora, sin embargo, no debemos olvidar que la regresión por pasos, no está garantizada para encontrar las divisiones que mejor predigan. Solamente toda la regresión de subconjuntos posibles o una búsqueda exhaustiva de los subconjuntos de categoría pueden hacer eso. También esta limitada a predictores categóricos por lo que no puede ser utilizada para modelos mixtos categóricos o cuantitativos como en la A

9 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -9- Figura 1. Sin embargo, es una forma efectiva de buscar heurísticamente a través de tablas amplias de una manera rápida. III.c. RECORTE E INTERVALIDACIÓN AID, CHAID, y otros métodos de ajuste de árbol secuenciales hacia adelante comparten un problema con otros métodos de agrupamiento de árboles Dónde se detiene uno?. Si seguimos dividiendo, un árbol terminará con sólo un caso u objeto en cada nodo (rama) terminal. Necesitamos un método para producir un árbol más pequeño que el exhaustivo. Una forma de hacerlo es utilizar las pruebas estadísticas de paso como en la regla de F (Prueba estadística de Fisher-Student para ANOVA) para entrar en una regresión a lo largo de paso por paso. Se calcula una estadística de prueba (Chi cuadrada o F), se escoge un nivel crítico P ó nivel de significación) para la prueba (algunas veces modificándola con la desigualdad de Bonferroni), y se detiene dividiendo cualquier rama que no cumpla con la prueba (Regla de Paro o Detención). La mayor parte de los programas funcionan de esta forma. El programa CART de Breiman et al. es el único constructor de árboles que incorpora un modelo probabilístico completamente desarrollado. Todos los otros programas se aproximan al problema con el procedimiento ad hoc adaptados de una selección hacia adelante de una metodología de regresión de subconjuntos.

10 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -10- IV. Panorama General de CHAID Imagínese que usted es un mercadólogo directo (marketing directo) que vende suscripciones a una revista. Para maximizar sus utilidades, usted quiere identificar segmentos de hogares que con base en promociones anteriores, sean los candidatos más probables a responder a una nueva promoción de la revista. O, suponga que usted es un médico investigador que desea identificar segmentos de población con el mayor riesgo de cardiopatía. Para responder a estas interrogantes, la técnica CHAID (Detector de Interacción Automática con Chi cuadrada) es la ideal, ya que realiza modelación de segmentación, una aplicación estadística relativamente nueva que le resuelve casi cualquier situación en la que su meta principal es dividir una población en segmentos que difieren en relación a un criterio designado. CHAID divide a la población en dos o más grupos distintos basados en categorías del mejor predictor (VI s) de una variable dependiente (VD). Luego divide cada uno de estos en grupos más pequeños basados en variables de otros predictores. Este proceso de división continua termina hasta que no se encuentran más predictores estadísticamente significativos (o hasta que se cumpla alguna regla de paro). CHAID despliega los subgrupos finales (segmentos) en un diagrama de árbol fácil de entender. Los segmentos que CHAID deriva son mutuamente excluyentes y exhaustivos. Es decir, los segmentos no se traslapan y cada unidad de población (caso) queda contenido en exactamente un segmento. Además, puesto que los segmentos se definen por combinaciones de variables que mejor predicen, usted puede clasificar fácilmente cada caso en su segmento adecuado simplemente conociendo las categorías de estos predictores. IV.a. ANÁLISIS CHAID Supongamos que se desea conocer el segmento de la población que mejor responde por correo a las promociones de mercadeo directo. La variable dependiente es el índice de respuesta y las variables independientes son sexo, edad, nº de hijos, ocupación, nº de personas que viven en el hogar, ingreso, presencia de tarjeta de crédito, etc. Después de someter los datos a un análisis CHAID, se obtienen los siguientes segmentos: Segmento Descripción Índice de respuesta 1 Hogares de una persona Hogares de dos o tres personas en los que el jefe de hogar es un empleado de oficina Hogares de dos o tres personas en los que el jefe del hogar no es un empleado de oficina Hogares que contienen cuatro a cinco personas 1.92

11 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher Número de personas en el hogar que es desconocido y jefe de hogar que es hombre 6 Numero de personas en el hogar que es desconocido y jefe de hogar que es mujer IV.b. FUSIÓN DE CATEGORÍAS CHAID fusiona las categorías de una variable predictora cuando no son significativamente diferentes. Este procedimiento de fusión combinado con el algoritmo de división asegura que los casos en el mismo segmento sean homogéneos con respecto al criterio de segmentación, mientras que los casos en diferentes segmentos tienden a ser heterogéneos con respecto al criterio de segmentación. Por ejemplo aunque el nº de personas por hogar originalmente tenía seis categorías. CHAID fusionó categorías cuyos índices de respuesta eran estadísticamente indistinguibles. Por ejemplo, los hogares de dos y tres personas se juntaron en una sola categoría y los hogares de cuatro personas se combinaron con hogares que contenían a cinco o más personas. Así, después de la fusión el tamaño del hogar contenía cuatro categorías. IV. c. INTERPRETACIÓN DE LOS RESULTADOS Al analizar la tabla anterior, se puede ver que el mayor índice de respuesta es el Así, si usted quería enfocarse únicamente al segmento que mejor responde por correo, usted mandaría material promocional a hogares de dos o tres personas en los que el jefe del hogar tuvieron una ocupación de empleado de oficina. El segmento de menor respuesta fue el segmento 5, que consistía en hogares de tamaño desconocido de los que el jefe del hogar era hombre (0.81%). IV.d. SEGMENTOS EN COMPARACIÓN CON AGRUPAMIENTOS Tanto CHAID y el análisis tradicional del agrupamiento de una población sirven para dividir a esta en subgrupos, sin embargo, solo CHAID utiliza una variable dependiente como criterio para formar a estos subgrupos. Así, aunque los segmentos de CHAID se derivan para predecir una variable dependiente, los agrupamientos pueden no ser predictivos. Por ejemplo, el segmento que se predice que es el más probable de responder, tenderá a tener un mayor índice de respuesta que cualquier agrupamiento de igual tamaño obtenido en un análisis tradicional de Análisis de Clusters. Otra diferencia entre los agrupamientos y los segmentos es que los agrupamientos generalmente no se definen como funciones explícitas de los predictores. Así, los resultados de un análisis de agrupamiento no pueden ser utilizados fácilmente para clasificar a una nueva muestra en grupos. El análisis de segmentación es una técnica más apropiada cuando su meta es producir sub-grupos que predigan algún criterio basado en una variable dependiente o para aplicar clasificaciones a otra muestra.

12 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -12- V. Componentes de un análisis CHAID Un análisis CHAID tiene los siguientes componentes básicos: Una o más variables predictivas o variables explicativas (variable independiente) (VI) cuyos valores se utilizan para definir los segmentos. Usted puede utilizar cualquier tipo de variable categórica incluyendo las demográficas, de estilo de vida, psicográficas, y conductuales. El criterio o variable a explicar (variable dependiente) (VD) para construir el modelo de segmentación. Este criterio está controlado por la elección de una y solo una variable (que debe de ser categórica u ordinal). V.a. VARIABLES CATEGÓRICAS vs. CONTINUAS Las variables categóricas difieren de las variables continuas en que no son medidas en una forma continúa, tan solo son clasificadas en grupos distintos. Usted puede convertir variables continuas a variables categóricas agrupando los valores acrecientes. Por ejemplo, la variable continua edad se puede agrupar en las siguientes categorías: 18 a 24, 25 a 34, 35 a 44, 45 a 54, 55 a 64. Las variables categóricas pueden ser nominales u ordinales. Las categorías de una variable nominal difieren en tipo más que en grado por lo que no tienen un orden natural. Por ejemplo, tal vez no tenga sentido ordenar las categorías de trabajo en empleados de oficina o empleado obrero, otros y desconocido. Las variables ordinales tienen clasificaciones numéricas conocidas asociadas con sus categorías. Tiene sentido calcular la mediana (medida de tendencia central) para una variable ordinal pero no para una variable nominal. Si la variable dependiente es nominal, el criterio de segmentación se basa en la distribución de probabilidades de la variable dependiente. Si la variable dependiente es ordinal el criterio es la mediana. Aunque depende del programa de computadora que se utilice, por lo general, en un análisis CHAID la variable dependiente y cada predictor pueden contener hasta 31 categorías. Si se pasan de este número, debe usted recodificarlas antes de ejecutar el CHAID, o se omitirán del análisis. V.b. VARIABLES DE FRECUENCIA Representa el número total de observaciones que caen en una celda en particular. La variable de frecuencia indica cuántos casos representa cada registro. La suma de los valores para una variable de frecuencia deberá siempre igual al número total de observaciones en la muestra. El uso de una variable de frecuencia reducirá el tamaño de su archivo de datos cuando el número de observaciones exceda el número de celdas no vacías en la tabla multimodal. Sin

13 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -13- embargo, la salida y estadísticas son las mismas ya sea si usa una variable de frecuencia o datos caso por caso. V.c. VARIABLE DE PONDERACIÓN El uso de la variable de ponderación le da tratamiento desigual a los casos en un conjunto de datos. Cuando se utiliza una variable de peso, la contribución de un caso en el análisis se pondera en proporción a las unidades de población que el caso represente en la muestra. Por ejemplo, suponga que en una promoción de mercadeo directo por correo, hogares responden y de hogares no responden. Para reducir el tamaño de su archivo de datos se pueden incluir todos los respondentes, pero sólo a 1% de la muestra (10.000) de los no respondentes. Usted puede hacer esto si define una variable de ponderación igual a 1 para respondentes y 100 para no respondentes. Las variables de frecuencia y de ponderación funcionan de diferentes formas; si una variable de ponderación se especifica incorrectamente como variable de frecuencia o viceversa, el análisis de CHAID resultante será incorrecto. En el caso del SPSS se le permite ponderar cada sujeto. La variable de ponderación de SPSS determina el número de veces que cada caso se incluye en un análisis, lo cual es exactamente lo que la variable de frecuencia hace. Si usted esta usando una variable de ponderación en su archivo de datos SPSS, deberá usar esa misma variable como su variable de frecuencia CHAID. V.d. VARIABLE DE PREDICCIÓN Antes de comenzar un análisis de CHAID deberá clasificar cada predictor que contiene en por lo menos tres categorías como monotónico, libre o flotante 3 Nota3. Esta elección afecta el algoritmo de fusión de categorías de CHAID y el cálculo de los niveles significativos. No necesita clasificar a los predictores dicótomos (predictores que tienen sólo dos categorías), puesto que son tratados de la misma manera por CHAID aunque se clasifiquen como monotónicos libres o flotantes. Las categorías de la variable monotónica se pueden combinar sólo si son adyacentes entre sí, generalmente usted debe tratar a los predictores ordinales (predictores cuyas categorías contienen un orden natural) como monotónicos. Por ejemplo, las categorías de ingresos generalmente se considerarán como ordinales y se tratarán como monotónicas. Las variables de flotación o libres se tratan como monotónicas, excepto que la categoría final (que a menudo representa valores faltantes) se puede combinar con cualquier otra categoría. Por ejemplo, el predictor edad se trataría normalmente como un monotónico, excepto que la categoría final representa un incierto. Así, edad se define como una variable de flotación. Como CHAID ordena las categorías de una variable de acuerdo con sus valores, la categoría final es la categoría que tiene el mayor valor. Cuando CHAID analiza un archivo de datos SPSS, la categoría final es a la que se asigna un valor faltante SPSS. Más adelante trataremos este punto. CHAID puede combinar categorías de variables libres, aunque las categorías no sean adyacentes entre sí. Las variables nominales (variables cuyas categorías no contienen un orden

14 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -14- natural) deben siempre tratarse como libres. Por ejemplo, definimos ocupación como una variable libre. Usted no debe definir a todos los predictores como libres sin pensarlo con detenimiento, puesto que esto subestimará la significancia de los predictores que podrían definirse como flotantes o monotónicos. Además, el tiempo de cálculo para un predictor aumenta exponencialmente conforme sus categorías aumentan en número. Por omisión, CHAID trata a los predictores como monotónicos, a menos que el archivo de datos sea un archivo de datos SPSS, y una o más de las categorías tenga un parámetro de valor faltante SPSS. En este caso, el valor por omisión es flotante, en donde las categorías de valor faltante se agrupan en una categoría única flotante. V.e. VALORES FALTANTES En lo que se refiere a los valores faltantes de las variables predictivas, éstos se tratan como cualquier otra categoría de predictores en CHAID. Ordinariamente, deberá definir a los predictores que contengan una o más categorías de valor faltante, como variables libres o variables flotantes. La opción flotante es similar a la asignación, puesto que la categoría de flotación se fusiona y, por lo tanto, toma las características de la categoría con la que comparte la distribución más similar de la variable dependiente. En lo que se refiere a los valores faltantes de las variables dependientes, éstos se contarán como parte de la población total durante el proceso de exploración, pero no se utilizarán en el análisis, a menos que el usuario lo especifique. Por ejemplo, si su conjunto de datos contiene 1000 registros, de los cuales 100 tenían un valor faltante para la variable dependiente, entonces una exploración de corrección contendría 1000 observaciones de las cuales 900 se utilizarían en su análisis (el nodo madre contendrá n = 900). Para incluir la categoría faltante, usted debe asignarle una clasificación única. Por ejemplo, si usted estuviera corriendo un análisis nominal y su variable dependiente tuviera cuatro categorías más la categoría faltante asignará una clasificación única a la categoría faltante, representada, por ejemplo, por el punto (.). V.f. VALORES DE PROBABILIDAD Y EL MEJOR PREDICTOR En cada etapa del análisis, CHAID divide al árbol en la variable del predictor que tenga el valor de probabilidad más bajo o valor p (P-Value) siempre y cuando el valor p sea menor que el valor de significancia (0.05 por omisión). El valor p representa la probabilidad de que la relación de muestra observada entre un predictor y la variable dependiente ocurriera si las dos variables estuvieran estadísticamente sin relación o fueran independientes. Por ejemplo, un valor p de 0.05 significa que la relación observada entre el predictor y la variable dependiente ocurriera solamente 5% del tiempo si las variables fueran independientes. Así, el predictor con el valor p más bajo es el menos probable a estar sin relación con la variable dependiente.

15 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -15- V.g. LA VARIABLE DEPENDIENTE La variable dependiente en un análisis CHAID puede ser dicótoma o polítoma. Una variable dicótoma tiene dos categorías. La tabla siguiente muestra algunos ejemplos de variables dependientes dicótomas. Variable respuesta riesgo crediticio enfermedad lesión Variables Dicótomas Si, No bueno, malo Categorías presente, ausente severa, leve El análisis de segmentación de CHAID también se puede realizar con variables dependientes que tengan más de dos categorías (variables polítomas) 4 Nota4. La variable dependiente, ya sea dicótoma o polítoma, se puede tratar por CHAID como nominal u ordinal. Si una variable polítoma se trata como ordinal, las clasificaciones de categorías se utilizan para ordenar a éstas por rangos y proporcionar una medición de la distancia relativa entre ellas. Usted puede proporcionar las calificaciones o se pueden derivar utilizando una calibración o estimación de máxima posibilidad. VI. Campos de aplicación del CHAID SEGMENTACIÓN: Aunque el principal uso que se le ha dado al CHAID es la segmentación, se le ha encontrado una infinidad de usos más. Investigación de mercado - Determinar que factores, como geografía, precio, características de clientes, etc. pueden afectar las ventas de productos. Crear perfiles de clientes. Publicidad / Marketing Directo: Identificación de las personas que responderán con mayor probabilidad a una promoción. Control de calidad - Analizar datos en producción para identificar los factores principales que subyacen en los defectos de los productos. Determina las causas más importantes de los defectos. Estudios políticos - Analizar datos de encuestas para tener una idea sobre las dimensiones que más afectan a un gobierno o una elección. Cuidado sanitario - Examinar encuestas y datos clínicos para descubrir efectos determinados que contribuyan a la higiene y la enfermedad.

16 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -16- Análisis administrativo - Buscar registros en bases de datos de recursos humanos para identificar los factores que afectan las tarifas entre una muestra grande de trabajadores y determinar como se relacionan estos factores. Investigación científica - Analizar resultados de experimentos para determinar las variables que más afectan una determinada correlación. Investigación biomédica: Determinación del perfil de paciente que responderá con mayor probabilidad a un tratamiento. Evaluación del crédito: Descripción del candidato tipo para obtener un préstamo atendiendo a la evaluación (scoring) de capacidad de pago y el riesgo crediticio. Investigación de transportes: Determinación de quiénes son los usuarios más satisfechos. Investigación institucional: Desarrollo de perfiles de estudiantes con y sin éxito. Simplificación en la lectura de tablas de contingencia: Un investigador de mercado deseará explorar cientos de tabulaciones cruzadas y seleccionar aquellas que sean significativamente más importantes estadísticamente. El mismo investigador de mercado querrá simplificar las tabulaciones cruzadas seleccionadas combinando categorías que no difieren de manera significativa. Psicometría: Un aplicador de exámenes psicológicos deseará desarrollar una escala cuantitativa para una variable ordinal. Reducción de variables: Un nuevo gerente de bases de datos sospecha que el sistema que ha heredado está cargado de datos inútiles, por lo tanto querrá saber cual de los cientos de variables puede eliminar con seguridad. Tipologías: Una cadena de TV. desea mostrar los resultados de la elección en términos de los grupos demográficos más relevantes. VII. Ejemplos prácticos utilizando el análisis CHAID VII.a. EVALUACIÓN DE CALIDAD Y ATENCIÓN AL CLIENTE Supongamos una Encuesta Nacional con clientes de proveedores de pólizas de seguro de vida, en la que la meta es determinar, los factores de la mezcla de servicios que impulsan a la satisfacción del usuario-comprador. El instrumento de encuesta recolectó un amplio rango de información, incluyendo los antecedentes del tenedor de la póliza (como la edad, educación y sexo) e información específica sobre los seguros, como tipo de pólizas en posesión. Se hicieron varias preguntas en relación a la satisfacción al cliente. Estas evaluaciones incluían una clasificación de características de servicios específicos basadas en una serie de atributos. Supongamos que tomamos las respuestas sobre Calificación de calidad total. Este se toma como la mejor y más sencilla medida de satisfacción al cliente.

17 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -17- Al correr el CHAID, los resultados arrojaron un hallazgo primordial: para la mayor parte de los segmentos tenedores de póliza; el servicio de los agentes es el mejor predictor de una buena calificación de servicio global. Ya más en específico se analizó que entre los tenedores de póliza más maduros y mejor educados, el consejo financiero es más importante para incrementar la satisfacción al cliente. De hecho, en este último grupo mejor educado, los aumentos en el nivel de los servicios del agente, en realidad, disminuyen la satisfacción total de cliente. Este resultado anterior tiene consecuencias importantes para la industria de seguros y puede mejorar la rentabilidad en el trato con miembros maduros y mejor educados. Un vistazo al análisis CHAID Lo primero que hacemos es seleccionar la variable Calificación de Calidad Total como la variable dependiente. (Variable Target). Así nace el primer NODO del árbol. Además, los datos siempre pueden ser ponderados. (Cfr. Figura 5) FIGURA 5- Promedio de Satisfacción (Datos ponderados a nivel poblacional) La cifra promedio en la clasificación de calidad total es 2.05; usando una escala Likert de 5 puntos; de 1 (muy malo) a 5 (muy bueno). De este resultado podemos ver que la evaluación de calidad total está ligeramente por debajo del promedio (por lo general, esperaríamos un promedio de 2.5 en una escala de calificación de cinco puntos). Nuestro trabajo es identificar a los factores que están impulsando a estas evaluaciones. La Técnica de Segmentación CHAID hace fácil el trabajo de encontrar los factores significativos: simplemente creamos un árbol de clasificación o decisión. Al crear el árbol buscamos todos los campos, variables, preguntas, etc., en el conjunto de datos (las variables independientes), e identificamos los que tienen una relación estadística significativa con la variable dependiente Calificación Total de Calidad. Un cuestionario puede tener más de 200 variables, sin embargo, el CHAID recorta esta lista rápidamente, solo para que se aplique a las que tienen una relación estadística fuerte. Algunos programas de CHAID, también agrupan valores con campos clasificadores potenciales. Esto hace que haya un despliegue más fácil de entender y un modelo explicativo más económico.

18 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -18- Los resultados de esta fase del análisis se muestran en el siguiente árbol. (Cfr. Figura 6) FIGURA 6 - Primeras ramificaciones del árbol- Promedio de Satisfacción según Nivel Educacional NIVEL DE EDUCACIÓN primaria secundaria algo de preparatoria graduado de preparatoria graduado universidad Aquí vemos que hay una gran diferencia entre los respondentes a la encuesta con un nivel relativamente bajo de educación, y aquellos en el grupo de mayor educación. Los respondentes en el grupo de mayor educación tienen una calificación de calidad promedio de 2.47, (una cifra que está alrededor del promedio esperado) mientras que aquellos en el grupo de menor educación tienen una calificación promedio de Así que nuestros productos de seguros parecen ser más atractivos para la gente que posee una mejor educación. Debemos señalar que la técnica CHAID identifica muchos otros campos o variables potenciales importantes que se pueden utilizar para clasificar en esta primera etapa del análisis. Al hacer un árbol de clasificación como lo estamos haciendo aquí es importante identificar las características de los antecedentes más básicos de la información en el nivel superior (nodo primero y segundo) del árbol de clasificación. Esto es debido a que estas características modificarán todos los otros factores que se presentan en el nivel inferior del árbol. Así que estos factores básicos de antecedentes, deberán preceder a los factores de nivel inferior en la secuencia casual de los eventos Mientras que estos resultados puedan ser interesantes, no son suficientes. Sabemos que la evaluación de calidad de las personas es el resultado de muchos factores, que difieren dependiendo del comportamiento del grupo, y que debemos entender el impacto de estos factores dentro de los grupos importantes de la base de nuestros clientes para poder ver la forma de mejorar nuestra calificación de calidad. Este es el camino para aumentar las ganancias.

19 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -19- Veamos dentro de los dos nodos descendientes del árbol de clasificación que hemos elaborado hasta ahora: los asegurados con educación básica y los asegurados con educación superior. Empezaremos con el grupo con estudios básicos. Al desarrollar el siguiente nivel en el árbol de calificación para el grupo con estudios básicos producimos lo que mostramos a continuación (Cfr. Figura 7). FIGURA 7 La Edad como segunda variable predictora primaria secundaria algo de preparatoria graduado de preparatoria EDAD < Tenga presente que para el grupo con estudios básicos la edad tiene un efecto amortiguador en las evaluaciones de calidad: el grupo con mayor edad es el que da la evaluación de calidad más baja (1.67). Eso está muy por debajo del promedio y debe de ser un punto que nos preocupe. Veamos dentro de este grupo con estudios básicos de más edad y veamos que otros efectos podemos detectar que nos puedan ayudar a dirigirnos para tener un impacto serio en nuestro negocio. (Cfr. Figura 8).

20 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -20- FIGURA 8 - Calidad del Servicio de los Agentes, un predictor importante CALIDAD DEL SERVICIO DE LOS AGENTES muy malo malo a bueno muy bueno Aquí vemos que la calidad del servicio que se proporciona por medio de los representantes de la compañía puede tener un gran impacto en la calificación de la calidad: la evaluación va desde el fondo (1.15, muy malo) a estelar (casi perfecto) de La intervención de la compañía en este punto debe de ser muy clara: el agente de servicio puede tener un impacto substancial en la evaluación de la calidad de nuestro negocio entre los asegurados de más edad y con estudios básicos. Salgamos del grupo con estudios básicos de asegurados y veamos al grupo con estudios superiores. Un análisis del nodo de estudios superiores nos da como resultado lo que aparece en la siguiente figura (Cfr. Figura 9).

21 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -21- FIGURA 9 - Efecto Combinado de Edad y Educación NIVEL DE DUCACIÓN primaria secundaria algo de preparatoria graduado de preparatoria graduado universitario EDAD EDAD < < Observamos un efecto importante aquí: el efecto combinado de educación y edad es simétrico tanto para los grupos con estudios superiores que para los de estudios básicos: la evaluación de calidad se deteriora con el aumento en la edad. Una de las principales ventajas del análisis con CHAID es que le permite estimar en forma rápida si los efectos son simétricos como se muestran aquí. Es muy común observar efectos contrarios cuando vemos relaciones que se cruzan en dos nodos descendientes; esto es, un nodo muestra una relación que va en una dirección (digamos, disminuye con la edad) mientras que el otro nodo muestra la misma relación yendo en dirección contraria (digamos, aumenta con la edad). Sin embargo, dése cuenta, que a pesar de que las relaciones entre la evaluación de calidad y la edad son las mismas en el grupo con estudios superiores como en el grupo con estudios básicos, la distinción en el rango de edad es diferente: la edad tiene un efecto de amortiguación en la calificación de

22 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -22- calidad en un punto temprano en el grupo con estudios superiores (a una edad de hasta 36 años más que a la edad de 56 años). Todos los resultados del árbol de decisión se pueden mostrar con gráficas estándar como la que presentamos a continuación. (Cfr. Figura 10) FIGURA 10 - Índice de Calidad por Educación y Edad , , Grupo de Edades Menores Grupo de Edades Mayores 1 0,5 0 Estudios Básicos Estudios Superiores Índice General de Calidad: 2,47

23 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -23- Como se muestra aquí, existen cuatro grupos principales de asegurados: con estudios básicos con códigos de mayor o menor edad y con estudios superiores con códigos de mayor o menor edad. La evaluación de calidad promedio aumenta con el nivel educativo (de 2.02 a 2.47 conforme nos movemos del grupo con estudios básicos al grupo con estudios superiores). Pero el rango de calificación disminuye con la edad: observemos que en el grupo con estudios básicos la evaluación de calidad cae de 2.06 a 1.67 y, en el grupo con educación superior la calificación desciende de 2.8 a Dése cuenta de cómo ciertos programas de CHAID combinan en forma automática todos los códigos similares y los junta para poder dar un resumen de información que sea fácil de entender. La gráfica 11 muestra el efecto del servicio de los agentes de ventas y la variable Calidad por los diferentes grupos de edad. La evaluación global de calidad aumenta en forma constante con los aumentos en el nivel evaluado al servicio de los agentes. FIGURA 11 - Edad por Calidad del Servicio del agente Índice General de Calidad 5 4 Calidad del servicio del Agente 3 2 Mala Buena Promedio 1 0 Códigos de Edades Menores Códigos de Edades Mayores Grupos de Educación Más aún, con la Figura 12, podemos estar tentados a especular que ésta es la clave más importante y sencilla a enfocarnos para poder aumentar nuestras calificaciones de calidad global tomando en consideración a todos los asegurados. Si tomamos esta decisión estaremos muy equivocados! Aún peor estaríamos muy errados en lo que tal vez sea el segmento más importante en la base de nuestros clientes, aquéllos que tienen más edad y que tienen más estudios. Este segmento tiene una gran capacidad de inversión en productos de seguros; generalmente tienen un alto nivel de ganancias; tienen un ingreso disponible mayor; y

24 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -24- son asegurados y tienen una influencia que afecta la decisión de compra de otros. (Cfr. Figura 13) Es precisamente en este segmento (los de mayor edad, con mayor nivel educativo), que se observa un comportamiento inversamente proporcional, esto es que la evaluación de la calidad general disminuye en la medida que se califica mejor el servicio de los vendedores y viceversa. FIGURA 12 Calidad de servicio por tipo de estudios y edad

25 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -25- EDAD (estudios básicos) EDAD (estudios superiores) < CALIDAD DEL SERVICIO DE LOS AGENTES < CALIDAD DEL SERVICIO DE LOS AGENTES muy malo malo a bueno muy bueno muy malo más o menos a muy bueno FIGURA 13 Cuidado con una mala conclusión EDAD CALIDAD DEL SERVICIO DE LOS AGENTES muy malo malo regular a muy bueno

26 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -26- Este resultado nos conduce a pensar que otros factores están en juego en el grupo con educación superior de más edad (de hecho sugiere que el servicio del agente puede repercutir en el efecto). Una variable relevante encontrada en el estudio para este segmento, fue el consejo de planeación financiera. (Cfr. Figura 14) FIGURA 14 El Servicio financiero como predictor del Índice General de Calidad EDAD CALIDAD DEL SERVICIO FINANCIERO muy malo malo mas o menos bueno muy bueno En los grupos con educación superior de más edad, la calificación de calidad global aumenta en gran medida con el aumento en la evaluación de los servicios de planeación financiera, las variaciones fueron desde 1.0 (calidad financiera muy mala) a 2.99 (calidad de la planeación financiera muy buena). Parece que este grupo en particular está más interesado en aumentar el valor financiero de su cartera de seguros. El consejo financiero es crucial para poder lograr estas metas. El servicio de seguro general puede ser contraproducente: estas personas no desean ser molestadas con llamadas que les fastidien. Cuando habla con ellas necesita entender sus necesidades únicas y requiere estar bien preparado, probablemente con alguna información especializada de algún producto, para proporcionarles buen consejo en las áreas financieras.

27 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -27- VIII. Apéndices VIII.a. (APÉNDICE 1) EL ALGORITMO DE CHAID Este apéndice describe la división del algoritmo utilizado en CHAID. El algoritmo tiene tres etapas: fusión, división, y paro. Etapa 1: Fusión Para cada predicción, x1, x2,... xc, CHAID une categorías por medio de estos pasos: 1. Forma una tabulación cruzada de dos vías con una variable dependiente. 2. Por cada par de categorías que se pueden fusionar, computa estadísticas chi-cuadradas para probar la independencia entre el par de categorías y la variable dependiente (se utilizan todas las variables de las categorías dependientes). Si se selecciona el método común, se utiliza el procedimiento descrito en Probabilidades para las Variables Dependientes Comunes detallado más adelante. 3. Calcula el valor p por cada par perfecto de chi-cuadrada. 4. Para cualquier variables conjunta que contenga tres ó más categorías, prueba si la que es predictiva se debe separar utilizando el nivel de importancia de las estadísticas chicuadrada. Si ésta es relevante, divide la categoría de las otras. 5. Une cualquier categoría que tenga pocas observaciones. 6. Computa el valor ajustado Bonferroni para fusionar las categorías. Etapa 2: División Para las predicciones con valores p ajustados importantes estadísticamente hablando, divide el grupo en la predicción que tenga el valor p más bajo. Cada una de las categorías fusionadas de la predicción se convierte en un nuevo subgrupo del grupo principal. Si ninguna predicción tiene un valor p importante, no divide el grupo. Etapa 3: Paro Regresa al paso 1 para analizar el siguiente subgrupo que contenga por lo menos tantas observaciones como especificaciones del tamaño mínimo del subgrupo (antes de dividirlo). Se detiene cuando haya analizado todos los subgrupos ó cuando contengan demasiados casos.

28 La Técnica del Análisis CHAID Fundamentos Brain Research s.a. Abraham Nadelsticher -28- VIII.b. (APÉNDICE 2) VALORES DE LA PROBABILIDAD El valor de probabilidad (valor p o P-Value) utilizado en el CHAID es la probabilidad que se observa entre la relación entre la predicción (VI) y la variable dependiente (Criterio) que se presentará si la predicción y la variable dependiente fueran independientes estadísticamente. Se juzgan la relación que es estadísticamente importante si el valor p es menor ó igual al nivel de importancia técnico del parámetro (Probabilidad de alpha)(p). La mejor predicción es aquélla que tiene el valor p menor ó igual a alfa. El cálculo del valor p depende si el método es nominal ó común (intervalo o razón) al hacer el análisis. Si selecciona el método común, el valor p se basa en una prueba especial de no dependencia llamada Asociación Y. Para cualquier predicción, CHAID computa un valor p sin ajustar y un valor p ajustado Bonferroni, esto lo hace antes de que se unan las categorías de la predicción. Generalmente, CHAID utiliza los mismos de aquéllos dos valores para determinar la mejor predicción. El valor no ajustado p (etiquetado también como prob) aparece, normalmente, en la parte inferior de las tablas antes de que se unan. El valor p ajustado (etiquetado como adj. prob aparece, por lo general) Las Probabilidades para las Variables Dependientes Nominales Dándose una tabla de dos vías para observar la cuenta o sumatoria de celdas f ij, donde A delimita la hilera (Predicción) de la categorías I y donde B delimita la columna (dependiente) de la categorías J. CHAID considera cada cuenta de cada celda en una tabla de dos vías en que surgió del modelo saturado lineal siguiente. H 1 F : ln Z ij ij Ecuación B.1 A i B j ij donde Fij es la cuenta esperada de celdas (i,j) bajo un modelo hipotético; Zij es igual a 1/Wij, donde Wij es el peso de muestreo promedio; y lambda y sus términos son los parámetros de los modelos que están sujetos a las condiciones de identificación comunes. AB Ecuación B.2 i A i j B j 0