TESTS DE BONDAD DE AJUSTE: CRITERIOS DE DECISIÓN EN BASE AL P-VALOR Y SU APLICACIÓN A LAS MEDICIONES DE AUDIENCIA.

Transcripción

1 TESTS DE BONDAD DE AJUSTE: CRITERIOS DE DECISIÓN EN BASE AL P-VALOR Y SU APLICACIÓN A LAS MEDICIONES DE AUDIENCIA. Claudia Castro-Kuriss 1,2 1 Cámara de Control de Medición de Audiencia, CCMA. ckcastro@ccma.org.ar 2 Departamento de Matemáticas, Instituto Tecnológico de Buenos Aires, Buenos Aires, Argentina. ccastro@itba.edu.ar ; ccastrok@gmail.com RESUMEN El conocido test de bondad del ajuste de Pearson se denomina test chi-cuadrado por la distribución del estadístico en el cual se basa. Este trabajo consiste específicamente en establecer criterios en base al p-valor que se obtiene al aplicar el test, que permitan concluir que una muestra panel se encuentra adecuadamente balanceada respecto de una variable de estudio con distribución binomial o multinomial. En el ámbito de las mediciones de audiencia se desea controlar la representatividad del panel respecto a variables tales como, por ejemplo, Nivel socio-económico, Tenencia de Cable y Zona Geográfica del panelista. Los criterios de aceptación buscan controlar la probabilidad de error de tipo II que se podría cometer, es decir, la probabilidad de no rechazar Ho siendo falsa, teniendo un nivel de significación y un tamaño de muestra fijo. Para ello, se debe tener en cuenta la distribución del estadístico bajo la hipótesis alternativa que es chi-cuadrado no central. El parámetro de no centralidad depende del tamaño muestral, de los estimadores de los parámetros de la variable en estudio y de los supuestos bajo Ho. En este trabajo se obtienen, en primer lugar, los gráficos de la probabilidad de cometer error de tipo II en función de los parámetros de no centralidad fijando diferentes niveles de significación. Para variables binomiales, mediante simulaciones de valores de un parámetro en la hipótesis nula, se hallan los parámetros de no centralidad y los errores de tipo II asociados para niveles de significación fijos. En el caso de una variable con más de dos categorías se utilizaron datos reales de medición de audiencia durante dos años para encontrar los parámetros de no centralidad y los errores de tipo II. Como conclusión de este trabajo, se sugieren criterios en base al p-valor para considerar al panel equilibrado. PALABRAS CLAVE: test de Pearson, p-valor, parámetro de no centralidad. 1

2 1. INTRODUCCIÓN XLI COLOQUIO ARGENTINO DE ESTADÍSTICA Un test de hipótesis es una regla de decisión basada en una función de los datos recogidos en una muestra aleatoria (estadístico). La decisión debe realizarse entre dos hipótesis opuestas: la hipótesis nula (Ho) y la alternativa (H1). Debido a la variabilidad muestral, la decisión tomada al aplicar un test puede ser errónea cometiéndose dos tipos de errores (I y II). Lo ideal sería seleccionar un test para el cual ambas probabilidades de cometer un error fuesen bajas. Al construir un test, se considera más grave un error tipo I y se fija un criterio que asegure que la probabilidad de cometer este tipo de error sea baja, usualmente menor que 0.05 o 0.01 (a este valor se lo denomina nivel de significación del test). En base a la información muestral se calcula la probabilidad de rechazar la hipótesis nula suponiendo que sea cierta, denominada p-valor. Si la hipótesis nula no se rechaza, podría ser muy alta la probabilidad de no rechazar Ho siendo falsa (probabilidad de cometer error de tipo II o ). La única manera de disminuir, una vez fijado el nivel, es aumentando el tamaño de la muestra, cosa que no siempre es posible. La forma de determinar el p-valor para cada test depende de la distribución de su estadístico y de las hipótesis Ho y H1. Más precisamente, luego de obtener el estadístico observado y contrastarlo con los cuantiles de su distribución bajo la hipótesis nula, se obtiene el p-valor que indica la fuerza de la decisión. En la mayoría de los trabajos de aplicación estadística se trata de rechazar la hipótesis nula ya que el objetivo suele ser, por ejemplo, el de establecer si un nuevo tratamiento es mejor que el que se emplea en forma habitual o comparar distintos tratamientos para establecer cual es más eficaz. En estos casos es habitual emplear el criterio de contrastar el p-valor obtenido con un nivel de significación igual a 0.05, de esta forma se está controlando el error de Tipo I. Los tests de bondad de ajuste están diseñados para determinar cuan bien ajusta un conjunto de datos a una distribución elegida indicada en la hipótesis nula. El problema entonces es determinar qué tan bueno es este ajuste para poder afirmar que la distribución subyacente es la hipotetizada. Algo similar ocurre cuando se desea establecer si una muestra proviene de determinada población o que una variable de la misma se ajusta a las proporciones poblacionales. En este tipo de problemas se suele emplear el popular test de bondad de ajuste de Karl Pearson (1900) o test chi cuadrado. Cuando se habla de mediciones de audiencia, se tiene una muestra que consiste en un panel y por lo tanto su tamaño está fijo en el tiempo (salvo fluctuaciones naturales) y se desea contar con un criterio que permita establecer cuan bien balanceado se encuentra con respecto a variables que inciden en forma directa en el 2

3 visionado de los integrantes de un hogar, como por ejemplo, el número de televisores o el nivel socio-económico, o se desea controlar su representatividad específicamente ( tal es el caso de la variable zona geográfica) Los parámetros poblacionales se obtienen a partir de estimaciones oficiales o a partir de encuestas propias. Si el p-valor del test resulta menor que el nivel seleccionado, Ho se rechaza, es decir se concluye que el panel no está balanceado respecto a esa variable. Como el objetivo es controlar si la muestra tiene las mismas proporciones que la población total, se trata entonces de poder controlar el error tipo II para que su probabilidad resulte baja y la forma de hacerlo, teniendo un tamaño de muestra fijo, es aumentando el nivel de significación. Es claro que un valor de 0.05 no servirá como parámetro de comparación pues seguramente la probabilidad de tener un error de tipo II resultará elevada. Si bien elevar el nivel llevará a que Ho se rechace más fácilmente, Ho no será rechazada solamente cuando las proporciones de la muestra estén muy cerca de las poblacionales (Gingrich, 1993). El test de bondad de ajuste aplicado para controlar el balance del panel es el test de Pearson, la distribución exacta y asintótica del estadístico de este test, bajo Ho, están estudiadas. En el caso de estudio el interés radica, debido al tamaño de la muestra panel que es grande, en la distribución asintótica del estadístico que es chi cuadrado central con m-1 grados de libertad, siendo m el número de categorías de la variable en estudio. La hipótesis nula plantea que la distribución de la muestra sigue un modelo multinomial (o binomial si m=2) con parámetros conocidos. Por lo tanto, se trata de buscar un test de bondad de ajuste a una distribución multinomial. Las hipótesis a plantear son, Ho:,,.., y H1: existe por lo menos un i,, tal que p i p i0 (1) Siendo p i0,, las proporciones poblacionales. El estadístico que propuso K. Pearson para resolver este problema es el siguiente, siendo n el tamaño de la muestra y m el número de categorías establecidas en Ho, (2) El estadístico trata de establecer las diferencias entre las proporciones estimadas y las que se consideran verdaderas bajo Ho. Como estimadores de los parámetros se consideran los de máxima verosimilitud dados por la siguiente expresión para cada :,donde 3

4 indica la cantidad observada en la i-esima celda. El p-valor representa la probabilidad bajo Ho que una distribución chi-cuadrado con m-1 grados de libertad tome valores mayores o iguales que el estadístico observado en la muestra. Para poder establecer un criterio para determinar cuán bien ajusta el panel a la población según las distintas variables de estudio, se consideraron dos casos: cuando la variable bajo estudio tiene cinco categorías (tal es el caso de la Zona Geográfica) y cuando tiene dos categorías como Posesión de Cable. La distribución del estadístico (2) bajo H1 es asintóticamente chi cuadrado no central con parámetro de no centralidad y m-1 grados de libertad. Cuando se aplica el test, es necesario conocer o estimar los valores posibles de este parámetro de no centralidad para poder estimar la probabilidad de cometer error de tipo II. De acuerdo a Cohen (1988) y Agresti (1990), el parámetro de no centralidad (1). se puede escribir de la siguiente forma en el caso analizado en (3) donde representa la proporción en la categoría i según la hipótesis alternativa y las proporciones conocidas establecidas en Ho. Resulta claro que y si y solo si, para todo i, es decir, bajo Ho. El objetivo del presente trabajo es el de tratar de establecer un criterio para afirmar que una muestra está balanceada habiendo obtenido el p-valor asociado al test de Pearson, fijando un nivel de significación de modo tal que pueda controlarse el error de tipo II. En los trabajos de bondad de ajuste no se refieren los criterios utilizados en el caso del no rechazo de Ho, por lo que este trabajo desea aportar un criterio también para situaciones más generales que las aquí planteadas. 2. METODOLOGÍA El valor del parámetro de no centralidad (3) depende de la muestra obtenida y será más pequeño o cercano al cero cuanto más cerca estén las proporciones muestrales de la variable en estudio de las poblacionales. Por supuesto cuanto más cerca esté el parámetro de no centralidad de cero, más alta es la probabilidad de no rechazar Ho siendo falsa y cuanto más alejado esta probabilidad es casi nula. Se procedió a simular distintos valores para este parámetro y se calculó para cada uno el valor, es decir, se trazó lo que se conoce como curva de operación característica (OC). A partir de los gráficos obtenidos puede observarse que cuando la variable tiene más categorías, las curvas decrecen a cero más lentamente, 4

5 prácticamente luego de 10 ambas curvas están muy cerca de cero disminuye a medida que aumenta). Tanto para m=2 como para m=5, para valores de inferiores o iguales a 0.2, sería necesario tener parámetros de no centralidad mayores a 5, es decir, alejados del cero. Para obtener un inferior a 0.2 y parámetros de no centralidad a lo sumo 5 se necesitaría un por lo menos de 0.4 en el primer caso, mientras que para el segundo para obtener inferior a 0.2 y parámetros de no centralidad por debajo de 3 se necesitaría un alfa por lo menos de 0.4. Para cada valor supuesto del parámetro de no centralidad desde 0 hasta 30, se obtuvo la probabilidad de obtener error de tipo II para distintos valores de nivel de significación: 0.05, 0.1, 0.2, 0.3, 0.4 y 0.5 para 1 y 4 grados de libertad (g.l.) (Simulación 1). Se estudió cuáles serían los posibles valores de los parámetros de no centralidad cuando se consideran distintos valores en la alternativa para 1 g.l. Para ello, se simularon valores de desde 0 a 0.9 con paso 0.02, y a partir de estos a su vez se generaron sucesiones de tamaño 1000 de para los niveles de significación 0.1, 0.3 y 0.4 y un tamaño de muestra fijo en 170 que corresponde al tamaño muestral del panel en el nivel alto. De esta forma se obtuvo para cada como alternativa el correspondiente valor del parámetro de no centralidad con el asociado y su p-valor. Se pudo establecer que valores de entre 0.7 y 1.1 corresponden a p- valores entre 0.29 y 0.39 cuyas probabilidades de error tipo II son muy elevadas: para un nivel 0.1 resultan superiores a 0.68 y para un nivel 0.3 mayores que 0.43, descendiendo a una cota inferior de 0.34 para un nivel de 0.4. Considerando p-valores por debajo de 0.29, los valores simulados del parámetro se encuentran alejados del verdadero valor, con un error relativo superior al 24,4% en el caso de 0.1, 12.4% para 0.3, decreciendo hasta 2.7% cuando 0.9. Cuando se consideran p-valores mayores que 0.39, los errores de tipo II aumentan pues los valores observados simulados se acercan cada vez más al valor verdadero y por ende los errores relativos disminuyen progresivamente. Para el caso de una distribución con varias categorías es más difícil obtener su simulación ya que las discrepancias con valores en Ho se pueden deber a diferencias en distintas celdas lo que da como resultado muchas posibilidades. Por lo tanto se emplearon los datos de audiencia reales correspondientes a la variable Zona Geográfica para los años 2011 y 2012, cruzada a su vez con la variable Nivel Socio-económico (CCMA 2006), es decir, cruzada en tres niveles: alto, medio y bajo. Para cada mes del año, se calcularon los p-valores correspondientes a los valores observados de los estadísticos en cada nivel y el valor del parámetro de no centralidad. Los valores obtenidos del parámetro se ubican entre 5.1 y 6.2 cuando el p-valor se encuentra entre 0.29 y 0.39 y 5

6 entre 5 y 9 cuando el p-valor se encuentra entre 0.19 y 0.29 y, desde luego, para p-valores menores los parámetros de no centralidad resultan muy alejados de 0. Con los valores de consultaron las tablas obtenidas en la Simulación 1 con 4 g.l. para determinar los se asociados con cada uno según los niveles de significación fijados. Como en el caso anterior de dos categorías, se observa que los elevados comparados con los niveles 0.3 y 0.4. Para correspondientes a un nivel de significación 0.1 son muy entre 5 y 6.2, los errores de tipo II con nivel 0.3 toman como máximo un valor 0.23 y 0.17 para un nivel 0.4. Valores de superiores a 6 se consideran provenientes de valores observados muy alejados de los valores establecidos en la hipótesis nula. 3. RESULTADOS Tratar de encontrar un criterio basado en p-valores, es equivalente a tratar de establecer niveles de significación adecuados para estudiar el problema del balanceo del panel, de esta forma valores de no resultan adecuados para los tamaños de muestra considerados ya que las probabilidades de tipo II asociados resultarían muy elevados, en particular para grados de libertad entre 1 y 4, como se utilizan en las variables de interés en las mediciones de audiencia. Para las hipótesis estudiadas, los valores más adecuados de niveles de significación serían 0.3 o 0.4. Como conclusión general, se sugiere emplear como criterio un p-valor de comparación de por lo menos 0.4, considerando entonces al panel razonablemente balanceado cuando el p-valor obtenido es mayor o igual a dicho valor. Si resulta menor que 0.4 no se lo considerará balanceado y será necesario ajustarlo. En el caso de una variable con 5 categorías, se lo puede considerar relativamente balanceado si el p-valor está entre 0.3 y REFERENCIAS (Principales) - AGRESTI A. (1990) Categorical Data Analysis. Wiley, New York. - CÁMARA DE CONTROL DE MEDICIÓN DE AUDIENCIA, CCMA (2006). Nueva Clasificación Del Nivel Socio-Económico Argentino Buenos Aires. - COHEN J. (1988). Statistical Power Analysis for the Behavioral Sciences (Second Edition). Lawrence Elrbaum Assoc. Inc. Publishers, New Jersey. - CONOVER W. J. (1999) Practical Nonparametric Statistics. John Wiley, New York. - GINGRICH P. (unplubhished) Chi-Squared Tests, Chapter 10. University of Regina, Department of Sociology and Social Studies. - HUBER-CAROL C., BALAKHIRSHAN N., NIKULIN M. and MESBHA M. (2002) Goodness-of-fit tests and Model Validity. Birkhauser, Boston. AGRADECIMIENTOS La autora del trabajo desea agradecer a la empresa IBOPE Arg. S.A. por facilitarle los datos que permitieron realizar esta investigación. 6