PREDICIENDO EL PBI: QUÉ APORTAN LOS MÉTODOS CUANTITATIVOS? Versión Preliminar. Julio de 2002

Transcripción

1 PREDICIENDO EL PBI: QUÉ APORTAN LOS MÉTODOS CUANTITATIVOS? Versión Preliminar Julio de 2002 Elena Cuadrado Fernando Lorenzo Virginia Queijo Abstract En este trabajo se analizan las potencialidades y debilidades que presenta la predicción del PBI trimestral de la economía uruguaya mediante el uso de métodos cuantitativos. Los distintos procedimientos se distinguen de acuerdo al conjunto de información que utilizan. Se tuvieron en cuenta varios tipos de modelos lineales de series temporales: i) univariantes, ii) vectores autorregresivos (VAR), y iii) modelos econométricos de forma reducida. Cuando se considera conjuntamente la precisión de las predicciones a distintos horizontes temporales, se observa que ninguno de los esquemas de modelización considerados muestra un predominio claro sobre los otros (en la métrica del error cuadrático medio). No obstante, un modelo multivariante VAR con componentes del PBI parece ser el que genera predicciones más precisas en el período analizado ( ). La implementación de contrastes de encompassing y de combinación de predicciones generadas por los diferentes procedimientos, indica que una combinación lineal de las predicciones realizadas por el modelo VAR con componentes del PBI con las provenientes de un modelo univariante naive permite mejorar la precisión de las predicciones. El estudio revela que la predicción del PBI trimestral de la economía uruguaya presenta elevados niveles de incertidumbre. Los resultados obtenidos muestran que los modelos cuantitativos aplicados en el caso uruguayo cometen errores de predicción más grandes que los utilizados en otros países. Previsiblemente, este hecho se encuentra relacionado con el tamaño y el grado de apertura de la economía considerada. Instituto de Economía, Facultad de Ciencias Económicas y Administración, Universidad de la República, Uruguay. elena75@adinet.com.uy Centro de Investigaciones Económicas (CINVE), Uruguay. cinve@cinve.org.uy Department of Economics and Institute for Latin American Studies, Stockholm University, Suecia. que@ne.su.se 1

2 1. INTRODUCCIÓN El objetivo de este trabajo es realizar un ejercicio de predicción del Producto Bruto Interno (PBI) trimestral de la economía uruguaya mediante el uso de métodos cuantitativos para el período El propósito de dicho ejercicio no es sólo establecer cuál método presenta mejores resultados, sino también observar cuales son los problemas que se presentan en la utilización regular de cada método, de modo de extraer conclusiones sobre las ventajas e inconvenientes que se derivan de su aplicación al caso concreto de la economía uruguaya. El seguimiento de la evolución del PBI de una economía es de vital importancia, ya que el mismo es un indicador sintético del bienestar general y representa la medición de la actividad productiva de un país a nivel agregado más ampliamente difundida. Por tanto, existe de parte de múltiples agentes económicos una preocupación fundada por conocer por adelantado el comportamiento de este indicador. En el caso de Uruguay, si bien existen algunos trabajos que aplican métodos cuantitativos para contrastar relaciones económicas de interés referidas a la determinación del PBI, no ha sido objeto de atención el desempeño predictivo de los modelos. Este trabajo se propone avanzar en esta línea de investigación, estudiando las ventajas e inconvenientes que enfrentan los analistas de coyuntura al utilizar predicciones sobre el nivel de actividad generadas a partir de modelos cuantitativos. El uso de métodos cuantitativos para la elaboración de pronósticos económicos tiene más de 70 años. La razón que motiva el desarrollo permanente de los procedimientos de predicción radica en que cada vez resulta más importante para los agentes económicos disponer de estimaciones, lo más precisas posibles, sobre la evolución previsible de un amplio conjunto de indicadores económicos con el objetivo de contribuir a la toma de decisiones. 2

3 Esta motivación ha originado el desarrollo de distintos procedimientos estadísticos y econométricos, cada uno de los cuales presenta determinadas características, ventajas y desventajas. Este trabajo pretende hacer una presentación sintética y empírica de los métodos y procedimientos de predicción más usados en la actualidad. Cabe advertir, sin embargo, que la presentación no pretende ser exhaustiva, no abarcando modelos macroeconométricos estructurales ni métodos de predicción basados en la utilización de modelos no lineales. En cuanto al problema estricto de predicción, el uso de distintos modelos, así como la incorporación de más o menos variables externas a la estructura del PBI derivan en resultados dispares. Sin embargo, determinados métodos muestran ventajas sobre otros. Asimismo, importa resaltar que como las predicciones están sujetas a incertidumbre, un buen ejercicio de predicción debe tener en cuenta los posibles errores que pueden contener las predicciones. Esto lleva a que las predicciones puntuales deban ir acompañadas por información que permita determinar el intervalo de confianza de las estimaciones realizadas. Por último, cabe resaltar que la predicción del PBI no puede entenderse como un problema meramente estadístico, centrado exclusivamente en la utilización de métodos que brinden predicciones lo más precisas posibles. La labor de predicción de esta variable debe aportar una mejor comprensión sobre el funcionamiento de la dinámica económica. Por lo tanto, explorar la capacidad de predicción de un modelo o procedimiento requiere establecer un balance entre la precisión de las predicciones y la racionalidad económica subyacente. Esto resulta fundamental a la hora de elaborar el diagnóstico. El trabajo se organiza de la siguiente manera. En el punto siguiente se presentan las principales características de los distintos métodos de predicción considerados. En la tercera sección se analizan diferentes criterios para evaluar el desempeño predictivo de los modelos, destacándose aquellos que aportan información sobre la constancia de los parámetros y los que permiten evaluar la precisión y contenido 3

4 informativo de las predicciones. Luego se presentan los principales resultados, y por último, se realizan algunas consideraciones finales. 2. ASPECTOS METODOLOGICOS A los efectos de este trabajo se optó por concentrar el esfuerzo en esquemas cuantitativos para la predicción, ya que se considera que en la economía uruguaya existe campo para mejorar la precisión de las predicciones utilizando modelos cuantitativos. Asimismo, el estudio de los métodos de predicción desde un punto de vista meramente formal, tiene la ventaja adicional de ser más fácil de comunicar y aprender, ya que a diferencia de los métodos más intuitivos, estas técnicas proporcionan una forma científica de contrastar las hipótesis con la evidencia empírica y por ende, un procedimiento sistemático para avanzar en el conocimiento de la realidad económica subyacente (Currie, 1994). Los métodos cuantitativos para la realización de predicciones pueden distinguirse según el conjunto de información que utilizan. A lo largo de este trabajo se estudiarán principalmente varios tipos de modelos lineales de series temporales: i) univariantes, ii) vectores autorregresivos (VAR), y iii) modelos econométricos de forma reducida Modelos univariantes de series temporales Entre los métodos considerados, los modelos univariantes de series temporales son los que incorporan menor cantidad de información, ya que sólo usan la información contenida en los retardos de la propia variable modelizada. La construcción de estos modelos se realiza a partir del análisis de las propiedades estadísticas de los datos, simplificando las relaciones de dependencia temporal de los mismos, y sin incorporar ningún tipo de relación con otras variables. 4

5 5 El objetivo de los modelos univariantes no es lograr una representación apropiada del funcionamiento de la economía, sino construir modelos simples que capturen las propiedades de dependencia temporal de los datos, con el objetivo de proveer bases adecuadas para los pronósticos. La ventaja de estos modelos es que proveen de un enfoque simple y robusto al problema de las predicciones, además de eliminar la posibilidad de realizar pronósticos utilizando relaciones espurias entre variables. La desventaja que presentan es que los mismos pueden ver deteriorada su capacidad predictiva al no incorporar otra información disponible y relevante para pronosticar la variable de interés (Hall, 1994). En este trabajo se analizaron tres modelizaciones univariantes lineales dependiendo de la aleatoriedad de los componentes básicos, tendencia y estacionalidad: ARIMA A Crecimiento tendencial estable (determinista) y estacionalidad estocástica ARIMA B Crecimiento tendencial estocástico y estacionalidad estocástica ARIMA C Crecimiento tendencial estable (determinista) y estacionalidad determinista t P p Q q i it i t a L L L L D y ) ( ) ( ) ( ) ( φ φ θ θ α µ + + = = t P p Q q t a L L L L y ) ( ) ( ) ( ) ( φ φ θ θ + = t P p Q q t a L L L L y ) ( ) ( ) ( ) ( φ φ θ θ µ + =

6 donde y t es el logaritmo del PBI, los polinomios en el operador de retardo L son de la forma κ r (L) = 1 - κ 1 L κ r L r, o κ r (L 4 ) = 1 - κ 1 L κ r L 4r. Estos polinomios tienen todas sus raíces estrictamente fuera del círculo unitario. El proceso estocástico a t es un ruido blanco con varianza finita y constante σ 2 a que representa la secuencia de innovaciones que afectan a la serie de interés. D it son variables dummies estacionales que toman valor 1 cuando la observación t pertenece al trimestre i, -1 en el cuarto trimestre y 0 en los otros casos. Asimismo, se incluyeron variables de intervención para modelizar los efectos sobre el nivel de la serie de todos los eventos extraordinarios. Este tipo de modelos puede estimarse de manera eficiente a partir de métodos de máxima verosimilitud (Box y Jenkins, 1976). La aplicación de la metodología Box- Jenkins permite especificar modelos ARIMA de manera simple Observaciones atípicas y su tratamiento estadístico Una característica de las series de tiempo es que en general están contaminadas por observaciones atípicas (outliers), consecuencia de eventos inusuales y no repetitivos. En ese caso, la precisión de las predicciones se ve afectada por dos vías: i) el efecto del outlier sobre los pronósticos puntuales, y ii) porque introduce un sesgo en la estimación de los parámetros del modelo (Chen y Liu, 1993). Los cuatro tipos fundamentales de observaciones atípicas considerados en la literatura de series de tiempo son: atípico aditivo (additive outlier, AO), atípico innovativo (innovative outlier, IO), cambio de nivel (level shift, LS), y cambio transitorio (transitory change, TC) Una vez que se ha identificado la localización y tipo de atípico, se corrigen los mismos mediante el análisis de intervención propuesto originalmente por Box y Tiao (1975). Este tipo de análisis no es más que una generalización del análisis con variables cualitativas donde, finalmente, las variables de intervención se reducen a 6

7 dos tipos: i) impulsos para modelizar efectos transitorios de corto plazo, y ii) escalones para modelizar efectos permanentes de largo plazo Modelo multivariante: VAR con componentes sectoriales del PBI En este trabajo se consideró un desglose sectorial del IVF del PBI global a efectos de construir un conjunto de modelos econométricos multivariantes de tipo VAR. Estos modelos fueron utilizados para generar predicciones de los distintos IVF sectoriales. La agregación de estos índices permitió construir predicciones del IVF del PBI a partir de las predicciones de sus componentes sectoriales. Este tipo de representación permite analizar los vínculos entre los comportamientos de cada uno de los sectores, donde puede existir un sector cuyo comportamiento incide sobre otros o donde pueden observarse causalidades bidireccionales que los modelos univariantes son incapaces de capturar. En concreto, se especificaron dos modelos VAR con componentes sectoriales del PBI, con 4 y 5 retardos cada uno: VAR A Crecimiento tendencial estable y estacionalidad estocástica 4 X t = µ + Λ(L) 4 X t-1 + ε t VAR B Crecimiento tendencial estable y estacionalidad determinista X t = µ + Λ(L) X t-1 + Σ 3 ; i=1 α i D it + ε t donde las variables (endógenas) incluidas en el vector X t son el logaritmo de distintos componentes sectoriales del PBI, µ es un vector de constantes, D it son variables dummies estacionales, ε t IN(0, Ω), y Λ(L)X t-1 = Λ 1 X t Λ p X t-p siendo Λ i 7

8 matrices de n x n parámetros. Todas las raíces de I n - Λ 1 L Λ p L p = 0 se encuentran estrictamente fuera del círculo unitario. Por último, cabe mencionar que estos modelos también pueden incluir variables dummies para corregir atípicos Modelo multivariante: VAR econométrico En este trabajo se denomina VAR econométrico a un modelo multivariante donde en el vector de variables endógenas se incluyen variables explicativas externas al PBI y no los componentes sectoriales del mismo. Las variables consideradas fueron los logaritmos de: PBI de Uruguay, PBI de Argentina, PBI de Brasil, inflación en dólares en Uruguay, inflación en dólares en Argentina, inflación en dólares en Brasil, relación de términos de intercambio (RTI) 1, tasa de interés internacional 2. Asimismo, se incluyó en el modelo un conjunto de variables dummies para modelizar la estacionalidad, así como un cierto número de variables cualitativas que capturan los efectos de acontecimientos extraordinarios que afectaron a las distintas variables en el período analizado. La ventaja de introducir otras variables externas al PBI respecto a los modelos VAR con componentes sectoriales, es que incorpora información disponible y relevante para pronosticar la actividad económica. Las variables incorporadas son en general variables que la teoría económica interpreta actúan sobre el PBI, y por lo tanto podrían mejorar las predicciones. Sin embargo, la introducción de estas variables podría presentar la desventaja de generar relaciones espurias y así, perjudicar el desempeño predictivo de estos modelos. 1 La RTI fue calculada como el cociente entre índices de precios de exportación y los precios de importación, ambos en términos de dólares. 8

9 Asimismo, la modelización mediante vectores autorregresivos elimina el problema de la precedencia temporal de las variables explicativas, permitiendo analizar la existencia de interacciones dinámicas entre los datos. En este sentido, los modelos VAR sin restricciones no necesitan que las variables incluidas en el vector autorregresivo sean fuertemente exógenas para que el modelo sea válido con fines predictivos Modelos econométricos de forma reducida Los modelos econométricos hacen uso de la teoría económica incorporando, al igual que en el caso anterior, información adicional a la que define la estructura sectorial del PBI. Por otra parte, los sistemas econométricos cumplen otras funciones a parte de ser útiles para predecir. Por ejemplo, los mismos consolidan el conocimiento empírico y teórico de cómo funcionan las economías, proveen un marco para una estrategia de investigación futura y ayudan a explicar otras fallas. Asimismo, al igual que los modelos de series de tiempo, se basan en modelos estadísticos y por lo tanto permiten la derivación de medidas de incertidumbre de los pronósticos y los tests asociados a la inadecuación de los mismos (Clements y Hendry, 1998). Los modelos econométricos pueden especificarse como modelos macroeconómicos generales o solamente bloques parciales. Los primeros son muy costosos, ya que requieren de una gran cantidad de recursos técnicos y humanos para su uso. A los efectos de este trabajo, solamente se considerarán modelos econométricos uniecuacionales para la predicción del PBI. 2 Se consideró el logartimo de (1+ tasa de interés de los depósitos a 90 días en dólares). 9

10 a) Modelo lineal general uniecuacional Para exponer la formulación econométrica del modelo lineal general uniecuacional se consideran k variables x k exógenas que tienen información relevante sobre la evolución de la variable de interés y t (a efectos de este trabajo el logaritmo del PBI uruguayo). Asimismo, se supone que tanto y t como las k variables exógenas son procesos I(1), y que no existe una relación de cointegración entre ellas. Bajo estas condiciones, el modelo lineal general puede expresarse en su formulación de retardos racionales distribuidos como: ωn, 1( L) ωnk, ( L) y x L L x θq( L) t = t, t, k+ L a t δm, 1( ) δmk, ( ) φp( ) donde el cociente de polinomios en el operador de retardo aplicado sobre x t,i aproxima el efecto dinámico de la variable x i sobre y t, mientras que el segundo término representa una estructura ARMA (p,q) que resume la estructura de dependencia temporal a través de la que las perturbaciones se transmiten a la serie y t. Las raíces del polinomio δ m,i (L) se encuentran todas estrictamente fuera del círculo unitario, de tal modo que el cociente polinomial puede ser de orden infinito, siendo la suma de sus coeficientes finita. Se observa que en este tipo de modelización la parte predecible de la variable de interés está formada por dos componentes: i) la contribución de las variables exógenas y ii) la parte predecible del elemento residual. Las variables exógenas incluidas en la especificación de los modelos econométricos fueron 3 : 3 Otras variables como el tipo de cambio real bilateral con Argentina, la relación de términos de intercambio y la tasa de interés internacional fueron dejadas de lado, ya que su inclusión en el modelo no resultó estadísticamente significativa. 10

11 Modelo A PBI de Argentina PBI de Brasil Modelo B PBI de Argentina PBI de Brasil Tipo de cambio real bilateral con Brasil (TCR con Brasil) 4 En los modelos estimados se incluyó una constante, variables dummies estacionales, además de algunas variables cualitativas que captan los efectos de algunos acontecimientos extraordinarios ocurridos durante el período muestral considerado. b) Exogeneidad de las variables explicativas La validez de la utilización de los modelos de función de transferencia con fines predictivos requiere que se verifiquen las condiciones de exogeneidad fuerte: i) que la variable de interés no cause en el sentido de Granger a las variables exógenas x t,i, y ii) que estas últimas sean además débilmente exógenas. La exogeneidad débil es una condición necesaria para la validez de la inferencia acerca de los parámetros del modelo uniecuacional 5, mientras que la condición de exogeneidad fuerte implica que no existe retroalimentación desde y t hacia x t. Más formalmente, y t no causa en el sentido de Granger a x t si para todo s > 0 el error cuadrático medio (MSE, Mean Square Error) del pronóstico de x t+s basado en (x t, x t-1, ) es el mismo que el MSE del pronóstico de x t+s que usa ambos, (x t, x t+1, ) y (y t, y t-1, ). 4 5 Los TCR bilaterales con Argentina y Brasil fueron calculados como la relación entre la inflación en dólares en dichos países, respecto a la inflación en dólares en Uruguay. El análisis de la hipótesis de exogeneidad débil se puede realizar a partir de la metodología de contraste de Hausman (1978) y Engle (1982). 11

12 3. CRITERIOS PARA EVALUAR EL DESEMPEÑO DE LOS MODELOS La constancia paramétrica y la evaluación de las predicciones basadas en el error cuadrático medio son criterios frecuentemente usados para evaluar el desempeño de los modelos. La verificación de ambos criterios es necesaria, pero no suficiente, para seleccionar el modelo que predice mejor, dados los datos disponibles. El contenido informativo de las distintas predicciones también debe ser tomado en cuenta Constancia paramétrica Un problema que enfrentan los modelos de predicción es que el proceso generador de los datos (PGD) pocas veces es estable, lo que lleva a períodos de grandes errores en las predicciones cuando se asiste a un cambio estructural. Cuando esto ocurre, modelos que antes eran exitosos fallan en predecir las nuevas realizaciones de los datos (Clements y Hendry, 1997). La constancia paramétrica es esencial al diseño del modelo, tanto desde el punto de vista estadístico como económico. Para que la inferencia sea válida los parámetros deben ser estadísticamente estables. La práctica econométrica debe dirigirse a identificar modelos que muestren una estructura paramétrica razonablemente constante y que sigan siendo útiles cuando se producen cambios. La teoría de la predicción ofrece un conjunto de instrumentos válidos para realizar la inferencia cuando el modelo estimado coincide con el PGD. En este caso, los pronósticos estimados como la esperanza condicional de la información pasada son óptimos en el sentido de que son insesgados y eficientes. Sin embargo, en un mundo cambiante y no estacionario, donde el modelo difiere del PGD, la teoría de predicción enfrenta otros problemas. 12

13 En este sentido la constancia paramétrica es una propiedad estadística deseable de los modelos y se encuentra íntimamente relacionada con el comportamiento en predicción de los modelos. Ericsson (1994) demuestra que la constancia paramétrica no es una condición necesaria y suficiente para minimizar el error cuadrático medio de las predicciones entre un conjunto de modelos. Concretamente la proposición demostrada por este autor establece que si un modelo tiene empíricamente parámetros constantes, éste puede tener un error cuadrático medio tanto inferior como superior al de otros modelos alternativos, que adolecen de inestabilidad paramétrica. El autor demuestra, asimismo, que si un modelo tiene parámetros no constantes, éste puede presentar un error cuadrático medio de las predicciones tanto inferior como superior al de otro modelo con parámetros constantes. Concluye que ambos criterios son necesarios pero no suficientes para asegurar que un modelo sea adecuado para fines predictivos. Otros criterios, como el de forecast encompassing, también son importantes para determinar la adecuación del modelo. Formalmente, la constancia paramétrica de un modelo puede evaluarse a partir de procedimientos recursivos de estimación. A tales efectos, pueden utilizarse distintos estadísticos, siendo el CUSUM propuesto por Brown, Durbin y Evans (1975) uno de los más utilizados. El contraste CUSUM se basa en la suma acumulada de los residuos recursivos estandarizados: CUSUM ( T, n) = n 1 e j= 0 ( T + j ) + 1 s, n = 1,...,τ siendo e t los errores de predicción un paso adelante, s la desviación estándar de los residuos estandarizados calculados sobre toda la muestra, y τ el número de predicciones post-muestrales. La gráfica del CUSUM es útil para detectar inestabilidad paramétrica, ya que cuando este estadístico cruza las líneas predeterminadas dadas por ±(a τ + 2ah/ τ), donde a=0.948 para un nivel de significancia de 5%, puede rechazarse la hipótesis nula de 13

14 estabilidad de la estructura paramétrica subyacente. El CUSUM es particularmente útil para detectar situaciones en las que el modelo utilizado predice sistemáticamente por debajo o por encima de las futuras realizaciones. Otro contraste frecuentemente utilizado para evaluar la estabilidad del modelo en predicción puede realizarse a partir del estadístico ζτ ( ) = τ 1 e j= 0 2 ( T+ j) + 1 τs 2 donde s 2 es la varianza estimada de las innovaciones muestrales y τ es el número de predicciones puras un paso adelante (post-muestrales). Si el modelo está correctamente especificado y asumiendo normalidad de los errores de predicción, Box y Tiao (1976) demostraron que el estadístico ξ(τ) se distribuye F(τ, T-r) donde r es el número de observaciones usadas como condiciones iniciales para la estimación Evaluación de predicciones La evaluación del desempeño de los pronósticos es un insumo importante en el proceso de predicción, y en la medida en que proporciona información sobre la performance futura, es de gran interés para los usuarios (Wallis, 1989). Asimismo, es esencial informar de la medida de riesgo asociada a todo pronóstico puntual, así como brindar la historia de los últimos errores de predicción. Esto es importante porque permite al usuario conocer la incertidumbre futura, planear estrategias dentro del rango posible de los pronósticos y establecer escenarios basados en distintos supuestos sobre los acontecimientos futuros. Cabe resaltar que detrás de los errores de predicción pueden existir distintos problemas, como por ejemplo errores de especificación del modelo, errores en la estimación de los parámetros, inestabilidad paramétrica, perturbaciones atípicas, 14

15 errores en las proyecciones de las variables exógenas y errores de medición de las variables de interés. a) Medidas de precisión Los pronósticos macroeconómicos se expresan tradicionalmente como estimaciones puntuales. Las evaluaciones retrospectivas de los mismos asumen usualmente que la función de pérdida asociada a los errores de predicción aumenta con la magnitud aritmética del error. Como resultado, distintas medidas descriptivas son a menudo usadas para evaluar la performance de los pronósticos. Las más comunes son: i. Error medio (Mean error, ME) 1 τ τ e( T + i ), h i= 1 donde τ es el número de predicciones usadas en la comparación y h es el horizonte temporal de los errores. El error de predicción, e T+h,se define como la diferencia entre el valor efectivamente observado de la variable de interés, y T+h, y la predicción condicional realizada por el modelo correspondiente, ^y T+h, de modo que e T+h = y T+h ^y T+h. ii. Error absoluto medio (Mean absolute error, MAE) 1 τ τ e( T + i ), h i= 1 iii. Raíz cuadrada del error cuadrático medio (Root mean square error, RMSE) [ e( T + i ), h ] τ 1 2 τ i= 1 iv. Relación entre MAE y RMSE (x100) v. Rango de los errores absolutos (Max AE Min AE) 15

16 Una crítica que enfrentan las medidas basadas en el MSE se refiere a la falta de invarianza respecto a transformaciones de las variables para las cuales el modelo es invariante (Clements y Hendry, 1995). Este problema se refiere a que un modelo A puede mostrar un mejor desempeño que un modelo B en términos del MSE para predecir la variable y T+h, pero la situación puede ser inversa cuando ambos modelos predicen y T+h. Clements y Hendry muestran que el uso del MSE carece de ambigüedad para medir la precisión de las predicciones solamente en el caso de los modelos univariantes y para las predicciones un paso adelante. En otras circunstancias, estos autores recomiendan la utilización de la matriz de segundos momentos de los errores de predicción. Sin embargo, los argumentos desarrollados por Clements y Hendry van más allá del alcance de este trabajo y por tanto las medidas de precisión utilizadas se basarán en el MSE. Por otra parte, la ventaja que presenta el RMSE es que describe la magnitud del error en términos relativamente fáciles y útiles para los usuarios de los pronósticos. Otra dificultad que presentan estas medidas es que no existe un estándar absoluto para evaluar la precisión, por lo cual se han desarrollado distintos procedimientos comparativos. Una primera aproximación consiste en contrastar si la predicción satisface ciertas propiedades de una predicción óptima, además de la minimización del error cuadrático medio de las predicciones. Otra posibilidad es comparar el desempeño predictivo de un cierto número de modelos alternativos. b) Propiedades de las predicciones Una predicción óptima es insesgada y eficiente, esto es, que el valor esperado de los errores de predicción es nulo y no puede mejorarse la predicción a partir del conjunto de información disponible (Wallis, 1989). Por lo tanto si la predicción es óptima, debe ser insesgada y minimizar el MSE. Considerando que los errores son independientes e idénticamente distribuidos, un contraste simple de insesgamiento resulta de comparar la media muestral de los errores de predicción un paso adelante con la desviación estándar de los errores muestrales (estadístico t de la media de los errores de predicción). 16

17 Entonces, aceptando la hipótesis de insesgamiento de las predicciones, el criterio de optimalidad a utilizar será el de minimizar el MSE de la predicción definido como: MSE (^y T,h ) = E((y T+h ^y T,h ) 2 / I T ) = V(e T+h ) + (E(e T+h )) 2 De lo anterior se desprende que para el caso de predicciones insesgadas, minimizar el MSE es igual a minimizar la varianza de los errores de predicción h pasos adelante Comparación entre modelos y combinación de predicciones La comparación entre distintas predicciones concierne dos perspectivas: la precisión, y el contenido informativo. Desde el punto de vista empírico, la primera pregunta que corresponde plantearse es si existe en la métrica del error cuadrático medio algún dominio claro de un método sobre otro. Cabe precisar que cuando se comparan predicciones correspondientes a distintos procedimientos o modelos, es necesario considerar todas las dimensiones (horizontes de predicción, niveles de agregación) sobre las que se pretende que los modelos aporten información. El ideal es que un modelo domine sobre sus competidores en todas las dimensiones relevantes. 6 Sin embargo, desde el momento que los distintos modelos comparten información, y por lo tanto no son independientes, la significación estadística de las diferentes medidas descriptivas no puede ser directamente contrastada entre los modelos. De ahí se pasa al problema del contenido informativo de las predicciones realizadas mediante distintos modelos, destacándose en la literatura dos enfoques: i) la combinación de predicciones (cuando los errores de los modelos son 6 Öller y Tallbom (1996) señalan que muchas veces los datos con que trabajamos son también estimaciones. Si el criterio para juzgar la adecuación de un método es comparando las predicciones con los resultados se puede caer en la comparación de dos estimaciones. 17

18 independientes), y ii) el encompassing (cuando se admite que las predicciones con un período de antelación de un modelo pueden estar contenidas en otro). Algunos autores piensan que estos procedimientos son superiores a la simple comparación del RMSE. Si dos modelos presentan RMSE similares nada se puede decir sobre la conveniencia de utilizar uno u otro. Además, si un modelo presenta un RMSE inferior al de otro, esto no quiere decir que éste último no aporte información útil sobre el funcionamiento del fenómeno analizado. a) Combinación de predicciones La combinación de predicciones es un procedimiento alternativo que permite contrastar ex-post el desempeño de distintas predicciones y al mismo tiempo puede contribuir a la mejora de las predicciones ex-ante (considerando las predicciones con un período de antelación). En general, se espera que diferentes predicciones basadas en distintos conjuntos de información, modelos, o aún distintos enfoques del análisis de los datos, contribuyan de manera distinta al problema de predicción. Por lo tanto, la combinación de pronósticos diferentes podría ser más precisa que la aportada por cualquiera de los modelos por separado (Wallis, 1989). La ventaja de combinar predicciones consiste en que no se descartan los pronósticos con peor desempeño, ya que los mismos podrían contener información útil. Si dos predicciones individuales son insesgadas 7, una predicción compuesta tiene la siguiente forma: C t = k t ^y 1t + (1-k t ) ^y 2t 7 Esta condición se impone a todas las predicciones individuales. En caso que las mismas sean sesgadas, son corregidas por el sesgo. 18

19 Existen distintos procedimientos para escoger k. El más simple es utilizar la media aritmética 8, pero en términos generales corresponde otorgar mayor ponderación a los pronósticos que presentan menor MSE. Un ejemplo de cómo escoger k sería k t = MSE T-1;2 MSE T-1;1 +MSE T-2;2 donde el subíndice 1 y 2 corresponde a dos modelos distintos y k 1 = 0,5 (Bates y Granger, 1969). En general se puede decir que si los errores de una combinación tienen una varianza significativamente menor que la de los errores de los pronósticos individuales, esto estaría evidenciando que los modelos considerados han sido mal especificados y que los mismos no están usando de manera óptima toda la información disponible. Esto sugiere que podría encontrarse un modelo más general, el cual incluya las características de los modelos combinados que mejoraría las predicciones. Sobre este aspecto, Diebold (1989) considera que, aunque muchos econometras están en desacuerdo, la combinación de predicciones constituye una vía útil y productiva para el mejoramiento de las predicciones. Obviamente, si la información puede ser combinada rápidamente y sin coste, no existe posibilidad de extraer beneficios de la combinación de predicciones. Es mejor combinar conjuntos de información y no predicciones. Sin embargo, a pesar que la combinación de predicciones es una estrategia ineficiente frente a la combinación de conjuntos de información, en determinadas circunstancias las restricciones de costos o de tiempo se convierten en un obstáculo para la implementación de la combinación de conjuntos de información. La combinación de predicciones aparece, entonces, como una solución pragmática ante el costo que implicaría combinar conjuntos de información. 8 Diebold (1989) señala que los beneficios de imponer ponderadores iguales muchas veces superan los costos, y que los resultados de las predicciones resultantes son mejores. 19

20 b) Forecast-encompassing La propiedad de forecast-encompassing se relaciona con el problema de determinar si las predicciones con un período de antelación realizadas por un modelo aportan información útil para explicar los errores de predicción de otro modelo. El contraste estadístico de esta propiedad fue desarrollado por Chong y Hendry (1986), quienes establecieron que la necesidad de combinar pronósticos surge como consecuencia de la mala especificación de los modelos (Clements y Hendry, 1993) 9. La meta final sería encontrar modelos que contengan a sus competidores mediante mejores pronósticos que sus rivales (forecast-encompassing). Desde el punto de vista de la implementación empírica, y considerando que existe autocorrelación entre los sucesivos errores de predicción a distintos horizontes, este concepto solamente puede hacerse operacional para pronósticos un paso adelante. Un contraste de encompassing se puede realizar estimando por mínimos cuadrados ordinarios las siguientes regresiones: 10 e T+i,1 = β 1 (^y T+i,2 - ^y T+i,1 ) + u T+i,1 e T+i,2 = β 2 (^y T+i,1 - ^y T+i,2 ) + u T+i,2 donde i =1,..., τ, e T+i, j son los errores de predicción un paso adelante del modelo j, y ^y T+i, j son las predicciones un paso adelante del modelo j. La hipótesis nula a contrastar es H o : β j = 0, lo que significa que la diferencia de las predicciones de los modelos no puede explicar los errores cometidos por uno de los modelos considerados (se dice que el modelo j encompasses al otro modelo). En el caso que β j sea distinto de 0, entonces ambos modelos son valiosos para predecir y t pero ninguno es suficiente Diebold (1989) reconcilia estos dos enfoques estableciendo que la combinación de pronósticos es útil en el corto plazo, cuando combinar conjuntos de información resulta muy costoso. Este contraste puede realizarse de igual manera en diferencias por la homegeneidad que presentan las ecuaciones. 20

21 Analizando la primera ecuación, se observa que en el caso que las predicciones del modelo 2 contengan toda la información aportada por el modelo 1, y cierta información adicional, el parámetro estimado debe converger a la unidad (β 1 = 1). En este caso, las técnicas de combinación de predicciones carecen de sentido porque toda la información aportada por el modelo 1 estaría comprendida en el segundo modelo 11. Desde el punto de vista de la implementación empírica, la propiedad de forecastencompassing es formalmente equivalente a la definición de eficiencia condicional propuesta por Granger y Newbold (1973). Un pronóstico es condicionalmente eficiente si la varianza del error de predicción de una combinación del mismo con otro pronóstico no es significativamente menor que la del modelo considerado. En esta definición nuevamente se observa que bajo las condiciones de forecastencompassing, la combinación de pronósticos no mejora las predicciones. 4. RESULTADOS Los datos utilizados en este trabajo corresponden a la serie trimestral del Índice de Volumen Físico (IVF) del PBI uruguayo que elabora el Banco Central del Uruguay. El período analizado abarca desde el primer trimestre de 1978 hasta el último trimestre del año Las observaciones correspondientes a los últimos cuatro años fueron en un principio dejadas de lado en el proceso de estimación de los 11 Considerando la primera ecuación: e T+i,1 = y T+i -^y T+i, 1 = β 1 (^y T+i, 2 - ^y T+i, 1 ) + u T+i,1 entonces y T+i = (1-β 1 ) ^y T+i, 1 + β 1 ^y T+i, 2 + u T+i,1 Se observa que en el caso que β 1 converja a uno, el mejor pronóstico va a ser ^y T+i,2 y no una combinación de ambos. Además, considerando que ambas predicciones son insesgadas, se deriva e T+i,2 = y T+i - ^y T+i,2 = (1-β 1 ) (^y T+i, 1 -^y T+i,,2 ) + u T+i,2 = β 2 (^y T+i, 1 -^y T+i, 2 ) + u T+i,2 por lo cual β 1 =1 implica β 2 =0, verificándose que existe forecast encompassing en el segundo modelo. Lo mismo ocurre si se considera la segunda ecuación. 21

22 modelos para ser utilizadas en la evaluación de la capacidad predictiva de los mismos. Cabe resaltar que el período de evaluación de las predicciones ha sido un período particularmente inestable para la economía uruguaya, particularmente afectado por los efectos de la devaluación de la moneda brasileña en enero de 1999 y por la ausencia de dinamismo e inestabilidad reinante en la economía argentina Modelos univariantes de series temporales En primer lugar se observa que la serie del PBI uruguayo presenta tendencia de largo plazo y oscilaciones estacionales (Gráfico 1). Luego se pasó a estimar los modelos con el programa Eviews (Econometric Views versión 3). Las estimaciones se realizaron con datos correspondientes al período comprendido entre el primer trimestre de 1979 y el cuarto trimestre de Las observaciones de los cuatro últimos años fueron reservadas para evaluar el desempeño predictivo de los modelos estimados. En los tres modelos estimados se incluyó un Análisis de Intervención para modelizar cuatro observaciones atípicas (outliers) detectadas en el transcurso del proceso de modelización: y escalón, y impulso. Las estimaciones se realizaron utilizando un procedimiento recursivo (rolling estimation) que consiste en volver a estimar todos los parámetros del modelo cada vez que se incorpora un nuevo dato. Con los nuevos parámetros se realizan las predicciones correspondientes y así se calculan los errores de predicción (recursivos). El proceso de estimación recursiva se reiteró hasta el tercer trimestre de En el Cuadro A2 del Anexo se presentan las primeras estimaciones del modelo ARIMA C. 22

23 Cuadro 1 Evaluación de los errores de predicción: Modelos univariantes Período: ARIMA A ARIMA B ARIMA C ME -0,0178-0,0131-0, trimestre MAE 0,0228 0,0200 0,0193 de Min 0,0007 0,0005 0,0005 antelación Max 0,0646 0,0523 0,0457 RMSE 0,0302 0,0262 0,0245 ME -0,0356-0,0277-0, trimestres MAE 0,0415 0,0343 0,0306 de Min 0,0000 0,0030 0,0008 antelación Max 0,1031 0,0837 0,0720 RMSE 0,0498 0,0419 0,0371 ME -0,0494-0,0389-0, trimestres MAE 0,0556 0,0401 0,0364 de Min 0,0185 0,0002 0,0021 antelación Max 0,1108 0,0894 0,0815 RMSE 0,0624 0,0497 0,0447 ME -0,0621-0,0501-0, trimestres MAE 0,0656 0,0509 0,0454 de Min 0,0158 0,0052 0,0115 antelación Max 0,1125 0,0965 0,0939 RMSE 0,0723 0,0567 0,0523 Elaboración propia Cabe resaltar que a lo largo de este trabajo, los errores de predicción se calcularon sobre el logaritmo del IVF del PBI trimestral, por lo que los mismos pueden considerarse como una medida aproximada de la diferencia porcentual entre el valor estimado y el verdadero valor del índice (expresada en tanto por uno). Los resultados obtenidos en materia de desempeño predictivo se exponen en el Cuadro 1. Los datos sombreados representan al modelo que muestra mejor desempeño predictivo. Puede apreciarse que el modelo ARIMA C es el que mejor se comporta, ya que presenta menores RMSE y MAE en todos los horizontes temporales considerados, por lo cual los resultados correspondientes a este modelo 23

24 serán utilizados como punto de referencia para evaluar los otros procedimientos de predicción. Por otra parte, al analizar los errores de predicción con un trimestre de antelación se observa que a partir del cuarto trimestre de 1998 los tres modelos cometen una secuencia de errores negativos. Esto estaría indicando que los modelos univariantes estimados tardan un tiempo en adaptarse al escenario recesivo que se instaló en ese entonces en la economía uruguaya (véase Gráfico 2). Se observa que los mayores errores absolutos de predicción en el período considerado ocurrieron en el tercer trimestre de 1999, y en los dos últimos trimestres de 2001 para todos los horizontes considerados. Por su parte, los contrastes realizados sobre los residuos recursivos de los pronósticos mostraron cierta evidencia de inestabilidad en la estructura paramétrica solamente en el caso del modelo ARIMA A. Los mismo resultados se observan mediante los estadísticos de Box y Tiao (véase Cuadro A9). Sin embargo, realizando contrastes sobre los residuos recursivos de toda la muestra no se rechaza la hipótesis de estabilidad de los parámetros en los tres modelos Modelo multivariante: VAR con componentes sectoriales del PBI El IVF del PBI es un índice Laspeyres, donde los ponderadores sectoriales corresponden a la distribución del Valor Agregado Bruto generado por cada sector en el año Los siete sectores de actividad económica en que puede descomponerse el PBI son 13 : Agropecuario (AGRO), Industria Manufacturera (INDU), Electricidad, gas y agua (ELEC), Construcción (CONS), Comercio, restaurantes y hoteles (COME), Transporte y comunicaciones (TRAN), y Otros sectores (OTRO). 13 Estos son a su vez índices de Laspeyres construidos a partir de información más desagregada. La fórmula del agregado es la siguiente: PBI t = 0,131*AGRO t + 0,254*INDU t + 0,032*ELEC t + +0,043*CONS t + 0,108*COME t + 0,061*TRAN t + 0,372*OTRO t 24

25 Sin embargo, para la estimación de los modelos VAR en este trabajo se consideraron solamente cinco sectores 14. Los cinco componentes del VAR fueron incluidos con una diferencia, ya que realizados los contrastes de raíz unitaria (test de Dickey y Fuller Aumentado) no se pudo rechazar la hipótesis nula de existencia de una raíz unitaria al 95% de confianza. Por otra parte, sí se rechazó la existencia de dos raíces unitarias (véase Cuadro A8). Los modelos VAR fueron estimados con datos correspondientes al período comprendido entre el primer trimestre de 1983 y el cuarto trimestre de 1997, usando el programa PC GIVE, en su versión para sistemas de ecuaciones (PC FIML). Se estimaron modelos con cuatro y cinco retardos de las variables endógenas 15. Estudiando los residuos de cada uno de los modelos, se identificaron algunas observaciones atípicas, por lo cual se procedió a diseñar un esquema de intervención apropiado. Los residuos de cada uno de los modelos fueron sometidos a contrastes de normalidad y autocorrelación 16. Las intervenciones realizadas variarion según cada modelo Las ponderaciones utilizadas para recomponer el IVF del PBI fueron las siguientes: i) Agro = 0,131 ii) Industria Manufacturera = 0,254 iii) Construcción = 0,043 iv) Comercio, restaurantes y hoteles = 0,108 v) Resto = 0,465 En el Cuadro A3 del Apéndice se presenta la estimación del modelo VAR A con 5 retardos para el período Se verificó que los residuos de cada una de las ecuaciones fueran normales y satisfacieran el estadístico de Ljung-Box luego de realizadas las intervenciones. Las intervenciones realizadas fueron: - VAR A con 4 lags: , y impulso, escalón - VAR A con 5 lags: y impulso, y escalón - VAR B con 4 lags: impulso, , y escalón - VAR B con 5 lags: impulso, , y escalón 25

26 Posteriormente, con los modelos estimados se hicieron predicciones a distintos horizontes temporales para cada uno de los sectores de actividad. A partir de las predicciones sectoriales se reconstruyó la predicción del PBI agregado. A continuación se incluyó la observación del primer trimestre de 1998 en la muestra de observaciones utilizadas en la estimación de los modelos y se procedió a la reestimación del modelo (rolling estimation) manteniendo incambiada la estructura paramétrica. Este proceso se repitió hasta el último trimestre del año Los resultados obtenidos muestran que las peores predicciones se obtienen para los sectores de Agro y Construcción (véase Cuadro A4). El análisis del desempeño predictivo de los modelos estimados puede realizarse a partir de la información expuesta en el Cuadro 2. Puede apreciarse que el modelo Var A con 5 retardos domina en todos los horizontes temporales considerados. El análisis de los estadísticos expuestos en el Cuadro 2 muestra que la modelización del PBI agregado a partir de un desglose en sus principales componentes sectoriales implica una mejora en la precisión de las predicciones. Sin embargo, en el caso de los errores de predicción con un trimestre de antelación el desempeño predictivo es peor que el observado en los modelos univariantes. A medida que se consideran horizontes de predicción más extensos, los modelos VAR sectoriales ofrecen ciertas ventajas respecto a las representaciones univariantes. Un aspecto a subrayar es que, si bien la utilización de estos modelos aporta un ajuste más preciso al comportamiento del PBI en el período muestral, respecto a técnicas más naive como son los modelos ARIMA, las predicciones puras resultantes son peores (con un trimestre de antelación). En definitiva, los modelos VAR aportan una mejor representación del comportamiento histórico del IVF del PBI uruguayo, pero la mejor comprensión del fenómeno no se traduce directamente al desempeño predictivo. Otro punto a resaltar es que al igual que en el análisis univariante, los errores de predicción muestran en los tres modelos una secuencia de errores negativos. 26

27 Cuadro 2 Evaluación de los errores de predicción: Modelos VAR con componentes sectoriales del PBI Período: VAR A 4 retardos VAR A 5 retardos VAR B 4 retardos VAR B 5 retardos ME trimestre MAE de Min antelación Max RMSE ME trimestres MAE de Min antelación Max RMSE ME trimestres MAE de Min antelación Max RMSE ME trimestres MAE de Min antelación Max RMSE Elaboración propia Por último, el análisis de los residuos recursivos de los modelos VAR aporta evidencia en contra de la estabilidad paramétrica de los modelos estimados. Observando los estadísticos CUSUM de los cuatro modelos VAR estimados, puede apreciarse que todos ellos indican que la hipótesis de estabilidad paramétrica no puede mantenerse. Por su parte, los estadísticos de Box y Tiao también muestran inestabilidad en el período de predicción (véase Cuadro A9). 27

28 En términos generales, puede afirmarse que la inestabilidad de los modelos en el plano predictivo puede atribuirse a dos fenómenos: i) la presencia de observaciones atípicas (la modelización de las anomalías a través de Análisis de Intervención debería eliminar los problemas de inestabilidad), ii) la ocurrencia de un cambio estructural (la inestabilidad paramétrica es genuina y las aproximaciones lineales al fenómeno analizado pierden validez empírica). Un análisis minucioso de los errores de predicción con un trimestre de antelación cometidos por los modelos VAR indica que los problemas de inestabilidad paramétrica pueden estar relacionados con la presencia de observaciones atípicas ocurridas durante el período de predicción ( ). En el caso de los modelos considerados, el tratamiento de las observaciones atípicas ocurridas en el período de predicción mediante el Análisis de Intervención provoca una reducción considerable del valor del estadístico RMSE calculado a partir de los residuos correspondientes a dicho período. Los resultados de este ejercicio se comentan más adelante, pero desde ya puede adelantarse que la evidencia encontrada apunta a que el tipo de inestabilidad observada en los errores de predicción de los modelos VAR estimados podría estar atribuida básicamente a la presencia de anomalías y no a problemas de cambio estructural (modificación de la estructura paramétrica). En este sentido, si se estudia la estabilidad paramétrica del modelo incorporando todos los datos (inclusive hasta el último trimestre de 2001), se observa que mediante el estudio de los residuos recursivos de toda la muestra, en particualar a través de estadísticos CUSUM, no se rechaza la hipótesis de estabilidad. Esto significa, que interveniendo las estimaciones en el período de predicción la inestabilidad observada en los errores de predicción corresponde únicamente a la presencia de observaciones atípicas. Esta evidencia indica, por su parte, que la utilización de modelos VAR como los aquí considerados en la labor de predicción del PBI trimestral de la economía uruguaya, requiere un esfuerzo sistemático de monitoreo por parte del experto y un análisis 28