Backtesting de Reserva de Seguros

Transcripción

1 Backtesting de Reserva de Seguros Por: Pedro Aguilar Beltrán Jorge Avendaño Estrada Septiembre de 2009 El Backtesting es un procedimiento técnico que consiste en validar la idoneidad, precisión y validez de un modelo diseñado para hacer estimaciones, con base en la comparación de las estimaciones hechas por el modelo actuarial respecto de los valores reales observados. En el ámbito actuarial, las pruebas de Backtesting han ido cobrando relevancia a medida que los modelos se vuelven más sofisticados y aumenta con ello la incertidumbre de conocer a priori si dichos modelos van a funcionar adecuadamente. Lo incorporado en este artículo corresponde a un desarrollo llevado a cabo por P. Aguilar y J. Avendaño. Esquemas más avanzados de valuación de riesgos a nivel mundial, como los que se contemplan en Solvencia II, tienden a la utilización de modelos diseñados por las propias compañías de seguros y bancos. Dichos modelos idealmente habrían de medir las obligaciones de la compañía con base en las características y comportamiento propio de sus riesgos, por lo que se caracterizan por incluir diversas variables y procedimientos complejos de cálculo. Por la complejidad de estos modelos, no es posible determinar analíticamente si los resultados que den serán adecuados y congruentes con la realidad. Adicionalmente, ante el comportamiento dinámico de los portafolios de riesgos, existe la constante posibilidad de que un modelo aun habiendo sido eficiente, posteriormente se desajuste debido a que la composición del portafolio de riesgos para el que fue elaborado, ha presentado cambios relevantes. Por lo anterior, resulta importante contar con una herramienta que permita analizar el desempeño de los modelos actuariales y determinar con criterios actuariales sólidos, si un modelo debe rechazarse o aceptarse 1 en función del grado de precisión con que dicho modelo se esté ajustando a la evidencia empírica. La herramienta que debe utilizarse para estos efectos es la prueba llamada Backtesting. Como se mencionó, el Backtesting es un procedimiento técnico que consiste en validar la idoneidad, precisión y validez de un modelo actuarial, el cual se basa en la comparación de las estimaciones hechas por el modelo respecto de los valores reales observados. No existen modelos únicos predefinidos de Backtesting, dichos modelos se deben crear en función del tipo de modelo actuarial que se quieren validar. En la industria de seguros es importante contar con un modelo de Backtesting que permita validar los modelos actuariales de reserva, sin embargo, hasta el momento de escribir este artículo, no existía un desarrollo o modelo de Backtesting específicamente para reservas de seguros. A finales de 2008, como parte de un trabajo de libre investigación, fue ideado y desarrollado un modelo de 1 Aceptarse significa que el modelo puede continuar aplicándose en las mismas condiciones originales, y Rechazarse significa que el modelo ya no puede seguir aplicándose por lo que deben realizársele cambios. Página 1 de 7

2 32. Prima de Tarifa Backtesting por P. Aguilar y J. Avendaño, que permite determinar el adecuado desempeño de los modelos actuariales de valuación de la reserva. El modelo se sustenta en el hecho fundamental de que la reserva de riesgos en curso es la media de las obligaciones futuras. Como media que es, el valor así estimado de la reserva se comportará como una variable aleatoria con función de distribución normal. Si tomamos un determinado intervalo alrededor de la media de la distribución normal, podemos decir que con un determinado grado de confianza (que dependerá del tamaño del intervalo), los valores reales deberán caer dentro del intervalo de confianza (véase Gráfica 39.1). El intervalo de confianza puede ser elegido de tal manera que sólo con una probabilidad baja (ε ), los valores reales caerán fuera del intervalo, en tanto que la probabilidad de que los valores reales caigan dentro del intervalo será (1-ε ). Cuando una observación caiga fuera del intervalo se dirá que es una excepción o fracaso, y cuando caiga dentro del intervalo se dirá que es un éxito Zona de Excepciones Gráfica 39.1 Para efectos de dar una explicación muy práctica y comprensible del método, supongamos que tenemos una cartera de riesgos asegurados a los cuales se les ha valuado su reserva durante N periodos, de manera que se tienen N mediciones teóricas provenientes del modelo actuarial de valuación de reserva, y N observaciones reales. Si nos planteamos ver cada una de las mediciones como un ensayo Bernoulli, entonces cada observación real tendrá una probabilidad ε de caer fuera del intervalo y (1-ε ) de caer dentro del intervalo. Planteado así el problema, se puede decir que en las N observaciones que tenemos, el valor esperado del número de excepciones, es N ε. De esta manera si en la realidad se observa que el número de excepciones observadas es un número muy superior a N ε, entonces es posible cuestionarse la idoneidad del modelo actuarial de valuación de reservas. Página 2 de 7

3 11. Primas Niveladas de Seguros de Vida Tradicionales En N observaciones, se puede tener un comportamiento como el que se presenta en la gráfica 32.2, donde se puede observar que algunos valores reales se salen del intervalo de confianza en tanto que los demás se mantienen por debajo o por encima de la media, pero dentro del intervalo de confianza observaciones limite inferior media limite superior Gráfica Pero aun cuando un modelo actuarial sea adecuado, puede presentar excepciones por encima del número esperado, por lo que no se podrá rechazar terminantemente, eso sólo se podrá hacer en la medida que el número de excepciones se desvíe significativamente, respecto de su valor esperado. Para ello se puede establecer el número de excepciones a partir de lo cual, con un alto grado de confianza, se rechaza la hipótesis de que el modelo de valuación sea adecuado. Este criterio permitirá disminuir la posibilidad de aceptar un modelo inadecuado o rechazar un modelo adecuado. El criterio para la evaluación de un modelo, se puede basar en el número de excepciones observadas, estableciendo tres rangos para el número de excepciones. 1. El primer rango definirá el número máximo de excepciones que se aceptarán para decir que el modelo es aceptable. 2. El segundo rango establecerá el número máximo de excepciones que se aceptará para decir que el modelo debe someterse a observación, ya que no es completamente confiable. 3. El tercer rango establecerá el número de excepciones a partir del cual se considerará que el modelo no es aceptable. Página 3 de 7

4 32. Prima de Tarifa Ejemplo: 1. Si la probabilidad asociada al número de excepciones observadas es mayor o igual al 10%, el modelo es aceptable. 2. Si la probabilidad asociada al número de excepciones observadas es menor al 10% pero mayor al 0.5%, el modelo se acepta pero debe quedar bajo observación porque podría ser incorrecto o inapropiado. 3. Si la probabilidad asociada al número de excepciones observadas es inferior al 0.5% el modelo se rechaza. Estos rangos pueden fijarse con otros valores, dependiendo del grado de tolerancia que se le quiera dar al número de excepciones. Considerando que el número de excepciones se comporta como una variable aleatoria Binomial con parámetros (N,ε ), la probabilidad asociada al número de excepciones observadas Pr(k) está dada como: N k N k Pr( k) = ( ε ) (1 ε) k De esta manera se pueden definir los valores de los rangos necesarios para aplicar los criterios de aceptación, prevención o rechazo del modelo actuarial de valuación de reserva que se analiza. No obstante que este criterio ayuda a determinar la eficiencia del modelo de reserva, esta prueba de Backtesting podría ser vulnerable ante algunos modelos ineficientes 2 por lo que es necesario establecer algunos criterios adicionales que permitirían evitar esta situación. Véase el ejemplo de la Gráfica 39.3, donde se observa como los resultados reales caen la mayor parte por debajo 3 de la media estimada, lo cual es indicativo de que el modelo es ineficiente, y que sin embargo pasaría la prueba debido a que los resultados reales se mantienen dentro del intervalo. 2 Al decir ineficientes nos estamos refiriendo a que el modelo no ha podido predecir la realidad con la precisión y medida que exige la prueba de Backtesting. 3 La misma conclusión sería válida si las observaciones reales estuvieran por encima de la media. Página 4 de 7

5 11. Primas Niveladas de Seguros de Vida Tradicionales observaciones limite inferior media limite superior Gráfica 39.3 Tomando en cuenta que cada observación real tendrá una probabilidad de caer por encima o por debajo de la media con una probabilidad de 0.5, entonces es posible calcular cuál es la probabilidad de que en N observaciones, k de ellas hayan caído por debajo (o encima) de la media. Dicha probabilidad se puede calcular mediante la Binomial k N k N 1 1 Pr( k) = k 2 2 Una vez calculada esta probabilidad podemos establecer como criterio, que se rechace un modelo si la probabilidad asociada al número de observaciones por debajo o por encima de la media tiene una probabilidad de ocurrencia muy pequeña como sería del Observe por ejemplo la estadística siguiente en la que se muestran los valores de reserva estimados por el modelo, respecto de los valores reales. Periodo Estimación Reserva Modelo A Valor Real Observado Límite Superior Límite Inferior 1 40,852,478 30,521,489 49,431,498 32,273, ,576,232 41,257,896 53,937,240 35,215, ,521,789 45,821,547 52,661,365 34,382, ,373,084 47,896,528 56,111,432 36,634, ,687,925 56,241,695 55,282,389 36,093, ,175,183 40,521,879 54,661,971 35,688, ,879,853 38,987,452 48,254,622 31,505, ,287,965 53,587,925 49,958,438 32,617, ,522,879 54,876,591 50,242,684 32,803, ,857,482 50,214,798 48,227,553 31,487, ,180,429 44,587,962 51,038,319 33,322, ,581,478 43,568,792 50,313,588 32,849, ,982,527 41,254,872 49,588,858 32,376, ,033,313 44,598,725 53,280,308 34,786, ,084,098 46,589,722 56,971,759 37,196, ,975,863 60,521,789 59,260,794 38,690, ,251,482 55,625,879 45,074,293 29,428, ,793,215 63,587,925 59,039,790 38,546, ,254,876 61,548,925 76,538,400 49,971, ,857,921 50,897,852 56,698,084 37,017,758 0 Excepciones Modelo A Página 5 de 7

6 32. Prima de Tarifa Estimación Reserva Modelo A Límite Inferior Límite Superior Valor Real Observado 100,000,000 80,000,000 60,000,000 40,000,000 20,000, Con base en estos datos, es posible aplicar la prueba de Bactesting al modelo A de reserva. Suponga que el valor de ε es de 0.1, de manera que el valor esperado de excepciones es 2. Como puede observarse, ocurrieron ocho excepciones, las cuales tienen una probabilidad de ocurrir de: Pr(3) = (0.1) (0.9) Dado que la probabilidad de ese número de excepciones es muy baja e inferior al límite impuesto de 0.005, se puede decir que el modelo es ineficiente, con un elevado grado de seguridad. La segunda prueba consiste en analizar el número de veces que el valor real se mantuvo por arriba del valor estimado de la reserva. Como se observa, hubo 15 observaciones por encima del valor de la reserva, las cuales tienen asociada una probabilidad de: 20 1 Pr( k ) = = No obstante que se observaron quince valores por encima de la estimación, la probabilidad asociada es superior al 0.01, por lo que se puede aceptar el modelo. Se presenta ahora el modelo alternativo B cuyas estimaciones de reserva se presentan a continuación. Página 6 de 7

7 11. Primas Niveladas de Seguros de Vida Tradicionales Periodo Estimación Reserva Modelo B Valor Real Observado Límite Superior Límite Inferior 1 35,876,428 30,521,489 43,410,478 28,342, ,257,896 41,257,896 49,922,054 32,593, ,896,548 45,821,547 70,054,823 45,738, ,896,528 47,896,528 57,954,799 37,838, ,421,879 56,241,695 61,010,474 39,833, ,521,789 40,521,879 49,031,365 32,012, ,987,452 38,987,452 47,174,817 30,800, ,587,925 53,587,925 64,841,389 42,334, ,876,591 54,876,591 66,400,675 43,352, ,521,789 50,214,798 50,241,365 32,802, ,587,962 44,587,962 53,951,434 35,224, ,568,792 43,568,792 52,718,238 34,419, ,897,215 41,254,872 68,845,630 44,948, ,598,725 44,598,725 53,964,457 35,232, ,589,722 46,589,722 56,373,564 36,805, ,879,215 54,879,251 55,513,850 36,244, ,625,879 55,625,879 67,307,314 43,944, ,587,925 63,587,925 76,941,389 50,234, ,548,925 61,548,925 74,474,199 48,623, ,897,852 50,897,852 61,586,401 40,209,303 0 Excepciones Modelo A En este modelo sólo se produjeron dos excepciones y el número de observaciones por encima de la media fueron de 7 quedando 13 por debajo, lo que no permite determinar que el modelo sea ineficiente. Se recomienda aplicar una prueba adicional para tomar en cuenta no tal sólo las excepciones sino también el monto de los valores observados. Esta prueba consiste en estimar la media porcentual de las observaciones que cayeron por encima de la estimación ( Δ ) y la media de las observaciones por debajo de la estimación i i, debiendo este valor ser cercano a uno y en la medida que no lo sea se podría determinar ineficiencia del modelo actuarial que se prueba. Página 7 de 7