El Programa de Investigacion del FMI Relevancia y Utilización

Transcripción

1 El Programa de Investigacion del FMI Relevancia y Utilización CEPAL Enero 2012 Ruben Lamdany Sub-director Oficina de Evaluación Independiente del FMI

2 Estructura de la presentación Contexto y metodología Resultados Relevancia y Utilización Calidad técnica Gestión del programa Recomendaciones 2

3 Contexto 6500 publicaciones entre Surveillance : WEO, GFSR, REO, SIP Quasi-académico: WP, publicaciones externas 10% del presupuesto administrativo Diez años desde la evaluación externa de 1999 (Mishkin Report) 3

4 Publicaciones por departamento de origen ( ) RES FAD MCM Other Functional Area Dptmt Total SIP 2,402 2,402 WEO REO GFSR WP ,470 External Publications ,145 Others Total ,698 6,423 1 Others include Books, Conference Volumes, Occasional Papers, Policy discussion papers/staff Position Notes, Pamphlets and IMF Special Issues 4

5 Preguntas principales de la evaluación Qué tan relevante fueron los estudios del Fondo, para las autoridades, el staff del Fondo, académicos y otros organismos internacionales? Cómo fueron utilizados? Cuál fue su calidad técnica? Manejo del programa? Prioridades, consulta, coordinación, diseminación. 5

6 Métodos de la evaluación Encuestas 75% de los países miembros 60% de los economistas del FMI 350 entrevistas semi-estructuradas Autoridades de más de 30 países, Centros de investigación, academia, otras organizaciones internacionales Economistas del FMI Análisis de documentos Catálogo de publicaciones Paneles para analizar la calidad técnica Estudio de citas 6

7 Resultados 7

8 Resultados Principales Un volumen muy grande de publicaciones Muchos de estos productos son muy leídos e influyentes en la formulación de políticas Sin embargo, su utilización fue disminuida por: Insuficiente consultas acerca de los temas de investigación La falta de contexto nacional e institucional message driven : la investigación esta controlada por el mensaje Muchos productos de baja calidad Gestión de la investigación poco efectiva Prioridades, control de calidad y diseminación 8

9 Las opiniones sobre los productos varían mucho WEO: ampliamente leído GFSR: leído en bancos centrales REO: calidad muy variable. Apreciado solo en Africa SIP: papel importante en discusiones con el FMI. Baja calidad y muy variable WP: Amplia variación de calidad y sesgos ideológicos. 5-10% constituyen un riesgo reputacional y un 30% tienen importantes deficiencias técnicas 9

10 Relevancia y Utilización 10

11 Relevancia y utilización Muchos estudios son muy conocidos e utilizados La mayoría de las autoridades pudo identificar alguna publicación que fue relevante para la formulación de políticas en sus países y/o en el diálogo con el Fondo Alrededor del 40% del Staff reportó que usaba con mucha frecuencia la investigación del FMI En departamentos de área se usó con mucha frecuencia la investigación producida por FAD y MCM, mucho menos de RES La mayoría del Staff encontró que los temas fiscales estaban bien cubiertos, pero menos de un cuarto sobre estudios financieros

12 Obstaculos para la relevancia y utilización Brechas en la cobertura: e.g., vínculos macrofinancieros, política monetaria, controles de capital Falta de consulta sobre temas para los SIP Falta de contexto nacional e institucional No esta alineado con el interes de los consumidores : Demasiado teórico y con poca aplicabilidad práctica Difícil destilar resultados relevantes y implicaciones de política a través de la vasta producción Las recomendaciones de política basadas en estudios cross-country no son prácticas 12

13 Message-driven Cerca de la mitad de las autoridades consideró que la investigación está influida por las politicas y las recomendaciones del Fondo Las autoridades también dijeron que la investigación contiene conclusiones predecibles dentro de un conjunto limitado de puntos de vista y que las recomendaciones a menudo no se derivan del análisis Más de la mitad del personal sintió presión para alinear conclusiones con las posiciones del FMI Demasiado control sobre el mensaje, insuficiente control de calidad 13

14 Calidad Técnica 14

15 Calidad técnica muy variable Los capítulos analíticos del WEO y del GFSR fueron consistentemente considerados de alta calidad Pero la calidad de los SIP varía considerablemente en 25% de los SIPs hay una desconexión entre las preguntas, los datos y las técnicas empleadas REO: prescriptivos pero con insuficiente fundamento Los WP muy desiguales, algunos de primera clase Pero 40% tienen importantes deficiencias técnicas Publicaciones del FMI citan sobre todo otras investigaciones realizadas por el FMI

16 Paneles de expertos Paneles Académicos WP sobre temas fiscales (Ingresos) WP sobre modelos para politica monetaria Paneles de Profesionales WEO/GFSR REO SIP

17 Calificación de estudios monetarios Rating Empirical Theoretical Country studies Thought pieces Superior Above Average Average Below average Unsatisfactory Total Average ALL Note: the scale was 1 5, where S=5 and U=1. 17

18 Estudio de Citas 30% de los WP fueron publicados en revistas externas 40% de los WP fueron citados Las citas del 10% de publicaciones mas citadas aumentaron con el tiempo Comparacion positiva con 7 instituciones relevantes Banco de Canadá FED: Board of Governors, NY, San Francisco BID OCDE Banco Mundial Más autocitas que en otras instituciones 18

19 Datos básicos sobre WPs y citas Table 1: citation of Working Papers 1/ Number of WPs in Sample Citations by peer institutions Non Self- Citing 4/ Overall citations IMF FED 2/ WB Others 3/ Total Source: IEO Estimates. 1/ Only inlcudes citation with a 2 year window after publication, written from / Includes the FRB, FED NY and FED SF. 3/ Includes the OECD, BCA and IDB. 4/ Non Self Citing (NSC) within peer institutions but not itself. 19

20 Citas en publicaciones de otras instituciones Number of Citations by Peer Institutions 1/ BCA FEDSF FRB FEDNY IDB IMF WBK Total BCA FEDSF FRB FEDNY IDB IMF WBK Total Source: IEO estimates. 1/ Only includes citation with a 2 year window after publication, written from Citations across denote citations of that institution s work at other organizations. 20

21 Características de las publicaciones más usadas Preguntas y presentación relevantes para la audiencia correspondiente Marco analítico adecuado y probado Análisis cuidadoso - con conclusiones y recomendaciones consistentes Suficientes recursos dirigidos a la revisión de calidad y diseminación 21

22 Gestión del Progrma de Investigación 22

23 Gestión de la investigación Nadie es responsable por el programa de investigación a través de toda la institución Cada departamento organizó su agenda de investigación de manera independiente Poca consulta y colaboración con los países miembros sobre prioridades Poca colaboración entre departamentos No hay procesos uniformes para control de calidad, ni estándares sobre niveles de calidad Diseminación muy limitada (excepto WEO y GFSR)

24 Recomendaciones 24

25 Recomendaciones Para incrementar la relevancia: Consultar, colaborar y prioritizar Para mejorar la calidad: Mejorar el control de calidad Para promover nuevas perspectivas: la apertura a perspectivas : Incentivos Para mejorar la gestión: Designar responsable de asignar recursos, establecer estándares, y consultar con los miembros 25

26 Para incrementar la relevancia Revisión estratégica periódica de las diferentes publicaciones Preparar una agenda indicativa de investigación de mediano plazo Consultar con las autoridades sobre temas de investigación Los resultados preliminares deberían ser discutidos con las autoridades y con expertos locales Mas tiempo en cada equipo de país 26

27 Mejorar la calidad técnica Mejor calidad menos publicaciones Estándares de calidad Establecer un control de calidad y procesos de revisión Incentivos para el staff 27

28 Promover perspectivas alternativas Cultivar un ambiente innovador Difícil para SIPs, WEO y otros documentos de surveillance Cambios en los incentivos y en la cultura institucional Permitir la publicación de WP con puntos de vista que difieran de la política del FMI Incentivos para colaborar con autoridades nacionales con diferentes puntos de vista 28

29 Mejorar la gestión Coordinador de Investigación Agenda y asignación de recursos Estándares para la revisión y la calidad Difusión y cobertura Informe anual al Directorio y a los miembros de las prioridades y los logros 29

30 Discusión del Directorio Directores están de acuerdo con la mayoría de las recomendaciones Llevar a cabo una revisión periódica de cada tipo de publicación empezando con un examen de los REO Mas consulta con las autoridades nacionales sobre temas y estructura de SIPs y REOs Promover mas coordinación y colaboración dentro del FMI y con autoridades Mejorar los controles de calidad 30

31 Mensajes a las autoridades como clientes del FMI Para realzar la relevancia Proponer temas para los SIPs y REO Talleres sobre proyectos de investigación en curso Proponer proyectos conjuntos de investigación Para mejorar la calidad Solicitar que departamentos funcionales participen en el control de calidad de SIPs y REO Involucrar al equipo del WEO para que obtenga una perspectiva multilateral en la investigación regional y bilateral 31

32 Gracias!

33 Visítenos en