EVALUACIÓN DE EFICIENCIA

Transcripción

1 EVALUACIÓN DE EFICIENCIA Nuria Badenes Plá Instituto de Estudios Fiscales Madrid, España SEMINARIO DE EVALUACIÓN E POLÍTICAS PÚBLICAS: EQUIDAD, EFICIENCIA E IMPACTO Antigua, Guatemala 9 a 13 de Mayo de 2015

2 Introducción El concepto de eficiencia (técnica, asignativa, económica) Métodos para medir la eficiencia técnica - no paramétricos DEA - paramétricos deterministas estocásticos

3 Introducción La medición de la eficiencia en el Sector Público es fundamental por varias razones: 1. Al igual que en el sector privado, los recursos son limitados, pero en el público, una gran parte proviene de las contribuciones coactivas exigidas a los contribuyentes, que en consecuencia quieren que se rindan cuentas sobre los objetivos logrados. 2. Por otra parte, si se logra el ahorro de recursos en un área determinada por parte del Sector Público, el excedente puede dedicarse un área alternativa, lo que facilita el logro del objetivo de maximización del bienestar social. En tiempos en los que la eficiencia del Sector Público se cuestiona y se califica de ineficiente, las técnicas de evaluación de la eficiencia cobran especial relevancia. La eficiencia no es el único objetivo que el Sector Público persigue, es más, dado que normalmente entrará en conflicto con consideraciones de equidad, incluso puede renunciarse voluntariamente a conseguir la máxima eficiencia y pasar a considerarse un objetivo secundario. En cualquier caso, y aunque no sea el único objetivo ni el prioritario, medir la eficiencia con diferentes herramientas técnicas (entre ellas el análisis de envolvente de datos) constituye una habilidad útil en el proceso de toma de decisiones.

4 Eficiencia y productividad son conceptos se utilizan a veces de forma intercambiable aunque no significan la misma cosa. La productividad es el ratio entre el valor de algún o todos los outputs que produce una organización con respecto al valor de algún o todos los inputs utilizados en la producción. La eficiencia compara lo que se produce o consume con la producción o consumo óptimos. El caso más sencillo implica una producción con un solo input y un solo output Output Rendimientos constantes P0* Rendimientos variables P0 Medida de eficiencia: comparación ente lo que ocurre y lo que debería ocurrir: X0P0/X0P0* Input X0

5 Antes de definir lo que es la eficiencia, es conveniente recordar algunos conceptos, como FPP (Frontera de Posibilidades de Producción). Si contamos con un solo factor productivo, trabajo (L= Lx+Ly) para producir dos bienes, X o Y. La frontera se grafica como: Y Inalcanzable Implícitamente hemos asumido que la productividad del trabajo es decreciente en la producción de X e Y, y por eso la FPP es convexa X Ineficiente X Lx Contratar más trabajo (Lx) permite producir más (X), pero cada vez menos! Productividad decreciente

6 Y LY X LX

7 El concepto de eficiencia: Concepto más amplio que la eficacia: grado en que se logran los objetivos propuestos, sin considerar: a) ni el coste ni los beneficios de lograr el objetivo b) las formas alternativas de proceder c) adecuación del objetivo al coste Eficiencia productiva (eficiencia técnica y asignativa) Eficiencia técnica: el SP está sobre su frontera de posibilidades de producción: no es posible producir más de algún bien o servicio sin reducir la cantidad de inputs utilizada o alternativamente, no es posible producir los mismos bienes o servicios y reducir simultáneamente el uso de inputs (Dado el input no es posible elevar el output, o dado el output no es posible reducir el input) Ejemplos: a) Mala ubicación de unos almacenes, que incrementa el coste de personal y transporte b) Ineficiencia X: limitar el esfuerzo laboral, o utilizar más factores productivos de los necesarios

8 Input 2 (K) Si en A se está produciendo la cantidad Y0 (Isocuanta) Se da ineficiencia técnica, ya que se utilizan los inputs correspondientes a una producción mayor, Y1 A Eficiencia input=ob/oa B (input mínimo/input real) Y1 Y0 Eficiencia output= Y0 /Y1 O Input 1 (L) (output real/output máximo) Medida de Debreu-Farrell, comprendida entre 0 y 1

9 Input 2 (K) Eficiencia asignativa Exige no solo el logro de la eficiencia técnica, sino escoger la forma de producción más barata: punto D (Isocoste) A Medición: C B D Y1 Eficiencia global=ob/oa*oc/ob= OC/OA Y0 O Input 1 (L)

10 Eficiencia en términos de input y output con 1 input y 1 output output A es ineficiente. Para ser eficiente tendría que situarse en A, A o en un punto entre ambos. C A En términos de output: para la utilización de inputs que hace (OG), debería producir OC en lugar de OD. D A A Eficiencia (términos output): output real/output máximo=od/oc O F G input En términos de input: para el output que produce (OD) debería gastar OF inputs en lugar de OG Eficiencia (términos input): input mínimo/input real=of/og

11 Eficiencia económica: Evaluación de proyectos Una intervención pública es eficiente económicamente cuando los beneficios sociales que reporta son mayores que los costes. La eficiencia técnica o asignativa se ocupan de cómo debe realizarse un gasto. La económica trata de si el gasto debe realizarse o no. Beneficios- Costes>0 = Eficiencia económica. Cuanto mayor sea la eficiencia técnica y asignativa, mayor será la económica El problema reside en las valoraciones, tanto de costes (más sencilla) como de los beneficios. Existen técnicas alternativas de comparación de los costes en los que se incurre y los beneficios o los logros conseguidos.

12 Centrándonos en las evaluaciones económicas, y dependiendo de la comparación de costes y resultados que se utilice, es posible distinguir cinco tipos de evaluación alternativa. Las evaluaciones económicas se basan en un análisis comparativo y sistemático de dos o más alternativas sobre la base de los costes y resultados que cada una de ellas genera. El término evaluación económica debe reservarse los casos para los que se incorpora tanto una medida de coste como de resultado. Sin negar la utilidad de los estudios que comparan simplemente resultados, o simplemente costes, hay que tener en cuenta que son insuficientes como mecanismos para la evaluación de la actuación pública, ya que tan poco sentido tiene escoger la actuación más barata sin conocer los resultados que genera, como escoger la de mejores resultados sin haber considerado lo que cuesta. La forma de medición de los resultados es lo que determina la tipología: -coste-minimización -coste-efectividad -coste-consecuencias -coste-utilidad y -coste-beneficio.

13 Coste minimización: Entre las evaluaciones económicas, es la más sencilla, porque al centrarse exclusivamente en la comparación de los costes, no presenta dificultades de medición de los resultados. Simplemente compara los costes de distintas alternativas, por lo que su resultado es válido exclusivamente en casos en los que se presupone que los efectos logrados por las actuaciones son los mismos. Esta situación se da cuando los objetivos que han de alcanzarse están preestablecidos por alguna norma, ley o acuerdo. Por ejemplo la escolarización obligatoria entre determinadas edades, la prestación universal de determinado servicio sanitario, la reducción de gases contaminantes hasta un nivel predeterminado, o la construcción de un número fijo de kilómetros de autovía. La evaluación del output público presenta numerosas dificultades, por ello, dentro del ámbito de la evaluación económica existen distintas metodologías que comparan el coste de la intervención pública (más fácil de cuantificar) con distintas medidas de los efectos causados por la intervención pública, en función de las alternativas de medición. Es importante tener en cuenta que no siempre es posible comparar el coste de la intervención y los resultados en términos monetarios, solamente el análisis coste-beneficio realiza ese tipo de comparación, con las dificultades que implica la valoración económica por el lado del beneficio.

14 Coste-efectividad: Dentro del concepto de evaluación coste efectividad se entiende la opción de valoración de resultados en unidades no monetarias (ya sean físicas o naturales) y compararlas con los costes monetarios de la actuación. El objetivo final pretendido es obtener el cociente entre coste y efectividad, que indique lo que cuesta generar un incremento en la unidad que mide los resultados (por ejemplo años de vida ganados, número de niños escolarizados, delitos evitados, pasajeros transportados ). Debido a que el análisis coste efectividad se utiliza para comparar distintos proyectos, los ratios coste-efectividad se han de calcular en términos incrementales, es decir, de modo que expresen cuál es el coste adicional del programa A frente al B por conseguir un pasajero más transportado, un delito más evitado o un año más de vida.

15 Efectividad E*: más barato programa 2 Programa 2 Programa 1 Utilizar medidores de efectividad, no de carga de trabajo (no miden calidad ni efectividad, ej. Alumnos por clase) Para elegir es preciso saber si hay un objetivo marcado o una restricción en el coste El máximo ratio efectividad coste no es un buen criterio si hay restricciones de coste u objetivos predeterminados, pero es una buena guía Dada una limitación de coste C*, es más efectivo el programa 1 Fijado el objetivo E*, es más barato el programa 2 C*: más efectivo programa 1 Coste

16 El análisis coste-efectividad no ofrece una regla infalible para la toma de decisiones, ya que en muchas ocasiones, la medida de efectividad empleada no es una medida final, sino intermedia con respecto al objetivo que se quiere conseguir, y no se sabe cómo se vinculan los avances en un indicador intermedio con un resultado final. Ejemplo: si se están comparando programas alternativos que pretenden mejorar la alfabetización de niños pero se utiliza como indicador de resultado la cantidad de niños escolarizados, no sabremos si el programa menos coste efectivo es el que finalmente logrará mayor alfabetización. Esto se debe a que llevar a los niños al aula no es no es ni condición estrictamente necesaria ni suficiente para que aprendan a leer. La pregunta que se plantea es si es aconsejable gastar una unidad adicional en un programa que consigue más escolarización que otro sin saber si el alternativo finalmente formará mejor a los niños. Para la resolución de este tipo de problemas es aconsejable proceder de la forma siguiente: 1) Escoger indicadores de efectividad finales, o lo más cercanos posibles al resultado final 2) Si solamente se dispone de indicadores intermedios, es necesario acudir a la teoría o a la experiencia previa para vincular resultados intermedios y finales, y así escoger con coherencia.

17 Como complemento al análisis coste-efectividad se puede utilizar el análisis costeconsecuencias. Al contrario que en el análisis de efectividad que sintetiza los resultados en una sola medida, el de consecuencias presenta todos los resultados derivados de una actuación frente al coste, dejando sea el decisor el que los pondere según su criterio. El principal inconveniente de este método (Ivàlua, 2009, página 9) reside en que no permite elaborar un ranking de las actuaciones en función de su eficiencia porque los resultados están expresados en unidades de medida diferentes. Su principal fortaleza es ofrecer una idea clara y exhaustiva de todos los resultados de una intervención. El análisis coste-utilidad se utiliza cuando una actuación pública genera varios resultados y éstos se miden utilizando un indicador sintético en términos de utilidad. Se ha utilizado con profusión en el ámbito sanitario, donde las intervenciones públicas se destinan no solamente a aumentar los años de vida, sino al bienestar de los pacientes durante los años de supervivencia (cantidad y calidad). Con este fin se utilizan los AVAC (Años de Vida Ajustados por Calidad).

18 Análisis coste-beneficio El análisis coste-beneficio es una metodología que consiste en valorar de manera exhaustiva todos los costes y beneficios vinculados a una actuación o política en términos monetarios, con el fin de comparar la diferencia entre los mismos, y así obtener el beneficio neto para la sociedad en su conjunto. La dificultad de este método radica en la cuantificación monetaria de todos los costes y beneficios implicados, que exceden de los estrictamente contables. Los pasos a seguir para realizar un análisis coste-beneficio se pueden resumir como sigue: 1. Identificación del proyecto y conocimiento de cómo se va a ejecutar. Ello incluye aclarar los objetivos socioeconómicos y determinar los colectivos cuyo bienestar va a ser evaluado. Con estas consideraciones se comprueba la viabilidad técnica y la consideración de alternativas. 2. Consideración de la distribución temporal de los beneficios y los costes, y aplicación del descuento para contar con magnitudes actualizadas al momento presente tanto de los costes como de los beneficios. Este análisis se realiza primero utilizando una tasa de descuento financiero, para simplemente asegurar la viabilidad financiara del proyecto en su conjunto, y para todos los años en los que se prolongue.

19 3. Identificación de los beneficios y costes sociales y su distribución temporal, incluyendo los efectos externos (positivos o negativos). 4. Cuantificación de los costes y los beneficios, teniendo en cuenta que en ocasiones hablaremos de bienes y servicios para los que sí existe un mercado y es posible utilizar los precios como mecanismo de valoración, y otras veces no, bien porque no hay mercado, o porque existen imperfecciones que hacen que los precios no sean elementos válidos en la valoración. Además hay que eliminar el efecto de los impuestos, debido a que son transferencias entre los agentes implicados. En este punto del análisis existen multitud de métodos de valoración desarrollados con el fin de cuantificar en términos monetarios. 5. Actualización de los valores de todos los costes y beneficios eligiendo una tasa de descuento social, que no tiene por qué coincidir con la financiera, ya que la tasa social es el reflejo de la preferencia por el presente frente al futuro. 6. Estimación del riesgo y la incertidumbre 7. Consideración de los efectos distributivos de los proyectos 8. Presentación sistematizada de los resultados, incluyendo la regla de decisión utilizada.

20 Técnicas para la medición de la eficiencia técnica Se requiere la comparación del modo en que se está desarrollando la actividad (inputs y outputs) con la mejor situación posible según la mejor función de producción. Problemas: - Cuál es la función de producción del sector público? Sanitaria, educativa, infraestructuras, servicios judiciales - Cómo medir el output público? En los casos en que estos dos obstáculos sean salvables, es posible aplicar técnicas cuantitativas, en otro caso habrá que realizar una evaluación cualitativa, descriptiva, con aplicación de indicadores.

21 En función de si se asume o no una forma funcional determinada para función de producción: - Métodos paramétricos: asumen función de producción. Análisis econométrico. - Métodos no paramétricos: Aproximaciones de frontera, función determinada por las observaciones En función de cómo se califique la distancia entre los valores observados y la referencia eficiente: - Métodos deterministas: toda la distancia entre los valores observados y la referencia eficiente se califica como ineficiencia - Métodos estocásticos: se asume que en esa distancia hay un componente de error

22 MÉTODOS NO PARAMÉTRICOS En qué consiste el Análisis de Envolvente de Datos (DEA: Data Envelopment Analysis)? Se trata de una técnica de medición de la eficiencia relativa basada en la programación lineal. La primera aproximación a la técnica la propone Farell (1957) a través del concepto radial de eficiencia, pero serán Charnes, Cooper y Rhodes (1978) quienes desarrollen y pongan en marcha una técnica que se ha convertido en una de las más populares. Para llevar a cabo un DEA necesitamos conocer los inputs y outputs que entran en juego en el proceso productivo de las distintas unidades cuya eficiencia se pretende evaluar. Veamos la intuición, (y el detalle, más adelante).

23 Por ejemplo, si queremos conocer la eficiencia comparada entre tres estudiantes que estudian un total de 100 horas y que obtienen las siguientes calificaciones en las asignaturas de Matemáticas e Inglés: Horas estudio (input) Nota Matemáticas (output 1) Nota Inglés (output 2) Alumno Alumno Alumno

24 A partir de los resultados de los tres alumnos, vamos a tratar de construir una combinación teniendo en cuenta a los tres alumnos qué debemos imitar de cada uno. Es decir, que dadas las horas de estudio nos diga cómo sacar mejores notas (maximización de output), o si las notas nos parecen satisfactorias, cómo minimizar las horas de estudio para conseguirlas (minimización de input). En definitiva, cómo lograr la eficiencia relativa. El alumno 1 obtiene muy buenos resultados en Matemáticas, de manera que ninguna combinación de los alumnos 2 y 3 permite un mejor resultado. El aluno 3, al contrario, es el más eficiente en Inglés. El alumno 2 podría imitar un poco a cada uno de sus compañeros, y obtendría un mejor resultado: Lambda Y=[0,5*8+0,5*2; 0,5*1+0,5*5]=[5,3]>[5,2] No siempre la mejor combinación de otras unidades es 50% de cada una. Podría necesitarse otra proporción, y para ello se utiliza un programa de optimización lineal. En términos gráficos podemos representar la frontera eficiente por trazo más grueso, determinada por dos observaciones, el alumno 3 y el alumno 1, mientras que el alumno 2 es ineficiente comparado con los otros dos, al situarse por debajo de la frontera.

25 Nota Inglés Output 2 Alumno 3 [2,5] Alumno 2 [5,2] Alumno 1 [8,1] Nota Matemáticas (output 1) Horas estudio (input) Nota Matemáticas (output 1) Nota Inglés (output 2) Alumno Alumno Alumno

26 La eficiencia se lograría con una combinación lineal de las actuaciones de los otros dos alumnos para situarse sobre la frontera. Nótese que se trata de una medición relativa de la eficiencia, ya que si los alumnos considerados en la comparación fuesen diferentes, los resultados también lo serían. El análisis gráfico puede utilizarse para mostrar otro ejemplo sencillo, esta vez con dos inputs y un solo output. Supongamos que el output hospitalario viene medido por el número de operaciones anuales de una determinada dolencia, y los inputs son el número de cirujano/as y enfermero/as. Si contamos con la información relativa a 4 hospitales: Input 1 Nº médicos Input 2 Nº enfermero/as Output (nº operaciones /año) Hospital Hospital Hospital Hospital

27 Input 2 Hosp. 1 Hosp. 2 Hosp. 4 Hosp. 3 Input 1

28 MÉTODOS PARAMÉTRICOS Asumen que un proceso productivo sigue una función determinada (CES, translog, Cobb Douglas ) y tratan de ver cómo los valores de producción se acercan a esa función que determina la frontera eficiente (Ya que la función de producción representa la máxima producción alcanzable de un producto a partir de los inputs utilizados en la producción). Como la estimación econométrica requiere linealidad, normalmente las funciones se linealizan tomando logaritmos. (Ver ejemplo en frontera deterministaa.xls)

29 Supongamos que la función de producción (conocida) es: y i Donde: k K k 1 x k ik e i i 1 n y i representa la producción o output x ik son los inputs, K inputs e i es el residuo para la unidad productiva i. Este residuo e i captura cualquier ineficiencia, incluyendo variables no incluidas en la especificación, errores en la medición, y todo esto se achacará a ineficiencia. En función de cómo se considere el efecto aleatorio se tienen modelos deterministas o estocásticos.

30 FRONTERA DETERMINISTA: Si se ignora el efecto aleatorio en el residuo significa que el residuo e i SOLAMENTE captura ineficiencia, e ignora otros efectos. y donde i x u i 1 n K inputs u i >= 0. k K k 1 k ik i Si utilizamos Mínimos cuadrados ordinarios para para estimar el modelo u i tiene media cero, lo que significa que habrá ineficiencia positiva y negativa, porque hay valores por encima y por debajo de la media. Esto se puede corregir desplazando la constante α en la cuantía del máximo residuo. (Mínimos cuadrados ordinarios corregidos) Máximo residuo Input nube puntos recta ajustada

31 Tras la corrección, el modelo resultante es: Cuando esta corrección se realiza: - todos los residuos (que miden la ineficiencia) pasan a ser no negativos - y al menos uno es cero (que presentará eficiencia máxima) - la eficiencia no excederá el 100%, como ocurría antes, cuando era posible encontrar ineficiencias negativas (eficiencia superior al 100%). Veamos un ejemplo: Imaginemos que queremos medir la eficiencia en un proceso de vacunación de malaria. El único input (X) se representa por el porcentaje de vacunados entre la población de riesgo El único output (Y) viene dado por el porcentaje de no infectados por malaria La función de producción que liga y con X la asumimos lineal

32 Ejemplo fronteras: Nota: puede ocurrir (y,x) tal como (100, <100) porque hay otros factores que evitan la malaria Y: % NO infectados de malaria Nota: NO puede ocurrir (y,x) tal como (<100, 100) porque la vacuna es eficaz X: % vacunación entre la población de riesgo PRONÓSTICO U^ Gráfico Output Y Input X beta^ y^=alfa^+x*beta ^ RESIDUOS x nube puntos recta ajustada recta +máx residuo Eficiencia Técnica , , , , , ,76 No hay eficiencia alfa^ 90, , , , ,90 máxima a pesar , , , , , ,94 de output 100% , , , , , , , , , , , , , , , , , , ,00 Máxima eficiencia , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,13 máx residuo= 20,

33 FRONTERA ESTOCÁSTICA: La frontera estocástica de producción fue propuesta independientemente por Aigner, Lovell y Schmidt (1977) y Meeusen y van den Broeck (1977). La especificación original involucraba una función de producción para datos de corte transversal (cross-sectional data) con un término de error con dos componentes: - Uno para medir el efecto aleatorio (v i ) - Otro para medir la ineficiencia técnica (u i ). El modelo puede expresarse como: Y i = x i + (v i - u i ) donde Y i es la producción (o el logaritmo de la producción) de la unidad productiva i; x i es un vector k 1 de cantidades de input de la unidad i; es un vector de los parámetros a estimar; v i son variables aleatorias independientes de los u i que son variables aleatorias nonegativas, y que miden la ineficiencia técnica en la producción.

34 Esta especificación original ha sido usada en un amplio número de aplicaciones empíricas en las dos últimas décadas. Esta especificación ha sido modificada y extendida de diferentes formas. Estas extensiones incluyen: - La especificación de funciones de distribución más generales respecto de u i, tales como: las distribuciones normal truncada o gamma de dos parámetros - El análisis de datos de panel y eficiencias técnicas que varían en el tiempo - La extensión de esta metodología a las funciones de coste en lugar de producción (dualidad), o a la estimación de sistemas de ecuaciones.

35 Frontera estocástica y determinista Output Frontera estocástica f(x i β+v i ), si v i >0 Y Error Aleatorio Frontera de Producción determinista y = f(x i β+v i ) Ineficiencia Estocástica Output Frontera estocástica f(x i β+v i ), if v i <0 Nivel de Producción Observado x i x j x

36 La clave en el análisis de fronteras estocásticas es que el residuo incluye tanto un componente aleatorio como de ineficiencia. εi=vi+ui, cov(vi, ui)=0 Componente estocástico (vi) Por eventos fuera del control de la organización: -Condiciones climáticas -Fallos en maquinaria -Errores en identificación de variables relevantes -Azar.. Componente de ineficiencia (ui) NO NEGATIVO La frontera estocástica: 1. NO se corresponde con la línea de mejor ajuste (como en MCO) 2. No pasa necesariamente por el punto más eficiente (como en MCOC)

37 Muchas gracias por su atención