GOBIERNO REGIONAL DE ARICA Y PARINACOTA División de Análisis y Control de Gestión. Informe Final

Transcripción

1 Página : 1 de 44 GOBIERNO REGIONAL DE ARICA Y PARINACOTA División de Análisis y Control de Gestión Informe Final MODELAMIENTO DEL PROCESO DE GESTION DE INVERSIONES DEL GOBIERNO REGIONAL DE ARICA Y PARINACOTA Y DISEÑO E IMPLEMENTACION DE UNA METODOLOGIA DE EVALUACION EX POST PARA LAS INICIATIVAS YA EJECUTADAS Y FINANCIADAS POR EL FONDO NACIONAL DE DESARROLLO REGIONAL (FNDR) DE LA REGION DE ARICA Y PARINACOTA Preparado Por: Álvaro Bahamondes V. (alvaro.bahamondes@arbol-logika.com) Pedro Goic B. (pedro.goic@arbol-logika.com) Constanza Saa I. (constanza.saa@arbol-logika.com) Héctor Araya M. (hector.araya@arbol-logika.com) Documento Versión 2.0 Última modificación: 24/07/2013 Arbol Logika S.A.

2 Página : 2 de 44 TABLA DE CONTENIDOS 1. INTRODUCCION ANTECEDENTES DE LA CONSULTORÍA Y ACTIVIDADES Equipo de trabajo Metodología de trabajo Actividades realizadas MODELAMIENTO DEL PROCESO DE GESTION DE INVERSIONES DEL GOBIERNO REGIONAL DE ARICA Y PARINACOTA. MANUALES DE PROCESO Definición de los procesos a modelar y manuales elaborados Pre-Inversión Identificación Presupuestaria Elaboración de Convenios Ejecución, Seguimiento y Supervisión de Iniciativas de Inversión Evaluación Ex Post de Iniciativas Financiadas Estructura de los manuales Elaboración de los manuales TRANSFERENCIA DE CAPACIDADES Objetivos del Proceso de Capacitación Contenidos del Programa de Capacitación Resultados del Proceso de Transferencia de Capacidades Manuales de Procesos Metodología de Evaluación Ex Post. Pauta de Visita a Terreno Metodología de Evaluación Ex Post. Medición de la Satisfacción de los Usuarios MARCHA BLANCA Desarrollo de la Marcha Blanca Resultados de la Marcha Blanca Consideración Final sobre la Marcha Blanca PROTOTIPO DE SISTEMA DE EVALUACIÓN EX POST DE INICIATIVAS DE INVERSIÓN Sistema de Evaluación Ex Post. Enfoque de Solución Sistema de Evaluación Ex Post. Concepto de Ficha Extendida Datos Generales y Antecedentes Técnicos... 26

3 Página : 3 de Evaluación de Insumos y Procesos, Productos y Resultados Resultados del Sistema y Retroalimentación del Proceso de Gestión de Inversiones ANEXOS... 31

4 Página : 4 de INTRODUCCION Al igual que el resto de las regiones del país, Arica y Parinacota está inserta en el Sistema de Mejora Continua de la Gestión Institucional impulsada por la Subsecretaría de Desarrollo Regional (SUBDERE) desde el año 2007 y que propone mejorar las capacidades de gestión institucional de cada Gobierno Regional (GORE) tomando como referencia un modelo de gestión de calidad diseñado especialmente para este sistema; todo este proceso contempla, en la medida que se acrediten las mejoras en las capacidades de gestión, la transferencia de competencias en el tiempo, que entregarán al GORE una mayor autonomía y capacidad de decisión. La implementación de este sistema en cada uno de los GORE contempló, en una fase inicial, un autodiagnóstico en profundidad del nivel de gestión de cada uno de ellos y la formulación de Planes de Mejoramiento de esa gestión. En el caso del GORE de Arica y Parinacota, los focos priorizados en este Plan, fueron la Gestión de inversiones y el desarrollo regional y territorial, con sus subcriterios: Gestión de inversiones, Programa de desarrollo social y cultural y Programa de desarrollo económico y fomento productivo. Es en este contexto en que se inserta la presente consultoría Modelamiento del proceso de gestión de inversiones del Gobierno Regional de Arica y Parinacota y diseño e implementación de una metodología de evaluación ex post para las iniciativas ya ejecutadas y financiadas por el Fondo Nacional de Desarrollo Regional (FNDR) de la Región de Arica y Parinacota, específicamente, en la línea de acción denominada Diseño de un sistema de seguimiento a la inversión regional, con especial énfasis en el desarrollo productivo, cultural, social y económico de la región. La presente entrega corresponde al Informe Final del trabajo realizado por Arbol-Logika desde noviembre de 2012, y está conformada por un conjunto de archivos; el primer archivo corresponde al informe propiamente tal, más un tomo de anexos; y los restantes cinco archivos corresponden a los Manuales de Proceso del Sistema de Seguimiento, Control y Evaluación Ex Post de la Inversión de la Región, que en total suman cinco manuales: (i) Pre-inversión; (ii) Identificación presupuestaria; (iii) Elaboración de convenios; (iv) Ejecución, seguimiento y supervisión de las iniciativas de inversión; y (v) Evaluación ex post de iniciativas. El Informe ha sido estructurado en 6 capítulos más los anexos. El primer capítulo corresponde a la Introducción; el segundo entrega antecedentes del desarrollo operativo de la consultoría, los temas abordados, la metodología de trabajo, las reuniones realizadas con la contraparte, etc. El tercer capítulo entrega una descripción genérica de los manuales de proceso y su estructura. En los capítulos 4 y 5 se muestran en detalle lo que fue la transferencia de capacidades a los funcionarios del GORE y a otros actores relevantes en el proceso de gestión de las inversiones, y la marcha blanca, respectivamente. Finalmente, en el capítulo 6 se entregan algunos lineamientos básicos para el diseño e implementación de un Sistema Informático de Evaluación Ex Post el cual se complementa con un prototipo en formato HTML del sistema desarrollado por Arbol-Logika. Se incluye un capítulo de anexos con las actas de asistencia al taller de capacitación, un registro fotográfico de lo que fue esta actividad y la encuesta de satisfacción de usuarios finales de las iniciativas de inversión, ajustada según las observaciones hechas por los funcionarios del GORE y de las Unidades Técnicas que participaron en la actividad.

5 Página : 5 de ANTECEDENTES DE LA CONSULTORÍA Y ACTIVIDADES 2.1. Equipo de trabajo Para el desarrollo de esta última etapa, que se centró en la elaboración y ajuste de los manuales del proceso de seguimiento, control y evaluación ex post de las iniciativas de inversión y en la preparación del taller de transferencia de capacidades, el equipo consultor responsable de la ejecución, así como la contraparte técnica y de coordinación por parte del Gobierno Regional de Arica y Parinacota, siguió integrado por los/las siguientes profesionales: Cuadro 1. Equipo de trabajo. Organización Nombre Función Contacto GORE Arica y Parinacota Arbol Logika S. A. Claudio Cornejo S., Jefe Departamento de Presupuesto de la División de Análisis y Control de Gestión (DACOG) Contraparte técnica claudio.cornejo@gorearicayparinacota.gov.cl Osvaldo Valdivia, Profesional DACOG Equipo de trabajo osvaldo.valdivia@gorearicayparinacota.gov.cl Luis Taboada, Profesional DACOG Equipo de trabajo luis.taboada@gorearicayparinacota.gov.cl Álvaro Bahamondes V. Gerente del proyecto alvaro@arbol-logika.com Héctor Araya M. Consultor/coordinación hector.araya@arbol-logika.com Constanza Saa I. Consultora constanza.saa@arbol-logika.cl Pedro Goic B. Consultor pedro.goic@arbol-logika.com 2.2. Metodología de trabajo Esta última fase de la consultoría se ha desarrollado siguiendo la metodología de trabajo instalada en todas las fases anteriores, fortaleciendo el trabajo de análisis de los antecedentes recogidos en la revisión de documentación y entrevistas realizadas, además de la validación preliminar, ya sea documental o in situ, de las herramientas propuestas, de esta forma se realizó: Revisión en profundidad de los procesos y subprocesos vinculados a la Inversión FNDR en el Gobierno Regional de Arica y Parinacota, complementando el material entregado por la Consultoría Proyecto de planificación institucional del Gobierno Regional de Arica y Parinacota. Realizado por la Consultora Newtenberg Publicaciones Digitales. Coordinación y realización del Programa de Transferencia de Capacidades que incluyó una parte teórica y otra de trabajo práctico Actividades realizadas La cuarta etapa de la consultoría, correspondiente a la fase final de la aplicación, estuvo marcada por el ajuste de los Manuales de Proceso, los cuales se entregan como principal producto de este informe, y por la transferencia de capacidades a los funcionarios del GORE y de las principales unidades técnicas vinculadas al proceso de gestión de inversiones en la Región.

6 Página : 6 de 44 A continuación se presenta el detalle de las actividades entre el GORE y Arbol Logika, realizadas hasta la fecha: Cuadro 2. Detalle de las actividades realizadas durante la consultoría. Etapa Fecha Temas Tratados Participantes Etapa 1. Diagnóstico Reunión de Kick off del Proyecto Revisión de temas iniciales respecto a los Osvaldo Valdivia y Luis Taboada impactos en planificación y carta Gantt del proyecto. Álvaro Bahamondes Etapa 1. Diagnóstico Etapa 2. Diseño Etapa 3. Aplicación modelo. del /24/ Presentación del contexto del proyecto a los participantes. Revisión del actual proceso de inversiones en el GORE. Reunión de Coordinación operativa y recopilación de antecedentes respecto del proceso de inversión. Aclarar algunos aspectos relacionados con el proceso de inversión y priorización estratégica de proyectos. Profundización proceso de inversión y priorización de las distintas tipologías de proyectos en el marco del FNDR. Análisis global del proceso de inversión y priorización estratégica de proyectos, además de la coordinación interna en torno al proceso de inversión. Profundizar conocimiento del proceso de inversiones, específicamente Fondo de Innovación y Competitividad (FIC) Reunión de coordinación técnica y administrativa; definición preliminar de la muestra de iniciativas terminadas que serán objeto de la evaluación ex post propuesta; Revisión de ChileIndica y principales herramientas de navegación. Presentación de la metodología de evaluación ex post propuesta y primera validación. Revisión de cartera de iniciativas e identificación de iniciativas terminadas. Definición de los criterios que dan por finalizadas las iniciativas. Revisión en detalle de carpetas y antecedentes de iniciativas de inversión (13) y sistemas de información para recuperación de datos y evaluación de factibilidad de aplicación de metodología. Subtítulo 24-cultura (4); Subtítulo 29-vehículos y maquinarias (4); Subtítulo 31-proyectos (3); Subtítulo 33-FRIL (2). Osvaldo Valdivia, Luis Taboada y Esperanza Regente. Álvaro Bahamondes Claudio Cornejo Constanza Saa GORE Haroldo Castañeda y Pablo Zepeda Constanza Saa Sergio Méndez Constanza Saa Santiago Vera Constanza Saa Carla López Pedro Goic Claudio Cornejo Constanza Saa Santiago Vera y Claudio Cornejo Constanza Saa Osvaldo Valdivia, Luis Taboada, Leonardo Torres, Carla López y Eliana Asenjo Constanza Saa Osvaldo Valdivia, Luis Taboada, Eliana Asenjo Constanza Saa

7 Página : 7 de Video Conferencia revisión de avances y programación de jornadas de trabajo. Envío para análisis por parte del GORE de documentos: Indicadores de evaluación. Encuestas satisfacción de usuarios. Reunión de coordinación del proyecto y visita. Revisión general del proceso de inversión y utilización del sistema Chile Indica como soporte de información de seguimiento financiero, técnico y administrativo de este. Análisis del proceso de Admisibilidad de iniciativas de inversión subtítulo 31 y propuesta de trabajo en torno a discusión de ARI y seguimiento de PROPIR. Análisis del proceso de admisibilidad y análisis técnico de iniciativas de inversión Subtítulos 33 y 29. Revisión del proceso de construcción de convenios mandatos y convenios de transferencia (FIC). Revisión de participación del Dpto. Jurídico en el proceso de inversión, función de soporte en Convenio Mandato, transferencia de bienes, otros acciones según requerimiento Revisión en profundidad del proceso de identificación y asignación presupuestaria, además de todo lo que dice relación con ajustes posteriores. Análisis del proceso de Gestión y seguimiento de iniciativas de inversión financiadas con el FNDR Procesos de pago y control y gestión de garantías desde la perspectiva de la División de Administración y Finanzas Revisión de las prácticas de Seguimiento en terreno, evaluación durante y expost de iniciativas de inversión. Visita a terreno, aplicación y validación de encuestas y metodología de recolección de información a usuarios y Unidades Técnicas en proyectos: MEJORAMIENTO INTEGRAL LICEO JOVINA NARANJO F., ARICA MEJORAMIENTO PLAZA BONILLA, ARICA Visita a terreno, aplicación y validación de encuestas y metodología de recolección de información a usuarios y Unidades Técnicas en proyectos: AMPLIACION EDIFICIO SERVICIO MEDICO LEGAL DE ARICA Claudio Cornejo Pedro Goic Claudio Cornejo Constanza Saa Claudio Cornejo Pedro Goic Patricio Piña y Haroldo Castañeda Pedro Goic Esperanza Regente y Santiago Vera Pedro Goic Osvaldo Valdivia y Carla López Pedro Goic Mario Palma y Claudio Cornejo Pedro Goic Betsaida Riveros y Claudio Cornejo Pedro Goic Sergio Méndez Pedro Goic Patricia Segovia Pedro Goic Luis Taboada y Sergio Méndez Pedro Goic Osvaldo Valdivia UT: Cristián Velásquez Constanza Saa Luis Taboada Constanza Saa

8 Página : 8 de 44 Etapa 3. Aplicación modelo. del Visita a terreno, aplicación y validación de encuestas y metodología de recolección de información a usuarios y Unidades Técnicas en proyectos: MEJORAMIENTO ESTADIO SAN MARTIN, CERRO LA CRUZ, ARICA Taller de transferencia de capacidades con funcionarios del GORE. Presentación y análisis de los Manuales de Proceso Taller de transferencia de capacidades con funcionarios del GORE y de las principales Unidades Técnicas. Presentación de la metodología de evaluación ex post y sistema informático desarrollado por Arbol-Logika. Trabajo práctico de evaluación ex post. Revisión documental y visita a terreno de las siguientes iniciativas: MEJORAMIENTO DE LA PLAZA 1 DE MAYO CONSERVACIÓN DE LA AVENIDA SANTA MARIA Taller de transferencia de capacidades con funcionarios del GORE y de las principales Unidades Técnicas. Trabajo práctico de evaluación ex post. Revisión documental y visita a terreno de las siguientes iniciativas: ADQUISICIÓN DE CARRO BOMBA PARA LA 4 CIA DE BOMBEROS DE ARICA AMPLIACION DEL JARDIN INFANTIL CAMPANITA Luis Taboada Constanza Saa ver Acta de Asistencia (Anexo 1) Arbol-Logika: Pedro Goic ver Acta de Asistencia (Anexo 1) Arbol-Logika: Pedro Goic Constanza Saa Alvaro Bahamondes ver Acta de Asistencia (Anexo 1) Arbol-Logika: Pedro Goic Constanza Saa Alvaro Bahamondes

9 Página : 9 de MODELAMIENTO DEL PROCESO DE GESTION DE INVERSIONES DEL GOBIERNO REGIONAL DE ARICA Y PARINACOTA. MANUALES DE PROCESO 3.1. Definición de los procesos a modelar y manuales elaborados La definición de los procesos a modelar y generación de manuales, se desprendió del objetivo declarado para esta consultoría, cual es Diseñar el modelamiento del proceso de gestión de inversiones del Gobierno Regional de Arica y Parinacota, coherente con el sistema de seguimiento de la inversión vigente, que incluya y aplique una metodología de evaluación ex post a las iniciativas ya ejecutadas y financiadas por el FNDR. Frente a esta demanda, como equipo consultor, en permanente contacto con el equipo que gestiona las inversiones del FNDR en la Región, se trabajó bajo la premisa de analizar el proceso de financiamiento, como una cadena de valor que se inicia en los requerimientos y demandas de los grupos de interés, y finaliza con la entrega de los productos estratégicos definidos por la institución, para cumplir su misión y objetivos estratégicos. En general, y el Gobierno Regional de Arica y Parinacota no fue la excepción, todos los Gobiernos Regionales distinguen cada uno de los elementos de la cadena de valor del proceso de financiamiento, sin embargo, estos procesos se desarrollan en forma aislada o con bajos niveles de relación y comunicación interna, lo que provoca una pérdida de coherencia entre la planificación realizada y las iniciativas finalmente financiadas; más aún cuando esa planificación es débil y no se cuenta con la práctica de realizar procesos de admisibilidad ajustados a las prioridades de desarrollo Regional. Bajo estas premisas, cuyos antecedentes en detalle fueron presentados en la etapa de diagnóstico, se trabajó sobre el ciclo formal que enfrentan todas las iniciativas de inversión que serán financiadas con recursos provenientes del FNDR, es decir: a. Identificación de la iniciativa (planificación o levantamiento), ya sea por una demanda ciudadana directa que es canalizada por una Unidad Técnica (UT) que la postula (Municipio, Servicio, organizaciones sociales) o que viene asociada a procesos de planificación, convenio marco u otros. b. Formulación, por parte de quien presentará la iniciativa, según la línea de financiamiento podrá ser una UT (FNDR) u organización ciudadana en el caso de 2%, municipios mayoritariamente en FRIL u otros. c. Selección o admisibilidad, normalmente la realiza el GORE, es donde deberían revisarse aspectos administrativos pero sobretodo la coherencia con estrategias y políticas regionales además de lineamientos de gobierno. d. Evaluación, se evalúa Ex Ante la iniciativa para detectar su real viabilidad, en el caso del FNDR tradicional, esta responsabilidad radica en la Secretaria Regional de Desarrollo Social, Ex SERPLAC y en el Sistema Nacional de Inversiones (SNI). Existen diferentes metodologías asociadas a los diferentes sectores y tipologías de proyectos, termina en una recomendación técnica económica (RATE). En el caso de proyectos de menor envergadura (2%, FRIL, FIC, entre otros) el proceso de evaluación normalmente radica en los cuerpos técnicos del GORE. e. Priorización, es el proceso en que el Intendente construye la cartera priorizada y la propone para su aprobación o rechazo al CORE.

10 Página : 10 de 44 f. Asignación Presupuestaria, una vez emitido el certificado de aprobación por el CORE, se procede a generar las asignaciones presupuestarias en el SIGFE, solicitar presupuesto e incluirlo en programa de caja. Considera toda la tramitación de convenios mandatos entre el GORE (quien entrega el financiamiento) y la Unidad Técnica (UT quien ejecuta). g. Licitación, en virtud del tipo de proyecto, opera el GORE o es la UT la que licita a quien construirá o proveerá los bienes y servicios asociados al proyecto. h. Ejecución, construcción o desarrollo propiamente tal de la iniciativa identificada. i. Evaluación posterior, corresponde a la evaluación Ex post, en tres niveles de corto plazo o resultados, de mediano plazo o en profundidad y de largo plazo o de impacto, que se deben aplicar secuencialmente y su pertinencia también tiene que ver con las características de cada proyecto financiado. Con el fin de producir un material que fuera fácilmente asimilable y permitiera concentrarse en las etapas que a cada actor competen, estas nueve etapas del proceso de financiamiento fueron agregadas en cinco manuales de proceso, que a continuación se describen sucintamente y que se presentan en este informe como anexos en sus versiones Pre-Inversión Documento que detalla los subprocesos de identificación y formulación de la iniciativa, la admisibilidad de los proyectos, la evaluación ex ante y la priorización de las iniciativas de inversión. Específicamente en este caso, en el Subproceso de Evaluación Ex Ante, se recomienda la instauración al Interior de DACG de una Unidad de Evaluación y Preinversión, ya que hoy la función de evaluación ex ante es asumida por una profesional evaluadora de preinversión, sin establecer claramente responsabilidades y atribuciones necesarias para una correcta gestión Identificación Presupuestaria El Manual detalla las acciones ligadas a la etapa de identificación y asignación presupuestaria, correspondientes a las iniciativas de inversión que se financian a través del FNDR. En virtud de las distintas fuentes identificadas (subtítulos dentro del Presupuesto de Inversión del Gobierno Regional), el manual se ha subdivido en tres secciones que detallan a través de la gráfica de procesos el flujo que se debe seguir en cada caso y cada vez que sea necesario realizar las modificaciones presupuestarias correspondientes Elaboración de Convenios El Manual para la Elaboración de Convenios, detalla las acciones ligadas a la etapa de elaboración, firma y tramitación final de Convenios asociados a iniciativas de inversión del FNDR en la Región de Arica y Parinacota. El responsable institucional de este subproceso es el Departamento Jurídico del Gobierno Regional, que actuará en estrecha relación con la División de Análisis y Control de Gestión como referente técnico de los contenidos que se considerarán en los diferentes Convenios.

11 Página : 11 de Ejecución, Seguimiento y Supervisión de Iniciativas de Inversión El Manual correspondiente al proceso de ejecución, seguimiento y supervisión de iniciativas de inversión, se concentra en los subprocesos ligados a la fase de ejecución propiamente tal de las iniciativas de inversión, muchas de las cuales ocurren fuera de la tuición operativa del Gobierno Regional. Sin embargo, se han incluido dado el rol de garante de la buena ejecución que compete al Gobierno Regional, así como la necesidad de conocimiento de ellas como parte del proceso de seguimiento y supervisión y cuando corresponde al propio GORE actuar como Unidad Técnica. Los subprocesos y actividades que se detallan en el marco de la ejecución, seguimiento y cierre de iniciativas de inversión son: a. Licitación y adjudicación de iniciativas de inversión b. Ejecución de las iniciativas de inversión - control financiero c. Término y recepción de obras y proyectos d. Supervisión - visita técnica - y cierre de las iniciativas Evaluación Ex Post de Iniciativas Financiadas El Manual de Evaluación Ex Post tiene por objeto determinar las responsabilidades y regular los procedimientos relacionados con la aplicación de la metodología de evaluación ex post de las iniciativas financiadas por el Fondo Nacional de Desarrollo Regional (FNDR), implementada en la Región Estructura de los manuales Se debe considerar que los manuales de procesos y/o procedimiento, buscan entregar lineamientos claros y relativamente genéricos respecto de cómo se desarrollan los procesos, procedimientos y algunas actividades específicas necesarias para alcanzar el producto intermedio o final deseado. En este escenario, deben ser entendidos como instrumentos vivos, que se van evaluando y perfeccionando conforme se van utilizando. Es decir, una manual que no es sujeto de observaciones, críticas e identificación de oportunidades de mejora, es un instrumento que no cumple con su función y prontamente quedará obsoleto. Asimismo, es importante mencionar que en la construcción de los manuales se avanzó desde la situación actual a una primera situación mejorada u optimizada, incorporando las mejoras que junto con el equipo del GORE se fueron identificando en las diferentes reuniones de trabajo, entrevistas y jornadas de difusión realizadas, lo que necesariamente implicará modificar desde ya algunas formas de actuar al interior del GORE. Todos los manuales desarrollados (5) cuentan con una misma estructura, la cual además se propone sea adoptada por el Gobierno Regional como estructura base para los futuros manuales de proceso y procedimiento que la institución vaya generando en el marco de su esfuerzo de mejoramiento de la gestión institucional.

12 Página : 12 de 44 La estructura general de los manuales es la siguiente: a. Objetivo: define en forma genérica la razón de ser del manual y en términos globales es el mismo para los cinco manuales, ligado a optimizar el funcionamiento del ciclo de inversión en el Gobierno Regional. b. Alcance: define en dónde es aplicable el manual y quiénes están obligados a su aplicación. c. Responsables: se describen los responsables dentro del proceso y sus principales funciones. d. Definiciones, abreviaturas, siglas y aclaraciones: básicamente, esta sección tiene por objetivo ilustrar a quien revisa el manual, así como ir generando un léxico común, por todos conocido, respecto de los procesos y procedimientos en cuestión. e. Organigrama Institucional: en cada manual se presenta el actual organigrama institucional, el cual debería precisarse una vez que las funciones y obligaciones de cada uno de los actores estén formalmente definidas. f. Modo operativo: esta sección es el corazón del manual, en ella se describe el proceso a través de un breve resumen y la presentación de flujogramas y descripciones en detalle de las etapas ligadas al proceso, cuando se considera que la gráfica no es suficientemente explicativa. g. Registros: se trata de una matriz que identifica los principales documentos y registros que arroja el proceso y procedimiento, quién es responsable de su resguardo, cómo se debe mantener y por cuánto tiempo. h. Referencias: básicamente, se trata de la literatura y cuerpos legales y normativos que dan sustento al proceso y procedimientos. i. Indicadores de desempeño: se trata de una matriz que define algunos indicadores, a nivel de propuesta que podrán ser complementados, y que se consideran claves para medir el desempeño del proceso y sus resultados de corto plazo. Es importante mencionar, que estos indicadores buscan realizar un adecuado seguimiento del proceso y en ningún caso son un compromiso o imposición de medición. Debe considerarse, que el análisis de las primeras mediciones puede recomendar su eliminación o modificación al aportar poco valor al seguimiento del proceso. j. Anexos: en virtud del proceso se definen algunos anexos que se consideran relevantes. Es importante mencionar que los anexos son parte integrante del manual, por lo que cualquier cambio o ajuste implica actualizar la versión del manual, por ello no se recomienda incorporar formatos que dependen de otras instituciones o sistemas, ya que ellos tienen sus propios mecanismos de control. De esta forma, lo que se entrega no son sólo documentos que orientan una forma de actuar, sino que una herramienta de trabajo, que está en manos del Gobierno Regional administrar, actualizar y mejorar conforme se vayan detectando oportunidades de mejora en los distintos procesos.

13 Página : 13 de Elaboración de los manuales Entendiendo que el proceso de levantamiento de información no es atractivo para el profesional que debe describir, a veces de manera reiterada, la forma en la cual realiza su trabajo. El primer esfuerzo radicó en identificar y recopilar documentación histórica existente, tanto en el Gobierno Regional, como en otras Instituciones de similares características, respecto de levantamientos anteriores y manuales de ejecución del FNDR, de forma que la tarea con los equipos profesionales se centrara en validar y profundizar aspectos específicos de los distintos procesos. Entre los documentos consultados se consideraron: Informe levantamientos de procesos, en el marco de la consultoría Proyecto de planificación institucional del Gobiernos Regional de Arica y Parinacota. Realizado por la consultora Newtenberg Publicaciones Digitales Limitada. Manual de Operaciones Procesos Fondo Nacional de Desarrollo Regional, Subsecretaria de Desarrollo Regional y Administrativo. FNDR/2006. Proceso de postulación de iniciativas de inversión al FNDR vía sistema nacional de inversiones; circular N 33 y/o 2% cultura y deporte y priorización al Consejo Regional Metropolitano de Santiago. Manual de procedimientos de control de proyectos FNDR, Gobierno Regional de Los Lagos, Departamento de Estudio e Inversiones. A partir de la revisión bibliográfica, se procedió a un trabajo de conversación y levantamiento de información con los profesionales involucrados directamente en los procesos. Lo anterior, permitió, bajo una dinámica participativa, no sólo que el entrevistado pudiera contar el cómo realiza ciertas labores, sino que al mismo tiempo sintiera que las constantes respuestas a las preguntas del consultor serían un aporte al proceso, lo que finalmente se ve reflejado en las propuestas de diagrama y procedimientos que se generaron. De esta forma, gracias al trabajo en conjunto (profesional(es)/consultor), se pudo plasmar sobre la herramienta de diagramación (Enterprise Architect) la gráfica de flujos, que en conjunto con las descripciones que se fueron validando en cada uno de los informes intermedios, permitieron estructurar los manuales de proceso que se presentan en este informe. En el caso del Manual de Evaluación ex Post de iniciativas, dada la condición de procedimiento inédito en la Región, su elaboración completa estuvo en manos del equipo consultor de Arbol-Logika, el cual definió la estructura y diseñó los procesos respectivos, estableciendo las responsabilidades y tiempos requeridos para cada actividad. A la entrega del presente informe, la Consultora se encuentra a la espera de eventuales comentarios para ser incorporados en la versión final.

14 Página : 14 de TRANSFERENCIA DE CAPACIDADES En el marco de la presente consultoría y establecido en sus términos de referencia, se planteó la necesidad y pertinencia de transferir a los profesionales involucrados las capacidades requeridas para la correcta y plena implementación del proceso de gestión de inversiones modelado, incluyendo la metodología de evaluación ex post diseñada. Dando respuesta a este requerimiento, se desarrolló un proceso de transferencia de capacidades entre los días 7 y 9 de mayo de 2013 en las dependencias de la Intendencia Regional. La actividad contó con una amplia participación de los profesionales del Gobierno Regional, de las principales Unidades Técnicas partícipes del ciclo de inversión en la Región y del equipo consultor de Arbol-Logika. A continuación, se detalla el desarrollo de la actividad, los objetivos perseguidos, y las presentaciones y actividades realizadas. En los Anexos 1 y 2, se entregan las actas de asistencia y el registro fotográfico de la actividad, respectivamente. 4.1 Objetivos del Proceso de Capacitación Los objetivos específicos perseguidos con la actividad fueron: a. Exponer el trabajo desarrollado la Consultora Arbol-Logika, los objetivos perseguidos y los principales productos que se obtendrán una vez finalizado el trabajo. b. Presentar el Proceso de Gestión de Inversiones de la Región modelado, desde la admisibilidad, pasando por el control y seguimiento, hasta la evaluación ex post de las iniciativas terminadas. c. Presentar y transferir la metodología diseñada para la evaluación ex post de iniciativas terminadas, financiadas por el FNDR en la región. d. Presentar el Sistema Informático para la Evaluación Ex Post de Inversiones, desarrollado por la empresa Arbol Logika, complementario a la metodología desarrollada para la región. e. Exponer y discutir la conformación e instalación al interior del GORE de la Unidad de Evaluación Ex Post, propuesta por la Empresa Consultora como unidad operativa y coordinadora del proceso de evaluación diseñado. f. Presentar y recoger observaciones a los Manuales de Procedimiento diseñados. g. Entregar los lineamientos principales para una correcta puesta en marcha del Sistema de Gestión de Inversiones del GORE, modelado para la región. h. Aplicar en casos reales el proceso de gestión de inversiones modelado, poniendo especial énfasis en la aplicación de la metodología de evaluación ex post diseñada.

15 Página : 15 de Contenidos del Programa de Capacitación El Taller de Transferencia de Capacidades fue concebido como una instancia de presentación, análisis y discusión del trabajo desarrollado por la empresa consultora. En este contexto, se estructuró en tres jornadas de trabajo; la primera de ellas fue dedicada exclusivamente al análisis de los Manuales que describen el proceso de gestión de inversiones en su totalidad, elaborados por la empresa; la segunda jornada fue dedicada a la presentación de la Metodología de Evaluación Ex Post propuesta y de la solución informática desarrollada por Arbol-Logika para estos fines; y, por último, parte de la segunda jornada y la tercera estuvieron dedicadas a la aplicación práctica de la metodología de evaluación ex post diseñada. El Programa de Capacitación estuvo conformado por 3 unidades que se describen a continuación: Unidad 1: Proceso de gestión de inversiones de la Región modelado En esta unidad se abordó el trabajo desarrollado por Arbol-Logika en la modelación del proceso de gestión de inversiones, recogiendo observaciones para el mejoramiento de los manuales desarrollados. En términos globales se trabajó sobre las siguientes grandes etapas del ciclo: a. Admisibilidad b. Seguimiento y control de las iniciativas en su ejecución c. Proceso de cierre/termino de las iniciativas d. Seguimiento presupuestario e. Evaluación ex post Unidad 2: Evaluación ex post de las iniciativas terminadas. Trabajo teórico Los aspectos que fueron abordados son: a. Evaluación ex post. Marco conceptual b. Metodología de evaluación ex post diseñada para la Región, alcances y objetivos c. Aplicación según tipología de iniciativas d. Evaluación de la satisfacción de usuarios e. Breve exposición de los principales resultados de la aplicación de la metodología a casos reales de la Región de Arica y Parinacota f. Breve exposición sobre la conformación de la Unidad de Evaluación Ex Post (responsabilidades, objetivos, labores a realizar, productos a obtener) g. Presentación del Sistema Informático de Evaluación Ex Post desarrollado por Arbol-Logika

16 Página : 16 de 44 Unidad 3: Evaluación ex post de las iniciativas terminadas. Trabajo práctico Con el objeto de lograr una plena incorporación en los actores, de la metodología de evaluación ex post diseñada y su importancia como parte del proceso de gestión de inversiones, se realizó un trabajo práctico en el que se conformaron cuatro grupos y cada uno aplicó la metodología a una iniciativa de inversión terminada y financiada por el FNDR en la Región (Figura 1). Para la conformación de los grupos, se procuró que cada uno de ellos estuviera integrado por representantes de las tres divisiones del GORE (DACOG, DIPLAN y DAF) y por un representante de la Unidad Técnica correspondiente a la iniciativa de inversión evaluada. Figura 1. Trabajo práctico. Iniciativas a las cuales se les aplicó la metodología de evaluación ex post. FUENTE: Elaboración propia. Este trabajo se estructuró en dos bloques. El primero de ellos, consistió en la recopilación y procesamiento de antecedentes documentales de las iniciativas 1, vale decir, la revisión de las carpetas respectivas, para lo cual, cada grupo dispuso de la Pauta de Evaluación diseñada por la consultora para el levantamiento de la información requerida. Asimismo, los grupos tuvieron siempre a la vista las fuentes de información precisas de donde obtener los datos requeridos. Este trabajo estuvo siempre guiado por el equipo consultor de Arbol Logika constituido por Alvaro Bahamondes, Pedro Goic y Constanza Saa. El objetivo del primer bloque se centró en resaltar la relevancia de contar con carpetas de iniciativas lo más completas y ordenadas posible, de manera de optimizar el tiempo de recolección de la información y la calidad de ella. En el segundo bloque de esta unidad, cada grupo visitó en terreno la iniciativa que revisó en el primer bloque, procediendo a realizar la recopilación y el procesamiento de los antecedentes de terreno 1. Cada grupo fue acompañado por un integrante del equipo consultor quien, si bien guio el procedimiento, procuró mantenerse al margen a la hora de levantar la información, de manera que fueran los propios 1 Para una mejor comprensión del proceso y la terminología utilizada, ver el Anexo 8 del Manual de Evaluación Ex Post.

17 Página : 17 de 44 actores del GORE y de las UT quienes hicieran el trabajo. Asimismo, en este bloque los grupos procedieron a aplicar la encuesta de satisfacción de usuarios diseñada para tales efectos. Dada la limitación de tiempo existente, el trabajo práctico se limitó al levantamiento de información, tanto documental como de terreno, insumos fundamentales para el correcto procesamiento, cálculo de indicadores y evaluación final. 4.3 Resultados del Proceso de Transferencia de Capacidades Como resultados generales que se planteó obtener, se mencionan: a. Profesionales y técnicos del Gobierno Regional de Arica y Parinacota y de las principales Unidades Técnicas, en conocimiento del trabajo desarrollado por la Empresa Consultora y del Proceso de Gestión de Inversiones modelado para la Región. b. Profesionales y técnicos del Gobierno Regional de Arica y Parinacota y de las principales Unidades Técnicas capacitados en la metodología de evaluación ex post, tanto desde el punto de vista teórico como desde el punto de vista práctico, y su aplicabilidad en la región. c. Profesionales y técnicos del Gobierno Regional de Arica y Parinacota informados de la estructura, contenidos y forma de operación de los Manuales de Procedimiento asociados al proceso de gestión de inversiones y de la metodología de evaluación ex post para las iniciativas ya ejecutadas y financiadas por el Fondo Nacional de Desarrollo Regional (FNDR) de la Región de Arica y Parinacota, quienes además aportaron al mejoramiento de sus contenidos. En términos más concretos, durante el Proceso de Transferencia de Capacidades surgió una serie de observaciones y aportes tanto a los Manuales de Procedimiento como a la metodología de evaluación ex post, que se detallan a continuación Manuales de Procesos Durante la revisión y validación de los manuales para el proceso de Inversión Regional, se produjo una rica discusión en torno a la necesidad de potenciar algunos subprocesos que no han sido implementados como tal en el Gobierno Regional de Arica y Parinacota. De la misma manera, se identificaron oportunidades de mejora que se solicitó fueran incorporadas inmediatamente en los manuales de proceso; además de identificar las mejores opciones de ordenamiento y definiciones al interior de los proceso. Este ejercicio de discusión, permitió además reforzar el uso de los manuales como herramientas de mejora continua de los procesos asociados a la inversión regional. Transformándose este espacio de transferencia de competencias en la primera revisión de optimización de los procesos. Entre las principales observaciones, que ya han sido incorporadas en los manuales de proceso optimizados que se presentan en los anexos del 4 al 8, se debe mencionar: a. Estructurar los manuales en cinco subprocesos principales.

18 Página : 18 de 44 b. Incorporar en todos ellos el organigrama institucional. c. Redefinir el proceso de admisibilidad, asegurando que la gran mayoría del presupuesto de inversión regional deba pasar por él. d. Incorporar el requerimiento de información de línea base en el subproceso de admisibilidad estratégica. e. Entregar definitivamente la responsabilidad del proceso de construcción y gestión de convenios en el Dpto. Jurídico. En este caso, no se incorporó el mecanismo de toma de razón en línea que se trabaja con Contraloría Regional, ya que aún no se encuentra en régimen. f. Diferenciar claramente los roles de Unidades Presentadoras, Formuladoras y Técnicas. g. Reforzar la coordinación interna para el desarrollo del proceso de inversión Metodología de Evaluación Ex Post. Pauta de Visita a Terreno Un aporte surgido de las visitas a terreno, fue la necesidad de contar con una Pauta de Visita a Terreno que guíe el levantamiento de información de manera ordenada y exhaustiva, complementando el objetivo perseguido con la Pauta de Evaluación Ex Post (Anexo 4 del Manual de Proceso). Esta observación fue recogida por la Empresa Consultora la cual diseñó una pauta genérica de visita y la incorporó como el Anexo 8 del Manual de Evaluación Ex Post, entregado en el presente informe. A grandes rasgos, la Pauta de Visita a Terreno estructura la entrevista en dos momentos claves, el antes de la intervención y el después de la intervención, buscando detectar la situación de los usuarios previo, la problemática a resolver, la forma en que se solucionó y la satisfacción de los usuarios. Si bien, en relación a la satisfacción de los usuarios se ha diseñado una encuesta específica que recoge su impresión, a juicio de la consultora es sumamente relevante indagar de manera abierta en este aspecto, ya que la experiencia señala que la información recogida en una conversación suelta complementa notablemente la información que recoge una encuesta. De esta manera, la Pauta incluye cinco ámbitos a considerar, los cuales siguen una lógica cronológica de manera de facilitar la conversación: a. Reconocimiento visual del bien/obra intervenido b. Situación anterior a la intervención c. Aspectos relacionados con la formulación y ejecución de la iniciativa d. Situación posterior a la intervención e. Satisfacción de los usuarios con la intervención

19 Página : 19 de Metodología de Evaluación Ex Post. Medición de la Satisfacción de los Usuarios Otro aspecto surgido de las visitas a terreno, fue la necesidad de calibrar la Encuesta de Satisfacción de Usuarios Finales de los bienes e iniciativas de inversión, específicamente, la encuesta FORMA 3. Encuesta de satisfacción de usuarios, Subtítulo 31 y 33. Iniciativas de Inversión. Luego de la aplicación de dicha encuesta a beneficiarios finales de los cuatro proyectos visitados, se concluyó que era necesario ajustar el instrumento para hacerlo más accesible y cercano a los beneficiarios. En esta línea y acogiendo las sugerencias de los profesionales del GORE y de las UT, pero procurando diseñar un instrumento genérico, aplicable a todos los tipos de iniciativas de inversión, se optó por reformular las preguntas con un lenguaje más coloquial y no tan técnico, pero manteniendo la estructura original; Esta última opción no es antojadiza y tiene que ver con facilitar el procesamiento y análisis de la información, permitiendo la extracción de conclusiones más agregadas. Por lo tanto, la estructura de la encuesta siguió siendo la misma, vale decir, (i) Antecedentes generales, (ii) Antecedentes de la iniciativa; (iii) Origen de la iniciativa; (iv) Proceso administrativo; (v) Ejecución de la iniciativa; (vi) Resultados obtenidos; y (vii) Comentarios y sugerencias, mientras que las preguntas variaron en su formulación, como se muestra a continuación: Pregunta 6. El proyecto consideró la opinión de la comunidad?. Pregunta 7. El tiempo que pasó desde que se les ocurrió el proyecto hasta el comienzo de su ejecución. Pregunta 8. El tiempo que demoraron en ejecutar el proyecto. Pregunta 9. El uso de medidas para aminorar los efectos de la ejecución (mallas protectoras, cierre perimetral, señalética, etc.). Pregunta 10. Uso de medidas para asegurar la seguridad de los peatones y automovilistas. Pregunta 11. Cómo calificaría el proyecto de inversión? Pregunta 12. Cómo calificaría los servicios prestados a la comunidad por el proyecto? Pregunta 13. Cómo calificaría los equipamientos adquiridos?. La encuesta ajustada se presenta en el Anexo 3.

20 Página : 20 de MARCHA BLANCA Dentro de los términos de referencia de la consultoría, se solicitó la realización de una marcha blanca y piloto con los funcionarios del Gobierno Regional y otros actores involucrados en el proceso de gestión de inversiones. Esta marcha blanca ha sido concebida como una herramienta de apoyo inicial para la implementación del proceso de gestión de inversiones modelado y su sistema de seguimiento y evaluación, y su desarrollo ha involucrado activamente al equipo consultor y a los funcionarios del Gobierno Regional y otros actores relevantes en el proceso. Para una mejor comprensión y en sintonía con el enfoque que se le ha dado al trabajo durante todo el proceso, la marcha blanca se ha separado en dos componentes: (i) el proceso de gestión de inversiones y su seguimiento; y (ii) el sistema de evaluación ex post. Si bien, ambos componentes forman un todo en el ciclo de la inversión, el primero de ellos tiene larga data en la Institución en términos de proceso ejecutado, y por tanto el trabajo realizado por la consultora partió de una base ya existente, y más que una aplicación del proceso modelado, lo que no es viable en el período destinado para esta consultoría. De esta forma el esfuerzo de marcha blanca y aplicación piloto se centró en el sistema de evaluación ex post, que al tener un carácter inédito para el Gobierno Regional y para el equipo con el cual se desarrolló el trabajo, requirió etapas previas como la factibilidad y la validación de la metodología, las cuales han sido consideradas como parte de la marcha blanca desarrollada. En el caso del proceso de gestión de inversiones y su sistema de seguimiento, la marcha blanca se centró en la identificación y discusión de las potenciales mejoras al proceso de inversión que hoy día se lleva adelante en el Gobierno Regional, en segundo término la marcha blanca permitió reforzar el concepto mencionado respecto del aprovechamiento de los manuales como herramientas de mejora y la utilización de los diagramas y flujos de proceso como herramientas visuales para identificar oportunidades de mejora y puntos de control. Como se mencionó anteriormente, el proceso de marcha blanca del sistema de evaluación ex post fue llevado a cabo en tres fases sucesivas. La primera de ellas durante el proceso de Factibilidad, realizado en el mes de enero de 2013; la segunda fase durante el proceso de Validación del modelo, realizado en marzo del 2013; y, finalmente, en el trabajo práctico desarrollado en el Taller de Transferencia de Capacidades, realizado en mayo de A continuación se desarrolla lo que fue el proceso de marcha blanca, que se centró en el sistema de evaluación ex post. 5.1 Desarrollo de la Marcha Blanca Como se muestra en el Cuadro 3, el alcance de la marcha blanca realizada abarcó un total de 21 iniciativas de inversión financiadas y terminadas en la Región. El ejercicio cubrió la totalidad del proceso de evaluación ex post, con excepción de la evaluación de los resultados específicos. Por su parte, el nivel de participación de los funcionarios del Gobierno Regional y de las Unidades Técnicas fue creciente, desempeñando una labor de apoyo en la etapa de factibilidad, en el caso de los funcionarios del GORE, para luego pasar a un rol activo en la fase de validación y trabajo práctico. En sintonía con la incorporación activa del GORE y de las UT, el equipo consultor pasó de tener un rol activo a uno de supervisión en la fase de trabajo práctico.

21 Página : 21 de 44 Con esta descripción esquemática se busca evidenciar la integración de los funcionarios del GORE y en menor medida de las UT, en el proceso de evaluación ex post, desde la mirada de la aplicación práctica de la metodología. Esto determina que el sistema propuesto, al finalizar la consultoría, se encuentre lo suficientemente socializado e incorporado en los actores relevantes, quienes desempeñarán una función primordial en su implementación definitiva y en la realización de los ajustes que sea necesario incorporar. Fase de la consultoría 1. Factibilidad Cuadro 3. Marcha blanca del sistema de evaluación ex post Iniciativas analizadas Nivel de profundidad del análisis Nivel de participación Un total de 13 iniciativas: - 4 Concurso 2% Equipo consultor: Activo en la (Subtítulo 24) Evaluación a nivel de recolección de información desde las - 4 Adquisiciones insumos, procesos, carpetas. (Subtítulo 29) seguimiento y ejecución - 3 iniciativas de inversión de iniciativas, y Analistas del Apoyo, (Subtítulo 31.02) productos brindando apoyo en la recolección - 2 iniciativas de inversión de información desde las carpetas. (Subtítulo 33) Equipo consultor: Activo en la recolección de información desde carpetas y en terreno 2. Validación Se incorporan 4 iniciativas de inversión (Subtítulo 31.02) más (estudio de casos). Se llega a un total de 17 Evaluación a nivel de insumos, procesos, seguimiento y ejecución de iniciativas, productos y resultados generales Analista Activo, brindando apoyo en la recolección de información desde las carpetas y en la evaluación en terreno de las iniciativas bajo análisis. 3. Trabajo práctico Se incorporan 4 iniciativas más: - 1 Transferencia (Subtitulo 33) - 3 iniciativas de inversión (Subtítulo 31.02) Se llega a un total de 21 Evaluación a nivel de insumos, procesos, seguimiento y ejecución de iniciativas, productos y resultados generales UT: Activo, en la evaluación en terreno de las iniciativas bajo análisis. Equipo consultor: Supervisión en la recolección de información desde carpetas y en terreno Analista Activo, recolección de información desde las carpetas y en la evaluación en terreno de las iniciativas bajo análisis. UT: Activo, recolección de información desde las carpetas y en la evaluación en terreno de las iniciativas bajo análisis. Para mayor información respecto al número de funcionarios del GORE y de las UT que han sido partícipes del proceso, se sugiere revisar el Informe de Avance 3 y las Actas de Asistencia al Taller (Anexo 1).

22 Página : 22 de Resultados de la Marcha Blanca Como se señaló anteriormente, el proceso de marcha blanca ha sido concebido como un continuo en el desarrollo de la consultoría y, por tanto, la gran mayoría de los ajustes al proceso de gestión de inversiones, seguimiento y evaluación ya han sido analizados y expuestos en los informes de avance previos, e incorporados en el proceso respectivo, dentro de lo posible. Dado lo anterior, a continuación se presenta un resumen de los resultados y ajustes derivados de todo el proceso. Re-evaluación de iniciativas: a través de la revisión de las carpetas se constató la necesidad de definir qué fechas administrativas serán las consideradas para la evaluación, específicamente aquellas que tienen que ver con el indicador Puesta en Marcha de la Iniciativa. Al respecto, se observa que no pocas iniciativas una vez evaluadas positivamente por el MINDESO y aprobadas por el CORE para su ejecución, por una serie de causas, deben volver a ser evaluadas por el MINDESO y pasar nuevamente por el CORE. Esta situación, dependiendo de qué fechas son consideradas para la evaluación, puede distorsionar considerablemente dicho indicador (haciéndolo parecer como un periodo más corto). Para evitar esta distorsión se ha definido que el indicador será calculado considerando el tiempo transcurrido entre la fecha del 1 Certificado CORE aprobatorio y el último Convenio totalmente tramitado previo a la fecha del contrato. Identificación presupuestaria: el cálculo del indicador Tiempo de Contratación de la Iniciativa se hará considerando la Identificación Presupuestaria y el 1 Contrato firmado. Se hace esta precisión puesto que a lo largo de la vida financiera de la iniciativa pueden existir una serie de asignaciones y re-asignaciones presupuestarias, las cuales no deben ser consideradas para este indicador. Modificaciones de contrato: en la misma línea anterior, durante la ejecución de la iniciativa y debido a una serie de causales, pueden existir modificaciones de contrato, ya sea de plazos, presupuestos, etc. Con el objeto de no distorsionar el indicador Tiempo de Contratación de la Iniciativa, se ha definido que dicho indicador será calculado considerando el tiempo transcurrido entre la Identificación Presupuestaria y la firma del 1 Contrato con la empresa ejecutora. Diseño de una Pauta de Visita a Terreno que complemente la Pauta de Evaluación y que guíe el correcto levantamiento de la información. Explicado en detalle en el Capítulo 4 del presente informe. Ajuste de la Encuesta de Satisfacción de Usuarios Finales de las iniciativas de inversión (subtítulo 31 y 33). Explicado en detalle en el Capítulo 4 del presente informe. 5.3 Consideración Final sobre la Marcha Blanca Como parte de la metodología de mejora continua, el proceso de implementación debe ser también consistente con el concepto de evaluar, analizar y refinar; por lo tanto, una vez finalizada la etapa de implementación y de ser necesario, la empresa consultora estará disponible para revisar resultados adicionales que no fueron pesquisados durante la ejecución del trabajo, e incorporar eventuales ajustes al modelo planteado.

23 Página : 23 de 44 Finalmente, es fundamental considerar que el proceso mismo de análisis y eventual ajuste, debe ser realizado como parte de la metodología implementada, por lo que inclusive en el caso de que no existan necesidades de ajuste, el procedimiento de revisión y discusión debe ser realizado con toda la formalidad definida en la metodología planteada. 6. PROTOTIPO DE SISTEMA DE EVALUACIÓN EX POST DE INICIATIVAS DE INVERSIÓN Desde el año 2012 y en el marco de una consultoría realizada con el Gobierno Regional de Los Lagos, el equipo de desarrollo de Arbol-Logika ha venido trabajando en el diseño y puesta en marcha de un Sistema Informático de Evaluación Ex Post de iniciativas financiadas a través del FNDR. Este trabajo, que ya se ha plasmado en la implementación de dicho sistema en el GORE de Los Lagos, actualmente, se encuentra en la fase de optimización y ajuste. El presente capítulo, tiene como objetivo presentar lo que a juicio de la Consultora debiese aportar un sistema de esta naturaleza, todo ello basado en la experiencia adquirida en esta materia. 6.1 Sistema de Evaluación Ex Post. Enfoque de Solución El Programa de Mejora Continua a la Gestión de los Gobiernos Regionales, promovido por la SUBDERE, tiene por objeto mejorar las capacidades de gestión institucional de cada GORE y en este sentido uno de los procesos clave es la Gestión de las Inversiones, donde la evaluación ex post de las iniciativas financiadas toma un rol fundamental como herramienta de retroalimentación del proceso de gestión de inversiones, apoyando en la toma de mejores decisiones basadas en la mayor información disponible. En este contexto, la implementación de un Sistema Informático de Evaluación Ex Post, debiera hacerse cargo de esta necesidad, facilitando la labor y entregando un valor agregado en términos de eficiencia, precisión, calidad y aplicabilidad. Como se muestra en la Figura 2, el Sistema debiera ofrecer la posibilidad de integrar una serie de fuentes de información necesarias para llevar a cabo la evaluación ex post; por una parte, aquellas en disponibles línea, tales como el Banco Integrado de Proyectos (BIP) y el Sistema ChileIndica, y por otro, la información derivada de las carpetas de cada proyecto y la derivada de los analistas y coordinadores de proyectos. Toda esta información conformaría lo que denominamos Ficha Extendida de Proyecto y debiera ofrecer la capacidad de diversos análisis desde lo general a lo específico. Para facilitar la labor, el sistema debería ofrecer la posibilidad de alimentarse mediante cargas masivas, y registrar al menos los siguientes aspectos: Identificación de la iniciativa y los actores relevantes (nombre, código, año de término, localización geográfica, sector y tipología de la inversión, etc.) Antecedentes técnicos de la iniciativa (productos y magnitudes comprometidas) Presupuestos Plazos Beneficiarios Resultados esperados Resultados de la evaluación en sus distintos niveles Causales de incumplimiento tipificados para facilitar el análisis y las conclusiones

24 Página : 24 de 44 Con esta información el sistema, una vez programado, debiera ofrecer en forma automática una reportería simple, sólida y flexible, basada en el cálculo de indicadores específicos. Figura 2. Integración de fuentes de información Carpeta física del proyecto Analistas y coordinadores FUENTE: Elaboración propia. Ficha extendida de proyecto

25 Página : 25 de Sistema de Evaluación Ex Post. Concepto de Ficha Extendida El concepto de Ficha Extendida responde a la búsqueda de un formato que integre en un mismo espacio toda la información relevante asociada a un proyecto en particular. De esta manera, visualizar, como se muestra en la Figura 3, los datos generales, los antecedentes técnicos, una herramienta de retroalimentación del proceso, los resultados de la evaluación en sus distintos niveles, resulta sumamente práctico a la hora de operativizar los procesos. Asimismo, la posibilidad de adjuntar documentos clave y un historial de auditoría le dan solidez al sistema. Figura 3. Ficha extendida. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika.

26 Página : 26 de Datos Generales y Antecedentes Técnicos Un sistema de evaluación ex post debe poder registrar toda la información general de las iniciativas, tales como: nombre, código BIP, sector, tipología de la inversión, etapa del proyecto, presupuesto total y todo aquellos relacionado con la asignación presupuestaria, alcance territorial, empresa ejecutora y unidad técnica responsable, plazo de ejecución (procurando registrar la fecha de inicio de la obra), productos y magnitudes comprometidas, beneficiarios a los que se apunta con la iniciativa, etc. (Figuras 4, 5, 6 y 7). Este requerimiento tiene que ver no solo con la necesidad de contar con toda la información asociada a un proyecto para la correcta toma de decisiones, sino que también con la posibilidad de una reportería lo más completa y flexible posible. Figura 4. Ficha extendida. Datos generales. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika. Figura 5. Ficha extendida. Datos generales información presupuestaria. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika.

27 Página : 27 de 44 Figura 6. Ficha extendida. Datos generales otros antecedentes, plazos e información territorial. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika. Figura 7. Ficha extendida. Datos generales actores relevantes. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika. Una herramienta de utilidad que ha sido incorporada en el Sistema de Arbol-Logika, es la posibilidad de gestionar iniciativas plurianuales, pudiendo visualizar y editar, según corresponda, la información según año respectivo (Figura 4). Asimismo, una de las aplicaciones incorporada en el sistema para retroalimentar el proceso de gestión de inversiones, es lo que se denomina Comparativo Histórico, el cual basa el análisis en los resultados y magnitudes ejecutadas de las iniciativas financiadas; este análisis requiere la definición de Tipos de Proyecto, de manera de poder hacer comparables las cifras obtenidas. Esta aplicación comienza su análisis, con la definición en la pestaña de Datos Generales, del Tipo de Proyecto y los productos comprometidos y sus magnitudes (Figura 8). En términos simples, esta aplicación permite, una vez identificado el producto relevante de una iniciativa (por ejemplo, escuela, gimnasio, hospital, etc.) y su tipología (ampliación, construcción, reposición, etc.), comparar los plazos y presupuestos de iniciativas con iguales productos y tipologías, incluyendo en el análisis, la variable geográfica.

28 Página : 28 de 44 Figura 8. Ficha extendida. Datos generales productos relevantes y beneficiarios. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika. El registro de los antecedentes técnicos de la iniciativa es uno de los puntos focales de la evaluación ex post y, por tanto, debe ser lo más preciso y confiable posible, ya que es a partir de esta información que se generan los indicadores de eficiencia, eficacia y resultados. El sistema a implementar debe permitir el registro de al menos la siguiente información: productos comprometidos y sus respectivas magnitudes (por ejemplo, la construcción de una escuela de 500 mt2); y las variables de línea base identificadas y cuantificadas, a partir de las cuales se evaluarán los resultados de la iniciativa, midiendo en T 1 (posterior a la intervención) el valor de esas mismas variables buscando evidenciar posibles cambios. Figura 9. Antecedentes técnicos. Definición de productos y variables de línea base. FUENTE: Elaboración propia, en base al Sistema de Evaluación Ex Post de Arbol-Logika.

29 Página : 29 de Evaluación de Insumos y Procesos, Productos y Resultados Como foco del eventual sistema de evaluación ex post, el registro de la información asociada a la evaluación, en sus distintos niveles, es primordial. De acuerdo a la metodología diseñada por Arbol-Logika para el Gobierno Regional de Arica y Parinacota, la evaluación ex post debe abarcar al menos, el análisis a nivel de insumos y procesos, productos y resultados. En el caso de la evaluación a nivel de insumos y procesos, el sistema deberá permitir el registro de la siguiente información: calificación de insumos (proyectos formulados, estudios de diseño, etc.) y las razones que provocan una calificación deficiente. Igual sentido tiene el registro de los productos y magnitudes ejecutadas, donde el sistema además de permitir el ingreso de esta información, deberá permitir el ingreso de las causales tipificadas del cumplimiento parcial o nulo. A este nivel, el sistema debe permitir el registro de toda aquella información que resulte relevante para la labor de evaluación. Finalmente, a nivel de resultados, se debe registrar la información levantada sobre variables de línea base medidas posterior a la intervención, de manera que el sistema de manera automática, calcule cuánto y en qué dirección se movieron los cambios atribuibles a la iniciativa. A este nivel es importante el registro de los resultados obtenidos en la satisfacción de los usuarios, que de acuerdo a la metodología diseñada por Arbol-Logika, serían levantados a través de encuestas. Todos estos insumos serán la base para el cálculo de los indicadores de eficiencia, eficacia, calidad y de resultados específicos que debiera entregar automáticamente el sistema y que son el sustento del análisis buscado. 6.5 Resultados del Sistema y Retroalimentación del Proceso de Gestión de Inversiones La evaluación ex post es una herramienta fundamental para retroalimentar un proceso de gestión de inversiones, en todos sus niveles, desde la formulación, pasando por la ejecución, hasta el cierre de las iniciativas. Es por esta razón, que un sistema informático de esta naturaleza debiera ser capaz de evidenciar los puntos críticos donde el proceso requiere un ajuste y entregar información oportuna y veraz para la correcta toma de decisiones. Al respecto, es posible identificar al menos tres ámbitos en los cuales un sistema informático de evaluación ex post debiera apoyar la toma de decisiones: Análisis histórico de iniciativas financiadas con iguales características: como se señaló anteriormente, la posibilidad de comparar iniciativas de la misma naturaleza, en términos de presupuestos y plazos, constituye una herramienta importante a la hora de tomar decisiones, entregando la información precisa para poner atención en iniciativas sub o sobre dimensionadas. Este análisis lo puede ofrecer un sistema que registre la información histórica precisa y de la manera adecuada (Figura 10). Desempeño de Unidades Técnicas: en términos de tiempos administrativos que toman las iniciativas y calidad de la coordinación con las empresas ejecutoras. Este análisis lo puede ofrecer un sistema que registre la información histórica precisa y de la manera adecuada. Desempeño de las empresas ejecutoras: en términos del cumplimiento de productos, de presupuestos, plazos, multas, cursadas, etc. Este análisis lo puede ofrecer un sistema que registre la información histórica precisa y de la manera adecuada.

30 Página : 30 de 44 Figura 10. Comparación de iniciativas de iguales características. FUENTE: Elaboración propia. De acuerdo a lo comprometido en la propuesta técnica de Arbol-Logika, en la siguiente dirección web se pone a disposición del Gobierno Regional de Arica y Parinacota para su revisión y estudio, el prototipo de Sistema desarrollado por la empresa:

31 Página : 31 de ANEXOS

32 Página : 32 de 44 ANEXO 1. ACTAS DE ASISTENCIA AL TALLER

33 Página : 33 de 44

34 Página : 34 de 44

35 Página : 35 de 44

36 Página : 36 de 44

37 Página : 37 de 44

38 Página : 38 de 44 ANEXO 2. REGISTRO FOTOGRAFICO DEL TALLER Foto 1. Presentación de la metodología de evaluación ex post. Foto 2. Recopilación y procesamiento de antecedentes documentales. Foto 3. Recopilación y procesamiento de antecedentes documentales.

39 Página : 39 de 44 Foto 4. Recopilación y procesamiento de antecedentes documentales. Foto 5. Presentación del Sistema de Evaluación Ex Post desarrollado por Arbol-Logika. Foto 6. Visita a terreno. Proyecto Conservación de la Avenida Santa María.

40 Página : 40 de 44 Foto 7. Visita a terreno. Proyecto Conservación de la Avenida Santa María. Foto 8. Visita a terreno. Proyecto Adquisición de Carro Bomba para la 4 Cia de Bomberos de Arica. Foto 9. Visita a terreno. Proyecto Adquisición de Carro Bomba para la 4 Cia de Bomberos de Arica.

41 Página : 41 de 44 Foto 10. Visita a terreno. Proyecto Ampliación del Jardín Infantil Campanita.