Metodología para el Desarrollo de Sistemas de Evaluación de proyectos

Transcripción

1 Metodología para el Desarrollo de Sistemas de Evaluación de proyectos I.- DESCRIPCION. Los Proyectos de Desarrollo ejecutados por cualquier institución u organización que son financiados por un agente externo comúnmente cuentan con ciertas etapas o pasos desde su gestación hasta la finalización del mismo, algunas de las etapas que el IIDEYT ha identificado en su experiencia al ser una institución evaluada por diferentes actores son las siguientes: Sí Planteamiento del Proyecto Búsqueda de padrinos Presentación de proyecto Cumplimiento de requisitos/trámites No Entrega de resultados finales Continuar desarrollo del Proyecto Presentación de informes parciales Inicio del Proyecto/Ejecución No Definición de Metodología para la Evaluación Inicia el proceso de Evaluación Desarrollo de la Evaluación Presentación Informe Final Continuidad del proyecto Fin Figura 1 Gestación y Desarrollo de un Proyecto de Desarrollo En esta Guía nos enfocaremos únicamente a la etapa de Desarrollo de la Evaluación o Sistemas de Evaluación de Proyectos de Desarrollo, ya que como se menciono al inicio de este documento el esquema presentado fue realizado en base a la experiencia que el IIDEYT tiene en el desarrollo de proyectos o programas financiados o patrocinados por alguna institución u organización externa. Cabe mencionar que normalmente cuando una institución accede a un fondo de cualquier organismo, este último es quien fija la postura de evaluación de dicho proyecto, en ocasiones durante el desarrollo del proyecto o al final del mismo. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 1

2 Es por este motivo de que se realizará esta Guía de Metodología ya que los CDE s que obtengan algún patrocinio, serán sujetos a este tipo de evaluaciones, aclarando que cada institución u organización financiadota tendrá sus propios esquemas de evaluación, por lo que cada Centro deberá tomar esta metodología como una guía, sin que esto signifique que cada evaluación contenga los mismos pasos o etapas. Adentrándonos en el concepto de evaluación de Proyectos de Desarrollo, lo podemos definir como un proceso que tiene como objetivo determinar la eficacia y eficiencia con que han sido utilizados los recursos destinados para cierta actividad, nos sirve para detectar errores y poder hacer correcciones que garanticen el cumplimiento de las metas y/o objetivos, un sistema de evaluación se puede aplicar antes, durante y después de las actividades desarrolladas esto dependerá de los esquemas evaluativos de cada institución u organización financiadora. De acuerdo al concepto manejado por los Principios de Evaluación del Comité de Ayuda al Desarrollo de la OCDE (1998), la evaluación se define como apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, puesta en práctica y resultados, así como de su pertinencia, eficacia, eficiencia, impacto y viabilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa La evaluación es definida por la UNICEF (1991) como un proceso que intenta determinar la pertinencia, eficacia, eficiencia e impacto de las actividades con respecto a objetivos específicos. Según la PNUD (1997), la evaluación se debe de efectuar de manera más selectiva, no periódica, ni continua como el monitoreo y los administradores de proyectos tienen flexibilidad para definir por qué y cuándo se requiere una evaluación. La UNICEF y el Banco Interamericano de Desarrollo (1997) coinciden en que la evaluación es una herramienta de gestión orientada hacia el aprendizaje y la acción para mejorar el desempeño de proyectos actuales y futuros. El proceso de evaluación dentro de IIDEyT ha sido de aprendizaje ya que a lo largo de 12 años de existencia (antes como CIDEyT), ha experimentado evaluaciones tanto de nivel internacional como nacional. La evaluación pasó a ser dentro del Instituto una necesidad organizacional, es un componente estratégico que nos brinda información útil para la toma de decisiones. Es una herramienta estratégica que como organismo o institución nos ayuda a brindar soluciones pertinentes a los problemas que se nos presentan en la región en la que nos desenvolvemos, ya que las distintas evaluaciones a las que el IIDEyT Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 2

3 ha sido sujeto nos han servido como retroalimentación y en ocasiones se han reorientado las estrategias de este Instituto. Actualmente los sistemas de evaluación se enfocan más a los centros de investigación, las universidades o los programas de investigación y desarrollo, tanto desde el punto de vista de su calidad o excelencia como de sus impactos socioeconómicos. La presente Metodología es el reflejo de los años de experiencia del IIDEyT en cuanto a Sistemas de Evaluación, por lo que se pretende que sirva como guía para que los CDE s desarrollen mejor sus funciones y se encuentren preparados al momento de una evaluación por parte de alguna organización. La mayoría de los proyectos en su desarrollo deben ser medidos o evaluados para conocer las deficiencias y problemas que presentan. Existen muchas formas de evaluar un proyecto de las cuales sobresalen dos grandes ramas los sistemas de evaluación cualitativa y cuantitativa. Una evaluación cualitativa puede resultar útil en las etapas iniciales del desarrollo del proyecto, así como también las medidas cuantitativas bajo unas mismas condiciones, resultan de vital importancia para ver el progreso real del proyecto o programa y compararlo consigo mismo o con otros. Los números no aportan información si se desconoce de dónde proceden, es decir, qué representan. La evaluación de cualquier proyecto debe ir acompañada de un conjunto de medidas estándar propuestas para tal fin. La disponibilidad de bases de datos y de protocolos o procedimientos para la evaluación ha sido un componente muy importante, casi fundamental y ha permitido compartir nuevas ideas, e incluso compararlas con otras ya consolidadas. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 3

4 II.- MARCO TEÓRICO Dentro de una organización existen diferentes tipos de evaluación, desde una evaluación sobre desempeño laboral o una evaluación de algún programa o proyecto, estas se realizan dependiendo de los objetivos y metas de la organización. Para los CDE s es importante tener claro que los sistemas de evaluación dependen en muchas ocasiones de las instituciones u organismos que los financian o patrocinan. Los sistemas de evaluación dentro de los CDE s o de cualquier organización sirven como herramienta estratégica que proporciona un aprendizaje permanente, también se considera como guía para orientar y gestionar los recursos necesarios. Algunos conceptos complementarios al de evaluación que si no son correctamente manejados pueden causar confusión como lo son el de auditoria, indicadores de desempeño y monitoreo. La auditoria, a diferencia de la evaluación se enfoca al cumplimiento de normas y reglas preestablecidas y en mucho menor medida en el impacto, la pertinencia, la eficacia y si los objetivos del programa o proyecto se han cumplido. Los indicadores de desempeño son medidas de impacto de los resultados, de los productos y e insumos de un proyecto (Mosse, 1996). Organizan puesla información de una manera que aclara las relaciones entre el impacto, los resultados, los productos e insumos de un proyecto, y ayudan a identificar problemas que pueden obstaculizar el logro de los objetivos del mismo. La medición del desempeño y la evaluación tienen enfocas un tanto distintos. Por in lado la medición del desempeño tiene como objetivo controlar las acciones o comportamiento de los empleados en relación con el trabajo que realizan y la medida en la que se logran los resultados productivos y el impacto del proyecto, mientras que la evaluación como ya se ha mencionado anteriormente, su tiene como objetivo mejorar, y sobre todo lograr una retroalimentación que nos permita aprender. La medición del desempeño complementa a la evaluación, pero no la puede sustituir. Por último podemos definir al monitoreo como una supervisión periódica o continua que proporciona información temprana o prematura de la evolución de un proyecto o programa, del progreso de sus objetivos o metas, es decir, del desarrollo del mismo. Volviendo al concepto de Evaluación, medir y juzgar, en ocaciones nos puede llevar a mal entender el concepto, por los que algunos autores como Patton (1998), nos indican que normalmente las personas sentimos ciertos temores ante un proceso de evaluación de una organización ya que ello nos ocasiona rechazo a más responsabilidades, a más competencia, nos provoca inseguridad Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 4

5 ante el riesgo y a no ser escuchado o tomado en cuenta. Por este motivo, el que en una organización, en este caso los CDE s, cuenten con un sistema de evaluación bien estructurado es fundamental para su buen funcionamiento. Otros autores que han investigado el concepto de Evaluación dentro de una organización como Preskill y Torres (1996) mencionan que los integrantes de una institución u organización con una cultura de evaluación utilizan la información para la toma de decisiones, tienen mas sentido de la responsabilidad y sobre todo se apoyan mutuamente. Esto se traduce en una organización que esta desarrollando continuamente ideas y estrategias, además de que es capaz de adaptarse rápidamente a los cambios que la sociedad o el mercado en el que se desenvuelve le exige. El IIDEyT en este sentido es pionero en nuestra región (Nueva Vizcaya), ya que cuenta con una organización totalmente flexible a las demandas requeridas por la sociedad con la que interactuamos. El IIDEyT ha adoptado como parte del sistema de trabajo las evaluaciones y para ello se ha apoyado en los conceptos que se acaban de mencionar. Utilizamos indicadores de desempeño en algunos casos, para medir nuestra competitividad interna, hemos sido también sujetos a varias auditorias al término de los programas que nos han aportado algún recurso, estas han sido por parte del organismo o institución que nos lo otorgo, también realizamos un monitoreo constante con nuestros clientes para detectar posibles errores en nuestras funciones y así corregirlos a tiempo. Como se puede observar, estas herramientas son complementarias o de gran ayuda a una evaluación completa, por ejemplo, fuimos sujetos a una evaluación por parte de Banco Interamericano de Desarrollo una vez que termino el plazo del proyecto Nueva Vizcaya, en ella más que una auditoria de los recursos ejercidos fue una evaluación en la cual se identificaron los objetivos de los programas y se determino la consistencia de éstos con su diseño y resultados, es decir el observar que los objetivos del programa fueron cumplidos, el impacto del proyecto en la región y la pertinencia del mismo. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 5

6 III.- DESARROLLO. Una Evaluación de cualquier Proyecto o Programa de Desarrollo debe considerar ciertos criterios que ya hemos mencionado como son, la sostenibilidad, la pertinencia, la eficiencia, eficacia y el impacto, que se consideran los criterios que pueden reflejar si un proyecto o programa es exitoso. Hablando del tiempo en el cual el proyecto o programa puede ser evaluado, antes, durante o al finalizar el mismo, en seguida puntualizaré las características de los distintos períodos. Antes: El organismo financiador realiza este tipo de evaluación previo a decidir si se invierte o no en el proyecto, esto le ayuda para determinar que proyecto o programa apoya. Durante: Esta evaluación se hace en la ejecución del proyecto o programa para tomar decisiones acerca de continuar, modificar, suspender o terminarlo. Final: Esta se realiza para medir el impacto real del proyecto o programa, comúnmente para los CDE s el impacto será en dos vertientes, de acuerdo a los resultados sociales y económicos que el proyecto genere. Para la realización de una evaluación de cualquier programa o proyecto o del desempeño del CDE es necesario que el Centro cuente con ciertos aspectos: Información: La información debe estar al corriente y ser accesible para los evaluadores. Presupuesto: Normalmente el presupuesto para la Evaluación esta incluido en el recurso asignado, en otras ocasiones la institución financiadora es quien absorbe los gastos de llevarla a cabo, esto depende de los términos en los que se negocie el recurso. Recursos Humanos y Físicos: Debe concientizarse al personal del Centro de participar, si así se requiere en algunas actividades coordinadas por los evaluadores. Es importante también que se cuente con disponibilidad de recursos físicos (equipo de computo, equipo de transporte, etc), que agilicen el proceso de Evaluación, la participación de estos recursos dependerá también de los términos en los que se negocie el recurso. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 6

7 Indicadores de Evaluación Se debe que tomar en cuenta que dependiendo de la institución u organización, cada evaluación será distinta ya que cada organismo tiene sus propios criterios evaluativos, normalmente para un proyecto o programa de desarrollo los aspectos o indicadores que se evalúan son: Cobertura.- Número de empresas apoyadas durante el proyecto Impacto.- Número de empresas que lograron sus objetivos Eficiencia.- Aprovechamiento del programa Tiempo.- Tiempo realmente utilizado en el proyecto Autosuficiencia.- Ingresos por servicios ofrecidos entre los costos totales del proyecto Calidad.- Número de empresas satisfechas con los servicios derivados del proyecto Desarrollo Empresarial.- Efecto de los apoyos derivados del proyecto en el desarrollo de las empresas Otros indicadores que se pueden considerar al término de la Evaluación son: Calidad y claridad en los informes Cumplimiento de objetivos y metas Consistencia en la metodología Justificación de las finanzas Grado de relación con los beneficiarios Cumplimiento de aportaciones complementarias Cumplimiento del plan de trabajo Acciones derivadas Compromisos adquiridos Formación de recursos humanos, en el CDE y fuera de el (empresarios y trabajadores apoyados) Los indicadores en una Evaluación son necesarios para medir el comportamiento de lo que se quiere evaluar. Como se puede observar en estas listas se encuentran indicadores cualitativos y cuantitativos, que dependiendo del proyecto o programa, así como del organismo financiador algunos terminarán por tener más peso que otros, y en ocasiones serán complementarios. Aunque lo hemos mencionado varias veces, es importante que no se deje de considerar que el enfoque de la evaluación varía de institución a institución y de programa o proyecto dependiendo de los objetivos, procesos y políticas. Cada enfoque considera diferentes formas de medir el comportamiento y cualquier metodología que se utilice se requiere que sea adecuadamente. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 7

8 Cualquier evaluación para el CDE traerá ventajas y desventajas como por ejemplo las que a continuación se muestran: Tabla 1 Ventajas y Desventajas de contar con un Sistema de Evaluación Ventajas Mejorar la calidad de la información que se maneja Evaluar fortalezas y debilidades del apoyo empresarial Mejorar las políticas de apoyo empresarial Retroalimentar al Centro Crear medios para analizar situaciones criticas Anticipar a errores Mejorar en la elaboración de proyectos y/o servicios Desventajas Temor a cambios Recursos insuficientes Burocratización Complejidad (no entendimiento entre los participantes) Las metodologías aplicadas para una evaluación comúnmente se basan en el marco lógico o términos de referencia utilizados por los organismos o instituciones de quien el Centro recibe apoyo, por lo que cada evaluación es diferente. Como se ha mencionado el objetivo de esta guía de prácticas para los CDE s, se basan en las experiencias del IIDEYT y por lo tanto presentamos los pasos comúnmente utilizados en las evaluaciones de Proyectos de Desarrollo: Evaluación Ex ante: Cuando se realiza este tipo de Evaluación el organismo financiador aún no decide si otorgará el recurso a la institución que lo solicita, lo mas común es que se le pida a esta última un informe de autoevaluación en donde la institución dé a conocer lo que realiza, los logros obtenidos, así como las dificultades u obstáculos que tiene para desarrollar sus actividades, evaluaciones externas o internas a las que se haya visto envuelta, información de presupuestos, auditorias, perfil del grupo que estará a cargo del desarrollo del proyecto, perfil de la zona o región en donde se desarrollará, características de los clientes potenciales. Esta autoevaluación se puede complementar con la información que le sea solicitada por el organismo financiador. Evaluación en curso: Es aquella que se lleva a cabo cuando el proyecto o programa esta en operación, esta Evaluación puede realizarse con la intervención de agentes, consultores o evaluadores externos que son los Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 8

9 que se trasladan hasta el lugar en donde se encuentra el organismo financiado y recaban información para hacer comparaciones acerca de los avances que tiene el proyecto o programa con respecto a los objetivos o metas planteadas al inicio del mismo. Este tipo de Evaluación puede ser por medio de entrevistas a los beneficiados o cualquier otro medio de recopilación de datos. Es útil para hacer correcciones a tiempo en el proyecto y cambiar de estrategias, este tipo de evaluación no es muy segura de realizarse, ya que por cuestiones de costos, la institución financiadora prefiere realizar una evaluación al final del proyecto. Evaluación Final: Cuando una institución otorga algún recurso a otra para el desarrollo de algún programa o proyecto lo más normal es que al término de este se realice una evaluación para determinar si realmente se cumplió con los objetivos planteados al inicio o para conocer las dificultades que se tuvieron en el transcurso del mismo. En esta Evaluación se requerirá un reporte final en el cual se ponga en evidencia la pertinencia de las acciones o las fallas detectadas, así como propuestas o recomendaciones para mejorar. Para la redacción final se apoyará en entrevistas o cuestionarios hechos a los beneficiados, así como a los directivos y colaboradores de la organización evaluada, en el caso de los CDE s puede darse el caso de entrevistas a organismos o cámaras empresariales, asociaciones, autoridades locales o a quienes los evaluadores consideren necesario, visitas a empresas apoyadas con algún servicio, recopilación de indicadores cualitativos o cuantitativos que los definirán los evaluadores, pero que por ejemplo pueden ser los que ya se mencionaron anteriormente: 1. Número de beneficiados (p.e. empresas atendidas) 2. Número de servicios realizados 3. Número de propuestas de servicios 4. Recurso monetario recaudado por los servicios (en su caso): Esto para en determinado momento asegurar la autosuficiencia de la institución. 5. Número de empleos generados/mantenidos 6. Recurso humano formado, etc., por mencionar algunos indicadores cuantitativos. El reporte final indicará los resultados obtenidos del proyecto o programa, debe dejar en claro si se cumplieron las metas u objetivos, si las hipótesis planteadas al inicio de la evaluación se aceptan o rechazan, mostrar la eficacia y eficiencia del proyecto o el efecto contrario en su caso. Este documento también tendrá que contar con un apartado de conclusiones y recomendaciones en donde una vez que los evaluadores analicen la información que recaben, deberán darlas a conocer, esto como Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 9

10 retroalimentación ya que de esto puede depender la asignación o gestión para el CDE de algún recurso en un futuro o determinar si el proyecto o programa puede continuar siendo beneficiado por el recurso de la institución financiadora. Los términos de referencia en los cuales se debe de basar toda Evaluación y que deben ser definidos al inicio del programa o proyecto son indicadores que permitirán analizar el nivel de satisfacción e insatisfacción de los usuarios del proyecto. (Anexo 1) Del proceso de Evaluación se espera que se de a conocer el impacto que se generó con la implementación del programa o proyecto, así como la satisfacción de los beneficiados y la calidad de los servicios o productos derivados del programa o proyecto. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 10

11 IV.- CONCLUSIÓN. Dentro de la experiencia adquirida por el Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. (IIDEYT), a lo largo de más de 12 años trabajando no únicamente en la región Nueva Vizcaya (norte del estado de Durango y sur del estado de Chihuahua), sino en ciudades o regiones económicamente funcionales en todo el país, se encuentra contar con varias evaluaciones realizadas al Instituto por parte de Instituciones u organismos nacionales e internacionales de los que se ha recibido algún subsidio o apoyo económico. El IIDEYT ha asumido la responsabilidad de sus propias acciones y ha respondido de manera confiable a quienes han solicitado una evaluación para verificar el uso de los recursos asignados en su momento. Por esto es necesario destacar que de acuerdo a esta experiencia se recomienda que cualquier evaluación a la que sea sometido el CDE tenga que ser clara y comprensible para las personas que estarán involucradas en las actividades a desarrollar para dicha evaluación, ya que si no es comprensible, las capacidades y habilidades técnicas no reflejaran una evaluación eficiente y efectiva. De manera que con una comprensión por ambas partes (evaluado y evaluador), se puede fortalecer el aprendizaje en la organización y aprovechar el conocimiento adquirido y construido durante el proceso evaluativo. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 11

12 ANEXOS Ejemplo: TERMINOS DE REFERENCIA DE EVALUACIÓN DE PROYECTOS DE DESARROLLO 1.- Antecedentes Se refieren al contexto de la Evaluación y como mínimo se determina: Los objetivos del proyecto o programa a evaluar Los principales productos y/o servicios que se obtendrán del proyecto o programa Fechas de inicio y finalización del proyecto o programa El presupuesto con que se cuenta para la Evaluación, principales insumos y equipo necesarios Las principales actividades desarrolladas Los productos obtenidos a la fecha de la Evaluación Problemas identificados en el desarrollo del proyecto o programa 2.- Propósito de la Evaluación Se justifican los motivos de la Evaluación del proyecto o programa, sin olvidar que una Evaluación es con el fin de mejorar el proyecto o programa, mediante recomendaciones a la institución financiadora, el CDE y en su caso a el o los donantes, acerca de las acciones que se tienen que mejorar, cambiar o suprimir para consolidar los objetivos logrados. 3.- Alcance de la Evaluación En este punto se deberá contemplar que el Equipo Evaluador deberá valorar: Que el proyecto o programa sea pertinente con las prioridades y las necesidades que se plantea Que los objetivos sean reales y claros La calidad, coherencia, claridad y eficacia de las actividades, de los productos, de los objetivos, de la administración y ejecución del proyecto o programa, de las relaciones con instituciones u organizaciones externas al proyecto Que se incluya un análisis de los productos o servicios generados hasta el momento de la Evaluación La relación costo-eficacia del proyecto o programa Resaltar las lecciones que pueden ser de interés general Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 12

13 4.- Composición del equipo evaluador Comúnmente el organismo financiador designa al equipo evaluador, este se conforma de personas que no están involucrados ni en el diseño ni en el desarrollo del proyecto o programa a evaluar. Aquí se tiene que destacar que es importante la participación del equipo del organismo evaluado al proporcionar información requerida, concertar y acompañar a visitas a empresas apoyadas, etc. 5.- Calendario de la Evaluación Este debe indicar el lugar de reunión para el inicio de la Evaluación, la fecha tentativa, las actividades que se desarrollarán, así como el tiempo que requerirá cada una de ellas, las visitas a las empresas u organismos empresariales, autoridades locales, etc., también deberá indicar la fecha tentativa de terminación y el número de días posteriores a la entrega de un reporte final. 6.- Consultas Esto se refiere a que el equipo evaluador podrá estar en constante comunicación tanto con la institución evaluada como con el organismo financiador. 7.- Informe Final El informe final deberá ser difundido una vez terminado y en él se especificará de manera detallada los resultados obtenidos de la Evaluación aplicada al proyecto o programa. Es importante que este contenga conclusiones y recomendaciones, esto en beneficio de la institución evaluada. Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 13

14 BIBLIOGRAFIA BID, NEXUS Associates, Inc., Septiembre Evaluación Proyecto Nueva Vizcaya, CIDEYT, Solleiro J.L. (1994). Evaluación de Proyectos de Investigación y Desarrollo Alguna solución a este viejo problema?. Revista Espacios Vol Oficina de Evaluación. Banco Interamericano de Desarrollo. Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Comité de Ayuda al Desarrollo de la OCDE, Principios de Evaluación del Comité de Ayuda al Desarrollo de la OCDE, OCDE, Serie de Instrumentos de Trabajo para Planificación, Evaluación, Monitoreo y Aplicación (PEMA), junio Evaluación Externa, Agencia Suiza para el Desarrollo y la Cooperación, Algunas direcciones de Internet que pueden apoyar el diseño de una Evaluación de Proyectos de Desarrollo: FUNDES Internacional, Septiembre 2004, Valoración de Políticas de Fomento: La experiencia de Costa Rica, Seminario Internacional Evaluación de Programas dirigidos a las PYMES, Valoración de Políticas de Fomento: la experiencia de Costa Rica con PROCOMER Seminario Internacional Evaluación de Programas Dirigidos a las PyMEs Emilio Zevallos FUNDES Internacional Septiembre 2004 SIEM, (Sistema de Información Empresarial Mexicano), Esquemas de Evaluación Empresarial : as%20de%20evaluaci%c3%b3n%20empresarial%22 Evaluación de Proyectos de C&T, Análisis del documento Metodología de Evaluación de Proyectos de C&T por INVERTEC, ( s%20tecnologicos.ppt) MANUAL DE EVALUACION DE ORGANISMOS NACIONALES DEL SISTEMA CIENTIFICO-TECNOLOGICO Banco Interamericano de Desarrollo BID, Instituto de Investigación del Desarrollo Económico y Tecnológico A.C. 14