Dir. Adjunta de Información, Propuesta metodológica para la evaluación de impacto al Programa S225:

Transcripción

1 Dr. Adjunta de Informacón, Evaluacón y Normatvdad (DAIEN) Dr. Adjunta de Desarrollo Regonal y Sectoral (DADRyS) Propuesta metodológca para la evaluacón de mpacto al Programa S225: Fortalecmento en las Entdades Federatvas de las capacdades centífcas, tecnológcas y de nnovacón INFORME FINAL EQUIPO EVALUADOR: Coordnador General: Dr. Hugo Javer Fuentes Castro Investgadores: Mtra. Cnthya Rocha Santos Mtro. Arturo Baca Mllán Septembre de 2009

2 Introduccón..3 Capulo. Descrpcón del Dseño Metodológco 4 Capulo 2. Análss de las Característcas del Programa, Respecto al Dseño Metodológco para la Evaluacón de Impacto..7 Capulo 3. Análss de la Informacón Dsponble y Fuentes...9 Capulo 4. Dseño Metodológco Propuesto..3 Capulo 5. Conclusones. 9 Bblografía Anexos Guón del Análss de Factbldad para llevara a cabo una evaluacón de Impacto: (formato Coneval) 2

3 Introduccón La evaluacón de mpacto representa una de los rubros más mportante de la evaluacón ntegral de cualquer programa, ya que a través de ella, se analza y determna el cumplmento de los objetvos generales y partculares establecdos en los dferentes documentos normatvos (Reglas de Operacón, Matrz de Indcadores, Programas Operatvos Anuales, entre otros), en térmnos de los benefcos económcos, nstuconales y socales que resultan de su operacón y dseño. Una evaluacón de mpacto se realza a lo largo del tempo con el fn de observar los cambos en una realdad comparando el estatus antes y después de la ntervencón gubernamental. En un sentdo general, una ntervencón se defne como aquella accón que se ejecuta sobre una suacón o fenómeno que se pretende transformar, ya sea en uno o varos aspectos. Para este caso específco, el objetvo central de la ntervencón es fortalecer los Sstemas Locales de Cenca, Tecnología e Innovacón (SLCTI), por lo que el estudo de evaluacón de mpacto deberá lejar el efecto que han tendo las ntervencones del programa, proyectos fnancados, sobre dchos Sstemas. S ben queda claramente dentfcado el objetvo de la evaluacón de mpacto del Programa, es mportante señalar que, dada la elevada heterogenedad que se observa tanto en la naturaleza como en los objetvos de sus ntervencones, será práctcamente mposble aplcar una metodología basada en las comparacones apareadas, es decr, Matchng methods, técnca amplamente utlzada para la evaluacón de mpacto de los programas gubernamentales. Para poder aplcar dcha metodología a la evaluacón de mpacto del programa, es mprescndble contar con una base de proyectos smlar a los fnancados medante los Fondos Mxtos pero con la salvedad que no hayan recbdo el apoyo del programa. Es decr, para poder dentfcar las dferencas entre los dos grupos como el mpacto atrbuble al programa necesamos elegr el grupo de comparacón de tal manera que sea smlar al grupo de tratamento en la ausenca del programa, esto es, necesamos construr escenaros contrafactuales con el propóso de establecer una base para la estmacón de los mpactos o benefcos netos del programa sobre la poblacón benefcara. Por tal motvo, se presenta el método de Evaluacón del Desempeño Interno como una propuesta factble y adecuada para medr s los proyectos fnancados a través del Programa contrbuyen efectvamente al fortalecmento de los Sstemas Locales de Cenca, Tecnología e Innovacón. La aplcacón de esta metodología arrojará nformacón necesara y relevante que servrá como nsumo realzar un estudo comparatvo a nvel de entdad federatva y así, generar un análss de Benchmarkng sobre el desempeño de los SLCTI con el propóso de dentfcar las áreas de oportundad y las mejores práctcas para la generacón de mejoras contnuas al nteror de cada Sstema. 3

4 . Descrpcón del Dseño Metodológco El Consejo Naconal de Evaluacón de la Polítca de Desarrollo Socal (Coneval) tene por objeto normar y coordnar la evaluacón de las Polítcas y Programas de Desarrollo Socal a través de evaluacones de dseño e mpacto de las entdades públcas. La metodología que solca Coneval para la evaluacón de mpacto es la construccón de una contra-factual, aplcando las comparacones apareadas Matchng methods, método de ampla aplcacón en la evaluacón de programas de goberno. Esta metodología se aplca en programas con objetvos precsos y acotados, proyectos homogéneos, muestras sufcentemente grandes, procesos causales relatvamente smples para poder aprecar y entender la relacón entre los apoyos y los resultados. Por lo tanto, s consderamos esta metodología (matchng methods), y una vez analzados los objetvos del programa S225, la poblacón, unverso de proyectos (3,500), y la gran heterogenedad de sus Componentes, es decr, la gran dversdad de los proyectos que son fnancados a través de los Fondos Mxtos con el propóso de fortalecer los SLCTI, este equpo evaluador consdera que no es adecuada la aplcacón de dcha metodología en este programa. Debdo a esta heterogenedad, se ha detonado la búsqueda de metodologías aplcadas en áreas como desarrollo empresaral, organzacón ndustral, desarrollo organzaconal, planeacón estratégca y evaluacón socal, con el propóso de medr adecuadamente el mpacto de los proyectos fnancados a través de los Fondos Mxtos. Esta búsqueda ha dado como resultado la revsón detallada del método de evaluacón de desempeño nterno, el cual este equpo evaluador sugere como un mecansmo adecuado para medr el mpacto de los proyectos apoyados medante el Programa S225.. Evaluacón del Desempeño Interno.. Antecedentes La globalzacón, el cambo tecnológco, la desregulacón y la elmnacón de ntermedaros en las cadenas productvas han provocado una de las más grandes transformacones a nvel de estructura y operacón de las ndustras, especalmente de aquellas que se encuentran estrechamente relaconadas con la provsón de servcos. Estas transformacones han provocado un replanteamento de la forma en que las ndustras evalúan el desempeño de sus propas undades operatvas y una modfcacón tanto de las prordades y objetvos como de la forma en que nteractúan y partcpan los dferentes actores del entramado organzaconal. En esta nueva conformacón de la organzacón ndustral, las undades operatvas descentralzadas (departamentos y sucursales) han do adqurendo un rol cada vez más 4

5 mportante para el ncremento de los ngresos, la productvdad y la competvdad de la ndustra; sn embargo, esta mayor mportanca ha complcado la forma en que estas undades rnden cuentas sobre su desempeño a la organzacón central. Por este motvo, dchas organzacones demandan cada vez con mayor nsstenca el dseño de mecansmos que les perman no sólo medr y evaluar el desempeño de cada una de las undades que las conforman, sno tambén comprobar s las metas y objetvos de éstas se encuentran alneadas con las metas y objetvos (perencas) de la undad central. Para tal efecto, autores como Grfell y Márques (2007) han desarrollado la metodología de evaluacón del desempeño nterno, la cual es aplcada a cualquer organzacón de servcos que esté estructurada a partr undades centralzadas y descentralzadas, tal es el casos de los bancos comercales los cuales tenen corporatvos (undad centralzada) y sucursales (undades descentralzadas) que s ben operan en aras del cumplmento de los objetvos y metas de la undad centralzada, cada undad operatva tene objetvos y metas específcas. Cada centro de decsón puede tener objetvos dferentes entre sí pero deben estar alneados con las perencas de las undades centrales, ntegrándose así en un msmo marco de evaluacón. Esta metodología perme ntroducr explícamente el objetvo de cada undad evaluada, la cual puede ser formulada de acuerdo a condcones relevantes (externas e nternas). En térmnos generales, la evaluacón nterna de las undades operatvas de una organzacón tene rasgos mportantes que la dferencan de cualquer evaluacón de desempeño, ya que requere ser útl y sgnfcatva para las organzacones centrales, es decr, debe consderar que las undades operatvas consderen en sus objetvos y metas las necesdades y perencas del órgano central...2 Aspectos generales del enfoque de evaluacón del desempeño nterno Las más recentes aportacones teórcas y metodológcas en torno a la evaluacón del desempeño nterno pretenden dar respuesta a la crecentes necesdad de dseñar mecansmos que perman no sólo medr el desempeño de los centros de decsón operacón de cada organzacón sno tambén el grado en que dcho desempeño se alnea con las perencas y objetvos de la organzacón central; es decr, que la evaluacón logre captar el nvel de congruenca que exste entre los objetvos y metas de las undades operatvas y las perencas de los gerentes, ver Grfell, Marques (2007:308). Para lograr lo anteror, es fundamental defnr claramente los objetvos o perencas de la organzacón e dentfcar las asmetrías entre pérddas y ganancas. Dado lo anteror y consderando la elevada heterogenedad tanto en la naturaleza como en el mpacto de los proyectos fnancados a través de los Fondos Mxtos, ésta metodología puede ser utlzada para medr s efectvamente dchos proyectos han contrbudo a fortalecer los 5

6 SLCTI a nvel estatal, regonal y muncpal. Una de las grandes ventajas de esta metodología es que logra capturar el desempeño de undades descentralzadas que son altamente heterogéneas entre sí y cuyos objetvos pueden ser dsímles. Para efectos de la medcón, la heterogenedad responde a la varacón de condcones externas e nternas que deben ser dentfcadas por cada undad descentralzada y de no exstr dcha heterogenedad, la empresa u organzacón no alcanzaría la meta u objetvo esperado. Asmsmo, dcha heterogenedad mpde la agregacón de supuestos para medr y comparar el desempeño de las undades que coexsten dentro de la organzacón; sn embargo, acepta la dscrepanca de opnones que puderan surgr por parte de expertos en torno a los objetvos y metas que deben de alcanzar los proyectos logrando contablzar perddas y ganancas, brndando grados de lbertad esencales para una evaluacón completa ante un escenaro complejo. En este sentdo, la medcón del desempeño nterno (MDI) quedaría explcada de la sguente forma: MDI (x p ) = α n t= x x T(t)α 2 (x x )α 3 (p ) β n t= x x T(t)β 2 (x x )β 3 (p ) Donde, MDI = Medcón de Desempeño Interno UTD = Undad Tomadora de decsones x = Resultado de desempeño de la UTD en el perodo t p = Frecuenca de un determnado x ; 0 p y cumple con p = x = Nvel de perencas u objetvos. Solo s x x se consdera un buen resultado x y p son vectores; x = x, x,..., x ) y p = p, p,..., p ) T (t) es una funcón del tempo ( 0 n ( 0 n n t= Este modelo perme que los resultados de las evaluacones sean tratados asmétrcamente en tres nveles: a) las funcones α 2 y β 2 permen un tratamento dferente cuando los valores de la evaluacón de x sean buenos o malos, respectvamente, 6

7 b) las funcones α 3 y β 3 permen que resultados de la evaluacón; y p sea evaluado de forma dferente según los c) los parámetros α y β ponderan de forma dferente los resultados buenos o malos de la evaluacón. 2. Análss de las Característcas del Programa El análss de las prncpales característcas y partculardades del programa, así como de sus ntervencones, nos perme fundamentar, contextualzar e dentfcar las ventajas del método de Evaluacón del Desempeño Interno que arrba formulamos. El Programa Fortalecmento en las Entdades Federatvas de las Capacdades Centífcas, Tecnológcas y de Innovacón surgó en 200 con el objetvo de apoyar la realzacón de nvestgacones centífcas o tecnológcas; nnovacón y desarrollo tecnológco; formacón y desarrollo de recursos humanos especalzados; dvulgacón centífca y tecnológca; creacón y fortalecmento de grupos o cuerpos académcos de nvestgacón y desarrollo tecnológco; e nfraestructura de nvestgacón y desarrollo con el propóso de contrbur al desarrollo económco y socal de nterés para los gobernos de los estados, según lo establecen sus propas Reglas de Operacón (RO). No cabe duda de la mportanca que dcho Programa tene para el mpulso del desarrollo económco y socal en los estados y muncpos, sobre todo s se consderan dos suacones: ) la relacón causal que exste entre el desarrollo centífco y tecnológco y el fortalecmento de la actvdad productva y; ) que el programa es el prncpal nstrumento para la descentralzacón e mpulso de la actvdad centífca y tecnológca en el país; ello, medante el apoyo de proyectos drgdos a fortalecer las capacdades de los sstemas locales de cenca, tecnología e nnovacón. 2. Heterogenedad de los proyectos, prncpal lmacón para la evaluacón de mpacto La heterogenedad de los proyectos fnancados a través de los Fondos Mxtos tene su orgen en dos aspectos: la naturaleza de los msmos y el objetvo partcular que persgue cada proyecto. La naturaleza de cada proyecto está drectamente relaconada con las modaldades defndas en las Reglas de Operacón las cuales se presentan a contnuacón; mentras que, el objetvo partcular de cada proyecto se encuentra asocado a la demanda específca que atende, la cual se apreca a través de la clasfcacón Demanda que atende dentro de la base de datos del programa. 7

8 2.. Heterogenedad causada por la modaldad de los proyectos: Según lo establece las Reglas de Operacón vgentes, los proyectos fnancados por el programa deberán ubcarse en las sguentes modaldades: A) Investgacón Centífca A) Básca A2) Aplcada B) Desarrollo e Innovacón Tecnológca B) Precompetvo B2) Competvo C) Formacón de Recursos Humanos C) Creacón y consoldacón de programas de posgrado que atendan las prordades específcas. C2) Creacón y/o consoldacón de grupos y redes de nvestgacón e nnovacón C3) Formacón de especalstas D) Creacón y Fortalecmento de Infraestructura E) Dfusón y Dvulgacón Como se puede aprecar, las modaldades, tal y como están defndas, dan cabda a cualquer cantdad de proyecto; es decr, no exste nnguna lmante en cuanto a los asuntos que busca resolver cada proyecto. Esto es cuestonable, sobre todo cuando se toma en cuenta que el 80% de los proyectos fnancados se concentra en sólo dos modaldades. La dspersón en la naturaleza de los proyectos al nteror y entre las dferentes modaldades, pone sobre la mesa la dscusón sobre la pertnenca, relevanca y adecuacón de las cnco modaldades como mecansmo para el fortalecmento de los SLCTI Heterogenedad causada por el objetvo específco de cada proyecto: En lo que se ere a la dspersón que provoca la defncón y clasfcacón de cada proyecto según su objetvo, ésta se explca fundamentalmente por la ausenca de una metodología que defna y clasfque la demanda que pretende atender cada proyecto en funcón de una taxonomía adecuada que dé lógca, orden y reduzca la ambgüedad que presentan muchos de los objetvos, permendo precsar con más clardad lo que se espera de cada uno de ellos, tal y como lo establecen las dferentes técncas para la conformacón de las metas en el ámbo del aprendzaje (ver Bloom y Mager). Se anexa lsta de taxonomía. En este sentdo, el dseño de una taxonomía adecuada para la clasfcacón de los proyectos según su objetvo será un factor mportante para reducr la heterogenedad y faclar las futuras 8

9 evaluacones al programa, ya que es precsamente por este comportamento no homogéneo y varable, que es mposble aplcar metodología de matchng. 3. Análss de la nformacón dsponble y las fuentes A la fecha el Programa apoya a 34 Sstemas Locales de Cenca, Tecnología e Innovacón SLCTI- (32 sstemas estatales y dos muncpales). Desde 200 se han fnancado 3,594 proyectos con una asgnacón presupuestara que ascende a 3,44 mllones de pesos, sendo la nvestgacón centífca la modaldad a la cual se le ha otorgado el mayor monto (58.54% respecto al total), seguda del desarrollo tecnológco (2.56% del presupuesto total). Del total de proyectos drgdos a apoyar la nvestgacón centífca (2,04), la gran mayoría (,867 proyectos) se drgeron al área de nvestgacón centífca aplcada; en tanto que, sólo 3 proyectos se ubcaron en el área de nvestgacón centífca básca. Lo anteror, sgnfcó una asgnacón de,42 mllones de pesos para la nvestgacón aplcada y 77.4 mllones de pesos para la nvestgacón básca. Por su parte, los proyectos fnancados con el propóso de mpulsar el desarrollo tecnológco (775 proyectos) regstraron un monto total de mllones de pesos. Lo anteror, da cuenta de que el programa presenta una elevada concentracón (80%) en el fnancamento de proyectos drgdos sólo a dos modaldades: la nvestgacón centífca y al desarrollo e nnovacón tecnológca, ver gráfcas y 2. Esta elevada concentracón en el fnancamento de proyectos, no garantza de nnguna forma un comportamento relatvamente smlar en la naturaleza y objetvo de los proyectos al nteror de una msma modaldad, ya que éstos se desarrollan en funcón de las demandas, por lo que exste una elevada heterogenedad no sólo entre las dferentes modaldades, sno tambén entre los proyectos de una msma modaldad. Lo que sí es posble decr, es que todos los proyectos sn mportar su modaldad persguen un msmo objetvo macro: el fortalecmento de los SLCTI. 9

10 GRÁFICA 2500 NUMERO DE PROYECTOS POR MODALIDAD NUMERO DE PROYECTOS I.CIENTIFICA I.TECNOLOGICA F. RECURSOS C.F.INFRAESTRUCTURA DIF. Y DIV. 0 Fuente: Elaboracón propa con base en nformacón del Programa. GRÁFICA 2 MONTO POR MODALIDAD *,400,000,200,000 MILES DE PESOS,000, , , , ,000 - A. Investgacón Centfca B. Desarrollo e I. Tecnológca C. Formacón de R. Humanos D. Creacón y F. de Infraestructura E. Dfusón y Dvulgacón MODALIDADES Fuente: Elaboracón propa con base en nformacón del Programa. *No se consderaron aquellos proyectos en los cuales ntervenen más de una categoría. 0

11 GRÁFICA 3 ESTADOS CON MAYOR PARTICIPACION EN EL MONTO TOTAL RESPECTO AL 00% 6.00% 4.00% 2.00% 0.00% 8.00% 6.00% 4.00% 2.00% 0.00% ESTADOS NUEVO LEON GUANAJUATO YUCATAN CHIAPAS SONORA TABASCO La base de datos del Programa S225 a juno de 2009 cuenta con la nformacón correspondente a 3,593 proyectos y se encuentran clasfcados de acuerdo a lo sguentes rubros: a) Estado b) Clave c) Área de Conocmento d) Modaldad e) Área de Desarrollo f) Demanda que Atende g) Instucón Partcpante h) Estado de la Instucón partcpante ) Tpo de Investgacón j) Monto Solcado k) Monto Aprobado L) Duracón del Proyecto M) Estatus y N) Fecha de Formalzacón, entre otros. Al momento de analzar la base de datos y querer encontrar factores que nos perman homogenzarla, nos encontramos con el rubro de las Demandas que Atende, las cuales son tan dsímbolas como el hecho de encontrar proyectos que atenden las sguentes demandas y solo en el Estado de Aguascalentes:

12 .- Actualzacón del proceso de tratamentos térmcos en la ndustra metal-mecánca de Aguascalentes. 2.- Detector de fugas de agua a presones menores de kg/cm Capacacón a técncos y productores, que ncursonan con tecnologías de nocudad y segurdad almentara, con base en el uso de plástcos y agrcultura orgánca. (Modaldad b) y evaluacón de parámetros de produccón y mercado de guayaba en el muncpo 4.- Desarrollo e nnovacón de procesos y productos que eleven la competvdad de las empresas en sectores estratégcos para el estado de Aguascalentes (modaldad b) 5.- Impacto y control del síndrome de deshdratacón en la pesquería y cultvo del abulón Como podemos aprecar la nformacón es muy completa, sn embargo y como se mencono anterormente, la problemátca es la heterogenedad de los proyectos, y esta es entendble s consderamos que el Programa S225 es precsamente para atender las dferentes demandas que presentan los Estados de la Republca y que derva en el fortalecmento de los SLCTI. 2

13 4. Dseño Metodológco Propuesto Dada la elevada heterogenedad de las ntervencones, la evaluacón del desempeño nterno se ubca como la metodología dónea para evaluar el mpacto del programa, ya que permrá conocer s efectvamente se ha logrado fortalecer los SLCTI a través de los proyectos fnancados. En este sentdo el modelo propuesto para la evaluacón de mpacto del Programa S225 quedaría de la sguente forma: MDI (x p ) = α n t= x x T(t)α 2 (x x )α 3 (p ) β n t= x x T(t)β 2 (x x )β 3 (p ) Donde, MDI = Medcón de Desempeño Interno x = Resultado de desempeño del proyecto en el perodo t p = Frecuenca de un determnado x ; 0 p y cumple con p = x = Nvel de perencas u objetvos, sólo s x x se consdera un buen resultado x y p son vectores; x = x, x,..., x ) y p = p, p,..., p ) T (t) es una funcón del tempo ( 0 n ( 0 n n t= Para lograr que la medcón leje la contrbucón de cada proyecto y cada modaldad al fortalecmento de los SLCTI, será fundamental consderar los sguentes elementos en la construccón de este modelo de evaluacón..- Defncón del vector x Los aspectos para evaluar el desempeño del proyecto fnancado por el programa en el perodo t se defnen en el vector x. 2.- Defncón del vector x El vector x mde el nvel de perencas u objetvos de cada modaldad, lejando los parámetros que medrán la contrbucón al fortalecmento de los SLCTI. 3- Defncón de ponderacones α y β 3

14 Los ponderadores permrán prorzar o jerarquzar los creros de evaluacón del desempeño. Dada la mportanca que tene la defncón tanto de los vectores como de los ponderadores para medr el desempeño de los proyectos y su contrbucón al fortalecmento de los SLCTI, es mportante subrayar la necesdad de ncorporar a los expertos en las dferentes materas para tal defncón. En el caso del CONACYT, este es un aspecto que representa mportantes ventajas comparatvas, ya que es la nstucón que concentra a los nvestgadores y expertos más mportantes del país, además de que cuenta con mecansmos para hacer válda su partcpacón. Aunado a lo anteror, es mportante señalar que en el dseño del vector que defne los aspectos a consderar en la evaluacón de los proyectos, se tomaran en cuenta tanto los elementos generales de los msmos, sn consderar su naturaleza u objetvo específco, como los elementos específcos de cada proyecto. Asmsmo, se deberán separar los aspectos asocados drectamente con cumplmento del proyecto de los que se eren netamente al mpacto. a) Creros Generales ndependentes del tpo de proyecto: Para la defncón de los creros generales se deberán consderar varables como efcaca, efcenca, rentabldad (sólo en los casos que así se requera) y satsfaccón/caldad. Estos creros deberán estar sujetos, a su vez, a dos aspectos: ) área de conocmento y ) área de desarrollo, tal y como se muestra en el sguente cuadro: Creros Fltro Fltro 2 Propuesta (ben o servco) Presupuesto Deman -das Lsta de Aspectos a evaluar x Meta x Ponderador α β y Generales.A ) Efcaca.B ) Efcenca A S.C Área de Área de ) Satsfaccón/ B X T.X conocmento desarrollo Caldad C U.S.T.U Nota: Por efcaca se entende el hecho de cumplr con la accón se había propuesto. Ejemplo: Hzo el lbro s o no. De 00 calles pavmentadas cuántas puede ser 80/00. Por efcenca se entende el cumplmento del presupuesto ndcado. S se puede generar una aproxmacón comparando con otros que hayan hecho lo msmo se genera ndcador (proyecto entre erenca) Mayor a no es efcente; menor a es efcente. Por caldad/satsfaccón se entende a aquellos aspectos que mpactan al consumdor sobre el servco o producto generado. Para lograr lo anteror se propone satsfacer los sguentes creros: a) Las valoracones x deben defnrse por dos actores: expertos y consumdor. Las varables efcaca, efcenca y los valores o nveles de caldad pueden ser evaluadas o 4

15 meddas por expertos; en tanto que, el nvel de satsfaccón deberá evaluarse por el consumdor. b) En el caso específco de este programa, es posble que se prescnda de T (t) ya que será una evaluacón en un perodo de tempo. b) Creros específcos de cada proyecto: Para la defncón de los creros específcos de los proyectos que deberán evaluarse para cada modaldad, se recomenda hacerlo en los térmnos que lo muestra el sguente cuadro: MODALIDADES x Efcaca Efcenca A) Investgacón Centífca B) Desarrollo e Investgacón Tecnológca C) Formacón de Recursos Humanos Metas y Objetvos de Proyecto Artículos Categorzacón de los Artículos Indexados o no, etc Lbros Patentes Multdcplnardad Empleos Especalzados Metas y Objetvos del Proyecto Artículos Categorzacón de los Artículos Indexados o no, etc Lbros Patentes Entregables Multdcplnardad Proceso Innovado Producto Innovado Servco Innovado Empleos Especalzados Metas y Objetvos del Programa Empleos Especalzados Número de Alumnos Número de Especalstas Obtencón de Grados de Lcencatura Tempo Presupuesto Tempo Presupuesto Tempo Presupuesto VECTORES Satsfaccón / Caldad Encuestas de satsfaccón a los que utlzan el producto del proyecto. Goberno de los Estados o sus Secretarías o Dreccones, Cámaras empresarales, etc. Encuestas de satsfaccón a los que utlzan el producto del proyecto. Goberno de los Estados o sus Secretarías o Dreccones, Cámaras empresarales, etc. Encuestas de satsfaccón a los que utlzan el producto del proyecto. Goberno de los Estados o sus Secretarías o Dreccones, Cámaras Impacto Indcadores Económcos y Socales Empleo Salud Educacón Productvdad Mercado Ventas Indcadores Económcos y Socales Empleo Salud Educacón Productvdad Mercado Ventas Indcadores Económcos y Socales Empleo Salud Educacón Productvdad Mercado Ventas Cronograma Tempos Entregables Tempos Entregables Tempo Entregables 5

16 D) Creacón y Fortalecmento de Infraestructura E) Dfusón y Dvulgacón Maestría Doctorado Postdoctorado Metas y Objetvos del Programa Nuevos Laboratoros Equpamento Creacón de Centros de Investgacón y Desarrollo Cudades Industrales Parques y Museos Centífcos y Tecnológcos Empleos Especalzados Metas y Objetvos del Programa Museos Feras Encuentros de Cenca y Tecnología Congresos Tempo Presupuesto Tempo Presupuesto empresarales, etc. Encuestas de satsfaccón a los que utlzan el producto del proyecto. Goberno de los Estados o sus Secretarías o Dreccones, Cámaras empresarales, etc. Encuestas de satsfaccón a los que utlzan el producto del proyecto. Goberno de los Estados o sus Secretarías o Dreccones, Cámaras empresarales, etc. Indcadores Económcos y Socales Empleo Salud Educacón Productvdad Mercado Ventas Indcadores Económcos y Socales Empleo Salud Educacón Productvdad Mercado Ventas Tempos Entregables Tempos Entregables c) Resultados y Benchmarkng Los resultados de nuestro modelo arrba señalado, son elementos para la aplcacón de la metodología Benchmarknng, la cual tendría como objetvo en este programa, comparar los parámetros alcanzados por estado a fn de determnar cuales de ellos tenen los estándares más efcaces y efcentes. Asmsmo, la aplcacón de los resultados en modelos como Data Envelopment Analyss (DEA) que permen generar fronteras de mejor practca y darle una erenca clara a las entdades de cuales serían aquellas que podrían ser su mejor erenca y ejemplo. 4. Etapas de la evaluacón de mpacto y cronograma de actvdades para su mplementacón.- Defncón del unverso a evaluar. Lo defnrá quen vaya a realzar la evaluacón en conjunto con Conacyt. 2.- Defncón de varables Cooper, W., Seford, M., Zhu, J., (Eds). (2004). Handbook on Data Envelopment Analyss ( Internatonal Seres n Operatons Research & Management Scence) 6

17 Se anexan los vectores por modaldades; sn embargo, y con base en cómo defnan los expertos-conacyt las característcas de los proyectos por modaldad, se podrán agregar más varables. 3.- Evaluacón y Comparatvo contra Metas y Objetvos Análss de los resultados obtendos por el modelo así como de la aplcacón del Benchmarkng 4.- Propuestas para alcanzar las metas y objetvos aprobados 5.- Publcacón de resultados. 4.2 Dseño de Herramentas para recabar nformacón Los métodos de orden cualatvo, como son las entrevstas en sus dstntas varedades: observacones en so, técncas de orden etnográfco, entre otros, han alcanzado un nvel de rgurosdad en los últmos años que perme ponerlos a la par de los cuantatvos. Medante una propuesta básca se procurará segur un protocolo para utlzar un método estándar durante toda la evaluacón en los tres pasos prncpales del trabajo cualatvo: Instrumentos a utlzar a) Entrevstas sem-estructuradas y a profunddad Realzaremos entrevstas sem-estructuradas y a profunddad con actores relevantes para obtener nformacón de prmera mano sobre el funconamento del Programa S225, para con ello observar la accón y coordnacón con los ntermedaros (Unversdades, Instutos, etc)., para llegar al benefcaro fnal. La entrevsta es, entre otras, una estratega de las cencas socales para ndagar las opnones, percepcones, representacones, sgnfcacones de los actores socales que se aplca de forma ampla en estudos evaluatvos. En el ámbo de la socología, la entrevsta cualatva es una técnca ndspensable en la generacón de un conocmento sstemátco sobre el mundo socal 2. De ahí que las cencas socales, la entrevsta, a la par que con otras estrategas metodológcas, nos acerca a los sgnfcados que los actores socales producen y reproducen en los vínculos que establecen en el día a día con otros actores cercanos. b) Grupos de enfoque El grupo de enfoque es un tpo de entrevsta colectva que srve como herramenta de recoleccón de datos. Busca encontrar el cómo y el por qué, proporconando respuestas contextuales en grupos cuas-homogéneos de poblacón elegdos bajo creros del grupo 2 Vela P., F., Un acto metodológco básco de la nvestgacón socal: la entrevsta cualatva, en Tarrés, M. L. ed), Observar, escuchar y comprender sobre la tradcón cualatva en la nvestgacón socal. FLACSO-Mguel Angel Porrúa, p.67, Méxco 7

18 evaluador. De tal forma se realzará esta técnca con tpos de partcpantes smlares en algunas característcas clave con el fn de dentfcar temas o patrones de percepcones. Así los grupos se reunrán para dscutr una sere de asuntos específcos guados por un moderador entrenado que estmula y enfoca la dscusón. 3 El propóso del grupo de enfoque será la recoleccón de datos cualatvos a partr de un proceso de nteraccón grupal que ayude a la mejor comprensón de las actudes, las percepcones, los sentmentos y la forma de pensar de los partcpantes. Es por ello que la mayor utldad y valor de los grupos de enfoque radca en la rqueza de los comentaros e nteraccón, manfesta o latente, de las personas partcpantes. Para alcanzar los objetvos deseados en cada grupo se recomenda que estén ntegrados entre sete y ocho personas. Es el número deal que perme tener un control más completo sobre la dscusón, sn perder de vsta las reaccones, comentaros e nteraccón entre los ntegrantes. La mayor utldad y valor de los grupos de enfoque radcará en la rqueza de los comentaros de las personas partcpantes. Algunas de las ventajas de esta técnca es que representa una herramenta muy valosa para desarrollar hpótess sobre problemas y oportundades; proporcona la flexbldad para cubrr temas de manera más profunda que la entrevsta ndvdual por realzarse en grupos, así el proceso de recoleccón de datos y análss de los msmos es más acelerado. c) Observacones en so En funcón del conjunto de nstrumentos de campo, se utlzan las observacones de manera cualatva, fundamentalmente para recoger datos sobre el apego a las Reglas de Operacón y tambén para recoger las actudes e mpresones sobre la operacón del Programa. Estas observacones requerrán de un esquema de trabajo para captar manfestacones y aspectos trascendentes del grupo socal que se observa, y de gual modo servrán al equpo de trabajo como una forma de control nterno en el acopo de nformacón en campo. 3 Kotler, P., 987. Strategc marketng for Non-Prof Organzatons. Engelwoods, Clffs, NJ: Prentce 3rd ed. 8

19 5. CONCLUSIONES El Programa Fortalecmento en las Entdades Federatvas de las Capacdades Centífcas, Tecnológcas y de Innovacón surgó en 200 con el objetvo de apoyar la realzacón de nvestgacones centífcas o tecnológcas; nnovacón y desarrollo tecnológco; formacón y desarrollo de recursos humanos especalzados; dvulgacón centífca y tecnológca; creacón y fortalecmento de grupos o cuerpos académcos de nvestgacón y desarrollo tecnológco; e nfraestructura de nvestgacón y desarrollo con el propóso de contrbur al desarrollo económco y socal de nterés para los gobernos de los estados, según lo establecen sus propas Reglas de Operacón (RO). A la fecha el Programa apoya a 34 Sstemas Locales de Cenca, Tecnología e Innovacón SLCTI- (32 sstemas estatales y dos muncpales). Desde 200 se han fnancado 3,594 proyectos con una asgnacón presupuestara que ascende a 3,44 mllones de pesos, sendo la nvestgacón centífca la modaldad a la cual se le ha otorgado el mayor monto (58.54% respecto al total), seguda del desarrollo tecnológco (2.56% del presupuesto total). No cabe duda de la mportanca que dcho Programa tene para el mpulso del desarrollo económco y socal en los estados y muncpos, sobre todo s se consderan dos suacones: ) la relacón causal que exste entre el desarrollo centífco y tecnológco y el fortalecmento de la actvdad productva y; ) que el programa es el prncpal nstrumento para la descentralzacón e mpulso de la actvdad centífca y tecnológca en el país; ello, medante el apoyo de proyectos drgdos a fortalecer las capacdades de los sstemas locales de cenca, tecnología e nnovacón. El dseño de una metodología de evaluacón de mpacto del programa S225 ha representado un reto para este equpo evaluador, no solo por tratarse de un programa que atende a la comundad centífca, sno por el hecho que representa una forma de medcón dferente a los modelos que solca el Consejo Naconal de Evaluacón de la Polítca de Desarrollo Socal (Coneval). Coneval solca que para la evaluacón de mpacto se construya una contra-factual, aplcando las comparacones apareadas Matchng methods. Esta metodología se aplca en programas con objetvos precsos y acotados, proyectos homogéneos, muestras sufcentemente grandes, procesos causales relatvamente smples para poder aprecar y entender la relacón entre los apoyos y los resultados. Sn embargo, la metodología propuesta por este equpo evaluador, Evaluacón de Desempeño Interno, responde a la gran heterogenedad que exste en los objetvos y metas de la gran varedad de proyectos fnancados a través de los Fondos Mxtos, ésta metodología puede ser utlzada para medr s efectvamente dchos proyectos han contrbudo a fortalecer los SLCTI a nvel estatal, regonal y muncpal. Una de las grandes ventajas de esta 9

20 metodología es que logra capturar el desempeño de undades descentralzadas que son altamente heterogéneas entre sí y cuyos objetvos pueden ser dsímles. Asmsmo, los resultados de nuestro modelo son elementos que nos permen la aplcacón del Benchmarknng, en modelos DEA con el fn de generar mejores práctcas. Respecto a las varables propuestas por este equpo evaluador, consderamos que deben ser sujetas a dscusón y mejora por parte del equpo de expertos-conacyt con el fn de obtener los mejores resultados cuando se realce la evaluacón de mpacto. 20

21 BIBLIOGRAFIA Álvarez-Gayou, J. L. (2005). Cómo hacer nvestgacón cualatva. Fundamentos y metodología. Méxco: Padós Angrst, J. y Lavy V. (999). Usng Mamondes rule to estmate the effect of class sze on Scholastc achevement, Quarterly Journal of Economcs. Buddelmeyer, H. y Skoufas E. (2004, septembre). An Evaluaton of the Performance of Regresson Dscontnuy Desgn on PROGRESA. Workng Paper World Bank Polcy Research. Burga, C. (2003). Re-Evaluando PROJoven: Propensy Score Matchng y una evaluacón Paramétrca, Workng Paper.Cernea, M. M. (99). Puttng People Frst: Socologcal Varables n Rural Development. Oxford: Oxford Unversy Press Books. Champeter, Y. (2003). LEADER, un example de management publc local: l natve communautare LEADER en faveur du développpement des zones rurales de l Unon Européen, ponenca presentada para el Instuto de Desarrollo Socal Interamercano. Heckman, J., Ichmura, H. y Petra, T., 998. Matchng As an Econometrc Evaluaton Estmator, Revew of Economc Studes, vol. 65, no. 2, pp Heckman, J., Ichmura, H., Smh J., y Petra, T., 998. Characterzng Selecton Bas Usng Expermental Data, Econometrca, vol. 66, no. 5, pp Kng, G., R. O. Keohane y S. Verba (2000) El dseño de la nvestgacón socal. España, Madrd, Alanza Kotler, P., 987. Strategc marketng for Non-Prof Organzatons. Engelwoods, Clffs, NJ: Prentce 3rd ed. Glazerman, S., D. Levy and D. Myers. (2002). Nonexpermental Replcatons of Socal Experments: A Systematc Revew, Interm Report/Dscusson Paper, Mathemathca Polcy Research Inc. September, 78 pp. Ravallon M. (999). The Mystery of the Vanshng Benefs: Ms. Speedy Analyst's Introducton to Evaluaton, World Bank Polcy Research Workng Paper No Vela P., F., Un acto metodológco básco de la nvestgacón socal: la entrevsta cualatva, en Tarrés, M. L. ed), Observar, escuchar y comprender sobre la tradcón cualatva en la nvestgacón socal. FLACSO-Mguel Angel Porrúa, pp. 63-3, Méxco. Wess, R. S., 995. Learnng from Strangers. The Art and Method of Qualatve Intervew Studes, The Free Press. 2