Guia pràctica d avaluació de programes del tercer sector social Autors: Miquel Àngel Alegre, Marçal Farré, Ramon Sabes i Federico Todeschini (Ivàlua)
Objectius de la guia Oferir un marc conceptual i metodològic comú i bàsic que contribueixi a motivar i orientar la pràctica avaluativa de les entitats: Millorar l avaluabilitat dels programes Més i millors avaluacions Aprofitament del coneixement i resultats de l avaluació
Com ho hem fet? Nivells d atenció Conceptes clau Mètodes i tècniques d avaluació Aplicacions i exemples Aproximació Orientació pràctica Guia bàsica (amb recursos addicionals) Rigor metodològic (enfocaments i mètodes validats)
Com ho hem fet? Col laboracions
Resultats Capítols autocontinguts, per tipus d avaluació
Resultats Capítols autocontinguts, per tipus d avaluació
Resultats Estructura bàsica dels capítols Punt de partida i motivació Què vol dir avaluar [...] d un programa Preguntes i focus de l avaluació de [...] Mètodes per avaluar [...] Recursos Referències
Avaluació de necessitats Preguntes que vol respondre: Quina és la magnitud, la distribució, les causes i les conseqüències de la problemàtica social? Quins tipus de serveis haurien d utilitzar les persones que la pateixen? I quin n hauria de ser l ús? Quins serveis utilitzen a la pràctica i quina cobertura tenen? Moment del cicle del programa: Anàlisi ex-ante, previ a la implementació (i al disseny) del programa Exercici continu, per adaptar-se a una realitat social i uns programes en canvi constant
Avaluació de necessitats: fases i preguntes
Avaluació de necessitats (cont.) Dades requerides: Dades sobre la magnitud i distribució de la problemàtica Característiques individuals i socials de les persones que la pateixen Dades sobre les característiques i cobertura dels serveis existents Mètodes d avaluació: Anàlisi de registres administratius Disseny i explotació d enquestes Entrevistes i grups de discussió amb informants clau
Avaluació del disseny Preguntes que vol respondre: Quina és la teoria del canvi del programa? Per què s espera que funcioni correctament i tingui impacte? Els seus objectius, indicadors i sistemes d informació del programa faciliten la seva avaluabilitat? Moment del cicle del programa: Preferiblement, anàlisi ex-ante increment perspectives d èxit i avaluabilitat Exercici ex-post, millores en el disseny de programes ja implementats
Model lògic: programa Referents Joves tutelats i ex-tutelats
Avaluació del disseny (cont.) Dades requerides: Característiques formals d indicadors operatius i d impacte Evidències d implementació i impacte de programes similars Material documental i qualitatiu Mètodes d avaluació: Revisió d evidències sobre funcionament i impacte ( què funciona ) Altres mètodes: entrevistes i grups de discussió amb persones implicades en el disseny, estudi documental, observació directa de processos i activitats
Avaluació de la implementació Preguntes que vol respondre: S ha disposat dels recursos planificats i aquests han estat suficients? S han realitzats totes les activitats previstes? El perfil dels usuaris es correspon amb el de la població diana? Quin ha estat el nivell d ús i compleció del programa? Moment del cicle del programa: Anàlisi ex-post, posterior (o en paral lel) a la implementació, orientada a conèixer com el programa funciona a la pràctica Les preguntes d implementació s han de formular ex-ante, així com les condicions d avaluabilitat
Avaluació de la implementació (cont.) Dades requerides: Característiques individuals i socials de les persones usuàries Dades sobre recursos, activitats i productes resultants Aquestes dades poden provenir de registres administratius, d informants clau o d instruments de mesura específics Mètodes d avaluació: Revisió i anàlisi documental Anàlisi de registres (del programa o administratius) Disseny i explotació d enquestes (inclou qüestionaris de satisfacció) Entrevistes o grups de discussió amb informants clau Altres: observació directe, opinió d experts i estudis de casos
Avaluació de la impacte Preguntes que vol respondre: Ha aconseguit el programa corregir la problemàtica i en quina mesura? Quins components de la intervenció són més efectius? Ha tingut els mateixos efectes sobre els diferents col lectius atesos? Moment del cicle del programa: Anàlisi ex-post, posterior (o en paral lel) a la implementació, orientada a conèixer l efectivitat del programa Les preguntes d impacte s han de formular ex-ante, així com les condicions d avaluabilitat
Avaluació de la impacte (cont.) Dades requerides: Dades sobre outcomes rellevants (grup participants i grup control) Característiques sociodemogràfiques (participants i controls) Dades relatives al disseny i a la implementació del programa Factors de context que puguin influir l outcome Mètodes d avaluació: Dissenys experimentals, amb assignació aleatòria de la participació (mètode més robust) Mètodes no experimentals: Regressió discontínua Dobles diferències Emparellament (matching)
Avaluació de la impacte (cont.) Mètode experimental: Programa de reforç escolar
Avaluació econòmica Preguntes que vol respondre: Quin és l esforç (cost) que implica un programa per assolir un determinat nivell de resultats? Quina és l eficiència (relació costos-resultats) de les alternatives que es presenten per adreçar una mateixa problemàtica? Moment del cicle del programa: Anàlisi ex-ante, per a programes en fase de disseny (escenaris plausibles) Anàlisi ex-post, posterior (o en paral lel) a la implementació, orientada a valorar l eficiència de les accions
Avaluació econòmica (cont.) Dades requerides: Ex-ante, per a la modelització es requereixen evidències d altres estudis sobre l impacte i sobre l ús de recursos Ex-post, es requereixen: Dades d'impacte de la intervenció Dades de l'ús de recursos de les alternatives considerades Dades de costos unitaris, per a la valoració monetària dels recursos Mètodes d avaluació: Anàlisi de minimització de costos (AMC) Anàlisi cost-conseqüències (ACC) Anàlisi cost-efectivitat (ACE) Anàlisi cost-utilitat (ACU) Anàlisi cost-benefici (ACB)
Avaluació econòmica (cont.) Gràfic cost-efectivitat: programes de millora de la criança
Reflexions finals Innoveu, penseu en els programes com a hipòtesis, sigueu escèptics (no és una qüestió de fe) i avalueu els vostres programes Fugiu de la il lusió de l exhaustivitat. Prioritzeu programes i preguntes Fugiu de la il lusió d un algorisme o model d avaluació únic. Generar coneixement és artesà Penseu l avaluació des del principi: petits canvis en el disseny del programa i les bases de dades poden fer l avaluació futura robusta, ràpida i barata
Guia pràctica d avaluació de programes del tercer sector social Autors: Miquel Àngel Alegre, Marçal Farré, Ramon Sabes i Federico Todeschini (Ivàlua)