Curso: Evaluación de efectos de impacto Grupo 1 Mañana
Tipos de monitoreo y evaluación
Evaluación para la puesta en marcha de políticas, programas y proyectos En este procedimiento, la determinación del grado de viabilidad es el que permitirá tomar la decisión clave: si la intervención debe o no implementarse. Para esto será necesario considerar: A. Viabilidad política Es necesario evaluar en qué medida el programa significa un costo o un beneficio para los distintos actores involucrados, y de qué tipo de costo o beneficio se trata. B. Viabilidad institucional Se traduce en el análisis de los niveles de institucionalidad, tanto formales como informales, con los que cuenta la organización. C. Viabilidad financiera y económica La viabilidad financiera considera en qué medida se cuenta con los recursos financieros para que la política, programa o proyecto a implementar pueda ejecutarse y generar impacto social. D. Viabilidad jurídica Para garantizar su viabilidad, será necesario considerar que se ajuste a las leyes nacionales y provinciales y a la base legal institucional de la organización ejecutora. E. Viabilidad sociocultural Esta dimensión se pregunta si la iniciativa es viable en relación con los valores, normas, creencias, tradiciones, costumbres, actitudes y mentalidades de los grupos de beneficiarios. Monitoreo y evaluación durante el proceso de implementación de las políticas, programas y proyectos El monitoreo y la evaluación concurrente permiten extraer información relevante sobre la ejecución de las 3 P, que puede ser utilizada como base para su ajuste, reorientación o planificación de la programación Podemos dividir a la evaluación concurrente en: Evaluación del diseño:evalúa la pertinencia y vigencia del diseño de la iniciativa, a partir de la forma en la que fue inicialmente concebida y de las acciones que finalmente se realizaron. Evaluación de la programación y la ejecución: para evaluar la programación y la ejecución se utilizan, como insumos básicos, los producidos por el sistema de monitoreo, la evaluación de esta dimensión se centra en comparar: Objetivos alcanzados y objetivos programados, las metas alcanzadas y metas programadas, las actividades realizadas y actividades programadas, losinsumos utilizados e insumos programados, los tiempos de ejecución efectivos y tiempos de ejecución programados. Evaluar los efectos:en la evaluación concurrente es fundamental realizar una primera aproximación a los logros de la política, programa o proyecto implementado, así como a los efectos no deseados de la ejecución. Evaluación ex post de políticas, programas y proyectos sociales La evaluación ex post se realiza cuando la política, programa o proyecto terminó, o cuando finalizó una de sus etapas o ciclos. Permite evaluar lo realizado: sus resultados, efectos e impactos. a. Modelo experimental clásico (Cohen y Franco, 1988; Cohen y Martínez, 2004) Implica la conformación de dos muestras: un grupo “con proyecto” o población beneficiaria (grupo experimental) que recibe el estímulo. Limitaciones: su aplicación se dificulta porque requiere la selección aleatoria de los integrantes de cada uno de los grupos. Otra complejidad reside en la dificultad de constituir dos poblaciones idénticas, por lo menos en los aspectos relevantes b. Modelo cuasi experimental (Cohen y Franco, 1988; Cohen y Martínez, 2004) Los miembros de los grupos “con y sin proyecto” no se seleccionan aleatoriamente, sino en función de las variables de mayor relevancia para el objetivo de impacto perseguido. Limitaciones: en términos estrictos, con este modelo no es posible aislar los efectos legítimamente atribuibles a una política, programa o proyecto. c. Modelo antes-después (sin grupo de comparación) Se trabaja solo con el grupo constituido por la población objetivo de la política, programa o proyecto. Se efectúa una medición antes de que la intervención sea implementada y se comparan los valores obtenidos con los resultados derivados de levantar una línea de comparación durante la operación, o después de que la iniciativa haya concluido Limitaciones: este diseño no permite eliminar el efecto del contexto y, por lo tanto, tampoco es posible determinar en qué medida los cambios registrados son imputables a la intervención. d. Modelo solo “después” con grupo de comparación Este modelo contrasta los resultados obtenidos en el grupo beneficiario de las 3 P con los de un “grupo de comparación” que opera como testigo. Si bien los resultados obtenidos no tienen la solidez del diseño experimental, pueden proporcionar aproximaciones razonables. e. Modelo solo “después” Es el más débil de los diseños presentados. Considera a un solo grupo (la población objetivo de la política, programa o proyecto) y la medición solo puede efectuarse una vez finalizada la implementación. Efectuada la medición, hay que reconstruir cómo era la situación antes de comenzar la intervención, sobre la base de la información disponible En la evaluación ex post pueden utilizarse una gran variedad de técnicas de recolección de información: encuestas, entrevistas individuales, grupos focales, método Delphi, observación participante, indicadores sociales, cálculo de los costos reales del proyecto, etc. El monitoreo y la evaluación como proceso de aprendizaje Consideramos que su principal beneficio radica en el aprendizaje y mejora continua de la política, programa o proyecto. El éxito de una evaluación reside en el aprendizaje que los actores participantes pueden obtener acerca de lo que funcionó y lo que no, para mejorar el proceso y lograr mejores resultados en las intervenciones actuales y futuras. Herramientas para el monitoreo y la evaluación Instrumentos y técnicas para construir evidencia empírica La construcción de la evidencia empírica supone recolectar información que nos permita responder las preguntas de la evaluación y cumplir con los objetivos de la investigación evaluativa. Para eso, el/la evaluador/a tiene que seleccionar y diseñar los instrumentos que utilizará para recolectar información sobre su objeto. Existe un amplio abanico de instrumentos y técnicas a disposición del evaluador. Una de la claves es reconocer cuál es la más apropiada. A continuación, se presenta una ficha que describe cada uno de los siguientes formatos: (1) encuestas; (2) entrevistas individuales; (3) grupos focales; (4) datos secundarios; (5) observación participante; (6) lista de control con preguntas; (7) análisis de las partes interesadas; (8) técnica Delphi/panel de expertos/as; (9) cálculo de los costos reales del pro- grama; (10) cálculo de la relación Costo-Impacto (vía ACE). Para la elección de los instrumentos y herramientas deben tenerse en cuenta los objetivos de la evaluación, los recursos disponibles y los tiempos establecidos para su desarrollo. ¿Cómo utilizar la información? Instrumentos para la difusión y comunicación de los resultados A la hora de elaborar un informe de evaluación es importante definir: ¿A quién estará dirigido?, ¿Cuál es el objetivo de esta comunicación?, ¿Con qué recursos se cuenta? A partir de las respuestas a estas preguntas, será preciso diseñar la difusión de los resultados de la investigación.