Guía de Diseño y Evaluación de Proyectos Sociales del Ministerio de Desarrollo Social y Familia

Ministerio de Desarrollo Social y Familia

Gobierno de Chile

Guía de Diseño y Evaluación de Proyectos Sociales

PARA LA SOCIEDAD CIVIL Y EL SECTOR PRIVADO

Guía de Diseño y Evaluación de Proyectos Sociales

Autores

Martín García A. Jefe de División Cooperación Público-Privada Lauren Rice Subsecretaría de Evaluación Social, Ministerio de Desarrollo Social y Familia (MDSF) Estudiante de Economía Massachusetts Institute of Technology

Revisores

Alejandra Candia Subsecretaria de Evaluación Social, MDSF Gabriel Ugarte Jefe de Asesores, Subsecretaría de Evaluación Social, MDSF Valentina Gracia Jefa de Comunicaciones, Subsecretaria de Evaluación Social, MDSF Patricio Madrid Encargado de Area de Fondos y Convenios, Subsecretaría de Evaluación Social, MDSF Alejandro Sepúlveda Especialista en Fondos y Convenios, Subsecretaría de Evaluación Social, MDSF

Diseño Editorial

Zorayda Lobos Diseñadora, Subsecretaría de Evaluación Social, MDSF

Agradecimientos

Se agradece especialmente los comentarios de Javiera Troncoso, Asesora en Políticas Públicas y Rodrigo Herrera, líder de área de Reducción de la Pobreza y Desarrollo Inclusivo del Programa de las Naciones Unidas para el Desarrollo (PNUD) en Chile. Septiembre, 2021

Índice

Sección I - Teoría

• 1. Conceptos Generales
  • 1.1. ¿ Qué es un Proyecto Social y por qué es importante?
  • 1.2. ¿ Qué son las evaluaciones y por que son importantes?
  • 1.3 Tipos de Evaluaciones
• 2. Causalidad
  • 2.1. Introducción
  • 2.2. Niveles de Causalidad
    • 2.2.1. Asociación
    • 2.2.2. Intervención
    • 2.2.3. Contrafactual
• 3. Desarrollo de Teorías
  • 3.1. Introducción
  • 3.2. Gráficos Directos y Acíclicos (DAGs)
  • 3.3. Hipótesis de Cambio
  • 3.4. Teoría de Cambio
  • 3.5. Síntesis
• 4. Evaluación
  • 4.1. Definiciones
  • 4.2. Evaluación de Diseño
    • 4.2.1. Antes de la Implementación
    • 4.2.2. Durante la Implementación
    • 4.2.3. Después de la Implementación
  • 4.3. Evaluación de Seguimiento
    • 4.3.1. Durante la Implementación
  • 4.4. Evaluación de Resultados/Impactos
    • 4.4.1. Evaluación Experimental
    • 4.4.2. Evaluación Cuasi-Experimental
    • 4.4.3. Evaluación No-Experimental
    • 4.4.4. Análisis de Contribución
    • 4.4.5. Durante la Implementación
    • 4.4.6. Después de la Implementación

Sección II - Práctica

• 5. Introducción
• 6. Construcción de la Hipótesis y Teoría de Cambio
  • 6.1. Hipótesis de Cambio
    • 6.1.1. Análisis del Contexto
    • 6.1.2. Identificación del Problema Objetivo General
    • 6.1.3. Construcción de un Diagrama Causal o DAG
    • 6.1.4. Construcción de la Frase de la Hipótesis
  • 6.2. Teoría de Cambio
    • 6.2.1. Identificación de los Primeras Actividades
    • 6.2.2. Finalización de la Teoría de Cambio
    • 6.2.3. Identificación de los Supuestos
    • 6.2.4. Revisión de la Teoría de Cambio
    • 6.2.5. Establecimiento de Indicadores en la Teoría de Cambio
• 7. Plan de Evaluación
  • 7.1. Evaluación de Diseño Antes de la Implementación
  • 7.2. Evaluación de Seguimiento Durante la Implementación
  • 7.3. Evaluación de Resultados Después de la Implementación
• Referencias

2

Guía de Diseño y Evaluación de Proyectos Sociales

El Ministerio de Desarrollo Social y Familia, a través de la Subsecretaría de Evaluación So- cial, tiene como misión contribuir al diseño y aplicación de políticas públicas, planes y progra- mas en materia de equidad y/o desarrollo social, lo anterior enfocado en personas, familias o grupos vulnerables. Se incluye en este rol la identificación de quienes se encuentran en situación de vulnera- bilidad, y adicionalmente, el rol de diseño y eva- luación de programas y/o políticas públicas que se implementen para superar estas situaciones de po- breza y/o vulnerabilidad.

El aporte de la sociedad civil y del sector privado es fundamental para cumplir estos objetivos. En par- ticular, el Ministerio de Desarrollo Social y Familia, a través de su Division de Cooperación Público-Pri- vada, está a cargo del estudio, diseño, evaluación y seguimiento de mecanismos de cooperación que tengan como fin generar acciones de trabajo que comprometan la participación de la sociedad ci- vil, sector privado y/o instituciones académicas, en materias de competencia del Ministerio, enfocadas hacia personas y grupos vulnerables.

Para profundizar el cumplimiento de este objetivo, se ha desarrollado la presente Guía de Diseño y Evaluación, que tiene como objetivo brindar apoyo a las organiza- ciones de la sociedad civil, sector privado y academia para el desarrollo de diseños y evaluaciones a proyectos sociales en sus distintas fases de implementación.

La guía se divide en dos grandes secciones: la primera, mandatoria para el lector, establece la teoría del di- seño y evaluación de proyectos sociales, por medio de la definición de conceptos generales y metodologías de trabajo, los cuales permitirán establecer un mar- co conceptual para su posterior aplicación. La segun- da sección, recomendada encarecidamente para un mejor entendimiento de los conceptos presentados, se enfoca en aplicar la teoría y las herramientas esta- blecidas en la primera sección a través de un ejercicio práctico, en particular sobre la problemática de inse- guridad alimentaria.

3

Sección I

Teoría

4

Sección I

Guía de Diseño y Evaluación de Proyectos Sociales

1. Conceptos Generales

1.1. ¿ Qué es un Proyecto Social y por qué es importante?

Para efectos de esta guía, se utilizará la definición de un Programa Social utilizada en el sector público, y se hará extensible para Proyectos Sociales, a ser implementa- dos por la sociedad civil y/o sector privado.

La definición de un "programa social", de acuerdo a la Ley 20.530 que crea el Ministerio de Desarrollo Social y Familia, y que a través de esta guía se hará extensible a "proyecto social"1, es la siguiente:

Un Proyecto Social es " ... un conjunto integrado y arti- culado de acciones, prestaciones y beneficios destina- dos a lograr un propósito específico en una población objetivo, de modo de resolver un problema o atender una necesidad que la afecte." [Ministerio de Desarrollo Social y Familia 2019].

Para efectos de esta guía, la población objetivo co- rresponde a la población que presenta el problema definido en el diagnóstico y que el proyecto espera abordar con la ejecución de éste [Ministerio de Desa- rrollo Social y Familia 2020].

Tabla 1.1. Elementos Claves de un Proyecto Social

• Debe tener el propósito de resolver un problema.
• Debe tener un diseño, que en su conjunto, responda a la solución de un problema público y/o necesidad concre- ta que afecte a la población objetivo. De igual modo, dicho diseño debe permitir la medición del desempeño global del programa, en particular sus resultados intermedios y finales.
• Debe identificar claramente la población objetivo que recibirá los bienes y/o servicios provistos por el progra- ma en un período determinado.
• Debe identificar cuáles son los bienes y/o servicios provistos por el programa, así como sus efectos (resultados esperados) en los beneficiarios.

Fuente: Elaboración propia en base a [Ministerio de Desarrollo Social y Familia 2020].

La importancia de los proyectos sociales radica en la definición anterior: "resolver un problema o atender una necesidad que la afecte". A fin de cumplir esta pro- mesa, y, debido a que los recursos son limitados, es de suma importancia optimizar la implementación de los proyectos sociales y la asignación de recursos. La mejor manera de lograr ambas metas es: i) asegurar un buen diseño e ii) implementar metodologías de evalua- ción que permitan el análisis y la mejora continua del proyecto social: ambos son conceptos centrales de esta guía. A continuación se definirá el concepto de evaluación.

1 Fuente: elaboración propia en base a [Ministerio de Desarrollo Social y Familia 2020].

5

Sección I

Ministerio de Desarrollo Social y Familia

1.2. ¿ Qué son las evaluaciones y por qué son importantes?

Las evaluaciones están definidas como:

"Valoraciones periódicas y objetivas de un proyec- to, programa, o política en su diseño, desarrollo, o al. 2006] una vez finalizada. Estas son usadas selectivamente para contestar preguntas específicas sobre el dise- ño, la implementación, y los resultados." [Gertler et

Tabla 1.2. Importancia de la Evaluación

• Mejorar las decisiones sobre la asignación de recursos para maximizar el impacto social de la intervención y minimizar los costos a través de la reducción de error e incertidumbre.
• Identificar oportunidades para mejorar la efectividad del proyecto.
• Exponer el impacto que un proyecto, y solo este proyecto, tiene.
• Identificar resultados y consecuencias no deseadas.
• Proveer responsabilidad por las inversiones.
• Analizar la sostenibilidad de los resultados del proyecto.
• Contribuir al aprendizaje de la organización sobre el problema y el proceso.

Fuente: [Gertler et al. 2006; UNDP 2009; Cecchini et al. 2015; Leeuw and Vaessen 2009; WHO 2013].

1.3 Tipos de evaluaciones

Existen distintos tipos de evaluaciones con diversas ca- racterísticas, dependiendo del objetivo de ésta y de las condiciones en las que se encuentre el proyecto social a estudiar. La elección del tipo de evaluación de proyecto dependerá de:

• La fase de implementación (antes de, durante, o después de implementación del proyecto social).
• Los recursos disponibles.
• Los datos disponibles.
• El tiempo disponible para evaluar.

Toda evaluación debe poseer un objetivo claramente definido. Uno de los puntos clave para definir el objetivo de la evaluación es analizar en qué fase de implemen- tación se encuentra el proyecto social.

La evaluación es un proceso que depende de la fase de implementación del proyecto social. En cada fase de implementación, se pueden analizar elementos dife- rentes de un proyecto: evaluar su diseño, realizar segui- miento a las actividades, y cuantificar los resultados y/o impacto de éste [Gertler et al. 2006; UNITAR 2017; WHO 2013; Rogers et al. 2015; Cecchini et al. 2015]. La clasi- ficación anterior corresponderá a los distintos tipos de evaluación posibles: evaluación de diseño, evaluación de seguimiento (o monitoreo) y evaluación de resulta- dos y/o impacto.

Figura 1.1 Tipos de Evaluaciones y Fases de Implementación del Proyecto Social

Tipos de Evaluación

• Antes de Ex-Ante
  • Diseño
• Durante Ex-Dure
  • Diseño
  • Seguimiento
• Después de Ex-Post
  • Diseño
  • Resultados / Impactos
  • Resultados / Impactos

Fuente: Elaboración propia en base a [Gertler et al. 2006; UNITAR 2017; WHO 2013; Rogers et al. 2015; Cecchini et al. 2015].

6