II Convocatoria internacional CAF de evaluaciones de impacto para una mejor gestión

sesión informativa

El objetivo de esta sesión es prestar ayuda a quienes estén interesados en postular. Comentaremos algunas condiciones generales de la Convocatoria Internacional, la experiencia de la convocatoria de 2017 y abriremos un espacio para preguntas y respuestas.

Invitamos a quienes quieran entender el proceso de participación, el tipo de proyectos que esperamos seleccionar, el proceso de evaluación y selección de postulaciones, el proceso de evaluación de impacto, o que tengan preguntas puntuales sobre el formulario, a conectarse el 23 de Julio de 2018 en la mañana para a revisar, detenidamente, la información que presentamos a continuación (el enlace de conexión estará disponible en los próximos días).

políticas elegibles

Políticas elegibles

En CAF, pensamos que todos los tipos de políticas públicas son importantes y que en principio todas se pueden evaluar (si cumplen los requerimientos técnicos necesarios y hay interés en evaluar). Para la convocatoria aplican todas las políticas dentro de los lineamientos temáticos identificados anteriormente, implementadas por instituciones públicas. Deben ser políticas con acciones claras que beneficien directamente a personas o instituciones o que estén destinadas a mejorar procesos de gestión de la institución.

Algunos ejemplos son: iniciativas para aumentar el pago de impuestos link a nota de experimentos de DIAN o programas para aumentar la inclusión financiera link a a nota de programa de UNICAS.

¿Habrá alguna prioridad temática?

Los programas y políticas de algunas áreas temáticas específicas tendrán en el corto, mediano y largo plazo, un peso fundamental en cerrar las brechas de desarrollo de América Latina. Por este motivo, en nuestra II Convocatoria priorizaremos proyectos en las áreas de: infraestructura, competitividad, productividad, inclusión financiera, agua y saneamiento, inclusión social de poblaciones vulnerables, educación, alimentación, gestión pública y modernización del estado.

De igual forma, daremos prioridad a aquellas iniciativas destinadas a mejorar procesos de gestión dentro de las instituciones que implementan políticas en estos temas.

¿Qué queremos decir con políticas destinadas a mejorar procesos de gestión? 

En todos los niveles de cualquier institución, independientemente de su objetivo y naturaleza, se toman decisiones sobre cómo utilizar sus recursos o cómo cumplir sus objetivos de la forma más eficiente, es decir, la mejor forma de gestionar la institución.

En estos casos, no necesariamente hay un beneficiario directo. El Estado y la ciudadanía se benefician más bien indirectamente a través de instituciones que son más eficientes. Los beneficios, por lo tanto, no se miden en términos de bienestar o variables de impacto usuales, sino en eficiencia, rapidez o calidad con la que se realiza una actividad.

Algunas de las iniciativas buscan mejorar un proceso, comparando distintas alternativas para aprovechar una oportunidad de mejora, mientras que otras iniciativas son innovaciones complementarias al proceso.

Algunos ejemplos de iniciativas de gestión son: link a nota de evaluación de recaudación Municipio Sucre

premios

¿Cuáles son los beneficios?

Las instituciones seleccionadas recibirán la oportunidad de evaluar el impacto de su programa con el apoyo (total o parcial) del equipo de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF.

Evaluar el impacto de un programa consiste en cuantificar el efecto que el mismo tiene sobre la población beneficiaria. Para tal fin, se precisan herramientas estadísticas que permiten no solo medir resultados, sino determinar la relación causal que hay entre los resultados observados después de la implementación de un programa y el programa mismo. CAF cuenta con un grupo con amplia experiencia en proyectos de evaluación y académicos internos y externos reconocidos para apoyar a las instituciones interesadas en la evaluación de impacto de sus programas.

A través de la Convocatoria, CAF ofrecerá a las instituciones ganadoras apoyo técnico para llevar adelante la evaluación, desde la conceptualización de la idea de evaluación, pasando por el diseño metodológico y terminando con la implementación y el análisis de los resultados finales.

Las instituciones dueñas de las primeras 10 propuestas seleccionadas recibirán unsubsidio del 100% del costo del apoyo técnico asociado al diseño e implementación de la evaluación de impacto, mientras que se podrán seleccionar hasta 6 propuestas adicionales, cuyo apoyo tendrá un subsidio de 50% (el costo del apoyo técnico de una evaluación de impacto CAF es de USD 35.000).

Las instituciones seleccionadas, aprenderán sobre la efectividad de su acción, lo que servirá para mejorar la calidad de los servicios que ofrecen. El proceso y resultados del ejercicio de evaluación serán también difundidos en diversos medios de comunicación a nivel internacional, generando prestigio a la institución al ser pioneros en el uso de la evaluación de impacto como una herramienta de gestión.

¿Qué implica exactamente quedar seleccionado?

El primer componente del proceso es una propuesta metodológica de evaluación de impacto que será coordinada por el equipo de la CAF pero construida en colaboración cercana con la institución seleccionada. Al final del proceso de diseño de dicha propuesta, los ganadores recibirán un documento donde se detallará la metodología de evaluación de la política y sus requerimientos técnicos. 

El segundo componente del beneficio contempla un proceso de acompañamiento técnico para implementar la evaluación de impacto de principio a fin. Además de la participación activa y directa del equipo de la CAF, el equipo técnico podrá colaborar para obtener financiamiento (incluyendo, cuando sea posible, fondos propios de la CAF) para cubrir los gastos asociados a la implementación de la evaluación. La posibilidad de utilizar fondos propios de CAF se considerará caso a caso.

Es importante enfatizar que los gastos de evaluación NO incluyen lo relacionado con la implementación de la política a evaluar. De igual forma, CAF también se compromete a colaborar con la institución implementadora para gestionar fondos adicionales en caso de que sea necesario.

¿Cuál es la diferencia entre los premios que obtienen ambos grupos de seleccionados?

Las 10 primeras propuestas seleccionadas recibirán la asesoría del equipo de evaluación y el apoyo (parcial o total) para implementar la evaluación (en caso que sea factible), sin tener que comprometerse a aportar fondos adicionales, más que los necesarios para implementar la política a evaluar. Estas instituciones recibirán un subsidio de 100% del costo del apoyo técnico (el cual se estima es de USD 35.000).

Hasta 6 de las siguientes propuestas podrán recibir un subsidio del 50% del apoyo técnico. Es decir, en caso de estar interesadas en realizar la evaluación, estas instituciones deberán aportar el equivalente al 50% del costo del apoyo técnico necesario para diseñar e implementar la evaluación (esto NO incluye el costo de implementar el programa o política a evaluar).

Cronograma

Selección

¿Cómo es el proceso de selección?

El proceso será el mismo en ambas ventanas de aplicación y consta de dos fases:

• Fase 1: los objetivos de esta fase son seleccionar preliminarmente las políticas que tienen mayor factibilidad de ser evaluadas y obtener información sobre la persona que completa la aplicación para determinar su nivel de vinculación con la política a evaluar. Tendrá una duración de aproximadamente 3 semanas y terminará con una decisión final sobre cuáles aplicaciones pasan a la fase 2 y cuáles no.
  
  
• Fase 2: el objetivo de esta fase es confirmar la factibilidad técnica de la evaluación a través de información más detallada sobre la política, sus beneficiarios, información disponible, presupuesto de implementación, entre otros, así como confirmar el compromiso de las personas involucradas en la implementación y de la institución responsable. Durará aproximadamente 3 semanas y terminará con un veredicto final de cuáles aplicaciones son beneficiaras finales de los servicios de evaluación y cuáles no.

La Evaluación

¿Qué ocurre si eres seleccionado en la última fase?

Si una aplicación resulta seleccionada en el grupo ganador, entonces la política entrará a formar parte del roster (o conjunto) de proyectos de evaluación que maneja la DEIAP. Para formalizar el ingreso, la institución responsable de la política a evaluar deberá suscribir un acuerdo de entendimiento con CAF para establecer el alcance de la evaluación, así como las responsabilidades de cada parte.

Posteriormente, iniciará el proceso formal de evaluación que, en general, debe seguir la siguiente estructura: exploración inicial sobre la pregunta de evaluación y el programa o iniciativa a evaluar, diseño detallado de la propuesta metodológica, ejecución e implementación de la evaluación de impacto y difusión de resultados finales.

La duración de la evaluación dependerá de las características del proyecto que se vaya a evaluar. En general, se espera que el proceso de diseño de la evaluación empiece dentro de los 4 meses posteriores a la publicación de los resultados finales.

Instituciones postulantes

Podrán aplicar instituciones ubicadas en cualquier país de América Latina y El Caribe.

¿Qué tipo de instituciones?

Sólo se aceptarán aplicaciones provenientes de instituciones pertenecientes al sector público. Por lo tanto, no se considerarán válidas aplicaciones provenientes de instituciones no públicas sin fines de lucro como ONGs o Universidades.

¿Quiénes pueden completar la aplicación?

La aplicación debe ser completada por un funcionario público que trabaje directamente para la institución postulante. Idealmente, dicha persona debe ser responsable o trabajar directamente con la política a evaluar.

Como funcionario, ¿qué implica completar la aplicación?

Al completar la aplicación el funcionario está postulando a la institución para la que trabaja y se está identificando como el representante de dicha institución para el proceso de selección. Sin embargo, de quedar seleccionada, la institución podrá designar a otro funcionario para que sea el representante de la misma en las fases posteriores.

Ayuda para mi postulación

Para facilitar el proceso de aplicación, hemos puesto a disposición de los interesados las siguientes herramientas de ayuda. Si tiene dudas o consultas al respecto, le sugerimos utilizar primero todos los recursos que ofrecemos en esta página antes de comunicarse con el equipo de CAF.

Recursos

• Ejemplos de evaluación
• Video: tutorial para completar el formulario exitosamente
• Hangout 1: Se responderán preguntas sobre la aplicación (Martes, 10 de julio a las 10:00 a.m.)
• Hangout 2: Se responderán preguntas sobre la aplicación (Jueves, 18 de octubre 10 am, hora y canal por confirmar).
• Vínculos de interés:

• • Portal de Evaluación de Impacto del BID
  • Manual de evaluación de impacto (Banco Mundial)
  • La evaluación de impacto en la práctica (Banco Mundial) 
  • Guía práctica para la evaluación de impacto (libro) 
  • Manual para la evaluación de la CEPAL
  • Recursos y ejemplos de J-PAL
  • Ejemplos de J-PAL
  • Evaluación de impacto de IPA
  • Ejemplos de 3ie (en inglés)
  • Ejemplos en temas conductuales y de gestión de BIT (en inglés)
  • Handbook de J-PAL (inglés)

• Contacto para preguntas: impacto@caf.com - impact@caf.com