¿Qué países pueden participar?

Podrán aplicar instituciones ubicadas en cualquier país de América Latina y El Caribe.

¿Qué tipo de instituciones?

Sólo se aceptarán aplicaciones provenientes de instituciones pertenecientes al sector público. Por lo tanto, no se considerarán válidas aplicaciones provenientes de instituciones no públicas sin fines de lucro como ONGs o Universidades.

¿Quiénes pueden completar la aplicación?

La aplicación debe ser completada por un funcionario público que trabaje directamente para la institución postulante. Idealmente, dicha persona debe ser responsable o trabajar directamente con la política a evaluar.

Como funcionario, ¿qué implica completar la aplicación?

Al completar la aplicación el funcionario está postulando a la institución para la que trabaja y se está identificando como el representante de dicha institución para el proceso de selección. Sin embargo, de quedar seleccionada, la institución podrá designar a otro funcionario para que sea el representante de la misma en las fases posteriores.

¿Una misma institución puede hacer varias aplicaciones?, ¿existe algún límite?

Una institución puede postular cuantas políticas individuales desee. Asimismo, un mismo funcionario puede completar cuántas aplicaciones desee.

 ¿Una misma institución puede ser seleccionada más de una vez?

Sí. Una misma institución puede ser seleccionada varias veces independientemente de si una misma persona completó varias aplicaciones o si se recibieron aplicaciones de personas diferentes.

¿Qué tipo de políticas pueden aplicar? (ejemplos)

En CAF pensamos que todos los tipos de políticas públicas son importantes y que en principio todas se pueden evaluar siempre y cuando se cumplan los requerimientos técnicos necesarios y haya interés de parte de la institución responsable. Para la convocatoria pueden postularse todas las políticas con un objetivo muy claro que sean implementadas por instituciones públicas y alineadas con la misión institucional. Deben ser políticas con acciones claras que beneficien directamente a personas o instituciones (públicas o privadas) o que estén destinadas a mejorar procesos de gestión de la institución. Algunos ejemplos en los que CAF ha trabajado pueden ser encontrados aquí y aquí.

Aunque estamos interesados en todo tipo de políticas, las políticas destinadas a mejorar procesos de gestión tendrán prioridad en el proceso de selección.

 ¿Habrá prioridad en el tipo de políticas que se seleccionarán?

Sí. En términos generales, se priorizarán propuestas de políticas que busquen mejorar un proceso interno a la institución, bien sea proponiendo nuevas formas de lograr un objetivo de la institución o proponiendo innovaciones a procesos ya existentes.

Adicionalmente, cada ventana de aplicación tendrá ciertas áreas temáticas específicas que tendrán prioridad:

-          En la primera ventana de aplicación se priorizarán propuestas en temas de: hábitat y desarrollo urbano, infraestructura, transporte y logística, seguridad ciudadana y ciudades.

-          En la segunda ventana se priorizarán propuestas en temas de productividad e innovación, educación, salud, género y otros temas de inclusión social.

¿Qué quieren decir con políticas destinadas a mejorar procesos de gestión?

En todos los niveles de cualquier institución, independientemente de su objetivo y naturaleza, se toman decisiones sobre cómo utilizar sus recursos o cómo cumplir sus objetivos de la forma más efectiva, es decir, la mejor forma de gestionar la institución.

En estos casos no necesariamente hay un beneficiario directo. El Estado y la ciudadanía se benefician más bien indirectamente a través de instituciones que son más eficientes. Los beneficios por lo tanto no se miden en términos de bienestar o variables de impacto usuales, sino en eficiencia, rapidez o calidad con la que se realiza una actividad.

Algunas de las iniciativas buscan mejorar un proceso comparando distintas alternativas para aprovechar una oportunidad de mejora, mientas que otras iniciativas son innovaciones complementarias al proceso. Algunos ejemplos son:

• Envío de avisos de cobro con diferentes contenidos: Aquí la política está dirigida a los contribuyentes pero quien se beneficia directamente es el proceso de cobro porque es más efectivo. La efectividad se mide en el aumento de la probabilidad de pago y en el tiempo transcurrido desde que se envió la comunicación hasta que se realizó el pago.
• Cambiar mensaje de citación judicial para aumentar cumplimiento de sanciones: La política está dirigida ciudadanos y quien se beneficia directamente es el proceso de amonestaciones de la Alcaldía de Nueva York porque una comunicación más clara aumenta la probabilidad de cumplimiento y reduce tiempos de procesamiento y uso ineficiente de recursos. La efectividad se mide en el aumento de probabilidad de cumplimiento con sanción y por tanto, la disminución de probabilidad de ir a juicio innecesariamente.
• Patrullaje de puntos calientes: La política está dirigida a segmentos de calle o manzanas y los procesos de la policía se benefician directamente porque ahora los policías se distribuyen de una forma distinta en el tiempo y en el espacio y la policía puede utilizar sus recursos de forma más eficiente. La efectividad se mide en la disminución de delitos y en última instancia los beneficiarios son los ciudadanos que habitan en espacios más seguros.

¿Qué tipo de políticas no son elegibles?

No son elegibles aquellas políticas que aun teniendo objetivos claros, impliquen la implementación de múltiples programas de naturaleza variada. Por ejemplo, la política educativa de un ministerio o de un municipio es algo muy general para evaluarse con una evaluación de impacto. En este caso, es preferible algún componente específico de esa política educativa: becas o libros o procesos de reclutamiento o incentivos docentes.

¿Pueden participar políticas que ya están siendo implementadas?

Podrán participar:

• Políticas que estén siendo implementadas pero cuya implementación se repite periódicamente (cada semana, mes, año, etc.). Por ejemplo, el programa de primer empleo selecciona cada año a un grupo diferente de beneficiarios.
• Políticas que estén siendo implementadas pero cuya implementación se puede modificar ligeramente para hacer la evaluación. Por ejemplo, las policías patrullan todo el año, pero el patrón de patrullaje se puede cambiar para evaluar el impacto nuevas formas de patrullar.
• Políticas en fase de pilotaje, aquellas que no se han implementado antes y se quiere implementar a una escala pequeña primero antes de escalarse.
• Políticas que no se han implementado antes y cuyo diseño puede cambiar ligeramente para hacer una evaluación de impacto.
• Políticas en fase de diseño.

¿Hay algún tope máximo a la duración de las políticas evaluadas?

En general, se dará preferencia a políticas cuya duración de implementación no sea mayor a 2 años. Sin embargo, cada caso se evaluará separadamente.

Si he detectado un problema de gestión o de política y tengo idea de cómo resolverlo, pero no tengo una intervención definida con detalle, ¿puedo aplicar?

Sí. En ocasiones hemos ayudado a definir cuál es la política que se evaluará. Esto ha ocurrido cuando hay un problema u oportunidad de mejora claramente definida por la institución y la institución ha identificado a grandes rasgos una posible solución. Por ejemplo, la institución ha identificado que es difícil llenar algunas plazas docentes en las zonas más remotas de un país y quisiera ofrecer incentivos para que los docentes quieran mudarse a estas zonas. En este caso, podemos ayudar a definir cuáles son los incentivos que se evaluarán y cómo se implementarán.

¿Cuáles son los beneficios para las propuestas ganadoras?

Las instituciones responsables de las políticas ganadoras recibirán una propuesta metodológica de evaluación de impacto rigurosa. El desarrollo de la propuesta será liderado por el equipo de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas (DEIAP) de CAF, quienes apalancarán recursos humanos y financieros para cubrir los costos de la fase de diseño de la evaluación.

Si la institución dueña de la política aprueba la propuesta metodológica de la evaluación, la DEIAP proveerá acompañamiento técnico para implementar la evaluación de impacto de principio a fin.

Además de la participación activa y directa del equipo de la DEIAP, la CAF podrá colaborar para hallar financiamiento (incluyendo, cuando sea posible, fondos propios de la CAF) para cubrir los gastos asociados a la implementación de la evaluación. La posibilidad de utilizar fondos propios de CAF se evaluará caso a caso.

 ¿Qué información contendrá propuesta metodológica de evaluación de impacto?

• Descripción del problema que la política propuesta resuelve
• Descripción de la política a evaluar
• Teoría de cambio de la política a evaluar
• Revisión de la literatura
• Preguntas de investigación
• Estrategia de investigación: marco muestral, poder estadístico, asignación al tratamiento, desgaste de la muestra, instrumentos y recopilación de datos, período de estudio, procesamiento de datos, variables, verificación de balance, efectos de tratamiento, efectos heterogéneos
• Datos de línea de base (si existen)
• Equipo de investigación
• Entregables
• Cronograma
• Presupuesto

 ¿Se financiará la implementación de la política a evaluar?

No. Los ganadores recibirán únicamente una asesoría gratuita para diseñar e implementar una evaluación de impacto rigurosa de su política. Cuando sea necesario y si la CAF dispone de los recursos, podremos financiar parcialmente los costos de realizar la evaluación que no estén contemplados en el acompañamiento de la DEIAP. Esto NO incluye recursos para financiar la implementación de la política.

 ¿Qué costos implica la evaluación para la institución dueña de la política a evaluar?

El costo específico variará dependiendo de la institución y de la evaluación, pero en general implica el involucramiento de los funcionarios del área responsable de la política con el objetivo de facilitar y hacer posible la evaluación. Esto puede materializarse en elementos como (aunque no únicamente): horas-hombre destinadas a brindar información, a servir de enlace con el equipo de evaluación de la DEIAP, a procurar la información cuantitativa y cualitativa que el equipo de evaluación requiera para diseñar y realizar la evaluación.

Por su parte, se espera que la institución financie o procure los medios para financiar la implementación del programa a evaluar.

 ¿Qué gastos cubriría CAF directa e indirectamente?

CAF cubrirá los costos humanos del proceso de evaluación de impacto, en su diseño e implementación. Esto incluye: el equipo de evaluación de la DEIAP, y de ser necesario, el equipo de consultores seleccionados directamente por la DEIAP para trabajar en el proyecto de evaluación.

De igual forma, si el diseño lo requiere, CAF podrá aportar recursos para recolectar y procesar información primaria, así como para costear los traslados de los integrantes del equipo de la DEIAP a las ciudades/zonas de evaluación.

Los recursos disponibles para cada evaluación serán administrados directamente por la DEIAP, por lo que no habrá desembolso de recursos en efectivo bajo ninguna circunstancia.

 ¿Qué cosas definitivamente no financiará la DEIAP?

La DEIAP no financiará la implementación de la política a evaluar, aunque podrá colaborar para procurar recursos para este fin si es estrictamente necesario.

De igual forma, solo financiará la contratación de consultores relacionados al proceso de evaluación y siempre que estos sean seleccionados y aprobados por el equipo evaluador de la DEIAP. Otras contrataciones no relacionadas ni aprobadas por el equipo evaluador directamente no serán financiadas con los recursos de la evaluación disponibles en la DEIAP.

 ¿Cuánto tiempo dura el acompañamiento de la DEIAP?

La asesoría vinculada a la evaluación durará desde que se comience con la etapa de diseño, hasta que se hayan presentado los resultados finales de la evaluación a la institución responsable de la política. Dependiendo de la política a evaluar, esto puede tomar desde algunos meses a años. Sin embargo, la DEIAP espera presentar resultados de la evaluación antes de los 3 años posteriores a la formalización del acuerdo de evaluación.

 ¿Cuándo empezaría el proceso de evaluación?

Una vez que las instituciones ganadoras sean informadas y confirmen por escrito su interés en participar en la evaluación, iniciará oficialmente el proceso de evaluación. A partir de este momento, inicia el equipo de evaluación debe determinar con detalle cuál es la pregunta de evaluación y en función de la misma debe empezar a producir la propuesta metodológica de evaluación.

Adicionalmente, se espera firmar con la institución seleccionada un convenio de cooperación sin contraparte monetaria con el objetivo de fortalecer el compromiso de ambas instituciones con la evaluación y de facilitar el flujo de información entre las mismas. Se espera que este convenio se firme en los dos meses posteriores al momento en que la institución confirme su interés en hacer la evaluación. La discusión del contenido del convenio así como su tramitación institucional podrá ir en paralelo al proceso de evaluación.

¿Cuándo debería empezar la implementación de la política a evaluar?

En caso que la política a evaluar no esté siendo implementada al momento de formalizar el acuerdo de evaluación, esperamos que su implementación comience dentro de los 12 meses posteriores al acuerdo de evaluación.

¿Cuánto dura el proceso de evaluación?

Las evaluaciones no tienen una duración definida. Depende del tipo de política, del contexto institucional y del diseño de la evaluación. En cualquier caso, esperamos que el proceso de evaluación no exceda los tres años desde que se formalice el acuerdo de evaluación.

¿Quién define la metodología de evaluación?

El equipo de la DEIAP hará una propuesta metodológica completa y exhaustiva de evaluación para cada propuesta ganadora. En la realización de la propuesta intervendrán, desde luego, los funcionarios del área implementadora de la política y de la institución aportando su conocimiento sobre la política, la institución o sobre cualquier otro tema que se considere relevante. Participarán activamente también en este proceso los consultores contratados por la DEIAP especialmente para asesorar al equipo de evaluación. Sin embargo, la responsabilidad última de la propuesta de evaluación será de la DEIAP, mientras que la institución tendrá la potestad de aceptar o no la propuesta en su versión final.

¿Qué tipo de metodologías se considerarán?

El objetivo de la DEIAP es diseñar e implementar una evaluación de impacto rigurosa de la política propuesta. Esto incluye: experimentos aleatorios, experimentos naturales, método de regresión discontinua o variables instrumentales. Para mayor información de estos métodos ver la sección "Ayuda para mi postulación".

 ¿Se pueden considerar otro tipo de evaluaciones, como de resultados, procesos, diseño o cualitativas?

El objetivo de la DEIAP es diseñar e implementar una evaluación de impacto rigurosa de cada política propuesta. Otro tipo de evaluaciones, como de resultados, procesos, diseño o cualitativa, se realizaránsi y solo si la evaluación de impacto lo requiere y si hay acuerdo entre la CAF y la institución sobre la factibilidad institucional y financiera de hacerlas. De lo contrario, el premio solo contempla la realización de una evaluación de impacto por cada propuesta ganadora.

 ¿Cuándo está lista mi evaluación?

Cuando la DEIAP presenta los resultados finales de la evaluación de impacto a la institución implementadora de la política evaluada.

 ¿Quién es el dueño legal de los resultados y productos de la evaluación de impacto?

La propiedad intelectual de los productos generados durante el proceso de evaluación se regirá a partir del convenio de cooperación que suscriban la CAF y la institución implementadora. En general, esperamos que esta propiedad se comparta entre ambas instituciones, pudiendo la CAF generar productos o actividades de difusión de común acuerdo con la institución implementadora.

En cuando a la información cuantitativa y de carácter confidencial que haya sido compartida por la institución implementadora, se espera que su propiedad sea de uso exclusivo de dicha institución, y que su uso por parte de la CAF se rija por las normas que a este respecto tenga cada institución.

 ¿Quién elije a los consultores académicos o temáticos?

La CAF es la responsable de gestionar el proceso de contratación de los consultores asociados a cada evaluación. Cuando sea necesario, se podrá consultar con la institución implementadora la idoneidad de algún consultor puntualmente.

 ¿CAF va a darle recursos monetarios a alguna institución ganadora?

CAF no transferirá directamente recursos a ninguna institución ganadora para realizar la evaluación.

 ¿Quién decide cómo se gastan los recursos y cuándo se gastan?

En caso que haga falta desembolsar recursos propios de la CAF para diseñar o realizar la evaluación, estos serán administrados directamente por la CAF.

¿Cuál es el objetivo general del proceso de selección? ¿cuáles son los criterios?

El objetivo del proceso es seleccionar proyectos de excelente calidad. Un proyecto de excelente calidad cumple en términos generales con tres características:

1. Hay una pregunta definida que puede ser respondida a través de una evaluación de impacto metodológicamente rigurosa
2. La institución responsable de la política a evaluar está comprometida con la misma y piensa utilizar sus resultados para mejorar su gestión

¿Quién hace la selección?

Especialistas de CAF miembros de la Dirección de Evaluación de Impacto y Aprendizaje de Políticas (DEIAP).

 ¿Cómo es el proceso de selección?

El proceso será el mismo en ambas ventanas de aplicación y consta de dos fases:

Fase 1: los objetivos de esta fase son seleccionar preliminarmente a las políticas que tienen mayor factibilidad de ser evaluadas y obtener información sobre la persona que llena la aplicación para determinar su nivel de vinculación con la política a evaluar a través del formulario. La fase concluye con el anuncio de cuáles aplicaciones avanzarán a la fase 2 y cuáles no.

Fase 2: el objetivo de esta fase es confirmar la factibilidad técnica de la evaluación a través de información más detallada sobre la política, así como confirmar el compromiso de las personas involucradas en la implementación y de la institución responsable. La fase concluye con el anuncio de cuáles aplicaciones serán beneficiaras finales de los servicios de evaluación y cuáles no.

 ¿Cuántas ventanas de aplicación habrá?

Habrá dos ventanas de aplicación. Mientras que la primera ventana se abrirá el 1 de marzo y se mantendrá abierta hasta el 30 de abril, la segunda ventana se abrirá el 1 de mayo y se mantendrá abierta hasta el 1 de noviembre.

 ¿Cuáles son las fechas límites para aplicar?

Se recibirán aplicaciones hasta las 11:59pm (hora de Caracas, GMT-4) del día 30 de abril para la primera venta y del 1 de noviembre para la segunda ventana.

 ¿Cuándo se anunciarán los resultados de la primera y segunda ventana?

Mientras que los resultados de la primera ventana se anunciarán el 15 de junio, los resultados de la segunda ventana se anunciarán el 15 de octubre.

 ¿Si no fui seleccionado para en la primera ventana, puedo aplicar a la segunda ventana?

No, un mismo proyecto podrá ser postulado sólo una vez. Sin embargo, si un proyecto no quedó seleccionado en la primera ventana, la institución podrá postular cuantos proyectos diferentes desee a la segunda ventana.

¿Hay diferencias entre la primera ventana y la segunda ventana?

Si bien el proceso de selección es exactamente igual, hay diferencias sobre los proyectos a los que se les dará prioridad. En la primera ventana de aplicación se priorizarán propuestas en temas de: hábitat y desarrollo urbano, infraestructura, transporte y logística, seguridad ciudadana y ciudades. En la segunda ventana se priorizarán propuestas en temas de productividad e innovación, educación, salud, género y otros temas de inclusión social.

¿Hay que definir en la aplicación la metodología de evaluación de impacto?

No. La metodología de evaluación de impacto podrá ser desarrollada por el equipo de la DEIAP una vez seleccionado el proyecto.

¿Qué es CAF?

CAF es un banco de desarrollo constituido en 1970 y conformado por 19 países - 17 de América Latina y el Caribe, España y Portugal- y 13 bancos privados de la región. La institución promueve un modelo de desarrollo sostenible, mediante operaciones de crédito, recursos no reembolsables y apoyo en la estructuración técnica y financiera de proyectos de los sectores público y privado de América Latina.

 ¿Qué es la DEIAP?

La Dirección de Evaluación de Impacto y Aprendizaje de Políticas de CAF es la unidad especializada y responsable de temas de evaluación de la institución. Su misión es la de promover el uso de la evidencia rigurosa como herramienta de gestión pública en la región. Para esto, realiza, apoya y promueve evaluaciones de impacto con entes públicos de todos los sectores, independientemente de si son clientes de CAF o no.

Desde su fundación en el año 2013, la DEIAP ha concluido más de 20 evaluaciones de impacto. Actualmente, la DEIAP tiene más de 35 proyectos activos en 10 países de América Latina.

 ¿Si hay otra institución prestándome sus servicios para diseñar e implementar una evaluación de impacto, puedo participar?

Sí. Sin embargo, el equipo de la DEIAP liderará el proceso de diseño y ejecución de la medición de impacto.

¿Si otra institución está financiando la implementación del programa, puedo participar?

Sí. Para CAF es indiferente quién financia la implementación del programa.

¿Qué es una evaluación de impacto?

La evaluación de impacto  es una metodología que permite cuantificar el efecto sobre los beneficiarios que se puede atribuir a una intervención específica estableciendo una relación causal. Se diferencia de la evaluación de resultados en que esta última no distingue entre la parte del resultado observado que se debe estrictamente a la intervención de las que se deben a diferencias previas entre beneficiarios y no-beneficiarios.

¿Para qué sirve la evaluación de impacto?

El conocimiento que se genera a través de la evaluación de impacto puede ser utilizado para muchos fines. Algunos de ellos se mencionan en esta nota: " 5 razones para realizar una evaluación de impacto".

¿Qué es la teoría de cambio?

La teoría del cambio es la cadena causal de pasos que deben ocurrir para que una intervención específica genere los impactos deseados, dado un problema u oportunidad de mejora. Esta presentación sirve como insumo para entender sus componentes y pasos.

¿Qué quiere decir aleatorizar?

En el contexto de evaluación de impacto, la aleatorización es un método que utiliza el azar para asignar unidades o conjuntos de unidades a recibir una intervención específica.