Las evaluaciones de impacto más allá de los programas sociales

Las evaluaciones de impacto, entendidas de la forma más común, tratan de cuantificar el efecto de programas públicos en la población beneficiaria. Por ejemplo, cómo impacta un programa de capacitación de maestros en la educación de los alumnos, o qué efecto tiene el fortalecimiento de habilidades empresariales en el bienestar de familias en zonas rurales.

A lo largo de los años, el ejercicio de la evaluación de impacto ha encontrado un campo muy fértil en programas muy grandes, como Progresa en México (luego Oportunidades y ahora Prospera), en el que se invierten muchos recursos que benefician a un gran número de familias, personas o empresas y que, por lo general, suponen una innovación en las políticas sociales y de atención a la pobreza.

Ocurre sin embargo que la visibilidad de las evaluaciones de impacto más comunes contribuye a reforzar una visión bajo la cual la evaluación de impacto es solo útil cuando queremos aprender de políticas sociales; todas las demás áreas de política aparentemente estarían impedidas de beneficiarse de los aprendizajes generados por una evaluación de impacto.

Aunque es cierto que en algunos sectores hay mayor dificultad técnica para medir rigurosamente los impactos, también es cierto que cada vez más hay esfuerzos por utilizar metodologías alternativas y de calidad similar a los experimentos para medir el impacto de políticas en las cuales no es posible aleatorizar la exposición a la política o en las que hay pocas observaciones. En CAF tenemos ejemplos en los que estamos midiendo impactos de formas innovadoras. Uno de ellos es la medición del impacto que potencialmente tendrán las obras de mejoramiento y ampliación del Ferrocarril Belgrano Sur en Buenos Aires.

 A veces las evaluaciones más útiles no son las más obvias; quizás el proceso comience con una inquietud sobre la efectividad de una política, sin embargo, a veces es más provechoso empezar por preguntar qué se necesita aprender sobre el proceso completo de la política, incluyendo los retos de implementación que enfrenta, y a partir de allí identificar cómo una evaluación de impacto puede ayudar. En este contexto, las evaluaciones de impacto son, al menos ex-ante, tan factibles y útiles en el caso de programas sociales, como en el caso de programas de infraestructura o programas de energía.

Hay preguntas de evaluación que pueden girar alrededor de componentes de una política, pero cuyo objetivo no es medir el impacto de la política propiamente. Por ejemplo, en una evaluación que estamos haciendo con ACUMAR (también en Buenos Aires), estamos midiendo si ofrecer créditos aumenta la probabilidad de que las familias decidan invertir para conectar sus hogares a la red de saneamiento recién inaugurada (lo que se conoce como “la última milla”).

Si nos salimos ligeramente de la definición común de una evaluación de impacto, encontraremos que hay un mundo de posibilidades de evaluaciones que son interesantes y factibles. Estas posibilidades generalmente las encontramos cuando indagamos y tratamos de entender todas las actividades y procesos que conforman un programa o política y que garantizan su éxito. Una teoría de cambio exhaustiva de nuestro programa, donde construyamos la cadena causal que va desde las actividades del programa hasta sus impactos esperados, puede ayudarnos a identificar preguntas interesantes y con mucha relevancia para quien implementa. Algunas de estas preguntas (otras no) podrán responderse a través de evaluaciones de impacto. Al final, simplemente es cuestión de preguntarnos cómo podemos hacer mejor las cosas que ya hacemos, y en ese esfuerzo surgirán preguntas de evaluación de una manera natural.

Es por este convencimiento de que hay muchas más oportunidades de hacer evaluaciones de impacto relevantes que las que normalmente se reconocen, que desde CAF estamos haciendo un gran esfuerzo por promover su uso a través de distintas estrategias, brindando nuestros recursos para diseñar evaluaciones de impacto rigurosas y también compartiendo nuestros conocimientos y experiencias a través de nuestros seminarios de evaluación, y ahora también a través del MOOC (Massive Online Open Course) que diseñamos para que todas aquellas personas interesadas en aprender sobre evaluación de impacto tengan la opción de hacerlo gratuitamente y de la mano de un equipo de expertos.

El MOOC de Introducción a la Evaluación de Impacto para la Gestión Pública, cubrirá los conceptos básicos de una evaluación, los retos de distinta índole que se enfrentan a la hora de hacer una evaluación de impacto, así como la importancia de una buena teoría de cambio no solo para hacer una evaluación de impacto de calidad, sino para generar aprendizajes muy relevantes para los implementadores de los programas.

Las evaluaciones de impacto ofrecen muchas oportunidades de aprendizaje interesantes que pueden (y deben) ser aprovechadas para ayudar a las instituciones a ser más eficientes y más efectivas en el logro de sus objetivos. Es simplemente cuestión de hacernos las preguntas correctas y entender qué es, en el fondo, lo que una evaluación de impacto nos puede ayudar a responder.